推理（Inference）
推理是指使用已训练好的大语言模型处理新输入并生成输出的过程。与训练阶段不同，推理不涉及参数更新，只进行前向计算。在大语言模型中，推理通常包括将输入文本转换为token序列，通过模型各层处理这些token，并生成概率分布以预测下一个token，最终将生成的token 序列转换回文本。推理阶段的关键指标包括延迟（生成响应所需的时间）、吞吐量（单位时间内处理的请求数）和资源消耗（内存、计算量）。与训练相比，推理对硬件要求较低，但在大规模服务场景中仍面临挑战，特别是需要实时响应的应用。为提高推理效率，业界采用了多种优化技术，如量化、批处理、KV缓存、推理加速器等。随着大模型应用普及，高效推理技术变得越来越重要，直接影响用户体验和运营成本。
生成式AI（Generative AI）
生成式AI是指能够创建新内容而非仅分析现有内容的人工智能系统。大语言模型是生成式AI的代表性技术，能够生成文本、代码、对话等内容。与传统的判别式AI（如分类器）不同，生成式AI不仅理解输入，还能产生全新、连贯且符合上下文的输出。生成式AI的核心在于学习数据的概率分布，并从这一分布中采样生成新实例。大语言模型通过自回归方式，基于已生成的内容逐步预测下一个token，从而构建完整输出。生成式AI的应用极为广泛，包括内容创作、对话系统、代码生成、创意写作、翻译等。随着模型规模和技术的发展，生成式AI的能力不断提升，输出质量越来越接近人类水平，甚至在某些领域超越人类平均水平，成为AI领域最具变革性的技术之一。
检索增强生成（RAG，Retrieval-Augmented Generation）
检索增强生成是一种结合信息检索和文本生成的技术，通过在生成过程中引入外部知识来增强大语言模型的输出质量。RAG的工作流程通常包括：首先根据用户查询从知识库（如文档、网页、数据库）中检索相关信息；然后将这些信息与原始查询一起提供给大语言模型；最后模型基于检索到的信息生成回答。这一方法解决了大语言模型的关键局限性：知识截止日期问题、事实准确性和幻觉生成。通过引入最新、专业或特定领域的外部知识，RAG使模型能够访问训 练数据之外的信息，生成更准确、更新、更专业的回答。RAG在企业知识库问答、实时信息服 务、专业领域应用等场景中表现出色，是提升大模型实用性的重要技术，也是构建可靠AI系统的关键方法之一。
提示工程（Prompt Engineering）
提示工程是设计和优化输入提示的技术，旨在引导大语言模型生成更准确、更有用的输出。这一领域研究如何通过提示的结构、措辞和格式来影响模型行为，而无需修改模型参数。有效的提示工程技术包括：任务说明（明确指定任务类型和目标）、角色扮演（如"你是一位经验丰富的医生"）、格式指导（指定输出格式）、思维链提示（引导模型逐步思考）、少样本学习（在提示中包含示例）等。提示工程已发展出系统化方法，如CRISPE框架（Context, Role, Instruction, Specification, Persona, Examples）。随着模型能力提升，提示工程变得更加重要，它使非技术用户能够有效利用大模型，同时也是专业人士优化模型输出的关键工具。提示工程的艺术性和技术性并存，需要理解模型特性、任务需求和人类认知，是大模型应用中不可或缺的技能。
上下文学习（In-Context Learning）
上下文学习是大语言模型的一种能力，指模型能够仅通过在提示中提供示例，而无需参数更 新，就能理解并执行新任务。这种方法利用模型的推理能力，通过在提示中包含任务描述和几个输入-输出示例对，引导模型理解任务模式并应用到新输入上。例如，要进行情感分析，可以在提示中提供几个已标注的评论示例，然后模型就能对新评论进行分类。上下文学习的优势在于灵活性和即时适应性，无需为每个新任务专门微调模型。研究表明，上下文学习能力随模型规模增长而显著提升，是大模型涌现能力的重要表现。上下文学习的效果受示例数量、质量和排序的影响，精心设计的示例可以大幅提升性能。这一能力使大语言模型成为通用任务解决工具，能够动态适应各种应用场景，极大地扩展了应用范围。
代理（Agent）
在大语言模型领域，代理是指具有自主决策能力、能够执行复杂任务的AI系统。与简单的问答系统不同，代理能够规划、推理、使用工具、与环境交互并根据反馈调整行为。大语言模型作为代理的核心，提供了理解指令、生成计划、做出决策和生成响应的能力。典型的代理架构包括：感知（理解用户输入和环境状态）、规划（制定实现目标的步骤）、执行（调用工具或API执行操作）和反思（评估结果并调整计划）。代理可以访问各种工具，如网络搜索、代码执行、数据分析工具等，极大地扩展了其能力边界。代理技术的发展使AI系统能够执行更复 杂、更长期的任务，如研究助手、个人助理、自动化工作流等。随着技术进步，代理的自主性和能力不断提升，正在改变人机交互的方式，开创AI应用的新范式。
多模态学习（Multimodal Learning）
多模态学习是指AI系统能够处理、理解和生成多种形式数据（如文本、图像、音频、视频）的能力。传统大语言模型主要处理文本，而多模态大模型扩展了这一能力，能够理解和处理多种感知输入。这些模型通过复杂的架构将不同模态的信息映射到共享的表示空间，使模型能够理解跨模态的关系和语义。多模态学习的关键挑战包括不同模态数据的对齐、融合和协同理解。
近年来，多模态大模型取得了显著进展，如能够理解图像并进行文本对话的视觉语言模型、能够生成与文本描述匹配的图像的文生图模型等。多模态能力极大地扩展了AI系统的应用场景， 使其能够更全面地理解世界，执行更复杂的任务，如视觉问答、图像描述、视频理解、跨模态检索等。随着技术发展，多模态大模型正朝着更统一、更通用的智能系统方向发展。
语义搜索（Semantic Search）
语义搜索是一种基于内容含义而非简单关键词匹配的搜索技术。传统搜索主要依赖词汇匹配， 而语义搜索能够理解查询的语义意图和上下文，找到概念相关而非仅词汇相似的内容。大语言模型通过将文本映射到高维向量空间（嵌入），使语义相似的内容在该空间中距离接近，从而实现语义搜索。这一技术的核心是向量数据库和相似度计算，常用的相似度度量包括余弦相似度、欧氏距离等。语义搜索在多个领域表现出色，如企业知识库检索、学术文献搜索、法律文档分析等，能够找到传统关键词搜索可能遗漏的相关内容。它也是检索增强生成（RAG）系统的关键组件，负责从大型知识库中检索与查询语义相关的信息。随着大模型技术发展，语义搜索的准确性和效率不断提升，正在改变人们获取和处理信息的方式，成为知识管理和信息检索的重要工具。
