AI战略丨构建未来: 生成式人工智能技术落地策略

简介: GenAI 的技术落地需要企业进行周密地规划和持续地努力。企业必须从自身的战略出发, 综合考虑成本、效果和性能,制定合理的技术架构,通过全面的 AI 治理,实现可持续的创新和发展。

uiqpush4khazq_c5f942152c38494b916a1fb38c943ee1.jpg
文 / 阿里云研究院

生成式人工智能(GenAI)是一种先进的人工智能技术,它能够基于已有的数据和知识生成全新的内容。GenAI 将逐渐改变人们与机器交互的方式,为各行各业带来前所未有的创新机遇。当前,GenAI 正处于爆炸性增长阶段,工业界和学术界都在积极投入资源,探索如何利用 GenAI 实现经营提效、体验提升以及业务创新。

打造 GenAI 能力,已经成为企业全面迈向智能化、构建市场竞争优势的必然选择。而 GenAI 能力的构建,是一个涉及战略、组织、文化和技术等多个维度的综合性难题。本文将聚焦技术层面,分析 GenAI 在企业业务场景中全面落地的关键考量因素,提出“选-育-用” 的方法论,覆盖从技术路线和模型产品的选择,到如何培育适合企业的模型,并将其广泛应用在业务流程实现全面创新的 GenAI 全生命周期,从而助力企业充分发挥 GenAI 能力,构建竞争优势。

大模型的选择

随着 GenAI 技术的逐步成熟和市场潜力的不断显现,企业面临着多样化的产品服务和解决方案选择。针对此,建议企业首先根据自身的业务需求和成本预算来选择技术路线,然后权衡模型的效果、性能等因素选择合适的大模型。特别是企业在面向多个业务场景需求时,可以不局限于单一大模型产品服务甚至技术路线,而是根据不同场景的特殊需求和市场上相应产品服务的成熟性和契合度,分别选择最合适的产品服务。

1.大模型技术路线

企业使用大模型服务的技术路线,主要包括深度研发大模型、基于现有基础大模型进行工程化适配、直接使用大模型服务三种。

1)深度研发大模型
深度研发大模型,是指企业从 0 到 1 完全自主研发或者 基于开源模型做深度定制得到大模型。这一过程涵盖模型设计、数据准备、环境准备、模型训练、模型评估和优化等多个阶段。

深度研发大模型可以针对企业的具体场景需求进行充分的优化设计,理论上可以更为聚焦地解决特定问题,拥有更好的表现,并拥有较高的技术自主性。但深度研发往往需要投入巨大的研发成本,包括计算资源、人员薪资等。从启动自研到上线应用的时间跨度长达数月甚至以年计,并且需要持续投入以确保在技术迭代中不会掉 队。由于技术体系复杂、研发难度大,还可能面临模型性能不理想、项目延期或失败等风险。

2)基于现有基础大模型进行工程化适配
基于现有基础大模型进行工程化适配,是指企业结合具体应用需求对已有的基础大模型进行技术调整和优化,以进一步提升模型在特定领域的表现。对于用户来说,常用的工程化适配方式包括提示词工程(Prompt Engineering)、检索增强生成(Retrieval Augmented Generation,RAG) 和模型微调(Fine-tuning)。企业还可以通过知识蒸馏、剪枝、量化等手段降低大模型的规模,降低推理的计算量,提高大模型的生成速度。

截屏2024-09-02 10.31.26.png

选用这一技术路线无需为基础大模型的训练付费,可以显著减少开发成本,并同时提升大模型在特定任务领域的输出效果。该路线有一定的技术门槛,但不算太高,因此适合于绝大多数企业。特别是当市面上现有的大模型产品服务无法直接满足企业特定需求时,基于现有基础大模型进行工程化适配几乎成为企业的必然选择。

3)直接使用大模型服务
企业还可以直接采购已经训练好的大模型来解决业务问题。一些模型服务商提供将自家模型部署在客户环境的能力,而更多的模型服务商则选择与云平台合作,通过云上 API 来提供大模型服务,这种方式随用随取、按需使用,进一步降低了企业使用大模型的门槛。

企业直接使用大模型服务,无需投入大量资源,可以有效降低使用成本。企业不需要了解技术细节,业务团队能够把大模型快速集成到现有系统中,迅速享受大模型红利。部分模型服务商针对市场规模较大的行业以及通用性较强的场景还推出了专用大模型,进一步提升了大模型的使用效果和用户体验。直接使用大模型服务的方 式适合于大多数企业,特别是成本预算有限、技术能力欠缺的小微企业。随着基础模型能力的不断提升,以及该方式可以与提示词工程、RAG 等工程化适配方法相结合,使得云端 API 调用的方式被越来越多的企业重视。

2.基础大模型的选择

在企业构建 GenAI 能力的三条技术路径中,除了不适用于多数企业的深度研发,无论是对基础大模型进行工程化适配,还是大模型的直接使用,接下来最重要的环节就是基础大模型的选择。在这一过程中,需要综合考量各种因素,但关键是在成本、效果和性能构成的“不可能三角”间进行权衡和取舍。

成本指的是企业大模型落地的整体费用,包括大模型的训练成本、推理成本以及部署、运维和升级成本等。企业有时仅关注有形成本,例如 GPU 购置费用、消耗的电费,或从第三方服务商购买模型服务的费用;而会忽略无形成本,包括为实现大模型服务而配置的人力成本,以及大模型在部署、训练或调试阶段消耗的时间成本等。企业在核算成本时,需要考量总持有成本,特别是不要忽略无形成本。按成本从高到低,一般为深度研发、微调、RAG、提示词工程、直接使用。

效果指的是大模型生成内容的质量,包括内容的准确性,是否存在幻觉问题,或是否会生成不合适的内容。大模型效果可以基于“3H”原则进行评价:Helpful,内容可用有帮助,不要废话连篇、泛泛而谈;Harmless,内容合规无害处,要符合伦理规范和监管要求; Honest,内容正确无幻觉,不要一本正经地胡说八道,甚至给出错误信息。通常来说,大模型的参数规模越大,生成效果越好。因此,当业务需求对内容质量要求严苛时,应尽量选择参数规模更大的模型。

截屏2024-09-02 10.32.08.png


性能指的是大模型服务的速度,包括大模型的训练速度,推理时的响应速度、生成速度等。一般而言,大模型的参数规模越大,需要的训练时间越长,即训练速度越慢,而其进行推理服务时的需求响应速度和内容生成速度也越慢。因此,大模型的效果和性能不可兼得,当成本固定时,大模型的选择主要是在效果和性能之间进行平衡和取舍。对于性能要求较高而对效果有一定容忍度的场景,可以选择参数规模相对较小的模型。

基础大模型的选择是个综合性任务,除了做好成本、效果、性能“不可能三角”的权衡,还需要同时考虑一系列其他因素,例如集成难度,即模型服务与现有系统的集成难度及其所需的技术投入;技术友好性,即技术人员的学习和使用难度;模型扩展性,即模型的更新、升级频率和向下兼容性;模型生态,包括模型系列的参数 尺寸全面性及其背后的工具生态系统和合作伙伴网络等;服务商可靠性,包括服务商的口碑声誉、技术实力和服务能力以及客户成功案例等。这其中,企业需要格外注意大模型服务的合规性与安全性,以免影响业务的正常开展甚至造成企业数据的泄露。

大模型的“培育”

在大模型的三条主要技术路径中,基于现有大模型进行工程化适配是最受企业关注的一条路径:它在成本方面与直接使用大模型相持平,同时能够满足直接使用大模型所无法实现的一些业务特殊需求。工程化适配按技术难度从小到大和成本从低到高,主要包括提示词工程、检索增强生成和微调三种方式。

1.提示词工程

截屏2024-09-02 10.31.26.png

提示词工程,是指通过精心设置提示词,引导模型生成 更准确、更有用的输出。提示词工程的关键是清晰、明确地表达用户的意图,需要确保提示词直接、具体,减少歧义,让模型能够准确捕捉到问题的核心。因此,通常采用包括指令、上下文和期望输出格式的提示词结构,特别是可以根据模型擅长处理的格式来设计提示词模板,并通过试验找到最优的提示词组合。

提示词工程能够在不修改或重新训练大模型的情况下,引导模型更加精准地完成任务,从而有效控制成本。良好的提示词设计能够显著提升模型的输出质量,使得模型效果更贴近用户期待。但同时,提示词工程高度依赖用户经验,优秀的提示词需要对领域知识和模型特性的深入了解,这需要大量的人力投入和试错。

大模型本身能力决定了提示词工程的上限。如果通用大模型训练时纳入了充足的行业数据,提示词工程可以有效引导模型进行高质量输出,但如果通用大模型内含的行业数据匮乏,提示词工程的作用就十分有限,这时候,可以采用 RAG 或微调的方式对基础大模型进行数据补齐。

2.检索增强生成

RAG 是指从外部知识库中检索相关信息,作为上下文输入给大模型,从而提升生成内容的质量。RAG 是一种结合了信息检索和文本生成的技术方案,它需要企业构建知识库,特别是要在知识库中纳入企业希望重点服务的业务场景数据。

RAG 通过引入外部权威信息,显著提升大模型内容生成的准确性和丰富度,减少错误和臆测;生成的内容可以追溯到具体的信息源,提高透明度和可解释性;同时,基础大模型只会调用相关数据,而不会吸收数据成为内含知识。RAG 能够在不改变大模型本身的基础上,快速、显著地提升大模型在特定领域的表现,因此成为企 业部署大模型应用的主流选择。但是,检索步骤的引入会增加系统的整体复杂度,特别是大模型的输出效果高度依赖于检索信息的质量,这使得 RAG 相比于提示词工程增加了成本,并提高了技术门槛。

截屏2024-09-02 15.04.18.png

3.微调
微调,是指在预训练大模型基础上,针对特定任务或领域进行再训练,以提升大模型在该特定任务上的表现。微调利用特定任务的数据集,调整大模型的部分或全部参数,进而将行业知识内化到预训练大模型中,因此,数据质量直接影响微调后的大模型效果;同时,微调策略也直接影响大模型效果。

微调能够提升大模型在特定任务上的准确性和泛化能力,特别是法律、医疗等专业性较强的领域,可以显著提升内容的专业度。但微调需要消耗一定的计算资源,且参数调整存在难度,找到最优的参数复杂且耗时,这使得微调相比提示词工程和 RAG 具有更高的技术门槛。同时,微调存在过拟合风险,如果数据量太少或过度调 整,则会导致大模型的泛化能力下降。

截屏2024-09-02 15.04.36.png

大模型的使用

企业在确定 GenAI 的技术路线,选取合适的基础大模型并完成工程化适配后,就需要进行部署应用以充分发挥大模型价值作用,这个阶段的核心目标是最大化应用价值,最小化业务风险。

1.基础设施建设

当企业选择全自研或基于现有基础大模型进行微调时,面临的首要问题就是基础设施的建设。企业构建大模型基础设施的方式主要包括自建或租用数据中心、使用公共云基础设施服务两种方式。其中,自建或租用数据中心具备自主可控、定制化程度高等优势。但同时,自建或租用数据中心技术门槛高、运维压力大,特别是自建 数据中心建设周期长,且前期资金投入巨大,成本高昂。使用公共云基础设施服务,企业可以在云上快速部署和扩展 AI 项目,降低初期投资,并减少运维负担,但即便如此,GenAI 运行环境的配置和调优仍然颇具难度,对企业有较高的技术要求。

而当企业选择以提示词工程、RAG 进行工程化适配或者直接使用大模型时,模型服务商会提供成熟的产品或 API 接口服务,可以面向用户屏蔽大模型的基础资源消耗,用户只需关注大模型产品服务的实际应用效果,而无需分心底层的基础设施建设。

截屏2024-09-02 10.35.13.png

2.通过 Agent 升级业务流程

AI Agent,即人工智能智能体,是一种能够感知环境、进行决策和执行动作的智能实体。它以大模型为核心驱动力,并通过记忆、规划和工具等组件分别实现信息存储、决策制定与反思总结、任务执行等功能,从而实现特定目标。

AI Agent 的核心在于其自主性、智能性、反应性和交互性,能够根据预设的目标或学习到的知识自动完成任务。因此,AI Agent 将改变工作范式,重塑业务流程。在 AI Agent 的推动下,人机协作方式将从目前的“以人为中心,AI 为辅助”转向未来的“以 AI 为中心,人为辅助”,极大地扩展工作的范畴和方式。作为一种先进的技术解决方案,AI Agent 可以显著提高生产力, 充分挖掘每个业务流程的效能和潜力。

截屏2024-09-02 10.35.41.png

截屏2024-09-02 10.36.03.png

3.高效跨团队协作与持续效果提升,实现 GenAIOps

现代软件开发中强调开发团队与运维团队之间的紧密协作与整合(DevOps),以实现快速、持续、高效的软件交付。这一实践在机器学习(Machine Learning) 领域的落地即为 MLOps (Machine Learning Operations)。在 GenAI 爆发的今天,大模型作为内核,将会与众多企业应用进行更加紧密地交互,迫切需要企业借鉴 MLOps 理念,实现 GenAIOps,包括通过加速工作流程,缩短 AI 产品的迭代周期,加速产品上市; 通过简化系统开发流程,提升员工参与度,推动产品创新;通过各类专用工具的应用,实现精细化运营,提高生产效率;通过工件和知识共享,推动员工间顺畅交流,促进团队协作;通过对代码、数据、模型和配置的记录,实现可复现性,满足监管要求;通过对大模型训练过程 的监管,减少数据偏见,降低产品风险等。

GenAIOps不仅是技术框架,也是一种战略思维,它能够帮助企业充分利用 GenAI 的潜力,并管理好伴随而来的复杂性与风险,从而在快速变化的商业环境中获得竞争优势。

截屏2024-09-02 10.36.39.png

4.利用 AITRiSM 保障 GenAI 安全

随着 GenAI 的兴起,企业面临着前所未有的挑战,包括内容偏见、数据泄露和 AI 应用漏洞等。传统的安全控制不足以应对这些新兴风险,需要专门针对 AI 的管理策略以保障系统的稳健性、合规性并获得用户信任。AITRiSM,即人工智能信任、风险与安全管理(AI Trust, Risk, and Security Management),是用于保证 AI 系统可信度、安全性并对相关风险进行有效管 理的方法论和技术实践,它涵盖 AI 从设计、开发、部署到运行的整个生命周期,能够确保 AI 应用不会损害用户隐私、数据安全或产生不可预测的行为,并增强用户对 AI 系统的信心。

风险管理主要涉及识别、评估和缓解与 AI 应用相关的风险,企业应当采用内容异常检测工具来限制不当或非法的模型行为,并使用 AI 应用安全产品来防御外部威胁;信任管理关注于建立和维护用户、合作伙伴和社会对 AI 系统的信任,实现信任管理的关键在于实施透明的治理框架,进行定期的伦理审查,并提供清晰的用户沟通,使用户了解 AI 系统的工作原理及其背后的数据处理方式;安全管理的目的是确保 AI 系统不受未经授权的访问、篡改或滥用,并防止数据泄露或损坏,安全管理的措施主要包括实施严格的访问控制、进行定期的安全审计和漏洞扫描、建立应急响应机制等。

总之,GenAI 的技术落地需要企业进行周密的规划和持续的努力。企业必须从自身的战略出发,综合考虑成本、效果和性能,制定合理的技术架构,通过全面的 AI 治理,实现可持续的创新和发展。

相关文章
|
2天前
|
人工智能 算法 计算机视觉
【01】opencv项目实践第一步opencv是什么-opencv项目实践-opencv完整入门以及项目实践介绍-opencv以土壤和水滴分离的项目实践-人工智能AI项目优雅草卓伊凡
【01】opencv项目实践第一步opencv是什么-opencv项目实践-opencv完整入门以及项目实践介绍-opencv以土壤和水滴分离的项目实践-人工智能AI项目优雅草卓伊凡
【01】opencv项目实践第一步opencv是什么-opencv项目实践-opencv完整入门以及项目实践介绍-opencv以土壤和水滴分离的项目实践-人工智能AI项目优雅草卓伊凡
|
13天前
|
人工智能 算法 前端开发
OmAgent:轻松构建在终端设备上运行的 AI 应用,赋能手机、穿戴设备、摄像头等多种设备
OmAgent 是 Om AI 与浙江大学联合开源的多模态语言代理框架,支持多设备连接、高效模型集成,助力开发者快速构建复杂的多模态代理应用。
149 72
OmAgent:轻松构建在终端设备上运行的 AI 应用,赋能手机、穿戴设备、摄像头等多种设备
|
13天前
|
人工智能 达摩院 计算机视觉
SHMT:体验 AI 虚拟化妆!阿里巴巴达摩院推出自监督化妆转移技术
SHMT 是阿里达摩院与武汉理工等机构联合研发的自监督化妆转移技术,支持高效妆容迁移与动态对齐,适用于图像处理、虚拟试妆等多个领域。
49 9
SHMT:体验 AI 虚拟化妆!阿里巴巴达摩院推出自监督化妆转移技术
|
8天前
|
人工智能 Cloud Native 安全
|
10天前
|
存储 人工智能 安全
AI时代的网络安全:传统技术的落寞与新机遇
在AI时代,网络安全正经历深刻变革。传统技术如多因素身份认证、防火墙和基于密码的系统逐渐失效,难以应对新型攻击。然而,AI带来了新机遇:智能化威胁检测、优化安全流程、生物特征加密及漏洞管理等。AI赋能的安全解决方案大幅提升防护能力,但也面临数据隐私和技能短缺等挑战。企业需制定清晰AI政策,强化人机协作,推动行业持续发展。
40 16
|
6天前
|
机器学习/深度学习 人工智能 弹性计算
阿里云AI服务器价格表_GPU服务器租赁费用_AI人工智能高性能计算推理
阿里云AI服务器提供多种配置,包括CPU+GPU、FPGA等,适用于人工智能、机器学习和深度学习等计算密集型任务。本文整理了阿里云GPU服务器的优惠价格,涵盖NVIDIA A10、V100、T4等型号,提供1个月、1年和1小时的收费明细。具体规格如A10卡GN7i、V100-16G卡GN6v等,适用于不同业务场景,详情见官方页面。
52 11
|
5天前
|
人工智能 开发者 Python
Chainlit:一个开源的异步Python框架,快速构建生产级对话式 AI 应用
Chainlit 是一个开源的异步 Python 框架,帮助开发者在几分钟内构建可扩展的对话式 AI 或代理应用,支持多种工具和服务集成。
46 9
|
10天前
|
人工智能 Serverless
两步构建 AI 总结助手,实现智能文档摘要
本方案将运用函数计算 FC,构建一套高可用性的 Web 服务,以满足用户多样化的需求。当用户发起请求时,系统内部会自动将包含文本和提示词的信息传递给百炼模型服务,百炼平台将根据后台配置调用相应的大模型服务,对文本数据进行智能识别与解析,最终将总结结果返回给用户。
|
10天前
|
人工智能
解决方案 | 主动式智能导购AI助手构建获奖名单公布!
解决方案 | 主动式智能导购AI助手构建获奖名单公布!
|
11天前
|
机器学习/深度学习 存储 人工智能
AI实践:智能工单系统的技术逻辑与应用
智能工单系统是企业服务管理的核心工具,通过多渠道接入、自然语言处理等技术,实现工单自动生成、分类和分配。它优化了客户服务流程,提高了效率与透明度,减少了运营成本,提升了客户满意度。系统还依托知识库和机器学习,持续改进处理策略,助力企业在竞争中脱颖而出。
37 5