作者：江昱
阿里云函数计算 AgentRun 全新发布后，我们整理了“探秘 AgentRun”系列文章，本系列将梳理企业落地 Agent 常见难题，给出具体解法，助力 Agentic AI 快速走进生产级环境。欢迎加入“函数计算 AgentRun 客户群”与我们交流，钉钉群号：134570017218。
在《通过无代码创建的 Agent，如何用高代码进行更新？》文章中，我们提到过一个真实用户的痛点：“我之前做过很多 AI 应用，流量少的时候还好，流量一多最头疼的就是模型的安全稳定。”这不是个例，而是几乎所有 Agent 应用开发者都会遇到的核心问题。
模型突然变慢、账号欠费、被临时封禁、存在安全问题、频繁限流——任何一个问题都可能让你的 Agent 应用在生产环境中瘫痪。更棘手的是，这些问题往往发生在流量高峰期，造成的损失难以估量。Agent 应用的可靠性，很大程度上取决于模型调用的可靠性。
函数计算 AgentRun 通过完整的模型管理和治理能力，系统性地解决了这个问题。让我们看看它是如何做到的。
从混乱到有序：统一的模型管理
在没有统一管理之前，开发者面临的是这样的困境：不同的模型分散在各处，有的在代码里硬编码，有的在配置文件中，有的是环境变量。想要切换一个模型？需要改代码、测试、重新部署。想知道用了哪些模型、每个模型的调用量和成本？只能从账单倒推。
如图所示，AgentRun 提供了统一的模型管理界面。所有接入的模型都在这里集中展示和管理，你可以清楚地看到每个模型的状态、配置、使用情况。需要调整某个模型的配置？直接在界面修改，立即生效，无需重启服务。需要查看某个模型的调用量和成本？所有数据一目了然。
这种统一管理的价值，不在于提升了便利性。更重要的是，它让模型从“散落的资源”变成了“可管理的资产”。你可以清晰地掌握企业使用了哪些模型、每个模型的健康状态、成本分布、使用趋势，为优化决策提供数据支撑。
接入灵活：支持所有主流模型
如图所示，AgentRun 在模型接入方面提供了极大的灵活性。
当你需要接入一个新模型时，可以通过搜索功能快速找到你想要的模型供应商——OpenAI、Anthropic、阿里云百炼、Minimax、智谱 AI 等主流供应商都已经内置支持。选择供应商后，可以看到该供应商提供的所有模型列表，选择你需要的模型，填入 API Key 等必要信息，就完成了接入。
但更强大的是自定义创建能力。如果你使用的是企业自建的私有模型，或者是 AgentRun 尚未内置支持的模型服务，可以通过自定义创建的方式接入。
只需要提供模型的 API 地址、鉴权方式、请求格式等信息，AgentRun 就能将其纳入统一管理。这种开放性确保了平台不会成为你的技术限制，而是真正成为你的技术赋能。
模型治理：从单点到高可用
接入模型只是第一步，如何确保模型调用的稳定性和可靠性，才是生产环境的核心需求。这就是模型治理能力的价值所在。
如图所示，AgentRun 提供了强大的模型治理能力，底层基于开源项目 LiteLLM 构建，并已无感部署在函数计算上。这意味着你无需关心 LiteLLM 的部署、运维、扩缩容等问题，平台已经帮你处理好了一切。
创建一个模型治理配置，你可以实现：
- 主备切换和 Fallback 策略：配置主模型和多个备用模型。当主模型出现限流、超时或故障时，系统会自动切换到备用模型继续服务。你可以配置多级 Fallback 策略，比如主模型是 GPT-4，第一备用是 Claude-3，第二备用是 Qwen-Max。即使多个模型同时出现问题，也能保证服务不中断。
- 负载均衡：如果你有多个相同模型的实例或账号，可以配置负载均衡策略，将请求分发到不同的实例。这不仅能避免单点过载，还能有效规避单个账号的限流问题。系统支持轮询、加权、最少连接等多种负载均衡算法。
- 智能路由：可以根据请求的特征（比如 Token 数量、优先级、用户等级等）将请求路由到不同的模型。简单查询使用经济的小模型，复杂分析使用强大的大模型，在成本和效果之间找到最优平衡。
- 熔断和限流：可以配置熔断策略，当某个模型的错误率超过阈值时自动熔断，避免持续调用失败的模型浪费时间和资源。可以配置限流策略，保护模型不被突发流量击垮，也避免超出厂商的限额导致账号被封。
- 重试机制：当模型调用失败时，系统会根据配置自动重试。可以设置重试次数、重试间隔、指数退避等策略，最大化调用成功率。
所有这些能力，都是通过可视化界面配置，无需编写代码。配置完成后，立即生效，你的 Agent 就拥有了企业级的模型高可用能力。
安全透明：每一次调用都清晰可见
模型治理不仅要保证稳定性，还要保证安全性和透明度。
安全方面，AgentRun 提供了完整的安全围栏机制。所有模型调用在发送前都会经过内容审核，自动过滤敏感信息、违规内容。可以配置自定义的安全策略，比如禁止某些关键词、限制输出长度、脱敏处理等。所有的 API Key 和敏感凭证都经过加密存储，在传输和使用过程中严格保护，确保不会泄露。
透明度方面，AgentRun 提供了细粒度的监控和分析能力。每个模型的调用次数、成功率、平均延迟、Token 消耗都有详细记录。可以按时间、按 Agent、按用户等多个维度进行统计分析。当某个模型出现异常时，系统会自动告警并提供详细的诊断信息，帮助你快速定位和解决问题。
更重要的是，所有的治理策略执行过程都有完整的日志记录。当发生主备切换、熔断、限流等事件时，你可以在日志中看到完整的决策过程和执行结果。这种透明度让你对系统的运行状态有充分的掌控感，也为事后分析和优化提供了宝贵的数据。
两种使用方式：普通用户 vs 高级用户
AgentRun 的模型治理能力设计得很巧妙，它既能满足普通用户的“开箱即用”需求，也能满足高级用户的“深度定制”需求。
对于普通用户，你甚至不需要知道“模型治理”这个概念。当你在创建 Agent 时选择模型，平台会自动为你配置基础的治理策略——自动重试、基本的容错、简单的监控。这些能力默认开启，无感使用，你只需要关注 Agent 的业务逻辑即可。
对于高级用户，你可以深入到模型治理的各个细节进行定制化配置。可以精确设置每个模型的权重、超时时间、重试策略、熔断阈值。可以自定义路由规则，实现复杂的流量调度逻辑。更进一步，因为底层使用的是开源的 LiteLLM，你甚至可以自己管理 LiteLLM 实例，进行更深度的定制化开发或二次开发。比如实现自己的路由算法、添加自定义的中间件、对接企业内部的审计系统等。
这种“简单的简单，复杂的可能”的设计理念，让不同技术水平的用户都能在 AgentRun 上找到适合自己的使用方式。
真实案例：从频繁故障到稳定可靠
让我们看一个真实的案例。某电商企业开发了一个智能客服 Agent，最初直接调用 OpenAI 的 GPT-4 模型。上线初期运行良好，但随着业务增长，问题开始暴露：
第一个问题出现在一个周五的下午。OpenAI 的服务出现短暂故障，所有调用都超时失败。客服 Agent 完全瘫痪，大量用户投诉，客服热线被打爆。团队紧急切换到备用的 Claude 模型，但因为代码里硬编码了 GPT-4 的 API，切换过程花了 2 个小时，期间造成了严重的业务损失。
第二个问题发生在月底。由于流量激增，GPT-4 的调用量超出了账号限额，触发了限流。大量请求返回 429 错误，Agent 响应速度急剧下降。团队只能临时申请提额，但审批流程需要几天时间。
第三个问题是成本问题。所有查询都使用 GPT-4，但实际上 80% 的查询都是简单问题（查订单、查物流），根本不需要 GPT-4 的能力。成本居高不下，但不知道如何优化。
引入 AgentRun 的模型治理后，这些问题都得到了解决。团队配置了完整的模型治理策略：主模型是 GPT-4，备用模型是 Claude-3 和 Qwen-Max。当 GPT-4 出现故障时，系统会在毫秒级自动切换到备用模型，整个过程对用户透明。配置了基于语义的智能路由，简单查询自动使用 GPT-3.5-turbo，复杂问题才使用 GPT-4，成本降低了约 50%，用户体验没有明显变化。设置了限流和告警策略，当接近限额时自动降低调用频率并通知团队，避免触发硬限流。
更重要的是，团队对系统有了充分的掌控感。通过可观测平台，可以实时看到每个模型的健康状态、调用分布、成本趋势。当出现异常时，能够第一时间发现并处理。从频繁故障、被动应对，变成了主动管理、稳定可靠。
为什么 AgentRun 选择基于 LiteLLM 构建模型治理能力，而不是完全自研？
首先，LiteLLM 是经过市场验证的成熟方案。它支持 100+ 种 LLM API，统一了不同厂商的接口差异，这是需要大量适配工作才能达到的效果。选择 LiteLLM 意味着我们站在了巨人的肩膀上，可以更快地为用户提供价值。
其次，开源意味着透明和可控。用户不用担心被平台锁定，如果有特殊需求，完全可以基于 LiteLLM 进行定制开发。这种开放性是 AgentRun "开放不锁定"理念的体现。
最重要的是，AgentRun 的价值不在于重复造轮子，而在于让好的轮子更好用。我们将 LiteLLM 无感部署在函数计算上，用户无需关心部署、运维、扩缩容等问题。我们在 LiteLLM 之上构建了可视化的配置界面、完整的监控体系、与 Agent 平台的深度集成。我们让原本需要专业知识才能用好的工具，变成了人人都能轻松驾驭的能力。
立即体验 AgentRun
函数计算 AgentRun 的无代码到高代码演进能力，现已开放体验：
- 快速创建：访问控制台（https://functionai.console.aliyun.com/cn-hangzhou/agent/explore），60 秒创建你的第一个 Agent
- 深度定制：当需要更复杂功能时，一键转换为高代码
- 持续演进：利用函数计算 AgentRun 的基础设施能力，持续优化你的 Agent
从想法到上线，从原型到生产，函数计算 AgentRun 始终是你最好的伙伴。欢迎加入“函数计算 AgentRun 客户群”，钉钉群号：134570017218。
快速了解函数计算 AgentRun：
一句话介绍：函数计算 AgentRun 是一个以高代码为核心的一站式 Agentic AI 基础设施平台。秉持生态开放和灵活组装的理念，为企业级 Agent 应用提供从开发、部署到运维的全生命周期管理。
函数计算 AgentRun 架构图
AgentRun 运行时基于阿里云函数计算 FC 构建，继承了 Serverless 计算极致弹性、按量付费、零运维的核心优势。通过深度集成 AgentScope、LangChain、RAGFlow、Mem0 等主流开源生态。AgentRun 将 Serverless 的极致弹性、零运维和按量付费的特性与 AI 原生应用场景深度融合，助力企业实现成本与效率的极致优化，平均 TCO 降低 60%。
让开发者只需专注于 Agent 的业务逻辑创新，无需关心底层基础设施，让 Agentic AI 真正进入企业生产环境。
