vLLM是UC Berkeley开源的大语言模型高速推理框架，其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等，一方面可以提升Yuan2.0模型推理部署时的内存使用效率，另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。
政采云基础架构团队技术专家朱海峰介绍了业务网关项目的背景和解决方案。
AI 应用开发中，总有一些让人头疼的问题：敏感信息（比如 API-KEY）怎么安全存储？模型参数需要频繁调整怎么办？Prompt 模板改来改去，每次都得重启服务，太麻烦了！别急，今天我们就来聊聊如何用 Nacos 解决这些问题。
本文主要讲述通过 Nacos+Higress 的方案实现0代码改造将 Agent 连接到存量应用，能够显著降低存量应用的改造成本。
无论是使用 Nacos-Controller 实现配置的双向同步，还是直接在应用中接入 Nacos SDK 以获得更高级的配置管理特性，都能显著提升配置管理的灵活性、安全性和可维护性。使用 Nacos，您能够更好地管理和优化您的应用配置，从而提高系统的稳定性和可靠性。
当我们熟悉了通义灵码的使用以及 Notebook 的环境后，大家可以共同探索 AIGC 的应用的更多玩法。
