本文介绍了如何使用 llmaz 快速部署基于 vLLM 的大语言模型推理服务，并结合 Higress AI 网关实现流量控制、可观测性、故障转移等能力，构建稳定、高可用的大模型服务平台。
基于单个开源小模型的工具调用Agent，由于模型容量和预训练能力获取的限制，无法在推理和规划、工具调用、回复生成等任务上同时获得比肩大模型等性能。
Arm 架构的服务器通常具备低功耗的特性，能带来更优异的能效比。相比于传统的 x86 架构服务器，Arm 服务器在相同功耗下能够提供更高的性能。这对于大模型推理任务来说尤为重要，因为大模型通常需要大量的计算资源，而能效比高的 Arm 架构服务器可以提供更好的性能和效率。
本⽂对敏感信息拦截插件的使用方式和实现原理进行了简单介绍，它能够自动检测并处理请求和响应中的敏感词，有效防止敏感信息泄露。通过对不同数据范围的支持和灵活的配置选项，该插件能够适应各种应用场景，确保数据的安全性和合规性。
文章探讨了如何利用多模态大模型和工程优化手段提升物流理赔业务效率。核心方案包括：通过多模态RAG技术实现图片查重，结合异步调用方法优化货损识别功能。
为了展现 LoongCollector 的卓越性能，本文通过纵向（LoongCollector 与 iLogtail 产品升级对比）和横向（LoongCollector 与其他开源日志采集 Agent 对比）两方面对比，深度测评不同采集 Agent 在常见的日志采集场景下的性能。
SAE 提供了一个开箱即用的 Serverless PaaS 平台，提供了微服务、监控等能力，帮助敦煌智旅很好地解决了发版困难、运维困难、弹性能力不足和资源利用率低等痛点问题。成功实现轻松应对 10 倍突增流量洪峰，运维效率大幅提升。
