阿里巴巴开发工程师，Apache Flink Committer 任庆盛，在 9 月 24 日 Apache Flink Meetup 的分享。
基于大语言模型的应用在性能、成本、效果等方面存在一系列实际痛点，本文通过分析 LLM 应用模式以及关注点差异来阐明可观测技术挑战，近期阿里云可观测推出了面向 LLM 应用的可观测解决方案以及最佳实践，一起来了解下吧。
检索增强生成（RAG）结合检索与生成技术，利用外部知识库提升大模型的回答准确性与丰富性。RAG的关键组件包括文本表示模型和排序模型，前者计算文本向量表示，后者进行精细排序。阿里巴巴通义实验室推出的GTE-Multilingual系列模型，具备高性能、长文档支持、多语言处理及弹性向量表示等特性，显著提升了RAG系统的检索与排序效果。该系列模型已在多个数据集上展示出优越性能，并支持多语言和长文本处理，适用于各种复杂应用场景。
阿里云开源 Spring AI Alibaba，旨在帮助 Java 开发者快速构建 AI 应用，共同构建物理新世界。
本文为大模型RAG对话系统最佳实践，旨在指引AI开发人员如何有效地结合LLM大语言模型的推理能力和外部知识库检索增强技术，从而显著提升对话系统的性能，使其能更加灵活地返回用户查询的内容。适用于问答、摘要生成和其他依赖外部知识的自然语言处理任务。通过该实践，您可以掌握构建一个大模型RAG对话系统的完整开发链路。
LangChain为大型语言模型提供了一种全新的搭建和集成方式，通过这个强大的框架，我们可以将复杂的技术任务简化，让创意和创新更加易于实现。本文从LangChain是什么到LangChain的实际案例到智能体的快速发展做了全面的讲解。
在本文中，我们将详细介绍两种在业务中实践的优化策略：多轮对话间的 KV cache 复用技术和投机采样方法。我们会细致探讨这些策略的应用场景、框架实现，并分享一些实现时的关键技巧。
Higress 作为一款开源的 AI 网关工具，可以提供基于灰度+观测的平滑迁移方案。
最近，通义灵码上线 MCP（ModelScope Cloud Platform）功能，从之前代码生成及修改的基础功能，到可以使用MCP服务连接更多功能，开发者可以实现从 代码爬取、模型推理到应用部署
