vLLM是UC Berkeley开源的大语言模型高速推理框架，其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等，一方面可以提升Yuan2.0模型推理部署时的内存使用效率，另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。
这篇文章介绍了使用开源工具NextChat和Higress搭建的一个模拟ChatGPT和通义千问对话PK的测试场景。
MiniCPM-V 2.0 不仅带来优秀端侧多模态通用能力，更带来惊艳的 OCR 表现。通过自研的高清图像解码技术，可以突破传统困境，让更为精准地识别充满纷繁细节的街景、长图在端侧成为可能。
在阿里云平台上，您只需十分钟，无需任何编码，即可在企业微信上为您的组织集成一个具备大模型能力的AI助手。此助手可24小时响应用户咨询，解答各类问题，尤其擅长处理私域问题，从而成为您企业的专属助手，有效提升用户体验及业务竞争力。
本⽂对敏感信息拦截插件的使用方式和实现原理进行了简单介绍，它能够自动检测并处理请求和响应中的敏感词，有效防止敏感信息泄露。通过对不同数据范围的支持和灵活的配置选项，该插件能够适应各种应用场景，确保数据的安全性和合规性。
阿里云百炼产品月刊【2024年10月】上线，涵盖本月产品和功能发布、活动，应用实践等内容，帮助您快速了解阿里云百炼产品的最新动态。本月推出开源图片解析模型qwen2-vl-7b-instruct和qwen2-vl-2b-instruct，提升图片理解能力；主流模型qwen-max、qwen-turbo和qwen-plus升级至快照0919版本，支持8千字长文本输出；新增应用观测功能，实时查看调用次数和应用时延。此外，还发布了《阿里云百炼产品动态》电子书以及阿里云百炼产品最新规划电子刊，汇集最新产品动态和实践案例。
LISA是Layerwise Importance Sampling for Memory-Efficient Large Language Model Fine-Tuning的简写，由UIUC联合LMFlow团队于近期提出的一项LLM微调技术，可实现把全参训练的显存使用降低到之前的三分之一左右，而使用的技术方法却是非常简单。
通义灵码，是阿里云与通义实验室联合出品的一款基于通义大模型的智能编码辅助工具，提供行级/函数级实时续写、自然语言生成代码、单元测试生成、代码优化、注释生成、代码解释、研发智能问答、异常报错排查等能力，并针对阿里云的云服务使用场景调优，助力开发者高效、流畅的编码。目前个人版免费使用。