基于Knative的LLM推理场景弹性伸缩方案
Knative的基于请求弹性配置与大语言模型（LLM）的推理场景高度契合。此外，它的资源降配特性可以显著帮助用户降低成本。本文详细介绍基于 Knative 的 LLM 推理场景弹性伸缩方案。
sam模型迁移昇腾训练loss不收敛问题的解决办法
在将SAM模型迁移到昇腾平台时，遇到了精度问题。具体表现为NPU训练的loss图从一开始就未收敛，而GPU则正常收敛。通过使用Ascend开源仓的msprobe工具进行精度对比，发现NPU丢失了image_embedding的梯度，原因在于torch_npu版本与PyTorch不匹配，导致`repeat_interleave_backward_tensor`函数调用失败。最终通过选择与PyTorch配套的torch_npu版本解决了问题，loss图恢复正常。
AI时代下， 边缘云上的技术演进与场景创新
本文介绍了AI时代下边缘云的技术演进与场景创新。主要内容分为三部分：一是边缘云算力形态的多元化演进，强调阿里云边缘节点服务（ENS）在全球600多个节点的部署，提供低时延、本地化和小型化的价值；二是边缘AI推理的创新发展与实践，涵盖低时延、资源广分布、本地化及弹性需求等优势；三是云游戏在边缘承载的技术演进，探讨云游戏对边缘计算的依赖及其技术方案，如多开技术、云存储和网络架构优化，以提升用户体验并降低成本。文章展示了边缘云在未来智能化、实时化解决方案中的重要性。
Lindorm：基于多模数据服务的一站式智能检索基础设施
Lindorm 是阿里云推出的一款基于多模数据服务的一站式智能检索基础设施，专为AI时代设计。它融合了全文检索、向量搜索和AI推理能力，支持结构化、半结构化及非结构化数据的高效处理。Lindorm 提供统一API接口，具备高弹性、低成本和易用性，帮助开发者快速构建和迭代智能搜索应用，适用于大规模智能搜索场景。此外，Lindorm 支持分布式存储与计算引擎，优化了资源管理和运维效率，极大降低了开发复杂度，助力企业实现智能化转型。
Tair：基于KV缓存的推理加速服务
Tair 是阿里云基于KV缓存的推理加速服务，旨在优化大模型推理过程中的性能与资源利用。内容分为三部分：首先介绍大模型推理服务面临的挑战，如性能优化和服务化需求；其次讲解Nvidia TensorRT-LLM推理加速库的特点，包括高性能、功能丰富和开箱即用；最后重点介绍基于KVCache优化的推理加速服务，通过Tair的KV缓存技术提升推理效率，特别是在处理长上下文和多人对话场景中表现出色。整体方案结合了硬件加速与软件优化，实现了显著的性能提升和成本降低。
MiniMax云上AI数据湖最佳实践
本简介介绍MiniMax云上AI数据湖的最佳实践。MiniMax成立于2021年，专注于通用人工智能领域，提供ToB和C端产品。面对每日3万亿token、2000万张图片及7万小时语音数据的处理需求，MiniMax基于阿里云构建了稳定灵活的基础设施，采用多云策略实现全球化部署。通过引入Kubernetes、Ray等技术，优化了多模态数据处理效率，并利用对象存储与数据湖技术降低成本。此外，与阿里云合作开发边缘缓存方案，提升跨地域数据传输效率。主讲人：阿里云弹性计算技术专家高庆端。
加速大语言模型推理：NVIDIATensorRT-LLM更新
本次分享由NVIDIA亚太区资深总监李曦鹏主讲，聚焦于加速大语言模型推理的挑战与解决方案。内容涵盖大模型推理优化、性能提升策略及KVCash在用户请求处理中的应用。通过TensorRT-LLM的更新，NVIDIA提供了高性能推理引擎和多种优化技术，如KVCache优化、InflightBatching等，大幅提升了大模型的推理效率。此外，还介绍了与魔搭社区的合作，支持超过50个主流模型的一键部署，显著降低了使用门槛和成本。