类目筛选
2024-05-15
62739
通义千问开源模型在PAI灵骏的最佳实践
本文将展示如何基于阿里云PAI灵骏智算服务，在通义千问开源模型之上进行高效分布式继续预训练、指令微调、模型离线推理验证以及在线服务部署。
62,739
2024-05-15
1779
大模型推理优化实践：KV cache复用与投机采样
在本文中，我们将详细介绍两种在业务中实践的优化策略：多轮对话间的 KV cache 复用技术和投机采样方法。我们会细致探讨这些策略的应用场景、框架实现，并分享一些实现时的关键技巧。
1,779
2024-05-15
1785
高并发架构设计三大利器：缓存、限流和降级
软件系统有三个追求：高性能、高并发、高可用，俗称三高。本篇讨论高并发，从高并发是什么到高并发应对的策略、缓存、限流、降级等。
1,785
2024-05-15
64823
通义千问API：让大模型写代码和跑代码
基于前面三章的铺垫，本章我们将展示大模型Agent的强大能力。我们不仅要实现让大模型同时使用多种查询工具，还要实现让大模型能查询天气情况，最后让大模型自己写代码来查询天气情况。
64,823
