智能引擎技术_个人页

2024年05月

• 12.08 10:26:52
  发表了文章 2023-12-08 10:26:52

  推荐场景GPU优化的探索与实践：CUDA Graph与多流并行的比较与分析

  RTP 系统(即 Rank Service)，是一个面向搜索和推荐的 ranking 需求，支持多种模型的在线 inference 服务，是阿里智能引擎团队沉淀多年的技术产品。今年，团队在推荐场景的GPU性能优化上又做了新尝试——在RTP上集成了Multi Stream，改变了TensorFlow的单流机制，让多流的执行并行，作为增加GPU并行度的另一种选择。本文详细介绍与比较了CUDA Graph与多流并行这两个方案，以及团队的实践成果与心得。

2023年10月

• 10.31 09:35:05
  发表了文章 2023-10-31 09:35:05

  阿里性能监控引擎建设之路

  阿里巴巴智能引擎事业部自研的 Khronos 系统是阿里内部接入规模最大的性能数据存储引擎。Khronos 支持动态生命周期的存储计算分离架构，采用 schemaless 的 data model 设计，在万亿数据规模下为业务提供易用、高效、经济的服务，团队近期的优化工作也被国际学术会议CIKM2023收录。本⽂总结了Khronos 在性能监控领域遇到的技术挑战，以及在这个场景下的一些价值判断。
• 10.23 15:38:21
  发表了文章 2023-10-23 15:38:21

  HA3 SQL样本实验：一种混合计算查询的全新样本解决方案

  HA3（对外开源代号：Havenask ）是阿里智能引擎团队自研的大规模分布式检索系统，广泛应用于阿里内部的搜索业务，是十多年来阿里在电商领域积累下来的核心竞争力产品。Ha3 SQL 是在原有Ha3引擎基础上，新增的SQL查询功能，引擎内置了SQL形式的的查询语法，允许用户通过写SQL语句来构造引擎查询。

2023年09月

• 09.12 13:39:13
  发表了文章 2023-09-12 13:39:13

  更轻松、高效、经济的LLaMA训练——开源大模型训练框架Megatron-LLaMA

  9月12日，淘天集团联合爱橙科技正式对外开源大模型训练框架——Megatron-LLaMA，旨在让技术开发者们能够更方便地提升大语言模型训练性能，降低训练成本，并保持和LLaMA社区的兼容性。测试显示，在32卡训练上，相比HuggingFace上直接获得的代码版本，Megatron-LLaMA能够取得176%的加速；在大规模的训练上，Megatron-LLaMA相比较32卡拥有几乎线性的扩展性，且对网络不稳定表现出高容忍度。目前Megatron-LLaMA已在开源社区上线。开源地址：https://github.com/alibaba/Megatron-LLaMA

2023年06月

• 06.02 11:01:23
  发表了文章 2023-06-02 11:01:23

  OpenSearch大模型实践之Havenask篇

  ChatGPT在通用任务上表现优秀，但无法解决众多垂直业务领域问题，这也不是ChatGPT模型本身的定位，而是需要通过其生态应用去解决。如何在垂直领域针对特定业务构建企业专属问答并且确保生成内容可控，是垂直领域面临的主要问题，也是从事行业搜索和问答的应用努力的方向。OpenSearch作为行业智能搜索产品，其使命就是去解决这一问题，我们正在做积极的探索。同时Havenask作为云产品OpenSearch和集团内引擎HA3的开源版本，也进行了尝试和探索。

  

2023年01月

• 01.11 11:47:49
  发表了文章 2023-01-11 11:47:49

  更加灵活、经济、高效的训练——新一代搜推广稀疏大模型训练范式GBA

  近日，阿里巴巴在国际顶级机器学习会议NeurIPS 2022上发表了新的自研训练模式 Gloabl Batch gradients Aggregation （GBA，论文链接：https://arxiv.org/abs/2205.11048），由阿里妈妈事业部搜索广告团队和智能引擎事业部XDL训练引擎团队联合探索和研发。GBA的提出对阿里巴巴搜推广稀疏模型的训练范式带来了架构性的跨越式升级。本文将从GBA的设计思路、收敛性分析及工程实现等方面展开介绍，欢迎阅读交流。

  

2022年05月

• 05.24 11:03:58
  发表了文章 2022-05-24 11:03:58

  打造算法在线服务领域极致开发体验与性能 — 阿里TPP图化框架技术实践

  TPP图化致力于打造一个算法在线服务领域易用、性能极致、迭代效率远超普通方式的产品。本文将介绍TPP图化以及2021年在性能、开发体验上的改进，并介绍未来TPP图化的规划。

  
• 05.12 17:41:03
  发表了文章 2022-05-12 17:41:03

  PICASSO，一个高效的搜推广稀疏训练解决方案

  近日，阿里巴巴自研稀疏训练引擎论文《PICASSO: Unleashing the Potential of GPU-centric Training for Wide-and-deep Recommender Systems》被国际数据工程顶级会议ICDE 2022 (International Conference on Data Engineering)收录。文中介绍了名为PICASSO（Packing, Interleaving and Caching Augmented Software System Optimization）的训练引擎所使用的核心技术。