阿里云大数据Al技术_个人页

2022年06月

• 06.13 15:03:17
  发表了文章 2022-06-13 15:03:17

  EasyNLP带你玩转CLIP图文检索

  本文简要介绍CLIP的技术解读，以及如何在EasyNLP框架中玩转CLIP模型。

  

2022年05月

• 05.31 18:02:55
  发表了文章 2022-05-31 18:02:55

  大数据&AI产品月刊5月刊

  大数据&AI产品技术月刊（2022年5月），涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容，帮助您快速了解阿里云大数据&AI方面最新动态。
• 05.24 15:28:30
  发表了文章 2022-05-24 15:28:30

  开发者玩转机器学习不能错过的15篇深度文章！

  机器学习平台PAI是面向开发者和企业的机器学习/深度学习工程平台，提供包含数据标注、模型构建、模型训练、模型部署、推理优化在内的AI开发全链路服务。开发者可以通过PAI快速构建训练模型，如搭建一些《物体识别》、《验证语音降噪等》有趣的实验模型，也可以契合企业需求，实现企业个性化推荐，小编整理了一些基于PAI平台的模型开发训练指南，供开发者参考收藏。
• 05.20 16:32:00
  发表了文章 2022-05-20 16:32:00

  BladeDISC 0.2.0更新发布

  在BladeDISC正式开源三个月后，我们发布了0.2.0版本，该更新包含了大量的性能优化与功能增强。

  
• 05.17 14:51:58
  发表了文章 2022-05-17 14:51:58

  MAE 自监督算法介绍和基于 EasyCV 的复现

  自监督学习（Self-Supervised Learning）能利用大量无标注的数据进行表征学习，然后在特定下游任务上对参数进行微调。通过这样的方式，能够在较少有标注数据上取得优于有监督学习方法的精度。近年来，自监督学习受到了越来越多的关注，如Yann Lecun也在 AAAI 上讲 Self-Supervised Learning 是未来的大势所趋。在CV领域涌现了如SwAV、MOCO、DINO、MoBY等一系列工作。MAE是kaiming继MOCO之后在自监督学习领域的又一力作。首先，本文会对MAE进行解读，然后基于EasyCV库的精度复现过程及其中遇到的一些问题作出解答。

  
• 05.09 11:33:29
  发表了文章 2022-05-09 11:33:29

  阿里开源自研工业级稀疏模型高性能训练框架 HybridBackend

  近年来，随着稀疏模型对算力日益增长的需求, CPU集群必须不断扩大集群规模来满足训练的时效需求，这同时也带来了不断上升的资源成本以及实验的调试成本。

  
• 05.09 11:29:01
  发表了文章 2022-05-09 11:29:01

  【ICDE 2022】稀疏模型训练框架HybridBackend，单位成本下训练吞吐提升至5倍

  近日，阿里巴巴投稿的论文《PICASSO: Unleashing the Potential of GPU-centric Training for Wide-and-deep Recommender Systems》被数据库和数据挖掘方向CCF-A类国际三大顶会之一的ICDE 2022 (International Conference on Data Engineering) 接收。

  
• 05.06 16:46:26
  发表了文章 2022-05-06 16:46:26

  大数据&AI产品月刊【2022年4月】

  大数据&AI产品技术月刊（2022年4月），涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容，帮助您快速了解阿里云大数据&AI方面最新动态。

  
• 05.05 12:36:46
  发表了文章 2022-05-05 12:36:46

  阿里云机器学习平台PAI与香港大学合作论文入选INFOCOM 2022，有效减少大规模神经网络训练时间

  近日，阿里云机器学习平台 PAI 与香港大学吴川教授团队合作的论文”Efficient Pipeline Planning for Expedited Distributed DNN Training”入选INFOCOM（IEEE International Conference on Computer Communications） 2022，论文提出了一个支持任意网络拓扑的同步流水线并行训练算法，有效减少大规模神经网络的训练时间。

  

2022年04月

• 04.27 09:49:46
  发表了文章 2022-04-27 09:49:46

  阿里云机器学习PAI开源中文NLP算法框架EasyNLP，助力NLP大模型落地

  EasyNLP背后的技术框架如何设计？未来有哪些规划？今天一起来深入了解。

  
• 04.26 11:00:57
  发表了文章 2022-04-26 11:00:57

  EasyCV开源｜开箱即用的视觉自监督+Transformer算法库

  EasyCV背后的算法框架如何设计？开发者可以怎么使用？未来有哪些规划？今天一起来深入了解。

  
• 04.01 14:37:19
  发表了文章 2022-04-01 14:37:19

  Triton 云端生产实践

  机器学习模型的在线推理在生产实践中扮演着非常重要的角色，从典型的互联网场景中的搜索，广告，推荐的召回排序，到实时的图像识别，语音识别，文本处理等领域，都需要涉及到模型的在线推理，从简单的逻辑回归模型到复杂的深度学习模型，从 CPU 到 GPU 加速，Aliyun 推出的EAS模型推理平台在云原生模型推理领域深耕多年，旨在打造一个开放的高性能云原生模型推理平台，能够覆盖经典机器学习模型和深度学习模型对于在线推理的不同诉求，借助于阿里云的弹性底座来实现资源的动态弹性伸缩，降低用户成本。

  
• 04.01 10:27:18
  发表了文章 2022-04-01 10:27:18

  大数据&AI产品月刊【2022年3月】

  大数据&AI产品技术月刊（2022年3月），涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容，帮助您快速了解阿里云大数据&AI方面最新动态。

  

2022年03月

• 03.30 15:25:43
  发表了文章 2022-03-30 15:25:43

  【GTC 22】PaiSparse：面向深度学习的稀疏算子库

  随着越来越多超大语言模型的出现，如何将这些超大语言模型在实际业务中部署落地成为了一个急需解决的问题。这些超大语言模型拥有百亿千亿甚至于万亿的参数，如此巨大的参数使得无法将超大模型直接部署在单张卡上，而需要几个甚至几十个 GPU 参与模型推理，会消耗非常大的计算资源。然而一些常用的模型优化技术如剪枝和量化虽然能够有效的降低模型大小，但是这些算法却很难在保证精度的情况下达到较大的压缩率。因此我们选择了非结构化稀疏来压缩超大语言模型，从而使得他们能够在保证精度的情况下达到较高的压缩率。

  
• 03.30 15:21:25
  发表了文章 2022-03-30 15:21:25

  【GTC 22】通过 PAI-Blade 更方便、更鲁棒地使用 TensorRT

  随着 AI 应用的快速发展和广泛应用，AI 应用开发和工程部署及模型优化也日益引起了产业界关注。如何更高效地完成 AI 算法从研究领域到生产部署的应用开发流程是一个常见的问题。本次 GTC 2022 S41395 中，阿里云计算平台 PAI 团队分享了通过模型系统优化工具 PAI-Blade 更好地应用 TensorRT，BladeDISC 等相关技术方案，优化云上应用场景。

  
• 03.21 10:29:04
  发表了文章 2022-03-21 10:29:04

  阿里巴巴开源大规模稀疏模型训练/预测引擎DeepRec

  经历6年时间，在各团队的努力下，阿里巴巴集团大规模稀疏模型训练/预测引擎DeepRec正式对外开源，助力开发者提升稀疏模型训练性能和效果。

  
• 03.18 15:06:39
  发表了文章 2022-03-18 15:06:39

  GTC 22 精彩看点 | 锁定阿里云机器学习 PAI 分享

  3月21日，2022英伟达 GTC 大会即将拉开帷幕。此次 GTC 22 大会上，阿里云将带来有关推理优化/部署、深度学习编译器、大模型部署、训练优化、云手游等主题的内容，分享云端机器学习平台最新的创新实践。

  
• 03.10 11:10:43
  发表了文章 2022-03-10 11:10:43

  多任务学习模型之DBMTL介绍与实现

  本文介绍的是阿里在2019年发表的多任务学习算法。该模型显示地建模目标间的贝叶斯网络因果关系，整合建模了特征和多个目标之间的复杂因果关系网络，省去了一般MTL模型中较强的独立假设。由于不对目标分布做任何特定假设，使得它能够比较自然地推广到任意形式的目标上。

  
• 03.09 10:49:35
  发表了文章 2022-03-09 10:49:35

  阿里开源 支持10万亿模型的自研分布式训练框架EPL(Easy Parallel Library)

  最近阿里云机器学习PAI平台和达摩院智能计算实验室一起发布“低碳版”巨模型M6-10T，模型参数已经从万亿跃迁到10万亿，规模远超业界此前发布的万亿级模型，成为当前全球最大的AI预训练模型。同时做到了业内极致的低碳高效，使用512 GPU在10天内即训练出具有可用水平的10万亿模型。

  
• 03.07 17:44:14
  发表了文章 2022-03-07 17:44:14

  【持续更新】阿里云大数据&AI开源项目合集

  阿里云大数据&AI开源项目合集，了解全部阿里云AI&大数据开源项目，欢迎加入。
• 03.04 16:33:22
  发表了文章 2022-03-04 16:33:22

  【ASPLOS 2022】机器学习访存密集计算编译优化框架AStitch，大幅提升任务执行效率

  近日，关于机器学习访存密集计算编译优化框架的论文《AStitch: Enabling A New Multi-Dimensional Optimization Space for Memory-Intensive ML Training and Inference on Modern SIMT Architectures》被系统领域顶会ASPLOS 2022接收。

  
• 03.02 11:00:10
  发表了文章 2022-03-02 11:00:10

  冷启动推荐模型DropoutNet深度解析与改进

  关于对冷启动推荐模型DropoutNet深度解析与改进。

  
• 03.01 17:52:12
  发表了文章 2022-03-01 17:52:12

  大数据&AI产品月刊【2022年2月】

  大数据&AI产品技术月刊（2022年1月），涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容，帮助您快速了解阿里云大数据&AI方面最新动态。

  
• 03.01 11:52:36
  发表了文章 2022-03-01 11:52:36

  阿里云机器学习平台PAI论文入选国际顶会ASPLOS 2022

  近日，阿里云机器学习PAI主导的论文《机器学习访存密集计算编译优化框架AStitch》入选国际顶会ASPLOS 2022，论文通过编译优化的手段来自动化地提高机器学习任务的执行效率。此次入选意味着阿里云机器学习平台PAI自研的深度学习编译优化系统达到了全球业界先进水平，获得了国际学者的认可，展现了中国机器学习系统技术创新在国际上的竞争力。