作者：黄非，阿里巴巴达摩院语言技术实验室研究员
一、 层次化预训练模型底座
在8月份，阿里巴巴发布了通义预训练模型体系，包括NLP、CV和多模态等模型。在自然语言处理方面，通义Alice Mind预训练模型的底座包括语言理解、生成多语言、多模态等模型。除此之外，通义Alice Mind还有业界广泛应用的模型，比如BERT、GPT、DeBERTa、RoBERTa等等。
在此基础上，ModelScope社区针对自然语言，为下游任务提供了文本分类、智能对话翻译、文本纠错等模型。ModelScope社区针对不同行业，丰富了相应的行业模型，方便开发者使用。
ModelScope社区通过建立一站式的服务平台，包括模型部署、推理、上线服务，数据集、丰富文档等等，尽可能的方便开发者使用达摩院和其他合作版提供的最先进的模型能力。
阿里巴巴自然语言处理的预训练模型Alice Mind，为大家提供了多样模型。其中，通用预训练模型StructBERT，在中文理解CLUE Benchmark榜单上，总榜/分类/阅读理解三榜第一，入选“1o Leading Language Models For NLP In 2021"。
与此同时，生成式预训练模型PALM，支持条件式生成模型，在MS MARCO榜单上排名第一。相比中文SOTA，PALM的四个生成任务数据集平均提升1.1个点。
超大中文预训练模型PLUG，是首个统一自然语言理解和生成能力的超大中文文本预训练模型（270亿和2万亿参数）。目前，已初步建成PLUG大模型完整服务链路，大模型推理加速10+倍。
基于PLUG的多模态预训练模型mPLUG，支持端到端多模态预训练模型，在VQA
Challenge 2021中排名第一，并首次超越人类结果，被MIT Technology Review中国列为核心技术突破。
与此同时，阿里云提供的多模态的预训练模型底座mPLUG，充分利用了阿里云的计算环境。mPLUG可以针对于下游任务开发，简单进行一些翻译任务，代码商城、作文写作、百科问答、诗词对联等等。
