多模态大一统、AI智能体将如何引领未来?阿里妈妈与人大高瓴学者探讨大模型趋势

本文涉及的产品
NLP自然语言处理_高级版,每接口累计50万次
NLP 自学习平台,3个模型定制额度 1个月
NLP自然语言处理_基础版,每接口每天50万次
简介: 多模态大一统、AI智能体将如何引领未来?阿里妈妈与人大高瓴学者探讨大模型趋势

今年科技领域什么最热?无疑是以大模型和 AIGC 为代表的新一波人工智能技术浪潮。

在这波浪潮中,大家有一个明显的感受:在下游任务中能 work 的技术概念令人目不暇接,而且在很短的时间内就会被广泛采用。以文生图为例,问世还不到一年的 Stable Diffusion 让扩散模型席卷这一领域,Midjourney 更是将其商业价值彻底引爆。类似的概念不止模型,还有一些方法、技巧,比如思维链、RLHF……

与此同时,一些新的技术趋势也在悄悄酝酿,包括多模态、多任务的大一统以及 AI 智能体的崛起。前者的代表性模型包括 Meta 用图像对齐所有模态的 ImageBind、用一个模型分割所有图像的 Segment Anything Model(SAM)等;后者则包括能自动分解任务的 AutoGPT,以及斯坦福、谷歌等打造的多个智能体组成的「虚拟小镇」等。前段时间,特斯拉前 AI 总监、今年年初回归 OpenAI 的 Andrej Karpathy 在一次开发者活动上透露,OpenAI 也对 AI 智能体的发展产生了极大兴趣并寄予了厚望,每当有新的 AI 智能体论文出现时,OpenAI 内部就会非常感兴趣,并认真地进行讨论。

对于普通研究者、从业者来说,能够跟紧这些技术概念、趋势的应用和演变是推进手头工作的重要前提,也是一种寻找新灵感的方式。为此,7 月 25 日下午 14:00,阿里妈妈博见社将联合中国人民大学高瓴人工智能学院举办一场阿里妈妈 & 闲鱼技术节重磅活动,邀请包括窦志成、赵鑫、卢志武、徐君、祁琦、林衍凯、陈旭、李崇轩、黄文炳等在内的人大高瓴人工智能学院众多学者们,一起聊聊关于大模型的那些事。看看当下有哪些值得我们特别关注的技术点,大模型未来将如何发展,又将如何影响数智商业技术。

活动日程


嘉宾介绍

窦志成:中国人民大学高瓴人工智能学院副院长、教授、博士生导师,北京智源人工智能研究院 “智能信息检索与挖掘” 方向项目经理,中国计算机学会大数据专家委员会副秘书长,中国中文信息学会信息检索专委会副主任。2008 至 2014 年在微软亚洲研究院工作,2014 年开始在中国人民大学任教。主要研究方向为智能信息检索、自然语言处理、大数据分析。已在国际知名学术会议和期刊上(如 SIGIR、WWW、CIKM、WSDM、ACL、EMNLP、TKDE 等)发表论文 100 余篇,主持国家自然科学基金项目 3 项,科技部重点研发课题 2 项,企业合作课题 10 余项。获教育部自然科学奖一等奖,SIGIR 2013 最佳论文提名奖,AIRS 2012 最佳论文奖,CCIR 2021 最佳论文奖等奖项。曾担任信息检索领域顶级会议 SIGIR 的程序委员会主席(2019 短文),亚洲信息检索学术会议 AIRS 大会主席 (2016)、全国信息检索学术会议 CCIR 程序委员会主席 (2020)、大会主席(2023)等。任多个国际学术会议的(资深)程序委员会委员。

郑波:阿里妈妈及闲鱼 CTO,阿里妈妈首席科学家,CCF 计算经济学专业组执行委员,负责阿里妈妈广告技术事业部以及闲鱼的包括算法、机器学习、工程架构在内的整体技术工作。毕业于清华大学计算机系,2017 年加入阿里巴巴之前,在谷歌工作了 11 年,领导谷歌的展示广告算法团队以及中国地图团队。研究兴趣:主要研究方向为深度学习、展示和搜索广告算法、多模态以及引擎优化等领域。

赵鑫:现为中国人民大学高瓴人工智能学院教授。2014 年 7 月于北京大学获得博士学位,随后进入中国人民大学工作至今。研究领域为信息检索与自然语言处理,尤其是基于大语言模型的基础技术与应用研究,共计发表论文 100 余篇,谷歌学术引用 1 万余次,曾主导研发了伯乐(推荐系统库 RecBole)、妙笔(文本生成库 TextBox)等开源工具。荣获 2020 年吴文俊人工智能优秀青年奖、ECIR 2021 时间检验奖(Test of Time Award)、RecSys 2022 最佳学生论文提名(Best student paper runner-up)、CIKM 2022 最佳资源论文提名(Best resource paper runnerup)等,入选中国科协青年人才托举工程、北京智源青年科学家、CCF-IEEE CS 青年科学家。

卢志武:卢志武博士,中国人民大学高瓴人工智能学院教授,博士生导师。2005 年毕业于北京大学数学科学学院信息科学系,获理学硕士学位;2011 年毕业于香港城市大学计算机系,获 PhD 学位。主要研究方向包括机器学习、计算机视觉等。设计首个公开的中文通用图文预训练模型文澜 BriVL。以主要作者身份发表学术论文 90 余篇,其中在 Nat Commun、TPAMI、IJCV 等国际期刊和 ICML、ICLR、NeurIPS、CVPR、ICCV 等国际会议上发表论文 50 余篇。指导的学生获得 2021 年 CCF 优博、2021 年百度奖学金。担任 CCF 生物信息学专委会委员。担任 NeurIPS、ICML、ICLR、ICCV、CVPR、AAAI、IJCAI 等国际顶级会议的(资深)程序委员。

林衍凯:于 2014 年和 2019 年获得清华大学学士和博士学位。博士毕业后曾在腾讯微信担任高级研究员,于 2022 年加入中国人民大学,任助理教授。其主要研究方向为预训练模型、自然语言处理。曾在 ACL、EMNLP、NAACL、AAAI、IJCAI、NeurIPS 等自然语言处理和人工智能顶级国际会议上发表论文 40 余篇,Google Scholar 统计被引用次数达到 9000 余次,H-index 为 27。其知识指导的自然语言处理研究成果总结为《结构化知识表示学习方法》中的其中三项代表性工作并获评教育部自然科学一等奖,同时成果开源工具包 OpenKE、OpenNRE 在世界影响力最大的开源平台 Github 上获 6400 多个星标,成为国际上知识驱动的自然语言处理的主流工具。曾担任 EMNLP、ACL ARR 等会议的领域主席。

李崇轩:中国人民大学高瓴人工智能学院准聘助理教授,博士生导师。研究方向为概率机器学习。他的代表性工作有:一致性理论下最优的半监督 GAN 方法 Triple-GAN;扩散概率模型在最大似然意义下的最优反向方差估计 Analytic-DPM。李崇轩获机器学习领域重要国际会议 ICLR 2022 年杰出论文奖,2021 年吴文俊人工智能自然科学奖一等奖,2019 年中国计算机学会优秀博士论文和 2017 年微软学者。李崇轩入选 2021 年北京市科技新星,2019 年中国博士后创新人才支持计划,主持国家自然科学基金面上项目。

徐君:中国人民大学高瓴人工智能学院教授(长聘副教授)、中国人民大学杰出学者特聘教授、北京智源人工智能研究院智源学者。曾就职于微软亚洲研究院、华为诺亚方舟实验室(香港)和中国科学院计算技术研究所,于 2018 年 9 月加入中国人民大学工作至今。研究领域包括互联网搜索与推荐模型和系统,发表论文 100 余篇、专著 2 本、授权专利 10 余个,部分研究成果多次被欧美学者收录于信息检索教科书、应用于微软和华为的搜索和推荐产品。获 ACM SIGIR 2019 Test of Time Award Honorable Mention、CIKM 2017 Best Full Paper Runner-up、CCIR 2022、AIRS 2010 和 ICMLC 2005 最佳论文奖,获北京市自然科学奖二等奖(排名第 2)。主持国家重点研发和国家自然科学基金面上项目。

祁琦:中国人民大学高瓴人工智能学院长聘副教授,博导,国家海外高层次青年人才,CCF 中国计算机学会计算经济学专业组秘书长。博士毕业于美国斯坦福大学,导师叶荫宇教授。曾任香港科技大学助理教授、博导。主要研究方向为算法博弈论、机制设计、优化和多智能体系统。曾在国际一流计算机、人工智能、管理学期刊和会议上发表一作 / 通讯论文 40 余篇,包括 OR、MOR、GEB、TR-B 等著名期刊和 STOC、WINE、CCC、IJCAI、NeurIPS 等计算机顶级会议。主持国家高层次人才计划及多项香港科学基金研究项目。任多个国际人工智能、互联网和博弈领域会议的资深程序委员及会议联合主席。同时长期担任 10 多个国际一流期刊评审。科研成果也具备很强的应用价值,在互联网广告上的研究和应用成果获得了两项美国专利。

陈旭:博士毕业于清华大学,于 2020 年加入中国人民大学,任准聘助理教授。研究方向为推荐系统,强化学习,因果推断等。曾在 TheWebConf、AIJ、TKDE、SIGIR、WSDM、TOIS 等著名国际会议 / 期刊发表论文 60 余篇,Google Scholar 引用 4000 余次。他的研究在一定意义上推动了可解释用户行为分析的发展,研究成果曾获得 CCF A 类会议 TheWebConf 2018 优秀论文提名奖、CCF B 类会议 CIKM 2022 最佳资源论文 Runner Up 奖、亚洲著名信息检索会议 AIRS 2017 最佳论文奖等。同时,他也曾获 CCF 自然科学二等奖(排名第二),ACM - 北京新星奖(北京市三人),北京市优秀毕业生等。研究成果在多家企业落地,相关成果荣获华为 “创新先锋” 总裁奖。他主持 / 参与多项国家自然科学基金以及企业合作项目。

黄文炳:中国人民大学高瓴人工智能学院助理教授、博导。曾在清华大学智能产业研究院担任助理研究员,腾讯 AI Lab 担任高级研究员。研究方向包括几何机器学习理论方法,及其在智能药物发现、物理场景理解与模拟、智能体感知与决策等跨领域任务上的应用。代表性工作包括:训练深度图神经网络的方法 DropEdge;面向大规模图的图神经网络高效训练方法 AS-GCN;针对抗体生成的多通道等变注意力网络 MEAN。在人工智能领域顶级会议或期刊(NeurIPS、ICLR、TPAMI 等)发表论文 40 余篇,谷歌学术引用 6000 多次,单篇引用最高 900 多次。申请发明专利 10 余项,授权 5 项。曾获 ICLR 2023 杰出论文提名奖,腾讯犀牛鸟专项研究卓越奖、NeurIPS 2022 Open Catalyst 比赛冠军、IROS 2020 OCRTOC 机器人挑战赛季军、NeurIPS Outstanding Reviewer 等奖项。

相关文章
|
24天前
|
机器学习/深度学习 人工智能 自然语言处理
当前AI大模型在软件开发中的创新应用与挑战
2024年,AI大模型在软件开发领域的应用正重塑传统流程,从自动化编码、智能协作到代码审查和测试,显著提升了开发效率和代码质量。然而,技术挑战、伦理安全及模型可解释性等问题仍需解决。未来,AI将继续推动软件开发向更高效、智能化方向发展。
|
25天前
|
人工智能 自然语言处理 机器人
文档智能与RAG技术如何提升AI大模型的业务理解能力
随着人工智能的发展,AI大模型在自然语言处理中的应用日益广泛。文档智能和检索增强生成(RAG)技术的兴起,为模型更好地理解和适应特定业务场景提供了新方案。文档智能通过自动化提取和分析非结构化文档中的信息,提高工作效率和准确性。RAG结合检索机制和生成模型,利用外部知识库提高生成内容的相关性和准确性。两者的结合进一步增强了AI大模型的业务理解能力,助力企业数字化转型。
81 3
|
13天前
|
人工智能 自然语言处理 算法
具身智能高校实训解决方案 ----从AI大模型+机器人到通用具身智能
在具身智能的发展历程中,AI 大模型的出现成为了关键的推动力量。高校作为培养未来科技人才的摇篮,需要紧跟这一前沿趋势,开展具身智能实训课程。通过将 AI 大模型与具备 3D 视觉的机器人相结合,为学生搭建一个实践平台。
162 64
|
2天前
|
机器学习/深度学习 人工智能 自然语言处理
GLM-4V-Flash:智谱 AI 免费开放的图像理解大模型 API 接口
智谱AI推出的GLM-4V-Flash是一款专注于图像理解的免费开放大模型,提供API接口支持用户上传图片URL或Base64编码图片获取详细的图像描述。该模型通过深度学习和卷积神经网络技术,简化了图像分析流程,提高了开发效率,适用于内容审核、辅助视障人士、社交媒体、教育和电子商务等多个应用场景。
42 14
GLM-4V-Flash:智谱 AI 免费开放的图像理解大模型 API 接口
|
2天前
|
人工智能 搜索推荐 开发者
Aurora:xAI 为 Grok AI 推出新的图像生成模型,xAI Premium 用户可无限制访问
Aurora是xAI为Grok AI助手推出的新图像生成模型,专注于生成高逼真度的图像,特别是在人物和风景图像方面。该模型支持文本到图像的生成,并能处理包括公共人物和版权形象在内的多种图像生成请求。Aurora的可用性因用户等级而异,免费用户每天能生成三张图像,而Premium用户则可享受无限制访问。
32 11
Aurora:xAI 为 Grok AI 推出新的图像生成模型,xAI Premium 用户可无限制访问
|
4天前
|
存储 人工智能 PyTorch
【AI系统】模型转换流程
本文详细介绍了AI模型在不同框架间的转换方法,包括直接转换和规范式转换两种方式。直接转换涉及从源框架直接生成目标框架的模型文件,而规范式转换则通过一个中间标准格式(如ONNX)作为桥梁,实现模型的跨框架迁移。文中还提供了具体的转换流程和技术细节,以及模型转换工具的概览,帮助用户解决训练环境与部署环境不匹配的问题。
17 5
【AI系统】模型转换流程
|
12天前
|
机器学习/深度学习 人工智能 语音技术
Fugatto:英伟达推出的多功能AI音频生成模型
Fugatto是由英伟达推出的多功能AI音频生成模型,能够根据文本提示生成音频或视频,并修改现有音频文件。该模型基于增强型的Transformer模型,支持复杂的组合指令,具有强大的音频生成与转换能力,广泛应用于音乐创作、声音设计、语音合成等领域。
60 1
Fugatto:英伟达推出的多功能AI音频生成模型
|
26天前
|
存储 人工智能 自然语言处理
AI经营|多Agent择优生成商品标题
商品标题中关键词的好坏是商品能否被主搜检索到的关键因素,使用大模型自动优化标题成为【AI经营】中的核心能力之一,本文讲述大模型如何帮助商家优化商品素材,提升商品竞争力。
AI经营|多Agent择优生成商品标题
|
27天前
|
人工智能 弹性计算 Serverless
触手可及,函数计算玩转 AI 大模型 | 简单几步,轻松实现AI绘图
本文介绍了零售业中“人—货—场”三要素的变化,指出传统营销方式已难以吸引消费者。现代消费者更注重个性化体验,因此需要提供超出预期的内容。文章还介绍了阿里云基于函数计算的AI大模型,特别是Stable Diffusion WebUI,帮助非专业人士轻松制作高质量的促销海报。通过详细的部署步骤和实践经验,展示了该方案在实际生产环境中的应用价值。
77 6
触手可及,函数计算玩转 AI 大模型 | 简单几步,轻松实现AI绘图
|
10天前
|
人工智能 JSON 自然语言处理
智能化AI工具-语言翻译与本地化
在全球化发展的背景下,语言翻译与本地化需求日益增长。无论是跨境电商、国际合作,还是本地化应用开发,都需要高效、准确的翻译解决方案。阿里云通义千问作为一款强大的大语言模型,不仅具备出色的自然语言理解能力,还能够在多语言翻译和本地化场景中发挥重要作用。本博客将详细介绍如何基于阿里云通义千问开发语言翻译与本地化工具,包括产品介绍、程序代码以及阿里云相关产品的具体使用流程。
42 10