登上Nature的AI芯片设计屡遭质疑,谷歌发文反击,Jeff Dean:质疑者连预训练都没做

简介: 2020年,谷歌的AlphaChip在Nature上发表并开源,其深度强化学习方法能生成超越人类水平的芯片布局,引发AI在芯片设计领域的研究热潮。然而,ISPD 2023的一篇论文对其性能提出质疑,指出未按Nature论文方法运行、计算资源不足等问题。谷歌DeepMind团队回应,强调AlphaChip已在多代TPU和Alphabet芯片中成功应用,并批驳ISPD论文的主要错误。此外,针对Igor Markov的“元分析”和无根据猜测,谷歌提供了详细的时间线和非机密部署情况,澄清事实并重申AlphaChip的开放性和透明度。

2020年,谷歌的深度强化学习方法AlphaChip在Nature杂志上发表,并开源在GitHub上。这一方法能够生成超越人类水平的芯片布局,引发了AI在芯片设计领域研究的热潮。AlphaChip已被广泛应用于Alphabet公司内部以及外部芯片制造商的最先进芯片中。然而,近期有一篇未经过同行评审的论文在ISPD 2023会议上对AlphaChip的性能提出了质疑。

这篇论文的作者并未按照Nature论文中描述的方法运行AlphaChip,例如他们没有进行预训练(这剥夺了AlphaChip从先前经验中学习的能力),使用了显著更少的计算资源(20倍更少的RL经验收集器和一半的GPU数量),没有进行到收敛的训练(这是机器学习的标准做法),并且在不具代表性的现代芯片测试用例上进行了评估。

针对这些质疑,谷歌DeepMind的Azalia Mirhoseini和Jeff Dean等人发表了一篇名为《That Chip Has Sailed: A Critique of Unfounded Skepticism Around AI for Chip Design》的论文,对这些质疑进行了回应。

首先,他们指出AlphaChip在Nature发表后,已经在三个TPU世代、数据中心CPU(Axion)以及其他Alphabet芯片中生成了超越人类水平的芯片布局。此外,AlphaChip还被外部学术界和芯片制造商扩展到芯片设计的新领域。

然后,他们详细分析了ISPD 2023论文中的主要错误。首先,该论文没有进行预训练,而预训练是AlphaChip能够从先前经验中学习的关键优势。其次,他们使用了显著更少的计算资源,这可能会损害性能或需要更长的时间才能达到相同的(或更差的)性能。第三,他们没有进行到收敛的训练,而训练到收敛是机器学习的标准做法,不这样做会损害性能。最后,他们在不具代表性的现代芯片测试用例上进行了评估,这些测试用例在物理设计方面与Nature论文中使用的测试用例存在显著差异。

除了ISPD 2023论文,Igor Markov还发表了一篇所谓的“元分析”,对三篇论文进行了评论:Nature论文、ISPD论文和他自己的未发表论文(尽管他没有披露自己是这篇论文的合著者)。然而,这篇“元分析”并没有提供任何原始数据,并且存在许多问题,例如它没有描述任何形式的所谓的“樱桃挑选”,也没有提供任何证据。

此外,Markov还提出了一个关于谷歌内部“吹哨人”的担忧,但这个“吹哨人”向谷歌调查人员承认,他没有理由相信存在欺诈行为。Markov在他的“元分析”中还进行了毫无根据的猜测,暗示谷歌可能只是在“自我测试”AlphaChip方法,允许使用性能较差的AlphaChip布局来支持他们的研究论文。然而,这种说法是荒谬的,因为谷歌更关心的是TPU设计的效率,这是一个价值数十亿美元的项目,对谷歌的云和AI计划至关重要,而不是一篇研究论文。

为了澄清事实,谷歌提供了一个事件时间线,包括非机密的部署情况。他们指出,在Nature论文发表之前,AlphaChip布局已经在TPU v5e中进行了流片。此外,在Nature论文发表后,AlphaChip布局在TPU v5p和最新的公共TPU(Trillium)中进行了流片。谷歌还指出,在2022年,一个独立的谷歌委员会拒绝了Markov等人的论文,因为数据不支持其主张和结论。

最后,谷歌强调了AlphaChip的开放性,他们已经开源了一个软件存储库,以完全重现Nature论文中描述的方法。他们还指出,ISPD 2023论文的作者没有必要“逆向工程”他们提供的两个二进制文件(用于性能优化的代理成本函数和力导向标准单元布局器),因为这些文件已经在他们的开源存储库中提供了。

论文地址:https://arxiv.org/pdf/2411.10053

目录
相关文章
|
16天前
|
供应链 监控 安全
对话|企业如何构建更完善的容器供应链安全防护体系
阿里云与企业共筑容器供应链安全
171338 13
|
18天前
|
供应链 监控 安全
对话|企业如何构建更完善的容器供应链安全防护体系
随着云计算和DevOps的兴起,容器技术和自动化在软件开发中扮演着愈发重要的角色,但也带来了新的安全挑战。阿里云针对这些挑战,组织了一场关于云上安全的深度访谈,邀请了内部专家穆寰、匡大虎和黄竹刚,深入探讨了容器安全与软件供应链安全的关系,分析了当前的安全隐患及应对策略,并介绍了阿里云提供的安全解决方案,包括容器镜像服务ACR、容器服务ACK、网格服务ASM等,旨在帮助企业构建涵盖整个软件开发生命周期的安全防护体系。通过加强基础设施安全性、技术创新以及倡导协同安全理念,阿里云致力于与客户共同建设更加安全可靠的软件供应链环境。
150296 32
|
26天前
|
弹性计算 人工智能 安全
对话 | ECS如何构筑企业上云的第一道安全防线
随着中小企业加速上云,数据泄露、网络攻击等安全威胁日益严重。阿里云推出深度访谈栏目,汇聚产品技术专家,探讨云上安全问题及应对策略。首期节目聚焦ECS安全性,提出三道防线:数据安全、网络安全和身份认证与权限管理,确保用户在云端的数据主权和业务稳定。此外,阿里云还推出了“ECS 99套餐”,以高性价比提供全面的安全保障,帮助中小企业安全上云。
201962 14
对话 | ECS如何构筑企业上云的第一道安全防线
|
4天前
|
机器学习/深度学习 自然语言处理 PyTorch
深入剖析Transformer架构中的多头注意力机制
多头注意力机制(Multi-Head Attention)是Transformer模型中的核心组件,通过并行运行多个独立的注意力机制,捕捉输入序列中不同子空间的语义关联。每个“头”独立处理Query、Key和Value矩阵,经过缩放点积注意力运算后,所有头的输出被拼接并通过线性层融合,最终生成更全面的表示。多头注意力不仅增强了模型对复杂依赖关系的理解,还在自然语言处理任务如机器翻译和阅读理解中表现出色。通过多头自注意力机制,模型在同一序列内部进行多角度的注意力计算,进一步提升了表达能力和泛化性能。
|
8天前
|
存储 人工智能 安全
对话|无影如何助力企业构建办公安全防护体系
阿里云无影助力企业构建办公安全防护体系
1254 10
|
10天前
|
机器学习/深度学习 自然语言处理 搜索推荐
自注意力机制全解析:从原理到计算细节,一文尽览!
自注意力机制(Self-Attention)最早可追溯至20世纪70年代的神经网络研究,但直到2017年Google Brain团队提出Transformer架构后才广泛应用于深度学习。它通过计算序列内部元素间的相关性,捕捉复杂依赖关系,并支持并行化训练,显著提升了处理长文本和序列数据的能力。相比传统的RNN、LSTM和GRU,自注意力机制在自然语言处理(NLP)、计算机视觉、语音识别及推荐系统等领域展现出卓越性能。其核心步骤包括生成查询(Q)、键(K)和值(V)向量,计算缩放点积注意力得分,应用Softmax归一化,以及加权求和生成输出。自注意力机制提高了模型的表达能力,带来了更精准的服务。
|
9天前
|
人工智能 自然语言处理 程序员
通义灵码2.0全新升级,AI程序员全面开放使用
通义灵码2.0来了,成为全球首个同时上线JetBrains和VSCode的AI 程序员产品!立即下载更新最新插件使用。
1358 24
|
9天前
|
消息中间件 人工智能 运维
1月更文特别场——寻找用云高手,分享云&AI实践
我们寻找你,用云高手,欢迎分享你的真知灼见!
682 28
1月更文特别场——寻找用云高手,分享云&AI实践
|
14天前
|
人工智能 自然语言处理 API
阿里云百炼xWaytoAGI共学课DAY1 - 必须了解的企业级AI应用开发知识点
本课程旨在介绍阿里云百炼大模型平台的核心功能和应用场景,帮助开发者和技术小白快速上手,体验AI的强大能力,并探索企业级AI应用开发的可能性。
|
8天前
|
机器学习/深度学习 人工智能 自然语言处理