2020年,谷歌的深度强化学习方法AlphaChip在Nature杂志上发表,并开源在GitHub上。这一方法能够生成超越人类水平的芯片布局,引发了AI在芯片设计领域研究的热潮。AlphaChip已被广泛应用于Alphabet公司内部以及外部芯片制造商的最先进芯片中。然而,近期有一篇未经过同行评审的论文在ISPD 2023会议上对AlphaChip的性能提出了质疑。
这篇论文的作者并未按照Nature论文中描述的方法运行AlphaChip,例如他们没有进行预训练(这剥夺了AlphaChip从先前经验中学习的能力),使用了显著更少的计算资源(20倍更少的RL经验收集器和一半的GPU数量),没有进行到收敛的训练(这是机器学习的标准做法),并且在不具代表性的现代芯片测试用例上进行了评估。
针对这些质疑,谷歌DeepMind的Azalia Mirhoseini和Jeff Dean等人发表了一篇名为《That Chip Has Sailed: A Critique of Unfounded Skepticism Around AI for Chip Design》的论文,对这些质疑进行了回应。
首先,他们指出AlphaChip在Nature发表后,已经在三个TPU世代、数据中心CPU(Axion)以及其他Alphabet芯片中生成了超越人类水平的芯片布局。此外,AlphaChip还被外部学术界和芯片制造商扩展到芯片设计的新领域。
然后,他们详细分析了ISPD 2023论文中的主要错误。首先,该论文没有进行预训练,而预训练是AlphaChip能够从先前经验中学习的关键优势。其次,他们使用了显著更少的计算资源,这可能会损害性能或需要更长的时间才能达到相同的(或更差的)性能。第三,他们没有进行到收敛的训练,而训练到收敛是机器学习的标准做法,不这样做会损害性能。最后,他们在不具代表性的现代芯片测试用例上进行了评估,这些测试用例在物理设计方面与Nature论文中使用的测试用例存在显著差异。
除了ISPD 2023论文,Igor Markov还发表了一篇所谓的“元分析”,对三篇论文进行了评论:Nature论文、ISPD论文和他自己的未发表论文(尽管他没有披露自己是这篇论文的合著者)。然而,这篇“元分析”并没有提供任何原始数据,并且存在许多问题,例如它没有描述任何形式的所谓的“樱桃挑选”,也没有提供任何证据。
此外,Markov还提出了一个关于谷歌内部“吹哨人”的担忧,但这个“吹哨人”向谷歌调查人员承认,他没有理由相信存在欺诈行为。Markov在他的“元分析”中还进行了毫无根据的猜测,暗示谷歌可能只是在“自我测试”AlphaChip方法,允许使用性能较差的AlphaChip布局来支持他们的研究论文。然而,这种说法是荒谬的,因为谷歌更关心的是TPU设计的效率,这是一个价值数十亿美元的项目,对谷歌的云和AI计划至关重要,而不是一篇研究论文。
为了澄清事实,谷歌提供了一个事件时间线,包括非机密的部署情况。他们指出,在Nature论文发表之前,AlphaChip布局已经在TPU v5e中进行了流片。此外,在Nature论文发表后,AlphaChip布局在TPU v5p和最新的公共TPU(Trillium)中进行了流片。谷歌还指出,在2022年,一个独立的谷歌委员会拒绝了Markov等人的论文,因为数据不支持其主张和结论。
最后,谷歌强调了AlphaChip的开放性,他们已经开源了一个软件存储库,以完全重现Nature论文中描述的方法。他们还指出,ISPD 2023论文的作者没有必要“逆向工程”他们提供的两个二进制文件(用于性能优化的代理成本函数和力导向标准单元布局器),因为这些文件已经在他们的开源存储库中提供了。