GeekPwn 旨在通过集结全球最强黑客，通过预演智能设备及人工智能应用的破解，助力人们解决互联网领域中的各类安全问题。今年的大赛已是第五届。
本次大赛联合 GAN 之父 Ian Goodfellow，谷歌大脑科学家 Alexey Kurakin、加州伯克利教授宋晓冬等人共同发起、推出了 CAAD 对抗样本攻防赛（Competition on Adversarial Attacks and Defenses），致力于推动人工智能机器学习领域对抗攻击防御的技术发展。
据悉，该比赛于今年 5 月线上赛正式开赛。大赛聚焦让机器学习分类器频频犯错的对抗样本问题，通过机器学习图像识别领域的安全攻防对抗研究，预演 AI 领域可能存在的风险。「对抗样本攻防赛」针对图像识别领域的对抗攻击与防御研究分别设置了三个项目。
21 分钟破解亚马逊 Celebrity Recognition
线上的比赛在 9 月已经结束，赛会从全球的 100 余支队伍中选出了最强的 6 支队伍参加了24号的决赛。而在激烈的现场比赛之后，由吴育昕与谢慈航组成的「IYSWIM」战队同时取得了上下两个半场比赛的胜利，获得了最终的冠军。
在决赛上半场中，赛会要求所有选手进行非定向图片（将飞行器识别为任何其他物体）、定向图片（将武器识别为特定的其他物品）以及亚马逊名人鉴别系统（将大赛主持人蒋昌建的照片识别为施瓦辛格）共计三种图像的对抗样本攻击。由于在比赛前选手并不知晓题目模型所采用的算法，所以此类攻击也被称为「黑盒攻击」，其中第三个挑战在赛前更是被评委视为「无法完成的任务」。
令人惊讶的是，IYSWIM 战队在限时 30 分钟的比赛中，首先于 21 分钟破解了亚马逊名人鉴别系统 Celebrity Recognition，并随后在定向图片的对抗样本攻击上破解成功，取得了领先。
吴育昕在 CAAD CTF比赛中
在下半场的比赛中，参赛的六队选手们各自设置了预先准备好的对抗样本防御体系，并互相展开攻击，攻击成功的次数越多，则得到的分数越高。IYSWIM 战队在比赛中后来居上，取得了下半场的胜利。
在比赛结束后，吴育昕作为获胜团队的代表向我们进行了介绍。与多数人工智能数据竞赛不同，本次竞赛需要参赛者利用预先训练好的机器学习模型，在 30 分钟内提交结果，试图攻破赛会设置的几个图像识别系统，每张图片上可以修改的像素数量被限制在 32 以内。
IYSWIM 是决赛中唯一一个攻破亚马逊人脸识别技术的团队，吴育昕表示这是一个非常困难的挑战：「在学术界我也没有搜索到以往存在人脸识别上的对抗样本研究。对此，我们仿照图片分类上的一些方法进行了尝试——在这之前，我也没想到我们使用的方法是有效的。」
在模型设计上，获胜战队使用了多种模型整合的方法，其中包括一些团队成员自行设计的模型，这样的配置取得了良好的效果。
输出这样的对抗样本需要什么样的硬件配置？吴育昕表示不同的方法对于算力的需求不尽相同。依照本次比赛的时限要求，他们选择了能使用一台笔记本电脑几分钟内输出结果的模型。而在训练这些模型的时候，则需要 8 块高性能 GPU 运行一天以上时间。
冠军团队
在 CAAD CTF 比赛中夺冠的团队 IYSWIM 由两人组成，其中来到决赛现场的吴育昕来自 Facebook 人工智能研究部门 FAIR，他主要进行计算机视觉方面的研究。值得一提的是他的论文《Group Normalization》在今年 9 月份刚刚获得了 ECCV 2018 最佳论文荣誉提名奖（参见：ECCV 2018 奖项公布：德国团队获最佳论文，吴育昕、何恺明上榜）。
另一名选手谢慈航则是约翰霍普金斯大学的三年级在读博士，他同样也是计算机视觉方面的学者，曾有多篇论文被 CVPR、ICLR 等人工智能顶会接收。此前，谢慈航在对抗样本方向上有过一些研究。
谢慈航
对抗样本：人工智能的弱点
在神经网络中，导致网络输出结果不正确的输入内容被称为对抗样本。我们可以通过一个例子来进行说明。如下图所示：在某些图像分类网络中，这张图被认为是熊猫的置信度是 57.7%（左图），且其被分类为熊猫类别的置信度是所有类别中最高的，因此神经网络得出一个结论：图像中有一只熊猫。但是，通过添加少量精心构造的噪点，我们可以得到一个这样的图像（右图）：对于人类而言，它和左图几乎一模一样，但神经网络却认为，其被分类为「长臂猿」的置信度高达 99.3%。
图片来源： Explaining and Harnessing Adversarial Examples，Goodfellow et al
为了解决神经网络对抗样本的问题（Szegedy et al., 2013），近期人们对于构建防御对抗样本，增加神经网络鲁棒性的研究越来越多。尽管人们对于对抗样本的认识已经提升，相关的防御方法也有提出，但迄今为止并没有一种完美的解决方法出现。
「对抗样本的研究和其他的研究不太一样，没有特定的方向，」吴育昕表示，「在对抗样本上，人们提出的攻击手段正在不断提高，防御手段也在不断提高。这是一个交替上升的过程。我也只是在最近几个月才开始接触这一方向。我认为目前人们还无法找到完美的攻击或防御方式，大家还在不断地互相提高。」
面对挑战，GAN 提出者 Ian Goodfellow 曾联合 Alexey Kurakin、Samy Bengio 共同在 2017 年的 NIPS 大会上举办了对抗样本攻防竞赛，以推动人们在对抗样本方面的研究。近年来人们对于这一方面的研究也越来越多。
「我们可以看到，目前的人工智能在图像识别上还有很多问题。」吴育昕表示。在未来，随着人工智能技术的发展，AI 必将负责控制越来越多重要任务，这意味着类似于对抗样本的机器学习安全漏洞可能带来巨大的危害。GeekPwn 极客大赛为我们带来了提前发现、解决问题的机会。
