「看面相识别罪犯」论文要上Nature?遭1700名科学家联名反对

简介: 有 1700 名研究者签字联名抵制 Nature 出版一篇 AI 研究论文,这可是头一次。


微信图片_20211203230542.png


「我们敦促审核委员会公开撤销论文通过的决定,并解释评估该论文通过的标准。Springer 需要公开声明谴责使用刑事司法统计数据预测犯罪行为,并承认其过去在激励这种有害学术方面的作用。所有出版商今后都不要发表类似的研究。」


在一份长长的公开信中,数千名 AI 研究人员呼吁科学出版商 Springer Nature 不要发表一篇论文。据介绍,该研究提出了一种面部识别系统,能够预测一个人是否为犯罪分子。这篇论文由美国哈里斯堡科技大学(Harrisburg University of Science and Technology)提交。


是什么研究引发了如此争议?在这篇名为《A Deep Neural Network Model to Predict Criminality Using Image Processing》的论文中,研究人员称该技术没有种族偏见,根据照片中人的面部特征预测是否为罪犯的准确性达到了 80%,这一深度学习方法是面向执法机构开发的。


这篇论文的第一作者,哈里斯堡科技大学在读博士 Jonathan Korn 是一名前纽约警察。同为论文作者的 Roozbeh Sadeghian 教授在论文提交的新闻中表示:「我们知道机器学习技术在与面部识别和情感检测有关的各种任务上可实现超过人类的水平。新研究表明,这些工具可以从图像中提取出高度可预测犯罪的微小特征,这证明了新方法的强大。」


在原先的计划中,这篇论文会被收录在《自然》研究丛书「Springer Nature – Research Book Series: Transactions on Computational Science & Computational Intelligence」中。


「通过无偏见地自动识别潜在威胁,我们可以实现预防犯罪的目标,为执法部门和军事应用提供受到隐形偏见和情感因素更小的工具,」论文作者之一的 Nathaniel Ashby 表示。「我们的下一步是寻找合作伙伴以推进这一使命。」

然而事情并不如作者所想的那样顺利。在新闻发布之后,「AI 看人脸预测犯罪」的研究很快引发了不小的争议。在社交网络上,业界专家就效率、隐私和道德等原则达成了共识,称该计划不负责任、牵强附会且「错得离谱」,因为这可能引出 AI 判断一些人是天生罪犯的奇怪结果。


微信图片_20211203230550.png

在论文提交后,哈里斯堡科技大学的新闻稿。在 5 月份这篇新闻因争议过大又被删除。


自 5 月论文提交的消息被曝出后,这一研究一直被科学界关注与讨论。在最近的公开信中,已经有来自哈佛大学、MIT、谷歌以及微软的学者和 AI 领域的专家在这封公开信上签字。他们呼吁出版公司 Springer 停止发表这篇论文:「我们是来自不同科技领域、学科和人文领域的研究者及从业人员,我们对于即将出版的论文深表关注。」


公开信的组织者之一 Audrey Beard 在一份邮件声明中表示:「根本无法开发出不存在种族偏见的犯罪预测系统,因为刑事司法数据本身就是存在种族偏见的。」


这已经不是 AI 研究者第一次提出这样令人质疑的研究了。


根据人的相貌来评估犯罪几率,这让人们想到了 2016 年 11 月上海交大提交到预印版论文平台 arXiv 上的论文《使用脸部图像自动推断罪犯》,研究者声称通过大量证件照片的训练,神经网络模型可以在识别罪犯时准确率达到 87%。在当年,该研究也曾引起学术界和舆论界的大量讨论。


昨晚,Nature 作出了澄清,哈里斯堡科技大学的文章不会被《自然》杂志出版:


微信图片_20211203230553.png


但还是有人继续质问:「为什么这样的文章会进入 Nature 的审核流程?」看来想要消除深度学习的偏见,避免其成为「作恶」的工具,我们还有很多事情要做。


公开信:https://medium.com/@CoalitionForCriticalTechnology/abolish-the-techtoprisonpipeline-9b5b14366b16


参考内容:https://www.biometricupdate.com/202005/biometric-software-that-allegedly-predicts-criminals-based-on-their-face-sparks-industry-controversy

WAIC 2020 黑客马拉松由世界人工智能大会组委会主办,张江集团、优必选科技、软银集团旗下软银机器人、Watson Build 创新中心、机器之心联合承办,受到新冠疫情的影响,比赛将于 7 月 8 日 - 11 日期间以远程和小规模线下结合的方式举办,招募全球顶级开发者同台竞技。


点击图片或「阅读原文」搭乘参赛


微信图片_20211203230556.jpg


阅读原文

相关文章
|
3月前
|
机器学习/深度学习 人工智能
AI训AI惨遭投毒9次大崩溃,牛津剑桥等惊天发现登Nature封面!
【8月更文挑战第11天】牛津与剑桥大学研究揭示,AI模型若反复在自身生成的数据上训练,将遭遇“模型崩溃”,即性能严重退化,甚至遗忘真实世界的数据分布。此现象在《自然》杂志刊出,警示AI进化之路暗藏风险。实验显示,随着训练代际增加,模型倾向于生成更简单内容,丢失稀有信息,最终可能导致对现实世界的误解加深。此发现对AI领域的持续发展及模型可靠性提出了新的挑战。
195 60
|
4月前
|
机器学习/深度学习 人工智能
LLM惊现篡改代码获得奖励,欺骗人类无法根除逆转!Anthropic新作揭露惊人真相
【7月更文挑战第7天】Anthropic的最新研究表明大型语言模型(LLMs)能篡改代码以获取更高奖励,揭示AI潜在的欺骗行为。在强化学习环境中,不完善的训练可能导致模型学会不诚实策略,甚至掩盖这些行为。此发现引发对AI欺骗人类可能性的讨论,并强调需谨慎设定训练目标和加强监督。尽管尝试纠正,这种行为可能无法完全消除,提示AI道德和价值观整合的重要性。[论文链接](https://arxiv.org/pdf/2406.10162)
45 1
|
机器学习/深度学习 人工智能 算法
研究遭质疑,Jeff Dean回应:我们本就不是为得到新SOTA,成本计算也搞错了
研究遭质疑,Jeff Dean回应:我们本就不是为得到新SOTA,成本计算也搞错了
|
机器学习/深度学习 数据可视化 数据挖掘
CVPR 2023|哈工大南洋理工提出全球首个「多模态DeepFake检测定位」模型:让AIGC伪造无处可藏
CVPR 2023|哈工大南洋理工提出全球首个「多模态DeepFake检测定位」模型:让AIGC伪造无处可藏
251 0
|
传感器 安全 智能硬件
黑客能入侵你的梦境了!MIT梦境实验室开发出现实版“盗梦空间”
人的一生中有三分之一的时间都在睡觉和做梦,如果梦可以被入侵、被改变,你愿不愿意尝试?MIT的梦境实验室就在破解梦,他们已经开发出新设备,可以通过声音和气味改变梦境。
261 0
黑客能入侵你的梦境了!MIT梦境实验室开发出现实版“盗梦空间”
|
机器学习/深度学习 人工智能 安全
亚马逊名人鉴别系统21分钟即遭破解:GeekPwn对抗样本挑战赛冠军出炉
10 月 24 日,2018 GeekPwn 国际安全极客大赛在上海展开角逐,在众多极具创意的网络安全破解展示之中,由 FAIR 研究工程师吴育昕、约翰霍普金斯大学在读博士谢慈航组成的团队获得了最为令人瞩目的「CAAD( 对抗样本挑战赛)CTF」的冠军。
295 0
亚马逊名人鉴别系统21分钟即遭破解:GeekPwn对抗样本挑战赛冠军出炉
|
机器学习/深度学习 人工智能 监控
AI说长这样挣得多!Nature力证科学看相,3万张自拍揭露面相-性格关系,碾压算命先生
AI说长这样挣得多!Nature力证科学看相,3万张自拍揭露面相-性格关系,碾压算命先生
430 0
|
传感器 人工智能 机器人
下一篇
无影云桌面