IBM宣布放弃人脸识别!不做种族主义帮凶?还是业务不行取悦民众?

简介: IBM宣布放弃人脸识别!不做种族主义帮凶?还是业务不行取悦民众?

弗洛伊德事件持续升温,并且这只蝴蝶翅膀,正在技术领域掀起一次海啸。

6月9日,IBM首席执行官Arvind Krishna宣布,由于“人脸识别技术可能存在种族和性别歧视”,IBM将不再开发和提供人脸识别技术以及相关服务。

在一封公开信中,Krishna对IBM放弃人脸识别这块“大蛋糕”进行了解释:

IBM坚决反对并且绝不容忍任何将技术(包括其他供应商提供的人脸识别技术)用于大规模监视、种族歧视、侵犯基本人权和自由或任何与价值观和信任原则不符的行动中。我们认为,现在是时候开始关于国内执法机构是否以及如何使用面部识别技术的全国对话(national dialogue)。

IBM没有明确表明正式退出人脸识别领域的公布时间,但是Krishna告诉国会议员,应该就使用面部识别服务这一话题进行一次全国对话。

日前,美国反种族主义抗议正在进行时,在信中,Krishna也对一项旨在减少警察暴力和增加问责制的新法案表示支持。而IBM的这一行为将种族歧视这一顽疾再度引向舆论高潮,网友对此也议论纷纷,有人表示,“总会有人取而代之”。

也有网友表示,“这才是领导力”。

在人脸识别领域,IBM的市场份额并不大,但是IBM的主要客户之一是政府机构,此次Krishna的说法也将对政府业务产生一定的影响。

IBM:不做种族主义的帮凶?

以人脸识别为代表的信息隐私在技术领域内也曾引起多次讨论。

比如去年,亚马逊就针对面部识别技术的使用进行了股东投票,结果显示,2.4%的股东投票赞成在隐私和民权方面禁止向政府机构出售该技术。

如今,弗洛伊德事件成为又一“导火索”,IBM也加入到对技术伦理的探讨中。

根据一位知情人士透露,IBM的这项决定与弗洛伊德事件有着直接关系。但即使如此,要放弃投资已久并且市场前景火热的人脸识别业务,也显得有些因噎废食了。

不过,Krishna在公开信中所写到的,“AI是一个强大的工具,可以帮助执法机构保护公民安全。但是Al供应商和用户应该共同肩负起责任,对Al进行偏见测试、审计和报告,尤其是在执法中使用时”。

这样的发言也可以视为对人脸识别领域的一次郑重的诀别了。

迎合民意,IBM顺水推舟裁掉业务线?

但作为一家科技公司,IBM的目的可以这么单纯吗?

这位知情人士还透露道,IBM的这项决定和人脸识别给公司带来的收益太少也有很大关系。

对于IBM来说,人脸识别技术还处于起步阶段,就公司内部的长远发展而言,人脸识别技术的应用场景也并没有意料之中的丰富。

仍以亚马逊为例,亚马逊的Rekognition虽然已经被不少执法机构使用,但是在该领域内似乎没有很被看好。

这也是IBM现在的处境,如果只是用质量勉强过关的产品在市场进行竞争,这对IBM来说没有什么好处。

目前还无法猜测未来IBM将沿着怎样的路线进行AI研究。不过,根据路透社的报道,IBM的视觉技术将限制在视觉对象检测上,而不是用于人脸分析和识别。

IBM曾创建百万人脸数据库,用以防止偏见

去年IBM还建立了一个更多样化的,包含百万人脸图像的数据集,希望能够更好的减少AI的偏见,尤其是种族方面,IBM将重点放在了编码方案上。

关于如何区分“Ethnicity”和“Race”,创建了这个数据集的John R. Smith解释道:

Ethnicity和Race通常可以互换使用,尽管前者更多是与文化相关,而后者主要与生物学有关。两者之间的界限都不明显,如果用标签的话,会面临主观和杂乱的问题,就像在之前的工作中发现的那样。取而代之的是,我们选择专注于可以可靠确定并具有某种连续规模的编码方案,从而可以提供多样性分析。我们可能会回到这些主观的范畴。

然而,即使有100万张面孔,也不能保证这组面孔具有足够的代表性——所有群体和子集都有足够的面孔来防止偏见。事实上,Smith似乎确信事实并非如此,这是唯一合乎逻辑的立场:

在第一个版本的数据集中,我们不能保证这一点。但是,这是我们的目标。首先,我们需要弄清楚多样性的维度,从这个版本中的数据和编码方案开始,然后进行迭代。希望我们能在这个过程中带动更大的研究团体和行业。

性别、肤色,AI偏见无处不在

尽管IBM在防止人脸识别的偏见上做出了不小贡献,他们也坚信未来人脸识别技术将会越来越主流,但是过去几周,IBM内部不少员工仍然对公司人脸识别技术表示出了不同程度的担忧。

事实上,这项担忧不是全无道理。

2017年,Algorithmic Justice League的创始人Joy Buolamwini对IBM、微软、矿视3家专注于人脸识别领域的科技公司的相关算法进行了偏见测试。

相关链接:
http://gendershades.org/overview.html

虽然在整体上,3家公司都达到了90%的识别准确率,但是当用“性别”、“肤色”等标签进行分类查看时,效果也就没有那么尽如人意。

这就是Buolamwini所想要进行测试和验证的地方。

Buolamwini收集到了来自3个非洲国家和3个欧洲国家的1270张人脸照片,然后将这些照片用不同的标签进行分类。

比如,在性别上,3家公司的算法针对男性的识别率都要优于女性。

同时,可以想见,在肤色上,对深色人种的识别准确率要远低于白种人。

综合考察的结果是,对深肤色女性,3家公司的表现都是最差的。不过值得注意的一点是,矿视在深肤色男性的识别准确率上却是所有分类中最高的。

具体到IBM来说,算法准确率的差距是最大的,浅肤色男性和深肤色女性的错误率相差达到了34.4%。

在收到检测结果后,IBM相关负责人当天就回复表示,他们已经着手对相关算法进行优化。

在这份报告中,Buolamwini表示,在进行评估前,这3家公司都没有对其算法在性别、皮肤类型、种族、年龄或其他属性方面的表现进行过介绍。

但是,以人脸识别为例,如果想要创建适用于全人类的系统,那么产品的包容性测试和报告是十分必要的。不过,准确性也不是唯一需要考虑的问题,人脸识别可能被独裁政府、个人对手和掠夺公司滥用,因此在开发相关技术时,持续的监督和限制是必不可少的。

如今我们都知道,AI并非如此前料想那般中立,在AI程序内部,反映的是那些塑造AI的人们眼中的优先级顺序、偏好和偏见,也就是所谓的编码的目光(coded gaze)。

如果沉浸在机器中立的错误假设下,不管是对于社会还是技术本身都将带来不良影响,虽然IBM即将退出人脸识别领域的竞争,但是弗洛伊德事件也这类事件再度敲响警钟,我们必须增弗洛伊德事件持续升温,并且这只蝴蝶翅膀,正在技术领域掀起一次海啸。

6月9日,IBM首席执行官Arvind Krishna宣布,由于“人脸识别技术可能存在种族和性别歧视”,IBM将不再开发和提供人脸识别技术以及相关服务。

在一封公开信中,Krishna对IBM放弃人脸识别这块“大蛋糕”进行了解释:

IBM坚决反对并且绝不容忍任何将技术(包括其他供应商提供的人脸识别技术)用于大规模监视、种族歧视、侵犯基本人权和自由或任何与价值观和信任原则不符的行动中。我们认为,现在是时候开始关于国内执法机构是否以及如何使用面部识别技术的全国对话(national dialogue)。

IBM没有明确表明正式退出人脸识别领域的公布时间,但是Krishna告诉国会议员,应该就使用面部识别服务这一话题进行一次全国对话。

日前,美国反种族主义抗议正在进行时,在信中,Krishna也对一项旨在减少警察暴力和增加问责制的新法案表示支持。而IBM的这一行为将种族歧视这一顽疾再度引向舆论高潮,网友对此也议论纷纷,有人表示,“总会有人取而代之”。

也有网友表示,“这才是领导力”。

在人脸识别领域,IBM的市场份额并不大,但是IBM的主要客户之一是政府机构,此次Krishna的说法也将对政府业务产生一定的影响。

IBM:不做种族主义的帮凶?

以人脸识别为代表的信息隐私在技术领域内也曾引起多次讨论。

比如去年,亚马逊就针对面部识别技术的使用进行了股东投票,结果显示,2.4%的股东投票赞成在隐私和民权方面禁止向政府机构出售该技术。

如今,弗洛伊德事件成为又一“导火索”,IBM也加入到对技术伦理的探讨中。

根据一位知情人士透露,IBM的这项决定与弗洛伊德事件有着直接关系。但即使如此,要放弃投资已久并且市场前景火热的人脸识别业务,也显得有些因噎废食了。

不过,Krishna在公开信中所写到的,“AI是一个强大的工具,可以帮助执法机构保护公民安全。但是Al供应商和用户应该共同肩负起责任,对Al进行偏见测试、审计和报告,尤其是在执法中使用时”。

这样的发言也可以视为对人脸识别领域的一次郑重的诀别了。

迎合民意,IBM顺水推舟裁掉业务线?

但作为一家科技公司,IBM的目的可以这么单纯吗?

这位知情人士还透露道,IBM的这项决定和人脸识别给公司带来的收益太少也有很大关系。

对于IBM来说,人脸识别技术还处于起步阶段,就公司内部的长远发展而言,人脸识别技术的应用场景也并没有意料之中的丰富。

仍以亚马逊为例,亚马逊的Rekognition虽然已经被不少执法机构使用,但是在该领域内似乎没有很被看好。

这也是IBM现在的处境,如果只是用质量勉强过关的产品在市场进行竞争,这对IBM来说没有什么好处。

目前还无法猜测未来IBM将沿着怎样的路线进行AI研究。不过,根据路透社的报道,IBM的视觉技术将限制在视觉对象检测上,而不是用于人脸分析和识别。

IBM曾创建百万人脸数据库,用以防止偏见

去年IBM还建立了一个更多样化的,包含百万人脸图像的数据集,希望能够更好的减少AI的偏见,尤其是种族方面,IBM将重点放在了编码方案上。

关于如何区分“Ethnicity”和“Race”,创建了这个数据集的John R. Smith解释道:

Ethnicity和Race通常可以互换使用,尽管前者更多是与文化相关,而后者主要与生物学有关。两者之间的界限都不明显,如果用标签的话,会面临主观和杂乱的问题,就像在之前的工作中发现的那样。取而代之的是,我们选择专注于可以可靠确定并具有某种连续规模的编码方案,从而可以提供多样性分析。我们可能会回到这些主观的范畴。

然而,即使有100万张面孔,也不能保证这组面孔具有足够的代表性——所有群体和子集都有足够的面孔来防止偏见。事实上,Smith似乎确信事实并非如此,这是唯一合乎逻辑的立场:

在第一个版本的数据集中,我们不能保证这一点。但是,这是我们的目标。首先,我们需要弄清楚多样性的维度,从这个版本中的数据和编码方案开始,然后进行迭代。希望我们能在这个过程中带动更大的研究团体和行业。

性别、肤色,AI偏见无处不在

尽管IBM在防止人脸识别的偏见上做出了不小贡献,他们也坚信未来人脸识别技术将会越来越主流,但是过去几周,IBM内部不少员工仍然对公司人脸识别技术表示出了不同程度的担忧。

事实上,这项担忧不是全无道理。

2017年,Algorithmic Justice League的创始人Joy Buolamwini对IBM、微软、矿视3家专注于人脸识别领域的科技公司的相关算法进行了偏见测试。

相关链接:
http://gendershades.org/overview.html

虽然在整体上,3家公司都达到了90%的识别准确率,但是当用“性别”、“肤色”等标签进行分类查看时,效果也就没有那么尽如人意。

这就是Buolamwini所想要进行测试和验证的地方。

Buolamwini收集到了来自3个非洲国家和3个欧洲国家的1270张人脸照片,然后将这些照片用不同的标签进行分类。

比如,在性别上,3家公司的算法针对男性的识别率都要优于女性。

同时,可以想见,在肤色上,对深色人种的识别准确率要远低于白种人。

综合考察的结果是,对深肤色女性,3家公司的表现都是最差的。不过值得注意的一点是,矿视在深肤色男性的识别准确率上却是所有分类中最高的。

具体到IBM来说,算法准确率的差距是最大的,浅肤色男性和深肤色女性的错误率相差达到了34.4%。

在收到检测结果后,IBM相关负责人当天就回复表示,他们已经着手对相关算法进行优化。

在这份报告中,Buolamwini表示,在进行评估前,这3家公司都没有对其算法在性别、皮肤类型、种族、年龄或其他属性方面的表现进行过介绍。

但是,以人脸识别为例,如果想要创建适用于全人类的系统,那么产品的包容性测试和报告是十分必要的。不过,准确性也不是唯一需要考虑的问题,人脸识别可能被独裁政府、个人对手和掠夺公司滥用,因此在开发相关技术时,持续的监督和限制是必不可少的。

如今我们都知道,AI并非如此前料想那般中立,在AI程序内部,反映的是那些塑造AI的人们眼中的优先级顺序、偏好和偏见,也就是所谓的编码的目光(coded gaze)。

如果沉浸在机器中立的错误假设下,不管是对于社会还是技术本身都将带来不良影响,虽然IBM即将退出人脸识别领域的竞争,但是弗洛伊德事件也这类事件再度敲响警钟,我们必须增加透明度和问责制度,确保技术能够在合理的地方发光发热。

相关报道:
https://www.theguardian.pe.ca/business/reuters/ibm-gets-out-of-facial-recognition-business-459724/
https://techcrunch.com/2020/06/08/ibm-ends-all-facial-recognition-work-as-ceo-calls-out-bias-and-inequality/
https://web.archive.org/web/20200609023524/https://www.axios.com/ibm-is-exiting-the-face-recognition-business-62e79f09-34a2-4f1d-a541-caba112415c6.html
https://techcrunch.com/2019/01/29/ibm-builds-a-more-diverse-million-face-dataset-to-help-reduce-bias-in-ai/
https://www.cnbc.com/2020/06/08/ibm-gets-out-of-facial-recognition-business-calls-on-congress-to-advance-policies-tackling-racial-injustice.html?__source=sharebar加透明度和问责制度,确保技术能够在合理的地方发光发热。

相关报道:
https://www.theguardian.pe.ca/business/reuters/ibm-gets-out-of-facial-recognition-business-459724/
https://techcrunch.com/2020/06/08/ibm-ends-all-facial-recognition-work-as-ceo-calls-out-bias-and-inequality/
https://web.archive.org/web/20200609023524/https://www.axios.com/ibm-is-exiting-the-face-recognition-business-62e79f09-34a2-4f1d-a541-caba112415c6.html
https://techcrunch.com/2019/01/29/ibm-builds-a-more-diverse-million-face-dataset-to-help-reduce-bias-in-ai/
https://www.cnbc.com/2020/06/08/ibm-gets-out-of-facial-recognition-business-calls-on-congress-to-advance-policies-tackling-racial-injustice.html?__source=sharebar

相关文章
|
机器学习/深度学习 人工智能 自然语言处理
阳过→阳康,数据里的时代侧影;谷歌慌了!看各公司如何应对ChatGPT;两份优质AI年报;本周技术高光时刻 | ShowMeAI每周通讯 #003-12.24
这是ShowMeAI每周通讯的第3期。本期内容关键词:新冠、ChatGPT、2022 AI 报告、腾讯·绝悟、阿里·AliceMind、小红书·全站智投、OpenAI·Point-E、Google·CALM、Wayve·MILE、AI2·MemPrompt、Stanford x MosaicML·PubMed GPT、腾讯全员大会、特斯拉裁员、图森未来裁员、AI 应用与工具大全。
543 0
阳过→阳康,数据里的时代侧影;谷歌慌了!看各公司如何应对ChatGPT;两份优质AI年报;本周技术高光时刻 | ShowMeAI每周通讯 #003-12.24
|
运维 数据挖掘 5G
游戏开发者如何应对远程办公新常态?微软 GDC 大会给出答案!
如果说游戏是一种可以让你真正站在别人的立场上体验事物的平台,那么游戏开发者,就是这些体验的先驱。
205 0
游戏开发者如何应对远程办公新常态?微软 GDC 大会给出答案!
|
自然语言处理 算法 搜索推荐
这家默默做技术的创业公司,想要重新定义国产智能硬件的语音交互
Win 10 已经开放下载,可能你已经将电脑升级到这个倾注整个微软团队精力研发的全新系统。在 Win 10 界面的任务栏上,属于 Cortana 语音助理的搜索栏清晰可见。你可以通过“嘿,小娜”直接唤醒,然后让 Ta 回答你的问题。
203 0
这家默默做技术的创业公司,想要重新定义国产智能硬件的语音交互
|
人工智能 算法 5G
“如果有一天苹果丧失创新基因,我会离开。”
“如果有一天苹果丧失创新基因,我会离开。”
190 0
“如果有一天苹果丧失创新基因,我会离开。”
|
机器学习/深度学习 人工智能 自然语言处理
网易有道词典一个小更新,消除了你和全球一半人类的沟通障碍
完全不懂外语的你也可以拿起手机,和老外直接对话了:甚至不需要选择彼此说着的是什么语言。
267 0
网易有道词典一个小更新,消除了你和全球一半人类的沟通障碍
|
存储 供应链 安全
谷歌拟开发新系统取代 cookie 引广告主担忧
9月20日出版的美国《华尔街日报》印刷版刊登题为《广告主担忧cookie变化》(Advertisers Worry About Changes to 'Cookies')的评论文章称,由于谷歌(903.11, 4.72, 0.53%)考虑用一套新的匿名识别符系统取代传统的cookie追踪技术,令大范围使用这种技术的广告主产生了担忧。虽然这有可能从一定程度上改善cookie系统的缺陷,但仍然面临很多未知因素。
154 0
谷歌拟开发新系统取代 cookie 引广告主担忧
亚马逊人脸识别门铃专利申请受阻,涉及隐私引群众抗议
亚马逊再一次因为与政府扯上关系而遭到群众抗议。
530 0
|
安全
手机支付暗战升级 安全风险尚待解决
移动首推“手机通宝一卡通” 图书馆验证、食堂消费、接收通知、乘坐校巴……一张手机卡全部搞定。日前,华南理工大学学生小张使用广东移动的“手机通宝一卡通”服务,体验了手机支付的便捷生活。 类似的场景还出现在上海。
1164 0
|
机器学习/深度学习 人工智能 算法
别上当!大部分AI企业都是蹭人工智能热点的!
众所周知,人工智能的火爆吸引了无数投资人的目光,有些人认为国内人工智能的发展前景似乎很是乐观,而有些人则表示,获得投资的企业数量多不能代表什么,更重要的是盈利情况
6289 0