亚马逊人脸识别技术rekognition被爆种族歧视

2019/1/28 20:48:40      点击:

与ibm、微软的同类技术相比,亚马逊的人脸分析软件分辨某些人种性别的正确率较低。cdn这是麻省理工学院(mit)研究人员在近日发表的一项新研究中得出的结论,该研究发现,在特定情况下,rekognition(亚马逊图像识别技术)无法可靠地辨别女性和深肤色人群。

该项研究的合著者称,在2018年进行的实验中,rekognition错误地将19%的女性图像识别为男性,将31%的深肤色女性图像识别为男性。相比之下,微软在识别深色皮肤人群性别时,将女性错认为男性的比例只有1.5%。

亚马逊对这项研究提出质疑。它表示,rekognition升级版的内测结果显示,该技术对于识别性别的正确率不存在人种差异。此外,亚马逊认为这篇论文没有清楚地说明在实验中使用的置信度阈值,即rekognition的判断被认为是正确而必须达到的最低精确度。

在给外媒的一份声明中,亚马逊云服务平台深度学习和人工智能总经理马特·伍德博士(matt wood)对面部分析和面部识别这两个概念进行了区分:面部分析指的是在视频或图像中辨认出脸部,并确定其一般属性;而面部识别是将单个人脸与其它视像中的人脸相匹配。他说,根据“面部分析”的结果来判断“面部识别”的准确性是“不可行的”,而且他认为这篇论文所谈论的和“客户如何使用rekognition”是两回事。

伍德博士说:“使用最新版本的rekognition,从议会网站和megaface人脸数据库下载百万张图像数据,我们发现,置信度阈值设置为0.99时,误报数为零。我们通过录入和反馈来不断改进这项技术,且支持创建第三方评估、数据集、衡量基准。”

这是亚马逊第二次被质疑rekognition存在偏见。

上一次在今年夏天,美国公民自由cdn联盟(american civil liberties union)对rekognition进行了一项测试(亚马逊质疑该测试的准确性):把25000张罪犯面部照片和国会议员的官方照片进行比较。结果rekognition将28名议员误判成罪犯,其中有色人种的错判率占到38%。

无独有偶。

2012年的一项研究显示,coigntec(德国从事生物特征识别技术的公司)的人脸识别程序在识别非裔美国人和白种人时存在差距,前者比后者的错判率高出5%到10%。2011年的一项研究显示,中日韩开发的人脸识别模型难以区分白种人和东亚人。今年2月,麻省理工媒体实验室进行的研究表明,微软、ibm和北京旷视科技(megvii)通过人脸识别性别的错误率如下:7%的浅色皮肤女性和12%的深色皮肤男性被认错,而深色皮肤女性的错判率甚至高达35%。

弗吉尼亚大学(university of virginia)进行的另一项研究显示,imsitu和coco(两个知名的图像数据集)在描述体育、烹饪和其它活动时表现出性别偏见(其中coco由facebook、微软和初创公司mightyai共同赞助)。例如,购物图片倾向于与女性相关联,而教练图片则与男性相关联。

也许最糟糕的一个例子是:2015年一位软件工程师报告称,谷歌照片的图像分类算法将非裔美国人识别成“大猩猩”。

但是人脸识别技术的某些进展也是令人鼓舞的。

今年6月,微软与人工智能公平方面的专家合作,修订并扩展了用于培训face api的数据集,face api是微软的一套算法程序,用于检测、识别和分析图像中的人脸。随着新数据包含肤色、性别和年龄等信息,算法程序对深肤色的男性和女性的错判率分别降低了20倍和9倍。

亚马逊表示它一直在努力提高rekognition识别的准确性,最近一次重要技术升级在去年11月进行。

伍德博士补充说:“我们为这一领域的学术研究提供了资金,也对自己的团队进行了大量投资,而且努力还将继续。我们致力于改善面部识别、面部分析,强调解释结果时有很高的可信度,也会重点关注人工审查的作用、标准化测试等方面。我们感谢为改善这些技术做出贡献的客户和学者。"

下周在夏威夷檀香山(honolulu)将举行“人工智能、伦理和社会促进会议”,而麻省理工学院的研究结果将在会上公布。