您的位置:首页-公司动态 - NIST最新新闻- 美国Nist人脸识别算法的人口统计研究可以帮助改进未来的工具

美国Nist人脸识别算法的人口统计研究可以帮助改进未来的工具

发布时间:2019.12.30 新闻来源:NIST标准品_EDQM标准品_TRC标准品_EP标准品_标准品供货商_东莞市景源实验科技有限公司 浏览次数:
美国NIST的一项新研究研究了面部识别软件工具如何准确识别性别,年龄和种族背景不同的人。
人脸识别软件工具如何准确地识别不同性别,年龄和种族背景的人?根据美国国家标准技术研究院(NIST)的一项新研究,答案取决于系统核心的算法,使用该算法的应用程序以及所馈送的数据-但是大多数人脸识别算法都具有人口统计学特征差异。差异意味着算法对同一个人的两张图像进行匹配的能力在一个人口统计学组之间变化。

报告中捕获的结果,面部识别供应商测试(FRVT)第3部分:人口统计影响 (NISTIR 8280),旨在为政策制定者提供信息,并帮助软件开发人员更好地了解其算法的性能。人脸识别技术引起了公众的争论,部分原因是因为需要了解人口统计对人脸识别算法的影响。

NIST的计算机科学家兼报告的主要作者帕特里克·格罗瑟(Patrick Grother)说:“虽然通常无法正确地在算法中做出陈述,但是我们发现,我们研究的大多数面部识别算法中都存在人口统计学差异的经验证据。” “尽管我们没有探讨可能导致这些差异的原因,但这些数据对于决策者,开发人员和最终用户在考虑这些算法的局限性和适当使用方式时将是有价值的。”

这项研究是通过NIST的人脸识别供应商测试(FRVT)程序进行的,该程序评估了行业和学术开发人员提交的人脸识别算法执行不同任务的能力。尽管NIST并未测试使用这些算法的最终商业产品,但该程序显示出该领域正在迅速发展。 

NIST的研究评估了来自大多数行业的99位开发人员的189种软件算法。它着眼于每种算法在人脸识别最常见的应用程序中执行两种不同任务之一的效果如何。确认照片与数据库中同一个人的另一张照片匹配的第一项任务称为“一对一”匹配,通常用于验证工作,例如解锁智能手机或检查护照。第二种方法是确定照片中的人在数据库中是否有任何匹配项,称为“一对多”匹配项,可用于识别感兴趣的人。

为了评估每种算法在其任务上的性能,该团队测量了软件可能产生的两类错误:误报和误报。误报表示软件错误地认为两个不同的人的照片可以显示同一个人,而误报表示软件不能匹配实际上确实显示同一人的两张照片。

进行这些区分非常重要,因为根据实际应用,错误的类别和搜索类型可能带来截然不同的后果。 

“在一对一的搜索中,误报可能只是一种不便,您无法进入手机,但通常可以通过第二次尝试来解决此问题,”格劳瑟说。“但是,在一对多搜索中如果出现误报,将不正确的匹配项放在需要进一步审查的候选人名单上。”

与大多数其他人脸识别研究不同的是,在考虑人口统计因素时,该出版物对每种算法的性能都非常关注。对于一对一匹配,只有少数先前的研究探讨了人口统计学的影响。对于一对多匹配,没有。

为了评估算法,NIST团队使用了四组照片,其中包含849万人口的1,827万张图像。所有这些都来自国务院,国土安全部和联邦调查局提供的业务数据库。该团队没有使用直接从社交媒体等互联网资源或视频监控中“刮取”的任何图像。

数据库中的照片包含元数据信息,该信息指示受试者的年龄,性别以及种族或出生国家。该团队不仅针对两种搜索类型都测量了每种算法的误报率和误报率,而且还确定了这些错误率在标签之间的差异程度。换句话说,该算法在不同人群的图像上的表现如何?

测试显示,开发人员的准确性范围很广,最精确的算法产生的错误更少。虽然研究的重点是单个算法,但Grother指出了五个更广泛的发现:

在一对一匹配中,该团队发现,相对于高加索人的图像,亚裔和非裔美国人脸部的误报率更高。根据不同的算法,差异通常在10到100倍之间。误报可能会给系统所有者带来安全隐患,因为它们可能允许访问冒名顶替者。 
在美国开发的算法中,亚洲人,非裔美国人和土著群体(包括美洲印第安人,美洲印第安人,阿拉斯加印第安人和太平洋岛民)的一对一匹配中误报率很高。美洲印第安人人口中的误报率最高。
但是,一个明显的例外是在亚洲国家/地区开发的某些算法。在亚洲开发的算法中,亚洲人和高加索人脸之间的一对一匹配在误报方面没有如此大的差异。尽管Grother重申NIST的研究并未探讨因果关系,但可能的联系和研究领域是算法性能与用于训练的数据之间的关系。他说:“这些结果令人鼓舞,如果开发人员有可能使用这些数据,则更多样化的培训数据可能会产生更公平的结果。”
在一对多匹配中,该团队发现非裔美国女性的误报率更高。一对多匹配中误报的区别特别重要,因为后果可能包括错误的指控。(在这种情况下,测试并未使用全部照片,而是仅使用了一个FBI数据库,其中包含160万张国内面部照片。)
但是,并非所有算法都可以在一对多匹配中跨人口统计信息提供较高的误报率,而最公平的算法也属于最准确的算法。最后一点强调了该报告的总体信息:不同的算法执行不同。
格罗瑟说,如果不区分根本不同的任务和面部识别类型,那么任何有关人口统计学影响的讨论都是不完整的。当世界面对人脸识别技术的广泛应用时,记住这些区别非常重要。
本文共分 1
分享到:
上一篇:美国NIST发布数据以帮助衡量生物特征识别的准确性
下一篇:没有了