NIST新研究:口罩如何影响面部识别的准确性?

2020-07-31 原文 #火光 的其它文章

NIST新研究:口罩如何影响面部识别的准确性? ——

原文链接NIST Launches Investigation of Face Masks’ Effect on Face Recognition Software – Algorithms created before the pandemic generally perform less accurately with digitally masked faces

译者:CD

NIST将口罩的图像覆盖于照片上,以测试COVID疫情之前开发的面部识别算法的性能。由于现实存在不同的口罩,研究团队加入了一些变量,包括口罩的形状、颜色和对鼻子遮盖的程度。

现在,很多人都用口罩遮脸,以减少COVID-19的传播。在这种情况下,面部识别算法还能很好地识别戴口罩的人吗?根据美国国家标准技术研究院(National Institute of Standards and Technology, NIST)的初步研究,答案是:非常困难。在测试的89种商业应用的面部识别算法中,即使是最准确的那种,在对同一个人戴口罩与不戴口罩的照片进行匹配时,错误率也高达5%至50%之间。

今天,这些结果以NIST跨机构报告的形式(NISTIR 8311)发布。这是NIST的“面部识别供应商测试”(Face Recognition Vendor Test, FRVT)系列报告中的第一篇。该系列报告将介绍面部识别算法在脸部被口罩遮盖时的表现。

NIST计算机科学家、报告的作者Mei Ngan表示:“随着COVID疫情的流行,我们需要了解面部识别技术如何处理蒙面人脸。我们首先关注的是,疫情之前开发的算法会怎样受到受试者戴口罩的影响。今年夏天晚些时候,我们将测试专门针对蒙面人脸开发的算法的准确性。”

NIST团队检验了每种算法将同一个人不同的照片“一对一”配对的功能。这种功能通常用于身份验证,例如解锁智能手机或检查护照。NIST团队在FRVT研究数据库中的约600万张照片上测试了算法。(团队没有测试算法“一对多”匹配的能力——该算法用于确定照片中的人是否匹配已知图像数据库中的任何人)。

研究团队将口罩图像覆盖于原始照片,以测试算法的性能。由于现实中口罩种类不同,团队使用了九种口罩变体,包括形状、颜色和鼻子覆盖程度的差异。“数字口罩”为黑色或浅蓝色(与蓝色外科口罩的颜色大致相同);形状包括覆盖鼻子和嘴巴的圆形口罩,以及与佩戴者面部一样宽的大口罩——这些较宽的口罩可以在高、中和低位置以不同程度覆盖鼻子。之后,团队比较了算法对戴口罩照片与无遮罩照片的识别结果。

Ngan介绍说:“我们可以从结果中得到一些宽泛的结论,但解读这些结论需要谨慎:首先,这些算法都不是专门设计用来处理被遮罩的面部的;其次,我们使用的‘口罩’是数字化的,而不是真实的。”

Ngan指出,如果牢记这些限制条件,那么对于被测试的算法在识别蒙面和非蒙面人脸时表现如何,该研究可以提供一些普遍结论。

  • 对于戴口罩的脸,识别算法的准确性大幅下降。使用未遮罩的照片,最精确的算法只有大约0.3%的概率无法成功进行身份验证。蒙面版照片将顶级算法的失败率提高到了5%左右,而其他许多算法的失败率则高达20%至50%。
  • 蒙面照片更可能使得算法无法处理面部,技术上称为“无法注册模板”(Failure to enroll for template, FTE)。面部识别算法通常先测量面部特征(例如,它们的大小和彼此之间的距离),再将这些测量结果与另一张照片的测量结果相比较,以达到识别的目的。“无法注册模板”则意味着,算法无法充分提取人脸的特征,因此无法进行有效的比较。
  • 鼻子被口罩覆盖的部位越多,算法的准确性越低。研究比较了鼻子覆盖率的三个级别(低、中和高),发现识别的准确性随着鼻子覆盖率的提高而降低。
  • “假阴性”(算法无法匹配同一个人的两张照片)概率增加,“假阳性”(错误地匹配两个不同人的照片)概率则保持稳定或略有下降。“假阳性”概率的下降显示,用口罩遮盖人脸不会破坏识别算法的安全性。
  • 口罩的形状和颜色很重要。使用圆形口罩时,算法错误率通常较低。与蓝色的外科口罩相比,黑色口罩降低了算法准确性。但是由于时间和资源的限制,研究团队无法全面地测试口罩颜色对识别准确性的影响。

《正在进行的面部识别供应商测试(FRVT)6A:COVID-19前开发的算法对遮罩面部识别的准确性》这份研究报告,详细提供了每种算法的表现。研究团队还在网上发布了额外信息。

Ngan说,下一轮研究将于今年夏天晚些时候进行,测试针对遮罩面部设计的识别算法。未来的研究还将测试“一对多”搜索配对,并将添加更多变量以进一步扩大结果的应用范围。

她说:“我们期待对遮罩面部的识别准确性能继续改进。不过,目前为止我们收集的数据都凸显了FRVT研究中的一个共同结果:不同算法的性能不同。用户应该充分了解他们正在使用的算法,并在自己的工作环境中测试其性能。”

这项研究为NIST与美国国土安全部科学技术局、生物特征识别管理办公室以及海关和边境保护局合作进行。

完整报告pdf链接

相关报道:研究:即便是最好的人脸识别算法也会受到口罩干扰


文章版权归原作者所有。
二维码分享本站