近两年，人工智能的蓬勃发展正加速各个行业落地应用和社会民生的改变发展。以安防行业为例，以人脸识别为代表的人工智能技术zui早落地服务安防实战，并逐步在平安城市建设中成为关键技术应用。
近日，在由美国国家标准技术局 NIST(National Institute of Standards and Technology)组织的人脸识别供应商测试FRVT(Face Recognition Vendor Test)中，中国公司依图科技斩获四项测试*名，超过了俄罗斯公司 Vocord(Vocord 是老牌安防厂商，长久以来超越 Google 等公司盘踞人脸识别算法*名)，再次向*展示了中国人工智能公司的技术实力。
FRVT测试什么？看看工业界的黄金标准
与之前各厂商刷榜的学术机构举办的 LFW、MegaFace 测试不同，NIST指导下的FRVT测试更贴近安防实战应用人脸识别测试集合来自美国国土安全局的真实业务场景，例如出入境、刑侦过程中收集的大量照片。另外，测试规模更大，不仅拥有百万量级测试数据，同时这些测试数据均不公开，有效避免算法过拟合甚至是作弊手段。作为美国国家政府采购的*指导，FRVT其测试的性是工业界实际应用的黄金标准。
表一：主流的人脸识别测试场景、测试集、指标比较
表二： 在三个测试集上代表厂商成绩比较。安防厂商海康威视未发布公开测试成绩。
图一中，LFW是由美国马萨诸塞大学发布并维护的公开人脸数据集，测试数据规模为万，国内多个团队例如百度、腾讯、大华、旷视、商汤都曾获得了99.5%以上的成绩。
MegaFace是由美国华盛顿大学发布并维护的公开人脸数据集，测试规模比LFW大100倍，更能区分各个算法的性能差异。*名是创立于1999年的老牌俄罗斯公司Vocord，获得91.7%的成绩，比第二名腾讯优图高出8%。由此可见，虽然国内大互联网公司拥有超大规模计算算法训练平台、互联网级的数据优势，但离*的测试结果还有差距。从侧面反映，在*的竞争中，数据和计算的优势并不能保证输出zui的算法性能。
严苛的测试标准算法精进的*展示
美国国家标准技术局(NIST)全面主持的FRVT，除了本身机构的标准性外，测试结果的性还来自其评测标准的严谨性、一致性和全面性：
1、数据均来自真实业务场景，测试结果好坏则代表该技术可以在实战场景中可实用性。
2、数据规模是通过对百亿对样本采样，达到百万量级。如此大规模的测试集可以稳定评估算法性能，详细区分不同算法的优劣。
3、测试数据不公开 (盲测)，这保证了测试的公正性。因为参赛的算法团队无法利用测试数据做模型训练，可以有效避免过拟合或直接作弊等手段，因此相对于 LFW、MegaFace 而言，FRVT 则更能体现测试的公正性。
4、科学专业性，FRVT 对不同实战场景、人种、年龄、性别，做了详细分解下的识别性能比较，并在模型速度、特征库大小、比对阈值等做了详细评估。
据*发布的报告，FRVT 的*名是中国公司依图科技，在千万分之一误报下(采样百亿对样本)的准确率为 95.5%，比第二名俄罗斯公司Vocord 93.5%的准确率高2%。这是目前为止公开的、zui大规模测试集、zui测试指标下的成绩，比2014年参与同样测试的*名的日本公司NEC在准确率上有大幅提高。
针对现实环境中实战应用中复杂性和多样性，NIST在FRVT测试中作了不同场景、不同人种、不同性别、不同年龄的识别性能比较。从*描述来看，其提供的测试数据对应了出入境管理、身份门禁认证、平安城市监控等实战应用场景，依图在四项主要的测试场景中均获得*名。
在更详细的人种(黑人、白人、亚洲人等)、性别等测试比较中，依图算法一直表现稳定，几乎没有差异；而其他算法则随着识别难度增加，识别率出现了不同程度的下滑。对比结果说明依图的算法可以在不同类型数据分布的实用场景中，例如在黑人较多的场景下，算法也可稳定表现。
对于本次在NIST测试中的取得的优异成绩，依图科技CEO朱珑在接受媒体采访时表示：NIST 是工业界zui的测试，有zui直接的应用指导价值。从测试的结果来说，有两个意义：我们可以平静的接受，来自中国的算法技术超过的竞争对手；更大的意义在于，掌握标准制定话语权和实际影响力的美国国家标准技术局，已经显得“没见过世面”，千万分之一的误报下的识别率并不能拉开我们和第二名的差距，我们的算法已经在10亿分之一的误报下达到超过90%的识别率。希望将来，主流学术机构能接受，只有中国参与的标准测试，才反映zui前沿的技术理解。
智能万倍增长 依图不断解锁安防应用场景
过去四年，从LFW到FRVT，测试指标已经从千分之一误报到千万分之一误报，识别性能已经提高一万倍，意味着误报降低万倍。可以预见，很快就会出现测试指标在亿分之一、十亿分之一、百亿分之一误报下的识别性能比较，这将是另一个千倍的智能识别能力的增长。
事实上，依图一直在追求人工智能算法的精进和突破，取得业界的成绩，从而获得实战应用的丰硕成果和更多应用场景的解锁能力。依图在本次NIST测试中只是牛刀小试，并没有*展示依图算法能力的优势，正如依图CEO朱珑在接受采访时回答到的：“没见过世面”、“千万分之一的误报下的识别率并不能拉开我们和第二名的差距”。事实上在2016年，依图已经完成zui大15亿级人像库的研发和建立，该系统支持十亿级超大规模比对、十亿分之一超低误报下的高识别性能，并在投入安防实战中显现出“神威”。今天，依图在安防领域取得的丰硕成绩，是经过一次次严苛PK测试毫无争议取得的，从地市级*的人像库、省级*厅人像库到部级亿级人像库，依图总能在激烈竞争中脱颖而出获得No1。目前，依图科技帮助近20个*省厅建立起省级人像平台，参与了100余个地市*人像平台系统建设。
依图智能安防平台在青奥会、珠海航展、G20峰会等重大项目的安保系统早已成功应用。随着人工智能算法性能的不断深入，依图在安防行业带来的变化以及应用场也在不断被解锁并呈几何级数增长。从静态图像到动态卡口监控，从单路到千路以上，依图不断为平安城市构筑更安全的防护壁垒，甚至多城联动，再到全国范围内的人脸比对、安防布控都将成为可能。
以依图为代表的国内人工智能企业在zui大规模公开FRVT测试取得优异成绩，进一步表明中国人工智能企业在工业界应用的强大实力，甚至已跑在工业界标准的前面。正如依图CEO朱珑表示的：希望将来，主流学术机构能接受，只有中国参与的标准测试，才反映zui前沿的技术理解。正是带着视野和挑战*课题的愿景，依图希望通过人工智能技术解决整个城市的公共安全应用需求，从*应用、金融行业应用，到城市口岸管理，商业应用，再到城市居民生活等，zui终是让城市更安全、让生活更便利。
