体温筛查与密切接触者追踪技术——人脸识别抗疫应用

机器学习与应用会议ICMLA2020（International Conference on Machine Learning）将于2020年12月在美国佛罗里达举行，会议由IEEE主办。近日，神目科技创新科研成果《Application of Face Recognition in Tracing Fever Patients and Close Contacts》被大会收录为oral论文。

ICMLA2020机器学习与应用会议旨在汇集的学术科学家、研究人员和研究学者，交流和分享在机器学习和应用的经验和研究成果，展示和讨论机器学习和应用领域的创新、趋势以及遇到的实际挑战和采用的解决方案。

本次神目科技被收录的oral论文主要阐述了yiqing爆发的背景下，神目基于人脸识别云平台，集成热成像、人脸识别、人脸检索引擎技术，来检测具有发热症状的病人，对其密切接触者追踪，并将预警信息实时推送给管理人员以及时采取应对措施的创新技术和解决方案。论文中所阐述的产品与方案已被应用于园区、医院、校园、菜市场等场景，助力防疫抗疫工作，阻断疫情传播。

神目科技一直专注于人工智能及物联网前沿技术的探索，并致力于将前沿技术应用于智慧城市的建设中，用科技力量服务社会民生。

Application of Face Recognition in Tracing  Fever Patients and Close Contacts

在有效疫苗问世之前，及时发现并隔离发热病人及其密切接触者，切断传播链至关重要。在挽救更多生命的使命感驱使下，我们开发了基于边缘智能设备和云平台的人脸识别系统，用于检测有发热症状的患者，并对密切接触者进行追踪。危险人员信息可通过web/APP推送给管理人员发出实时警报，以及时采取干预行动，控制病毒的传播。

1.体温筛查

发热病人的体温筛查主要通过红外热成像技术来实现。发热筛查的边缘设备配置有双摄像头：一个RGB摄像头和一个热成像摄像头。RGB摄像头用于检测人脸并定位额头部位，热敏摄像头用来测量额头皮肤的温度，为了提供温度测量的准确性，可以选择使用黑体。在我们的方案中，我们将黑体内置于设备中，以实现部署及使用的便捷性、准确性。根据应用需求，体温筛查设备可以是一个平板，可以是一个摄像头，或者是一个带有HDMI接口的盒子。

体温筛查设备还配置有本地人脸识别模块。当异常体温被发现之后，可通过人脸识别技术确认他的身份，以及人脸聚类技术进行其活动轨迹的追溯。除此之外，体温筛查设备还具备门禁控制、人脸考勤

体温筛查流程

2.人脸识别平台

系统中有两类人脸识别平台。一类在边缘设备中，只能识别已在设备中注册的人员，其他人员识别为访客，该平台更适合用于小型企业的智能化管理（防疫体温筛查、门禁、考勤、在岗状态）。还有一类是云端的人脸识别模块。这是一个模块化设计、并具备开放接口的平台，也是实现发热病人轨迹及密切接触者跨镜追踪的必要选择。该平台可以添加一系列智能边缘设备，满足多场景应用需求，例如，除了人脸识别，还可以实现车牌识别、商品识别、摔倒识别等算法加载及智能设备的接入。

平台构成

系统架构

我们在平台设计上采用流行的微服务架构——Spring Cloud大数据架构，为开发者提供了快速构建分布式系统的常见模式工具，例如配置管理，服务发现，断路器，智能路由，微代理，控制总线。

系统主要的功能模块包括人脸图像提取、人脸图像对象存储、人脸特征提取、人脸特征比对、服务器及数据分析和报表。可根据应用需要添加更多的功能模块，如人脸属性（年龄、性别）模块。

功能模块的中心是一个队列管理器，我们使用的是rabbitmq，它管理了以下信息：1）图片信息，2）特征向量信息， 3）特征聚类信息 ， 4）特征监测信息。

人脸图像提取模块负责从边缘设备获取图像。这些边缘设备具备嵌入式的通讯能力，可以进行人脸检测、本地人脸识别和一些控制逻辑。当检测到人脸时，人脸图像和帧图像都会被发送到云服务器。

第二个模块是图像上传模块，它负责从rabbitmq上传人脸或帧图到云端存储。

第三模块是特征提取模块。这是人脸识别的一个关键功能。它通过socket通信从rabbitmq接收人脸图像。特征提取可以使用任何人脸识别模型，如基于ArcFace、Circleloss或其他。

特征提取模块采用的是GPU服务器集群，具有自动路由、负载均衡和故障恢复功能。GPU集群支持单机和批处理模式。在批处理模式中，在缓冲区中积累了许多请求。当人脸数量达到一个阈值时，它们会被一次性发送到GPU服务器。而提取的特征向量被返回到rabbitmq，并保存至VIP/visitor redis数据库中。

特征向量比对模块接收来自rabbitmq的特征向量，并调用向量搜索引擎（VSE）获取人脸的聚类信息。聚类信息被保存至Elasticsearch

……

向量搜索引擎VSE

向量搜索引擎VSE是关键的模块之一。它可以在几千万到几十亿规模的大数据人脸图像中提供准确、快速（根据实际应用需求，来决定是否需要实时）的搜索和数据检索。

根据不同的应用规模，我们可提供全局搜索引擎，也支持小型VIP搜索引擎。在全局搜索引擎中，所有进入系统的数据会形成一个大的数据库，搜索引擎可以在数据库中为某一特定主体找到同行人，或者形成同一人的人脸聚类，以满足应用的需求。

VIP搜索引擎在给定的数据集中进行搜索，比如搜索某个客户在一个门店，或者多个门店，或者所有门店的人脸。VIP的设定可以是银行或门店的重要客户，或者某个药店的惯偷。

VSE中的关键算法是KNN（k nearest neighbour）搜索算法。在实际应用中，为了将效率提升几级，同时只损失边际性能，通常采用近似近邻ANN为6. 我们的ANN算法是业界*的技术之一，它支持在数亿条数据中进行毫秒级的对象检索。

VSE命令接口从管道服务层接收人脸特征向量，并接收查询人脸特征向量。当在人脸特征向量库中没有找到有效记录时，会在数据库中插入新的记录。当数据库中找到有效记录时，将余弦相似度与给定阈值进行比较。当相似度高于阈值的记录，将返回其人脸ID.

发热病人及密切接触者追踪算法

3. 发热病人及密切接触者追踪

面对给人民带来的生命威胁，促使我们在已有的人脸平台上进一步扩展开发，根据疫情防疫需求接入体温筛查设备，并生成数据报表。

我们的人脸识别平台提供了支持体温筛查报告以及患者轨迹追溯以及密切接触者追踪的能力，我们同时在边缘设备中增加了蒙面人脸检测能力。发送到云端的人脸数据同时包括蒙面的人脸信息。

当一个病人的发热症状被确认后，他在所有测温设备及人脸识别设备中被采集到的人脸图像都能够被追溯。通过全局搜索引擎检索到该病人的人脸聚类结果，还能够进一步确定其密切接触者，由此可以根据需求采取后续行动，阻断病毒的传播。

近距离接触者追踪

除了人脸图像外，我们的系统向云端发送及保存的还包括一个帧图像，这使得实现发热病人和密切接触者追踪成为可能。

当系统检测到一个人的体温高于一个阈值，例如37.3℃时，此时，跟踪算法启动。通过上传发热人员的人脸图像，可以从人脸聚类结果中按照摄像头ID及时间检索出这个人在不同位置的被抓拍的所有人脸。然后，所有人脸的帧图像被上传检索，以检测帧图像中出现的其他人脸，从而确认为密切接触者。此外，还可以通过估测帧图像上人与人之间的距离，检测其是否小于某个物理距离，如2米。基于利用真实人物脸部的标称宽度，两个人的物理距离与图像中的像素距离成正比，由此确认密切接触者。

另一种检索方法是采用摄像头ID和时间戳来定义密切接触者。由于体温筛查设备是典型的小视野，它只允许一次测量一个人或测量多个人。因此可以通过判定在某个时间间隔内，如小于1秒的时间内，在同一设备测量体温的人判定为密切接触者。同时，可根据需要通过上述方法进行重复检索，直至追溯出N代密切接触者。

体温筛查及密切接触者追踪示例

4. 结论

yiqing人类带来的巨大威胁，我们希望找到一个控制疫情传播的有效方法，拯救更多生命。因此，我们开发了这套人脸识别系统，应用于发热症状人员快速筛查，并对发热症状的患者轨迹以及密切接触者进行追溯，以帮助阻断病毒的传播链条。