人工智能是近两年的热门技术领域，该领域出现了很多应用技术。其中，沈阳人脸识别作为目前最成熟、应用最广泛的技术，确实改变了我们的生活。特别是新冠肺炎疫情爆发以来，很多居民小区和写字楼都使用了人脸识别终端，具备人脸识别和体温检测功能，大大提高了通过率，降低了出入境检疫的人力成本。目前市面上的沈阳人脸识别终端种类繁多，选择令人眼花缭乱。如何选择最合适的人脸识别终端？今天，我们就来详细了解一下人脸识别相关的技术方案，让你对技术细节有更多的了解，以便选择时参考。
1.沈阳人脸识别终端功能
沈阳人脸识别终端的功能主要是抓拍有人通过门禁或大门时的即时画面，通过分析找出面部特征，对比面部特征数据库，决定是否向门禁或大门等受控设备发送开门指令信号。开门流程完成后，与本次通行相关的数据，如人脸图片、通行时间、人员信息(姓名、ID)等信息将上传至服务器。它可以包括以下子功能:
1.1运动检测
判断摄像头拍摄的画面是否有变化，如果有变化，启动沈阳人脸识别引擎，否则机器处于识别引擎睡眠状态。简单来说就是帧间差分算法，计算相机前后两帧图像信息是否有变化。当变化大于设定的阈值时，唤醒识别算法引擎。因为很多时候，沈阳人脸识别端前面是没有人经过的，这个时候，为了避免人脸识别算法的不同分析图像造成的功能器件的消耗，识别算法引擎就不需要工作了。
移动，找到目标
1.2人脸检测
对摄像头获取的图片信息进行分析，对人脸信息进行检测和抠图，一般生成一张大小为112*112的沈阳人脸识别图片。通常我们在集群摄像头中得到的图片是一个全摄像头分辨率的图片，各种图片都有，需要找出人脸信息并截取。
检测到人脸。
1.3面对齐处理
通过门禁或大门时，人的面部姿势是各种各样的，有可能扭曲、转动、旋转。为了更好地计算和比较人脸特征值，需要对偏转的头像信息进行一次对齐，即拉直人脸的角度。
1.4体内检测
对于一个人脸部的图像信息，我们需要知道它是否是照片、视频等攻击造成的错觉。需要得到对齐的人脸图片，通过活体识别的算法判断是真人还是攻击。
检测到活体攻击。
1.5人脸特征提取
通过人脸特征提取算法将对齐的沈阳人脸识别图像提取出人脸特征信息。特征值通常是128/256/512维的向量。
1.6特征值比较
遍历人员数据库信息，将数据库中每个人的沈阳人脸识别特征值与人脸特征算法提取的特征值进行比对。因为人脸特征都是向量，实际上就是计算它们的cos值，得到最相似的一个(cos值大于既定阈值)。
1.7面部跟踪
当一个路人进入屏幕时，跟踪算法会跟踪他的面部信息，并标记跟踪ID，避免对连续出现在屏幕中的人进行多次识别。另外，借助画质算法，可以判断陌生人。
跟踪人脸
1.8发出控制信号
向IO控制端口发送开门信号，实现对受控设备的控制。
直通式开门
二、人脸识别终端工作流程
开机、摄像、人脸检测、活体验证、特征提取、特征值比较、发送开关信号。
检测和识别过程
三。人脸识别终端的技术要点
沈阳人脸识别过程的关键环节是人脸检测、特征提取、活体识别和跟踪提取。这些要么是通过基于深度学习的AI算法，提取图像特征值进行比较，要么是通过设计的传统特征值算法来实现。
3.1检测(检测器)
通过深度学习模型，对图像进行分层缩放、分割和遍历，提取特征值，并与阈值进行比较。经典的人脸检测算法模型有MTCNN和Facebox。
3.2工作面特征值计算
有ResNet100，MobileNet，MobileFaceNet等深度学习模型可以使用。不同的型号适用于不同的场景，有不同的精度输出，可以根据具体的硬件配置和样品特性灵活选择。
3.3活体识别
收集各种攻击样本是基于MobilenetV2和ResNet18模型进行标记训练。一般这些轻量级机型在嵌入式Pad终端上的处理速度可以在30-80ms之间，可以满足业务需求。
3.4跟踪算法
采用了google的TensorFlow Android demo中的开源算法，其追踪算法也是由Faces++开源的。
3.5算法模型的生成过程
获取样本，标记样本，通过GPU服务器训练，不断反复调整相关模型的各级权重参数，反复训练输出模型。
四。人脸识别终端技术参数
4.1识别准确性
目前市面上的1: n人脸识别准确率大多在98%以上。在实际应用中，准确率在98%以上后，不同算法差别不大。当然，其中98%的人在识别准确率、莽撞度和泛化能力上更胜一筹。
4.2识别速度
目前市面上人脸识别终端的识别速度(通过一个人的速度)，包括人脸检测、活体验证、特征提取、特征比对等等，需要500~1000毫秒。当然也要看硬件的处理能力。
4.3支持面库尺寸
离线识别:(在人脸识别终端完成人脸识别)10000张起步，一般支持30000-50000张，最多1沈阳人脸识别10000基数。通常人类识别库的最大极限是根据算法模型的精度和终端的计算能力来确定的。
在线识别:(在远程服务器上完成人脸识别)单个数据库20万起，一般能达到百万以上级别。
4.4你支持活体鉴定吗？
你支持活体识别算法吗？目前活体识别通常包括单目活体、双目活体和3D结构光活体。
单目活体:只有一个可见的RGB摄像头，可以利用图像中的瑕疵(莫尔条纹、成像畸形等。)来判断目标对象是否有生命，可以有效防止刷屏、重复翻拍等作弊攻击。
双目活体:配合红外摄像头，能有效识别屏幕和视频攻击，并能配合RGB摄像头完成整个人脸识别过程。活体眼睛受环境光影响更大，可以在完全黑暗的环境下成像，电脑屏幕有接近100%的抗攻击能力。
3D结构光:在红外相机的基础上，增加了红外点阵发射器，输出图像包括红外IR图像和深度图像。通过引入深度图像，将IR和深度两幅人脸图像用于3D活体检测，加入的深度图像携带了深度信息，可以有效防止平面攻击，如照片、视频、纸口罩等材质的攻击，也可以结合红外IR图像检测表面材质。
4.5在线/离线
在线识别:需要一个识别服务器。所有终端将采集到的图片发送给服务器进行识别，识别结果返回给终端。一台服务器可以同时支持多个终端。对终端的性能要求低，可以只实现图像采集和人脸检测，即使不进行人脸检测，也可以直接从摄像头获取数据上传到服务器进行识别。
离线识别:人脸识别过程在本地终端进行，服务器只需要存储所有人的人脸数据库，所有终端可以根据同步策略进行同步。同时还支持上传人民群众的访问记录到服务器，一般用在网络条件差的地方。
4.6跟踪算法？
主要是防止多重识别，陌生人识别。
在没有跟踪的情况下，只要有人出现在摄像头的预览画面中，就会被持续检测和识别。如果加上跟踪，只要人不离开画面，跟踪算法就可以根据人脸的跟踪ID判断是否是新的人脸进入画面，只要人不离开画面，人脸ID就不会改变。
4.7你有动作侦测吗？
如前所述，如果有动作检测功能，人脸识别终端会在没有行人经过时停止工作，CPU处于轻载状态，机器不会过热，避免不必要的硬件损耗。直到有行人进入画面，才唤醒识别引擎。
4.8基础图书馆的照片质量
目前对地下室照片质量的要求比较简单。通常手机拍的照片可以直接作为地下室，但最好是纯照，比如站在一面白墙前。同时，地下室的照片只能是单人的，面朝上，不戴帽子，墨镜等容易遮挡脸部的衣物。确保露出额头和下巴。
4.9确定距离和高度
距离取决于相机的清晰度。如果是高清摄像头，可以在3-5米范围内。普通相机，一般支持到3米左右。但0.5-2m比较适合平时的门禁或大门通道，可以保证人通过识别后顺利通过大门或大门警卫。在实际应用中，一些门被设置为自动关闭。如果远距离长时间打开闸门，很容易在闸门通过前提前关闭。距离调整的原理其实就是调整可以识别的最小人脸的大小，由最小人脸大小来控制。
5.人脸识别终端硬件参数
5.1摄像头
摄像头是人脸识别终端最关键的部件，在选择设备时必须考虑摄像头，因为人脸识别的实际应用环境是非常复杂的，比如室外的工地、室内的走廊、白天黑夜不同的光线环境。对相机的性能有不同的要求。特别是要看相机是否支持宽动态，背光补偿，曝光相关参数(光圈或快门时间)是否可以调整。这些参数决定了强光、背光、暗光下的人脸识别效果。
通常在强光的情况下，比如夏天中午阳光直射，相机拍摄的画面色彩会较差，整个画面会有偏色现象，容易导致识别准确率下降。这时候我们就不得不通过软件算法来校正画面，比如直方图拉伸，或者调整相机的曝光。
在阳光斜射的情况下，会出现逆光现象，需要调整脸部的局部曝光，使画面中脸部区域的亮度。这个功能叫做背光补偿。
对比背光调整前后的图片。
分辨率
更高的分辨率可以让屏幕更清晰。这里需要注意的是，我们平时用来显示的预览分辨率和实际送去测试的图片分辨率并不一样。前者的显示会更高，以便更清晰地预览图片，如1920*1080，而后者用于识别的图像通常会在前者的基础上裁剪为** 0*480。
照明度
指单位面积接收的可见光的能量。单位:Lux，缩写为Lx，0Lux表示没有光线也可以拍摄。一般红外摄像头照度为0Lux。
0.1Lux:暗光水平
0.01Lux:月光水平
0.001Lux及以下:星光级
成像设备
目前市面上的人脸识别终端摄像头普遍采用CMOS感光成像。
宽动态
宽度是指相机支持的最大输出信号与最小输出信号的比值，或者图像最亮部分与最暗部分的灰度比。主要用于解决相机加宽动态场景下采集到的图像中亮区曝光过度，暗区曝光不足的现象。从而在最终成像中可以清楚地看到场景中特别亮和暗的区域。
背光补偿
用户可以根据实际视频场景过亮或过暗的位置来选择补偿区域，避免这个区域过亮或过暗。
摄像机视角
一般水平30度，垂直30度。
5.2触摸屏
注意屏幕的防水等级。
可触摸控制的优点是设置时方便直接触摸，缺点是容易被员工误操作。成本高。
非触摸屏的优点是可以防止非专业人员误操作，成本低。出厂前由专业人员设置，不需要在屏幕上操作软件。缺点是如果需要操作软件，需要专业人士的外接鼠标操作。
5.3其他基本硬件参数
5.3.1
目前市场上比较流行的CPU，rk3288，rk3399，一个配置中档，一个配置高端。
内存，2G就够了。
温度范围
在低温实际使用中，会发现屏幕在-30度以下的极低温下会停止工作，尤其是在东北的冬天。低温下的屏幕能不能工作要考虑。
高温下散热不好会导致机器死机，尤其是夏天下午两点多没有遮阳的室外环境，比如工地。机器本身的散热加上自然温度可能导致机器死机或设备损坏。
外围控制模式
自备开关信号接口
向门禁或大门的继电器控制系统发送开门信号量，并执行开门动作。
外部网络中继
你可以向局域网中网络继电器的不同端口发送信号来开关门。
行动。特别是对于一些电机驱动的翻译，我们可以实现多种信号，如打开，关闭和暂停。
威根门禁控制器
通过控制信号灯开门的一个缺点是不安全。攻击者可以直接拆下信号量端口的端子，在线路短路后开门。因此，为了更安全地控制开门，我们可以通过Wigan协议向Wigan门禁控制器发送开门检查信息来实现开门。如果安全级别比较高，就要避免简单的发送开关信号来控制门。
距离传感器
距离传感器检测是否有人靠近，唤醒识别屏幕，没有物体靠近时关闭屏幕。
操作系统
目前市面上最流行的人脸识别终端操作系统是Android7.0及以上。
六。人脸识别终端的硬件加速方案
6.1 CPU加速
目的提高CPU的并发执行能力，即算法吞吐率，比如使用NEON指令优化算法执行，或者通过OpenMap开放多线程支持。让AI算法中比较耗时的推理部分并发执行。有开源加速框架可供参考，如NCNN、MNN、MACE、Tengine等。
6.2 GPU加速
有成熟的框架通过GPU的借口来提高并发，但是要看具体的GPU硬件，比如高通GPU的SNPE，各厂商的Opencl库，ARM的ACL计算库。
6.3 NPU加速
比如华为的Hi3516芯片，可以支持多种神经网络算法。算法可以移植到这个芯片上，利用其专用的AI算法对NPU进行加速，从而达到更快的速度和更低的成本。另外，比特大陆和沈剑科技都有自己的NPU硬件设计，有的基于ASIC，有的是FPGA，可以灵活选择。
七、沈阳人脸识别终端在项目实施过程中需要考虑的问题。
7.1光环境
如何选择安装位置？为了尽可能避免恶劣的光环境，通常算法本身具有一定的鲁莽性和适应性。但是，为了在已建立的算法基础上得到更好的结果，我们需要考虑实现环境中的光照问题。比如安装场地要安装在光线稳定、24小时单的地方，尽量避免强光和背光。如果可能，应在沈阳人脸识别端子处安装遮阳板。
7.2温度环境
尽量避免温度低于-30摄氏度，高于60摄氏度。
7.3人流量、通行速度
通常控制在1人/秒的节奏。
7.4人员素质和培训
对仓储人员如何快速通过进行简单的培训指导，通过时不要转身，不要戴墨镜。
7.5现场损害预防
现场保护措施，尽量保持沈阳人脸识别端安全不易磕碰，特别是一些生产环境和施工现场。应采取适当的保护措施。
7.6人脸数据库录入
人脸库的输入应符合算法的要求。照片必须正面，分辨率合适，清晰度标准，必须单人拍摄。目前，人性化的输入系统具有自动检测功能和批量输入功能，可以检查批量输入的图片。
八。如何破解攻击/反攻击沈阳人脸识别终端？
8.1物理假体攻击人脸识别终端
纸张，打印照片。通常，对于单眼生命体，使用纸张更容易。只需滚动它，尝试几个角度攻击。
单眼生物可以在电子屏手机屏幕上玩视频攻击。
活着的眼睛可以用3D口罩。
8.2硬件攻击人脸识别终端
通过修改IO控制接口，或者直接短路开关信号量接口端子。该方法应用于人脸识别终端安装在门禁或大门外，防护等级较低的场景。
8.3程序软件攻击沈阳人脸识别终端
通过反向黑客程序，在其中植入用户自定义的验证逻辑，并加入白名单功能。当指定的人被识别后，即使人脸识别失败或者没有被直接识别，也会立即发出切换信号。这就需要钩子框架，比如XPosed，来修改程序。通常市面上的人脸识别终端都不会对安装包进行脱壳和加密，操作系统版本也比较低，很容易获得超级root权限篡改。从技术上来说，人脸识别终端比手机上的APP更容易被攻击。
8.4如何防止对沈阳人脸识别终端的攻击
照片和手机屏幕视频的预防:使用双目摄像头加现场体验算法，人脸有温度。在850到940纳米的近红外光下，人脸和照片、视频差别很大。通过机器算法识别人体皮肤性能通过温度的二维图像的差异。
防止掩膜攻击:增加红外点阵发射器，输出图像包括红外IR图像和深度图像。它是通过引入深度图像，即利用红外和深度图像进行三维活体检测。在红外人脸识别的攻击算法基础上，加入深度信息的深度图，可以有效防止平面攻击，如照片、视频、纸面具等材料的攻击。它还可以结合红外IR图像检测表面材料，可以防止普通材料制成的面具和模型的大多数攻击。
另外要对程序进行加壳，检测操作系统的钩子注入机制。硬件上，人脸识别终端出厂前要把硬件用于程序调试的USB接口去掉。匹配的门禁控制器应通过Wigan协议或更复杂的协议与沈阳人脸识别端通信，门禁控制器应安装在墙内或室内。
九、沈阳人脸识别终端后台关联技术
沈阳人脸识别终端完成了人脸识别，但这只是整个人脸识别系统的前端部分。针对人脸识别管理后台的相关业务，如人脸数据库录入、人员信息同步、人员信息管理、人事关系部门划分、不同人员的权限和角色管理、黑名单、报表打印、各种数据统计等。，需要后台相关的技术支持。
