助力高清视频监控　人脸识别技术分析

　　近年来，由于反恐、国土安全和社会安全的需要，世界上各个国家都对安防领域加大了投入。在安防行业中，生物识别一直是市场中备受关注的焦点之一，近年来保持着较高的增长率，其中人脸识别是一个活跃的研究领域，也是人类视觉最杰出的能力之一。虽然人脸识别的准确性要低于虹膜、指纹的识别，但由于它的无侵害性和对用户最自然、最直观的方式，使人脸识别成为最容易被接受的生物特征识别方式。目前人脸识别技术不断得到发展，该技术广泛应用到电子护照、生物特征身份证、体育场馆、银行、公安等系统中，对安检、奥运反恐、刑侦追逃等有重要意义。当前由于其应用日渐增多该市场份额比重在不断增加，前景普遍被看好。

　　对于人脸识别的应用，依照摄像机到用户的距离可将其分为近距离人脸识别(普遍必要用户合作)、中距离人脸识别和远距离人脸识别系统(FaceRecognitionataDistance(FRAD))，其中远距离人脸识别技术关注的是在一个广阔区域内进行非合作的人脸自动识别，这种远距离生物特征的提取和识别可以通过采用主动视觉系统解决。目前，在很多商业、安防和国防应用中都需要在开阔区域内进行远距离(10～20米或更远)非合作的人员识别。比如用于安防目的的人员识别和监督、入侵检测，以及在广阔的区域内通过智能摄像机网络进行人员跟踪等。人脸识别与视频监控的无缝对接可极大地提升传统视频监控的预警功能和智能化程度，并极大地拓展人脸识别技术的应用空间。

　　在近距离人脸识别中，摄像机可以轻松捕捉高辨别率和相对稳定的人脸图像。而可在FRAD应用中，人脸图像质量却是个大难题，可以说，远距离人脸识别是视频人脸识别应用中最具挑战性的形式之一。近年来国内外针对远距离人脸识别的研究很多，从目前的发展情况来看，对于广阔的覆盖区域已经有一些有效的解决办法，如可通过多摄像机主动视觉系统完成FRAD，即系统通过广视场摄像机(<aname=ole_link1>WFOV)检测和追踪人脸，通过自动控制的近视场(NFOV)全方向旋转及变焦(PTZ)摄像机采集高分辨率人脸图像。本文对国外远距离人脸识别系统的研究情况以及美国通用电气公司新研发的远距离人脸识别系统——生物特征监控系统进行介绍。

　　国外远距离人脸识别的研发情况

　　近年来，国际上对人脸及人脸面部表情识别的研究逐渐成为科研热点，很多机构都在进行这方面的研究，吸引了大量的研究人员和基金支持，其中走在前边的主要是美国、欧洲、英国和日本等国家。在远距离人脸研究方面，主要是采用主动视觉的方法进行设计和开发，集中用于人脸图像采集和识别目的的自动目标选择和摄像机控制系统，以下介绍一些主要的实现方式。

　　第一，美国乔治亚理工学院在较早前的工作中，研发了一套由一对WFOV摄像机和一对NFOV摄像机构成的主动视觉系统。该系统用于人机互动，应用范围仅为几米远，但可检测皮肤颜色，并采用三角测量法进行3D定位，并自动控制NFOV摄像机采集人脸图像、

　　第二，西门子公司推出了一套实时双摄像机人脸图像采集系统，该系统采用了安装于头顶的全景摄像机进行目标定位，PTZ摄像机采集人脸图像。

　　第三，卡内基梅隆大学机器人学院研发的远距离人体识别系统(DHID)，通过远距离拍摄视频进行人脸和步态双重识别。该系统采用了一个具有60°视场的WFOV摄像机，从50米外对目标进行追踪，采集放大的视频序列和人脸图像分别进行步态识别和人脸识别。

　　第四，意大利热那亚大学的Marchesotti等人采用双摄像机系统远距离采集人脸图像，在WFOV视频中采用了-blob检测器进行人体检测，并通过一台NFOV摄像机采集目标人脸图像。

　　第五，IBM公司研发了一套人脸分类器，采用了双几何刻度的WFOV摄像机进行人体检测，重叠覆盖了6米×6米的图像采集区域，在每个WFOV摄像机视场中应用了多-blob2D追踪器，并通过一个3D多-blob追踪器在真实世界坐标系统中确认头部位置。

　　第六，伦敦大学计算机科学学院开发了一种远距离人脸图像采集方法，该方法的目标是对人体姿势和部分遮挡具有稳健性，该系统由一套具有135°视场的静止WFOV摄像机和具有13°视场的NFOV摄像机组成。为了提高对部分遮挡的稳健性，系统在WFOV视场中直接检测人脸的位置而不是整个身体的位置，人脸检测结合了运动检测、背景建模和皮肤检测，然后由NFOVPTZ摄像机采集高分辨率人脸图像。

　　第七，牛津大学主动视觉实验室提出了用于人脸图像采集的多摄像机主动监控系统的架构。在该架构中，人体追踪器与每一个WFOV摄像机相连，采用了高级推理算法并通过SOL数据库共享数据。WFOV追踪器的人体检测结果自动指示NFOV摄像机瞄准目标。此外，采用NFOV摄像机追踪人脸时，在追踪过程中采用了速度控制系统。

　　第八，通用电气全球研发中心设计了一套基于多摄像机追踪架构的远距离监控的人脸图像采集原型系统，该系统采用了4台视场相互叠加的WFOV摄像机进行人体追踪，追踪面积达到300平方米，人体追踪在现实坐标下进行，并控制4台NFOVPTZ摄像机进行人脸图像采集。该系统进行人群的长期监控，通过人脸识别建立追踪目标的身份，之后系统评估个体间关系的紧密程度以掌握其社交网络。

　　基于主动视觉的FRAD系统

　　美国洛克西德马丁公司资助通用电气全球研发中心完成了对远距离人脸识别开发的一个原型系统，其称之为“生物特征监控系统”，该系统是一套基于多摄像机追踪架构的远距离监控的人脸图像采集原型系统，系统应用固定的WFOV摄像机进行可靠的人体检测和追踪，并采用卡尔曼滤波器对人体位置进行追踪，确保预测出PTZ摄像机能够采集到人脸图像的位置。人体追踪系统可同时处理视场内的多个目标，优先选择系统会选择一个目标进行图像采集，这时摄像机将逐一快速对准目标，确保能够采集到视场内所有目标的人脸图像，最后采用商业人脸识别器进行人脸图像处理。实践表明，该系统的人体定位距离可达25～50米，人脸图像采集距离可达15～20米。

　　该系统的一个重要创新是将生物特征识别与可靠的地面人体追踪器结合起来，在使用时人一旦进入WFOV摄像机视场内，追踪器就能够锁定该目标直到目标走出摄像机视场。在应用中，摄像机采集到的人脸图像和识别结果会与存储于内部数据结构的追踪目标ID进行关联，这样可以在长时间内累积识别信息，允许目标选择系统选择还未识别的追踪目标。该系统具有多个可配置运行模式，包括自动注册和基于网络的自动注册数据共享(当目标从一个摄像机区域移动到另一个摄像机区域后，允许重复目标识别)。

　　1.系统的应用设计

　　(1)硬件

　　该系统可由多个节点组成，每个节点由一对WFOV和NFOV摄像机构成，摄像机置于标准的架高工作台上，两台摄像机均为索尼的EV1-HD1，摄像机通过串口VISCATM接口连接，其中WFOV摄像机分辨率为640×480，30Hz(NTSC)，固定角度;NFOV摄像机分辨率为1280×720，30Hz，其角度、转向和放大倍数由计算机控制。

　　(2)人体检测和追踪

　　在WFOV静态摄像机视场中检测并追踪移动的人体，由于摄像机是静止的，所以该系统采用了背景差分法检测移动目标。系统对每一个像素的每一个颜色分量分布采用了自适应的参数模型，任何与建模不符的像素都将被认定为前景像素。在追踪的过程中，焦距、WFOV摄像机的方向和位置等内外参数都通过一个计算过程得出，这些参数通过真实坐标与WFOV摄像机视频帧映射得到。假定一个人在行走，计算视频中包含整个人体的可行区域，那些能够匹配可行区域的前景像素簇即为检测到的人体。人体检测过程在WFOV视频中以10Hz的频率进行，其中采用了卡尔曼滤波器，这使得系统对于瞬时干扰更加稳定，并且卡尔曼滤波器提供了追踪目标的速度，这样就可以预测目标的前行位置。

　　(3)PTZ控制器

　　PTZ控制器主要是对PTZ摄像机的平移、旋转、放大倍数的控制。在具体操作时，根据WFOV摄像机画面对NFOV摄像机画面进行计算，首先NFOV摄像机处于原始位置，即平移和倾斜角度0°，放大倍数为1，采用点对应估算WFOV和NFOV摄像机画面中同一点的位置关系。NFOV摄像机经过进一步计算，以确定平移、倾斜和放大设置对其画面的影响。在这个计算的过程中，十分精确和重要的部分是摄像机的放大点，放大点就是当放大倍数改变时真实世界坐标不变的点，通常是一幅图像的中心。实践表明确切的放大点根据设备的不同而不同，当对远距离物体采用高放大倍数时，即使很小的放大点偏移也会影响抓拍目标的准确性。在该计算过程中，一旦在WFOV视频中确定了目标位置和区域尺寸，就直接确定了NFOV平移、倾斜和放大倍数的设置，这会使得目标图像填满整个NFOV的画面。

　　(4)目标选择

　　对于目标的选择，一般在低分辨率的WFOV视频中可能会检测和追踪到多个目标，因此该系统采取了优先选择机制选择目标，自动控制NFOVPTZ摄像机采集目标的高分辨率人脸图像。目标优先选择基于目标的历史记录和当前状态，对于每一个被追踪的目标都有一个用于优先选择的目标记录。该记录包括过去目标被检测的次数、人脸图像采集的次数和人脸识别的成功次数。通过人体追踪器中的卡尔曼滤波器可以确定以下几个参数：目标到摄像机节点间的距离、方向余弦和目标的速度。(方向余弦是指目标行走方向与摄像机方向夹角的余弦，表明了目标正脸与摄像机节点间的角度。)

表1用于计算目标得分的参数

　　使用以上信息对被追踪目标进行评分，评分最高的将被选为人脸图像采集对象。评分的得出主要是将每一参数乘以一个系数，并对结果进行省略处理再相加，最后得到最终的评分，如表1所示为一组参数和系数。例如，目标的方向余弦乘以系数10，然后限定于[-8,8]内，再与其它分数相加就得到评分。类似地，目标的速度(米/秒)乘以10，限定于[0,20]的范围内，目标移动得快意味着会更快离开覆盖区域，所以增加了优先选择的分数。而采集次数、成功采集人脸图像的次数和成功识别人脸的次数的系数都为负数，这将对优先选择减分，减少系统重复采集。系统为各个参数限定了范围，可避免任何一个单独的参数过大而影响优先选择分数。总之，优先选择过程是在挑选行进速度快、面向摄像机的目标。在实际中，目标选择机制使得系统能够从一个目标向另一个目标移动，去选择未出现过的、有用的人脸图像。

　　一旦选定了目标，人体追踪器中的卡尔曼滤波将预测出目标在下0.5～1.0秒的人脸位置，然后NFOV摄像机将调解放大倍数等参数指向该位置，直到目标经过。这个做法为系统留有完成平移、倾斜和放大设置的时间，当目标经过NFOV摄像机画面时，目标的人脸和上身将通过NFOV摄像机视频画面的中心，然后由基于NFOV视频图像的人脸检测模块进行人脸检测和采集。一旦完成采集，系统将马上开始选择新目标，即系统大约每隔1～2秒指示摄像机采集一幅新的人脸图像。

　　除了选择目标和确定NFOV摄像机指向的位置外，系统还必须选择NFOV摄像机的放大倍数。放大倍数与成功采集人脸的几率间存在一个平衡，高放大倍数可获得高分辨率的人脸图像，但任何目标追踪上的差错都将使人脸采集成功率大大降低。该系统采用了一种自适应的放大倍数选择方法，如果一个目标从没被成功采集过人脸图像，那么初始采集人脸图像分辨率的目标设定为双眼间30个像素。然后，每次以某分辨率成功采集人脸图像后，其分辨率目标值将提高20%，如果系统重复采集该目标图像，其分辨率将逐渐提高。人脸图像的分辨率目标值和人的距离决定了NFOV摄像机的放大倍数。

　　NFOV摄像机具有自动和手动对焦模式，NFOV摄像机的自动对焦功能偶尔会出现对焦不准模糊的情况，不过利用目标位置和距离两个数据可以解决这个问题。在使用中，独特的摄像机设备和典型的目标距离使得焦距相对较远，所以在使用时不必知道非常精确的目标距离，只有当焦距调整超过几米的可调阈值范围内时才需要调整摄像机的焦距。

　　(5)人脸检测和剪切

　　在人脸检测和剪切方面，目标锁定程序指示NFOV摄像机连续监视NFOV摄像机视频流中的人脸图像，采用匹兹堡模式识别FT-SDK检测NFOV视频中每一帧的人脸。这个过程的运行频率为10Hz，与图像刷屏率相同保持实时操作。如果在一帧图像中检测到了多个人脸，系统只选择最靠近图像中心的人脸，其更可能是选定的目标，然后将目标人脸图像剪切下来，异步传输至人脸识别器，同时告知目标锁定器人脸采集完毕，然后更新目标记录。

　　(6)人脸识别

　　当人脸识别器接收到新的剪切人脸图像后，系统将创建人脸采集记录并存储该图像。人脸识别器根据图像采集的时间询问目标锁定器，以确定人脸图像来自哪个追踪目标ID。目标锁定器保存一个追踪目标的时间记录作为ID号，人脸采集记录与之相关联。系统可以以10Hz的频率采集人脸图像，但是人脸识别每幅图像通常需要0.5～2秒的时间，这主要取决于算法。一般情况下，识别与采集并不同步，所以人脸识别是异步进行的。

　　在处理环节中，重复应用人脸识别器识别最新采集的未识别图像，结果存储于人脸图像采集记录中，未处理的人脸图像在30秒后被丢弃。人脸识别次数和结果存于目标记录中的人脸图像采集记录中，并显示于程序中。人脸识别结果传递至目标锁定器以更新目标记录，人脸识别结果同时被GUI使用以标注WFOV视频中被追踪目标的名字。

　　本系统配有可选的自动注册功能可以利用每一个追踪目标的目标记录，这是一个可配置的基于规则的过程，其目标是利用采集到的未注册且适于注册的人脸图像进行自动注册。自动注册目标必须具有至少一幅质量超过人脸识别匹配阈值的人脸图像，并且采用至少4幅不同的人脸图像进行识别的结果均为失败。这个过程可帮助确保用于自动注册的人脸图像确实是未知图像。

　　性能评估

　　为了测试该生物特征监控系统的性能，通用公司设计了一个实验模仿交通运输枢纽中心的情况，如机场或地铁站。系统被安置于室内和室外的固定位置。室内测试在一个很长(宽大约为9米)的走廊内进行，光照为来自窗户的自然光和屋顶的几个日光灯。这个走廊与机场航站楼相似，如图1所示。此地的光照情况随着时间和天气而变化，从晴朗天气的很亮到阴雨天或夜晚的昏暗。在进行室外测试时，摄像机分别朝向和背对太阳，试验进行了6天以经历不同的变化。在试验过程中，被测试目标以自然的方式步行穿过走廊或室外区域。

表2试验数据

　　第一项试验将评估人体检测和人脸图像采集的性能，表2所示为采集数据，图3中的直方图为初始人体检测和初始人脸采集的距离。尽管被测目标的行为是可控的，但此过程中出现了其他非测试人员，包括在摄像机视场中静止不动的人员。这些非测试人员甚至并不知晓正在进行测试。在全部的466次试验中，只有1例人体检测失败和8例人脸采集失败，原因是该目标或其脸部以某种方式被遮挡。

　　在第二项试验中对人脸识别性能进行了评估，采用CognitecFaceVACS^®人脸识别算法(阈值为0.5)的识别率。这项试验包括30组，所有组均识别成功。

表3试验数据

　　表3为人体检测、人脸检测和人脸识别的均值和标准方差，我们可以看到，人体检测和人脸采集的平均范围大约是人脸识别的两倍，这是由于人脸识别算法需要高分辨率人脸图像，这也是现有人脸识别算法的局限性。

　　结语

　　通用公司的人体生物特征监控系统的主要是通过目标追踪、目标选择和自动PTZ摄像机控制进行人脸图像采集，目标是采集高分辨率人脸图像，并通过第三方人脸识别软件进行识别。这种基于自动摄像机控制的远距离人脸识别系统可以在目标不知情或非合作的情况下，在相对大的范围内进行人体生物特征识别，其可应用于很多重要场合，而其他的生物特征识别技术如指纹、虹膜等都需要被识别人的合作以及近距离采集。该生物特征监控系统可以在20～25米远的距离追踪目标，识别距离最大可达20米。目前类似这样的系统已经在实践中得到较好的应用，显现出远距离人脸识别良好的应用前景。