使用dlib中的深度残差网络(ResNet)实现实时人脸识别 - supersayajin - 博客园

标签: | 发表时间:2018-10-09 11:05 | 作者:
出处:https://www.cnblogs.com

opencv中提供的基于haar特征级联进行人脸检测的方法效果非常不好,本文使用dlib中提供的人脸检测方法(使用HOG特征或卷积神经网方法),并使用提供的深度残差网络(ResNet)实现实时人脸识别,不过本文的目的不是构建深度残差网络,而是利用已经训练好的模型进行实时人脸识别,实时性要求一秒钟达到10帧以上的速率,并且保证不错的精度。opencv和dlib都是非常好用的计算机视觉库,特别是dlib,前面文章提到了其内部封装了一些比较新的深度学习方法,使用这些算法可以实现很多应用,比如人脸检测、车辆检测、目标追踪、语义分割等等。由于这两个库相应的都包含了C++和Python的版本,而Python的配置和相对使用起来更加简单,因此这篇文章主要通过Python来实现。

先上测试的识别效果,第一张识别吴恩达和Bengio,后者我没有打标签所以识别的是“other”;另外一张gif 是识别梁朝伟、刘德华和一个女主持的过程,本地库中没有存储女主持的图片。

                                                      

              

 

因为博客园不方便上传本地视频,所以用的gif显示效果图,源视频要比gif清楚,640X480像素大小,总的来说效果识别的效果还不错。

一、准备

(1)需要安装opencv和dlib的Python库,之前的一篇文章提到了怎样安装: http://www.cnblogs.com/supersayajin/p/8446685.html;如果你有GPU并且开启了加速,那么实现的人脸识别程序速度非常快,可以满足实时性,以我运行的结果来看,检测+识别640X480像素的视频流一秒钟大约十几帧;如果你没有GPU那么速度就会很慢了,而且在检测阶段不能使用卷积神经网络的方法了,否则检测一帧数据可能需要几秒甚至几十秒:)

(2)需要一个和PC连接的摄像头;在本文中使用的是串口的摄像头,笔记本电脑集成的摄像头就是串口的,opencv中提供了直接获取串口摄像头的接口,非常方便使用;如果是网口的摄像头那么就要看摄像头提供方,比如大华、海康他们的摄像头可能会提供官方的SDK,如果有接口那是最好;或者,如果摄像头支持RTSP协议,opencv也可以通过RTSP协议获取摄像头的数据;否则可能就要写一套socket通信来实现数据传输,这个不在本文范围之内,默认使用的是串口的摄像头。

二、策略

人脸识别分为人脸检测和识别两个阶段,人脸检测会找到人脸区域的矩形窗口,识别则通过ResNet返回人脸特征向量,并进行匹配。

(1)人脸检测阶段。人脸检测算法需要用大小位置不同的窗口在图像中进行滑动,然后判断窗口中是否存在人脸。在深度学习之前的主流方法是特征提取+集成学习分类器,比如以前火热的haar特征+adaboost级联分类器,opencv中实现的人脸检测方法就采用了这种,不过实验结果来看,这种检测方法效果很不好,经常误检测人脸,或者检测不到真实的人脸;dlib中使用的是HOG(histogram of oriented gradient)+ 回归树的方法,使用dlib训练好的模型进行检测效果要好很多。dlib也使用了卷积神经网络来进行人脸检测,效果好于HOG的集成学习方法,不过需要使用GPU加速,不然程序会卡爆了,一张图片可能几秒甚至几十秒。

(2)识别阶段。识别也就是我们常说的“分类”,摄像头采集到这个人脸时,让机器判断是张三还是其他人。分类分为两个部分:

  • 特征向量抽取。本文用到的是dlib中已经训练好的ResNet模型的接口,此接口会返回一个128维的人脸特征向量。
  • 距离匹配。在获取特征向量之后可以使用欧式距离和本地的人脸特征向量进行匹配,使用最近邻分类器返回样本的标签。

根据以上,识别的大致过程如下:

图1 人脸识别分类过程

 

对于图1中的获取人脸特征向量,其过程如下:

图2 获取人脸特征向量过程

用简单的话总结,整个过程分为两个阶段,本地存储已标记人脸数据;识别阶段把从摄像头读取的人脸和本地进行匹配,得到分类结果。

三、程序实现

(1)构建本地人脸特征向量库,并且打标签。

首先加载需要的python库:

import dlib
import numpy as np
import cv2
import os
import json

 

然后加载模型参数:

detector = dlib.cnn_face_detection_model_v1('mmod_human_face_detector.dat')
sp = dlib.shape_predictor('shape_predictor_68_face_landmarks.dat')
facerec = dlib.face_recognition_model_v1('dlib_face_recognition_resnet_model_v1.dat')

 

上面代码中的模型参数可以到这里下载: http://dlib.net/files/。detector是使用卷积神经网络(CNN)进行人脸检测的检测算子,当然如果你使用CNN的话需要使用GPU加速,否则速度会超级慢。也可以使用另一种方法,即HOG特征级联分类的检测方法,效果略差于CNN。变量sp,使用预测算子获取得到的人脸区域中的五官的几何点区域,这里加载的是68特征点的landmark模型;然后facerec会得到ResNet模型,He Kaiming(2009年和2015的CVPR best paper作者)提出的方法的一个实现,这里训练模型已经给出,因此不需要自己手动去训练了。

最后,对某个目录中的所有图片进行处理,处理的方式是一张一张地读取某个目录中的图片,每读取一张就检测人脸,如果存在人脸就使用ResNet的接口获取人脸特性向量,保存到事先准备好的矩阵中,并且按照文件名存取标签,完了之后把所有的人脸特征向量和标签都存到本地的文本文件中。注意这里给图片打标签的方式,我把每张图片命名为标签名+下划线+序号+点号+后缀名的形式,标签名是手动命名的标记名称,序号用以区分同一类中的第几张。以下是demo中存放的部分图片:

 

也有很多其他的方法打标签,这里不多举例。

imagePath = 'LocalImage/'                                                                           #图像的目录
data = np.zeros((1,128))                                                                            #定义一个128维的空向量data
label = []                                                                                          #定义空的list存放人脸的标签

for file in os.listdir(imagePath):                                                                  #开始一张一张索引目录中的图像
    if '.jpg' in file or '.png' in file:
        fileName = file
        labelName = file.split('_')[0]                                                              #获取标签名
        print('current image: ', file)
        print('current label: ', labelName)
        
        img = cv2.imread(imagePath + file)                                                          #使用opencv读取图像数据
        if img.shape[0]*img.shape[1] > 500000:                                                      #如果图太大的话需要压缩,这里像素的阈值可以自己设置
            img = cv2.resize(img, (0,0), fx=0.5, fy=0.5)
        dets = detector(img, 1)                                                                     #使用检测算子检测人脸,返回的是所有的检测到的人脸区域
        for k, d in enumerate(dets):
            rec = dlib.rectangle(d.rect.left(),d.rect.top(),d.rect.right(),d.rect.bottom())
            shape = sp(img, rec)                                                                    #获取landmark
            face_descriptor = facerec.compute_face_descriptor(img, shape)                           #使用resNet获取128维的人脸特征向量
            faceArray = np.array(face_descriptor).reshape((1, 128))                                 #转换成numpy中的数据结构
            data = np.concatenate((data, faceArray))                                                #拼接到事先准备好的data当中去
            label.append(labelName)                                                                 #保存标签
            cv2.rectangle(img, (rec.left(), rec.top()), (rec.right(), rec.bottom()), (0, 255, 0), 2)       #显示人脸区域
        cv2.waitKey(2)
        cv2.imshow('image', img)

data = data[1:, :]                                                                                  #因为data的第一行是空的128维向量,所以实际存储的时候从第二行开始
np.savetxt('faceData.txt', data, fmt='%f')                                                          #保存人脸特征向量合成的矩阵到本地

labelFile=open('label.txt','w')                                      
json.dump(label, labelFile)                                                                         #使用json保存list到本地
labelFile.close()

cv2.destroyAllWindows()                                                                             #关闭所有的窗口

 

上面的代码中,会索引imagePath这个存放图像的目录;然后定义一个128维的空向量data,在后续获取每一张人脸特征向量的时候可以往这个向量后面追加,即data的每一行是一个样本的特征向量;然后定义一个list来存储标签。之后开始索引某个目录下所有的图片文件。注意我这里用的是opencv的接口读取图像,也可以使用其他的图像读取接口,比如dlib自带的或者PIL接口中的,都可以使用,不过重要的是接口一定要统一,因为每个接口读取图片转成矩阵的数值可能会有差异。然后使用前面定义的测算子开始检测人脸,返回的是dlib中的一个数据结构,这个数据结构存储了所有检测到的人脸区域信息,对每个检测到的人脸区域获取landmark,并且调用深度残差模型的接口获取128维的人脸特征向量,之后我们把这个人脸向量存储到data中去,这里使用numpy中提供的concatenate方法进行拼接,同时把标签添加到label列表中去。最后,因为data事先定义的是一个128维的空向量,之后利用concatenate方法进行拼接得到,我们需要抛弃第一行;最后把得到的人脸特征和标签存储到本地文件。

这里使用的是CNN进行人脸检测,如果你没有GPU,或者你有GPU但没有进行GPU的配置,那么速度巨慢,此时你可以使用传统的HOG特征+级联分类的方法,不过效果没有CNN的好。这时代码的第6行中模型需要替换成:

detector = dlib.get_frontal_face_detector()

 

其余的基本保持不变。 

以上的代码可以直接运行,运行之后会检测所有的图像,类似于:

并且存取得到本地的人脸特征向量库和标签:

 

(2)实时读取摄像头进行人脸识别

在(1)中我们已经得到了本地的打过标签的人脸特征向量,这一部分是实现读取摄像头实时识别。首先加载需要的python库:

import dlib
import numpy as np
import cv2
import json

 

然后加载神经网络模型:

detector = dlib.cnn_face_detection_model_v1('mmod_human_face_detector.dat')
sp = dlib.shape_predictor('shape_predictor_68_face_landmarks.dat')
facerec = dlib.face_recognition_model_v1('dlib_face_recognition_resnet_model_v1.dat')
threshold = 0.54

其中threshold是人脸识别的阈值,当测试图片和本地图片欧式距离最近的值大于这个值的时候,我们认为不属于本都图片的任何一个类别。然后定义最近邻分类器:

def findNearestClassForImage(face_descriptor, faceLabel):
    temp =  face_descriptor - data
    e = np.linalg.norm(temp,axis=1,keepdims=True)
    min_distance = e.min() 
    print('distance: ', min_distance)
    if min_distance > threshold:
        return 'other'
    index = np.argmin(e)
    return faceLabel[index]

 

 当距离值大于threshold的时候我们返回标签“other”,否则返回本地的标签,你可以根据实际情况来设置这个阈值。题外话,安全阈值很依赖于具体的场合,比如安检、银行里进行人脸验证、iPhone解锁,这些对安全要求很高的场合需要比较小的threshold来保证安全,在嫌犯追踪的时候,需要比较大的threshold以保证由嫌疑的人不会漏过。

然后是读取图像进行识别的函数:

def recognition(img):
    dets = detector(img, 1)
    for k, d in enumerate(dets):
        
        print("Detection {}: Left: {} Top: {} Right: {} Bottom: {}".format(
            k, d.rect.left(), d.rect.top(), d.rect.right(), d.rect.bottom()))
        rec = dlib.rectangle(d.rect.left(),d.rect.top(),d.rect.right(),d.rect.bottom())
        print(rec.left(),rec.top(),rec.right(),rec.bottom())
        shape = sp(img, rec)
        face_descriptor = facerec.compute_face_descriptor(img, shape)        
        
        class_pre = findNearestClassForImage(face_descriptor, label)
        print(class_pre)
        cv2.rectangle(img, (rec.left(), rec.top()+10), (rec.right(), rec.bottom()), (0, 255, 0), 2)
        cv2.putText(img, class_pre , (rec.left(),rec.top()), cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0,255,0), 2, cv2.LINE_AA)

    cv2.imshow('image', img)

 

 最后是实时读取摄像头图像,并且进行识别的过程:

labelFile=open('label.txt','r')
label = json.load(labelFile)                                                   #载入本地人脸库的标签
labelFile.close()
    
data = np.loadtxt('faceData.txt',dtype=float)                                  #载入本地人脸特征向量

cap = cv2.VideoCapture(0)
fps = 10
size = (640,480)
fourcc = cv2.VideoWriter_fourcc(*'XVID')
videoWriter = cv2.VideoWriter('video.MP4', fourcc, fps, size)

while(1):
    ret, frame = cap.read()
    #frame = cv2.resize(frame, (0,0), fx=0.5, fy=0.5)
    recognition(frame)
    videoWriter.write(frame)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break
    
cap.release()
videoWriter.release()
cv2.destroyAllWindows()

 在上面的代码中为了展示检测的效果,我用opencv的接口把图像保存到了视频当中。识别效果截图:

 

四、总结

利用已有的计算机视觉库可以实现很多好玩和有用的应用,本文只是粗略地展示了一个进行实时人脸识别的demo,还有很多可以改善的点来提高精度和效率,比如人脸受角度、表情影响很大,或者需要处理速度要求更高的场景;同时图像类别规模很大的情况下如何保证效果,如何优化这些都是难点。另外dlib中的提供的这些模型都是已经训练好的,我们可以到官方demo下载,demo给出了在一些benchmark中的效果,也可以自己训练得到这些模型,当然前提是你需要有GPU,并且要求很大量的数据以及丰富的调参经验,这些也都是深度学习中的点~

相关 [dlib 深度 网络] 推荐:

使用dlib中的深度残差网络(ResNet)实现实时人脸识别 - supersayajin - 博客园

- -
opencv中提供的基于haar特征级联进行人脸检测的方法效果非常不好,本文使用dlib中提供的人脸检测方法(使用HOG特征或卷积神经网方法),并使用提供的深度残差网络(ResNet)实现实时人脸识别,不过本文的目的不是构建深度残差网络,而是利用已经训练好的模型进行实时人脸识别,实时性要求一秒钟达到10帧以上的速率,并且保证不错的精度.

使用dlib 进行高质量深度学习人脸识别

- -
自上一次dlib发布以来,我一直在努力为dlib 添加易于使用的. 深度学习对很多事情都很有用,但最受欢迎的应用是人脸识别. 所以显然我必须 向dlib 添加  . 新的例子附带了秃头好莱坞动作英雄的照片,并使用提供的深度模型来识别有多少不同的人以及哪些面孔属于每个人. 下面显示了输入图像以及四个自动识别的面部聚类:.

Android dlib人脸识别 dlib-android-app: Android app to demo dlib-android(https://github.com/tzutalin/dlib-android). Use the prebuilt shared-lib built from dlib-android

- -

[译] OpenCV vs Dlib 人脸检测比较分析

- - IT瘾-dev
点击我爱计算机视觉标星,更快获取CVML新技术. 人脸检测是计算机视觉最典型的应用之一,早期OpenCV的logo就是Haar人脸检测的示意图. 很多人的第一个OpenCV学习目标就是跑通Haar级联人脸检测,Dlib库在业内开始流行很大程度上是因为其HOG-SVM人脸检测比OpenCV Haar的好,而近年来OpenCV和Dlib均已包含基于深度学习的人脸检测算法实现.

深度残差网络ResNet初探

- - IT瘾-geek
微软亚洲研究院 Kaiming He 博士在 2015 年凭借深度残差网络 Deep Residual Network (DRN) 在 Imagenet 比赛的识别、检测和定位三个任务、以及 COCO 比赛的检测和分割任务上都获得了冠军. 论文《 Deep Residual Learning for Image Recognition》获得 2016 CVPR best paper,ResNet因此声名大噪,很大程度上引发了 deep network 的革命.

Python 3 利用 Dlib 实现摄像头实时人脸识别 - coneypo - 博客园

- -
  利用 Python 开发,借助 Dlib 库捕获摄像头中的人脸,提取人脸特征,通过计算特征值之间的欧氏距离,来和预存的人脸特征进行对比,判断是否匹配,达到人脸识别的目的;.   可以从摄像头中抠取人脸图片存储到本地,然后提取构建预设人脸特征;.   根据抠取的 / 已有的同一个人多张人脸图片提取 128D 特征值,然后计算该人的 128D 特征均值;.

深度剖析社交网络微软研究院推出ViralSearch

- - WPDang
继TechFest上展示了全新的交互展示系统 SketchInsight后,微软研究院又展示了另外一个重要的研究项目——ViralSearch. ViralSearch通过扫描Twitter上的数十亿条信息,为用户找到需要的内容. 整套系统可以用于追踪视频、新闻、图片等信息的传播路径,以此来展示出一条消息在社交平台上的传播途径和轨迹.

深度神经网络推理引擎MNN开源

- -
MNN是一个轻量级的深度神经网络推理引擎,在端侧加载深度神经网络模型进行推理预测. 目前,MNN已经在阿里巴巴的手机淘宝、手机天猫、优酷等20多个App中使用,覆盖直播、短视频、搜索推荐、商品图像搜索、互动营销、权益发放、安全风控等场景. 此外,IoT等场景下也有若干应用. 针对端侧设备特点深度定制和裁剪,无任何依赖,可以方便地部署到移动设备和各种嵌入式设备中.

CPU 算法训练深度神经网络比 GPU 快 15 倍

- - 奇客Solidot–传递最新科技情报
AI 的一大瓶颈是训练成本,深度神经网络(DNN)的训练通常是一系列矩阵乘法操作,这是 GPU 非常擅长的工作,但 GPU 尤其是专业级显卡要比 CPU 昂贵得多. Rice 大学的计算机科学家和英特尔的研究人员从 2019 年就开始探讨使用 CPU 训练深度神经网络,他们采取的方法是将 DNN 训练转变成能用哈希表解决的搜索问题,他们的 "sub-linear deep learning engine" (SLIDE) 设计运行在商业 CPU 上.

记一次 Kubernetes 网络故障深度追踪

- - DockOne.io
某天晚上,客户碰到了 Kubernetes 集群一直扩容失败,所有的节点都无法正常加入集群. 在经过多番折腾无解后,反馈到我们这里进行技术支持. 这个问题的整个排查过程比较有意思,所以对其中的排查思路和用到的方法进行整理分享. 运维同学在对客户的 Kubernetes 集群进行节点扩容时,发现新增的节点一直添加失败.