视觉AI五天训练营 Day05 搭建多场景人脸口罩检测系统（附效果动图）

搭建多场景人脸口罩检测系统-基于阿里云视觉智能平台

最后一次的课了，就不辣么水了。这次的试验目的是将用户上传的图片（例如在公共场合的监控照片）进行识别，返回当前图片中的人数、（人）活体的可信度、佩戴口罩的人数以及其占比、未佩戴口罩的人物坐标。可以设置适当的阀值，当达到一定阀值（占比）时进行警告或者通知等处理。

第一步，阿里云控制台获取accesskey

不管你调用任何的能力，基本都需要获取accesskey。

第二步，去阿里云视觉开放平台查看接口文档

• 这次试验一共使用了阿里云视觉开放平台的两个能力，分别是：

人脸检测定位：返回图片中人脸数量，人脸坐标；
使用OpenCV切割人脸（无阿里云相关接口，所以通过本地实现）：通过人脸坐标进行裁剪图片，以便下一步检测口罩；
人脸口罩识别：识别输入图片中的人脸是否有戴口罩。

• 预计效果：

输出图片中的人脸数以及可信度，输出未戴口罩的人数以及可信度，未戴口罩的人数达到一定占比对用户进行通知。

第三步，编写代码（高级CV工程师又上线了）

1.导入需要使用的模块，以及阿里云视觉相关的模块

import os
import json
import time
from urllib import request
import numpy as np
import cv2

from viapi.fileutils import FileUtils
from aliyunsdkcore.client import AcsClient
from aliyunsdkcore.acs_exception.exceptions import ClientException
from aliyunsdkcore.acs_exception.exceptions import ServerException
from aliyunsdkfacebody.request.v20191230.DetectFaceRequest import DetectFaceRequest
from aliyunsdkfacebody.request.v20191230.DetectMaskRequest import DetectMaskRequest

2.出于安全以及模块化的考虑，将阿里云的AccessKey和AccessSecret写入配置文件，需要的时候通过函数调用，代码如下。

#获取accesskeyId和AccessSecret
def get_access():
    with open(r'accesskey.conf', 'r') as f:
        KeyId, Secret = f.read().split()  #split切割
        return KeyId, Secret

3.由于将图片交由阿里云视觉平台处理需要使用阿里云OSS，在阿里云OSS的文档中有关于各大编程语言的上传下载等操作的sdk，但是出于懒惰的考虑，我决定使用阿里云视觉平台提供的临时OSS，默认region就是上海的，而上传图片只需要几行代码就搞定了，简直完美；由于在调用的时候需要区分是上传的是本地文件还是图片URL，所以我多加了一个参数‘bool’，用于方便上传本地或者网络的图片，具体代码如下。

# 上传图片到临时OSS
def uploadImage_2_oss(accessKeyId, accessSecret, uploadUrl, bool):
    file_utils = FileUtils(accessKeyId, accessSecret)
    oss_url = file_utils.get_oss_url(uploadUrl,"jpg",bool)
    return (oss_url)
    # oss_url = file_utils.get_oss_url("/home/xxx.mp4","mp4",True)
    # print(oss_url)

4.准备就绪，编写代码调用阿里云视觉平台的人脸检测定位能力，对通过上传到临时OSS的图片进行处理，并格式化返回的结果，因为我们不需要一些无用的返回结果，只需要返回FaceProbabilityList以及Credibility和FaceCoordinate，对于人脸坐标，其实后面还有的用处，返回json数据以及Face_Number，具体代码如下。

#人脸检测并返回人脸数量、可信度、人脸坐标
def Face_Number_Check(accessKeyId, accessSecret, oss_url):       
    client = AcsClient(accessKeyId, accessSecret, 'cn-shanghai')
    request_Face_Number = DetectFaceRequest()
    request_Face_Number.set_accept_format('json')
    request_Face_Number.set_ImageURL(oss_url)
    response_Face_Number = client.do_action_with_exception(request_Face_Number)
    response_Face_Number = str(response_Face_Number, encoding='utf-8')
    res_Face_Data_List = json.loads(response_Face_Number)
    Face_Number = len(res_Face_Data_List['Data']['FaceProbabilityList'])
    Face_Credibility = res_Face_Data_List['Data']['FaceProbabilityList']
    #返回人脸矩形框，分别是[left, top, width, height]
    face_Coordinate = list_split(res_Face_Data_List['Data']['FaceRectangles'],4) 
    C_C_json = {'Coordinate':[], 'Credibility':[]}
    # class1_value.append ('检测到图像中的人脸数共有 %d 个' %Face_Number)
    for i in range(Face_Number):
        C_C_json['Coordinate'].append (face_Coordinate[i])
        C_C_json['Credibility'].append ('%.2f%%' %(Face_Credibility[i]*100))
        # print (face_Coordinate[i])
    return C_C_json, Face_Number

5.由于上方拿到了图片中所有的FaceCoordinate，我们在格式化之前对列表进行分割，以便后续定位切割方便使用，代码如下。

#定义一个数组分割函数，对应一张人脸四个坐标
def list_split(items, n):   
    return [items[i:i+n] for i in range(0, len(items), n)]

6.接下来就要通过本地的处理将图片中的人脸切割出来，我使用的是cv2进行处理的，所以上方格式化的Coordinate就有了用处，切割出来之后临时存入本地即刻上传临时OSS，并在完成后删除切割的图片，将上传好的人脸图片链接写入list，最后返回一个OSS_IMG_List，方便需要的时候使用。代码如下。

#图像人脸分割
def Face_Mask_Recognition(oss_url,ccjson):
    oss_url_list = []
    for i in range(len(ccjson['Coordinate'])):
        x0 = ccjson['Coordinate'][i][0]
        y0 = ccjson['Coordinate'][i][1]
        x1 = ccjson['Coordinate'][i][2] + x0
        y1 = ccjson['Coordinate'][i][3] + y0

        resp = request.urlopen(oss_url)
        image = np.asarray(bytearray(resp.read()), dtype="uint8")
        image = cv2.imdecode(image, cv2.IMREAD_COLOR)
        cropped = image[y0:y1, x0:x1]
        path = "./images/" + str(i) + ".jpg"
        print ('一共%d张人脸图片，正在分割第%d张图片...' %(len(ccjson['Coordinate']), i+1))
        cv2.imwrite(path, cropped)

        #上传至region为上海的临时OSS并返回链接
        uploadPath = path
        oss_url_list.append (uploadImage_2_oss(accessKeyId, accessSecret, uploadPath, True))
        #上传完毕删除文件
        os.remove(path)
    print ('分割完毕，准备进行口罩佩戴识别...')
    print ('-'*80+'\n')
    return oss_url_list

7.有了图片中的人脸图片的OSS链接之后，通过调用阿里云视觉平台的人脸口罩识别能力，对切割好的人脸进行处理识别，对处理的结果进行简单的处理之后，便可以格式化输出了。代码如下。

#人脸口罩识别
def Mask_Detection(accessKeyId, accessSecret, oss_url_list):
    client = AcsClient(accessKeyId, accessSecret, 'cn-shanghai')
    request_Mask = DetectMaskRequest()
    request_Mask.set_accept_format('json')

    res_Mask_List = []
    for i in range(len(oss_url_list)):
        print ('正在识别图像中第%d个人脸口罩佩戴情况...' %(i+1))
        request_Mask.set_ImageURL(oss_url_list[i])
        response_Mask = client.do_action_with_exception(request_Mask)
        response_Mask = str(response_Mask, encoding='utf-8')
        res_Mask = json.loads(response_Mask)['Data']['Mask']
        res_Mask_List.append (res_Mask)
        time.sleep(0.5)
    print ('识别完毕，准备格式化输出结果...')
    print ('-'*80+'\n')
    return res_Mask_List

8.由于对于口罩识别的API返回的数据并不是我们想要的，没有戴口罩返回1，戴了返回2，通过简单的转换之后，就可以显示成百分百了，不过只有100%和0%，不过我不尴尬，尴尬的是阿里云，谁叫它只返回1或者2，即戴了或者没戴，代码如下。

#转换口罩识别结果
def numlist2str(islist):
    for x in range(len(islist)):
        if islist[x] == 1:
            islist[x] = '0%'
        else:
            islist[x] = '100%'
    return islist

9.口说无凭，你说图片有几个人脸就几个人脸吗？你说戴了口罩就戴了口罩？为了更直观的表达，还是把原图读取出来，并对人脸进行圈圈，就是画个框框，（本来想要做成戴了口罩的用绿框框，没戴的用红框框，但是由于我比较懒，加上没有时间，以及代码写的太乱了，就不搞了，有兴趣的小伙伴可以搞一下，不难的）

#读取检测的图片，并通过cv2对人脸进行标记，最后显示出来
def showimg():
    #显示检测的图片
    resp = request.urlopen(oss_url)
    image = np.asarray(bytearray(resp.read()), dtype="uint8")
    image = cv2.imdecode(image, cv2.IMREAD_COLOR)

    # 输入参数分别为图像、左上角坐标、右下角坐标、颜色数组、粗细
    for x in range(len(ccjson['Coordinate'])):
        x0 = ccjson['Coordinate'][x][0]
        y0 = ccjson['Coordinate'][x][1]
        x1 = ccjson['Coordinate'][x][2] + x0
        y1 = ccjson['Coordinate'][x][3] + y0
        cv2.rectangle(image, (x0,y0), (x1,y1), (0,0,255), 2)

    cv2.namedWindow("image" , cv2.WINDOW_NORMAL)
    cv2.imshow('image', image)
    cv2.waitKey(0)

10.好了，到最后一步了，写个入口，调用下把子函数，输出下需要的数据就好了。代码如下。

if '__main__' == __name__:

    uploadUrl = input('输入需要检测人脸的图片链接（路径）后回车：\n')
    accessKeyId, accessSecret = get_access()
    oss_url = uploadImage_2_oss(accessKeyId, accessSecret, uploadUrl, False)

    #分割符
    print ('-'*80+'\n')

    #人脸数量及坐标的结果
    ccjson, Face_Number = Face_Number_Check(accessKeyId, accessSecret, oss_url)
    # print (len(ccjson['Coordinate']))
    
    #分割图片中的人脸并返回分割好的图片链接
    oss_url_list = Face_Mask_Recognition(oss_url,ccjson)


    #识别人脸是否佩戴口罩结果
    result_Mask = Mask_Detection(accessKeyId, accessSecret, oss_url_list)
    result_Mask = numlist2str(result_Mask)

    for x in range(len(ccjson['Coordinate'])):
        print ('检测到第%d张人脸坐标为%s\t人脸概率为%s\t佩戴口罩概率为%s' %(x+1, ccjson['Coordinate'][x], ccjson['Credibility'][x], result_Mask[x]))


    #标记图片中人脸
    showimg()

11.经过简单的图片处理和视觉平台能力的整合，我们来试验一下效果。

首先来一张本地图片

接着我们进行试验，动图如下。

再来一张网络图片

再来一次看看效果。

第四步，查看返回结果

大概长这样

结语

至此，就结束了，由于本人学艺不精，算是一个不入门级的选手，如果小伙伴们对此有更好的方法或者思路，欢迎一起讨论。最后的话，我，希望有机会能再参加阿里云的活动！