基于深度学习的面部表情识别研究

基于深度学习的面部表情识别研究

王强 于子甲 卢彪

宿州学院，安徽 宿州 234000

摘要：现如今，我国正实行“互联网+”市场发展模式，人脸识别技术成效也逐渐显著，但是面部表情的识别仍然属于技术难点。在解决面部表情识别问题时，单一特征描述的提取能力有限，现对面部表情识别技术进行探索研究。

关键词：面部表情；人脸识别；计算机；特征；深度学习

引言：面部表情被认为是视频识别领域极具挑战性的课题，在视频中对面部表情进行识别仍存在一定的局限性。现阶段在飞速发展的互联网技术的影响之下，面部识别技术逐渐趋于成熟，但其中的面部表情识别技术还存在待突破的难点。将互联网技术与面部识别技术相结合，能够抚育计算机读取人类情感的能力，促进面部表情识别的进一步发展。

1. 面部表情的意义

面部表情是人类独有的情感表达方式，对于群众的日常生活与交流起到决定性作用，同时也被作为是被行为与情感的重要依据。在20世纪时，根据跨文化研究定义六种基本的表情——愤怒、厌恶、恐惧、快乐、悲伤以及惊喜。随着“互联网+技术”和人工智能发展的脚步，面部表情识别技术已经遍布生活中每一个角落。

2. 深度学习

在深度学习的基础上，计算机可以通过反向传播算法对数据的结构进行分析并调整其内部参数，计算机依据前一个图层的表示对每个图层表示进行计算^[1]。特征学习是深度学习最显著的特点，目的是为了获取分层特征信息，从而有效解决传统特征提取方法所存在的问题。深度神经网络训练（deep neural network，DNN）就是深度学习，伴随着硬件处理的不断提升，再次成为了相关领域重点关注的内容。深度学习也为科学作出了巨大贡献，不仅在图像识别、语音识别领域取得优异成绩，还在药物分子活性、重建大脑回路等领域击败了其他机器学习技术。除此之外，深度学习在自然语言理解得各任务中也取得了成果，尤其是情感分析、自动问答、语言翻译和主题分类^[2]。

3. 深度学习的面部表情识别分析

（一）面部表情图像预处理

面部表情图像预处理是面部表情识别的重要步骤，主要目的是在于提取特征之前排除一切与面部表情无关的干扰因素，例如：环境光照、姿势和不同背景等。在干扰排除后，将人类面部直接与公共参考系相对接，使每个面部特征对应的语义位置精准无误^[3]。人脸检测、人脸对齐、数据增强、人脸归一是实现面部表情图像预处理的主要方法。

人脸检测主要是去除背景和非面部区域，对人类的面部进行检测。传统的人脸检测由人工操作完成，这样检测效果不佳，而隐马尔可夫人脸检测的性能更佳，更快速地应对干扰因素^[4]。人脸对齐会对人脸进行定点搜索，不断地细化形状和估计。在进行定点搜索时，需要使用人脸外观和人脸形状两种信息。形状是指为搜索提供一个大致的范围，IntraFace软件是目前使用最广泛的方法。通过应用该软件回归面部标志定位，即监督下降，检测出49个面部标志点。另外，还有混合树结构模型、判别响应图拟合、多任务级联卷积神经网络、人脸检测和Dlib C++库五种方法。

深度学习对数据要求十分严格，需要有效的训练数据确保识别任务的有效性，但是现阶段常用的FER数据集并不能满足深度学习的数据要求，数据量减少会导致拟合现象的出现。在这种情况下，面部表情识别技术的关键在于增强数据的可靠性。常用的数据增强方法包括：旋转反射变换法、尺度变换法、缩放变换法、对比度变换法、颜色变化法、噪声扰动等。被识别者头部姿势以及灯光情况的变化均会对面部识别结果产生影响。因此，引用两种典型的人脸归一化进行改善，一种是灰度归一化，另一种是几何归一化。提高画面的亮度，能够使面部识别功能中的图像细节更清楚的展现出来，并在一定程度上消除外界环境对图像灰度的影响，实现技术以及设备的一体化发展。除了增加图像亮度外，灰度归一化还可以对图像对比度进行调整。常见调整对比度的思想包括高斯归一化、基于离散余弦变换归一化以及直方图均衡化等。在这些方式的使用中，直方图均衡化效果最佳，并能够适用于各种网络模型，因此其更契合与深度的面部表情识别。几何归一化的主要功能是生产面部视图，目前大多数还是在小角度内利用标志点对其，所以该方法的发展暂不完善，还存在一定的不足。

（二）深度卷积神经网络

视觉对象识别任务已经被广泛运用到深度神经系统中，它可使神经网络的大数据处理能力得到明显提高，并在神经网络内构建一种类于大脑结构开发的学习体系结构。在这种模式下，能够充分展现出多级抽象表示，进而实现文字、图像以及声音复杂算法的结合与统一。在2012年相关人员发现在CNN中使用自动编码器逐层训练可以对更高层次的网络进行训练^[5]。经相关研究可以得知，逐层训练效果明显优于初始化的策略，因此现制定出归一批量的处理方式。通过这种方式能够推动深层网络的进一步发展，从根本上提高深层学习面部知识的效果。相关研究结果表明，逐层训练的效果优于初始化的策略，因此现提出归一化与批量化的方式，这种方式能够有效提高面部识别的效果。

结论：

计算机视觉、模式识别领域的研究热点一直是面部表情识别技术，该技术具有非常高的实用价值和商业价值。由于被识别者性别、年龄以及种族的差异，其面部表情会存在一定的差异，因此为提高面部识别技术的应用水平，面部表情不应局限于表情标签的制定，还应具有精确面部属性标签的丰富样本图像，这样更有助于深度学习对跨年龄、跨文化面部表情识别等问题的研究。

参考文献：

[1] 陆嘉慧, 张树美, 赵俊莉. 基于深度学习的面部表情识别研究[J]. 计算机应用研究, 2020, v.37;No.342(04):12-18.

[2] 夏成静. 基于数据增强和卷积神经网络的面部表情识别研究与实现[J]. 电脑知识与技术, 2020, v.16(03):219-221.

[3] 刘锦峰. 基于卷积神经网络的学生课堂面部表情识别研究[J]. 高教学刊, 2020, 000(007):67-69.

[4] 朱逸程. 基于生成对抗网络的多角度面部表情识别研究与实现[D]. 南京邮电大学, 2020.000（008）92-95.

[5] 陈磊. 三维面部表情识别技术研究[J]. 中国高新科技, 2020, No.74(14):146-147.

 项目基金：宿州学院横向项目；无线多媒体传感器网络图像采集与传输系统软件的设计与研究；（2021xhx013）

【作者信息】王强，男（2002.8—），汉族， 安徽黄山人，本科，学生，研究方向：无线传感器、图像处理与模式识别。 

【作者信息】于子甲，男（1984.3—），汉族， 安徽亳州人，硕士，宿州学院讲师，研究方向：人工智能、图像处理与模式识别。

【作者信息】卢彪，男（1985.8—），汉族， 安徽亳州人，硕士，宿州学院讲师，研究方向：人工智能、图像处理与模式识别。