人机交互中的人脸表情识别研究

来源: www.daniulw.com 发布时间:2021-03-15 22:27
论文地区:中国 论文语言:中文 论文类型:毕业论文
大牛论文网是一家专业提供论文定制修改服务的网站,上10年的论文经验,无论是本科论文、硕士论文还是MBA论文,博士论文,我们都能为您提供方便、快捷、安全的论文服务。以下是小编为您整理的一篇MPA论文MBA论文在职硕士论文

大牛论文网是一家专业提供论文定制修改服务的网站,上10年的论文经验,无论是本科论文、硕士论文还是MBA论文,博士论文,我们都能为您提供方便、快捷、安全的论文服务。以下是小编为您整理的一篇MPA论文MBA论文在职硕士论文毕业论文范文,本文是关于人机交互中的人脸表情识别研究。本文为使人机交互过程变得更加自然和准确,智能机器人需要对人脸表情进行识别。为提高识别率,可以引入卷积神经网络算法本文从人脸表情识别的方法与流程分析入手,论述了人机交互中人脸表情识别的实现途径。代写一篇硕士论文、MBA论文多少钱,希望给您的论文写作带来帮助!
摘要:随着计算机、网络、AI等技术的快速发展,人机交互成为可能。智能机器人现已在诸多领域中得到越来越广泛的应用。如果能让机器人像人类一样进行交流,则可进一步改变人机之间的交互关系。在人机交互中,人脸表情识别是不可或缺的重要环节。基于此,本文从人脸表情识别的方法与流程分析入手,论述了人机交互中人脸表情识别的实现途径。

人机交互中的人脸表情识别研究

  关键词:人机交互; 人脸表情; 识别方法;

  Research on Face Expression Recognition in Human-Computer Interaction

  LU Yu

  人与人之间在进行交流沟通时,会使用一些行为动作、面部表情来表达相应的内容。机器人若是可以识别人类的面部表情,并根据表情分析人的情绪,则能够使交互过程变得更加自然和准确。因此,对人机交互中的人脸表情识别进行研究显得尤为必要。

  一、人脸表情识别的方法与流程

  人机交互简称HCI[1],是智能机器人与用户进行双向信息传输的过程。为使交互变得更加自然和准确,需要让智能机器人识别人类的各种情感信息,如喜怒哀乐忧思恐等,并据此作出合理的反馈。在这一目标的实现中,要运用到情感计算,即AC,具体是指通过赋予智能机器人与人类近似的各种情感能力,从而实现机器人与人类的自然交流[2]。要想实现智能机器人的拟人化,就必须使其能够识别交互对象的面部表情和语言等,来感知交互对象的情感状态,并据此作出反应。人脸表情识别,简称FER[3],是一种判断人类情感最为直接的方法,它不但是人机交互过程中不可或缺的组成部分之一,而且还是生物识别领域的重要研究课题。

  (一)人脸表情识别方法

  目前,人脸表情识别方法可分为两类,一类是静态图像识别,另一类是动态图像识别。前者包括整体法、局部法和几何法,其中,整体法能够对像素间隐藏的信息进行快速提取;局部法的识别率相对较高;几何法虽然定位精度比较高,但若是图像本身的质量比较差,或是背景过于复杂时,则无法准确识别。后者包括光流法和模型法,其中,光流法可在无任何场景信息的前提条件下准确检测出运动的物体;模型法获得的人脸特征具有代表性,但建模过程繁琐且计算量比较大。

  (二)人脸表情识别流程

  人脸表情识别是一个相对比较复杂的过程。具体的框架,如图1所示[4]。

 

  图1 人脸表情识别框架示意图   

  在人脸表情识别过程中,有一个非常关键的环节,即面部特征提取。采用不同的提取方法,所得到的识别结果存在一定的差异。因此,按照需要提取的特征,选择相应的提取方法是人脸表情识别的重中之重。大体上可将人脸表情识别划分为检测、图像处理、特征提取以及表情分类几个模块。其中,检测模块能够获取到人脸在图像中所处的位置,进而得到表情图像。图像处理模块会将一些影响因素去除掉,随后特征提取模块会对处理好的表情特征进行提取及融合,最后输入到表情分类模块当中,由分类器输出识别结果。

  二、人机交互中人脸表情识别的实现途径

  (一)人脸表情识别系统总体架构

  在服务机器人上,人脸表情识别系统分为上位机(人脸表情识别系统)和下位机(服务机器人运动控制系统)两个子系统。其中,上位机主要用于完成人脸表情识别工作,由图像采集、人脸检测与预处理、特征提取与识别、表情控制指令传输等模块构成。上述模块集成后构成整体的系统框架,如图2所示。

 

  图2 系统框架结构示意图  

  上位机采用EP(嵌入式处理器),为完成人脸表情识别功能提供操作平台。该系统操作流程为:测试对象进入采样区,摄像头对准对象采集图像,启动AdaBoost人脸检测算法在传输的图像中准确识别人脸区域,预处理人脸区域;采用卷积神经网络识别表情特征,以唤醒度理论和效价度理论为基础,对表情类型进行划分,区别生气、厌恶、悲伤、恐惧(上述四种表情归类为负面表情),以及惊讶、中性、高兴(上述三种表情为非负面表情);在表情分类后,根据不同的分类结果采用不同的人机交互措施,针对识别出的负面表情下达“move”指令,将该指令传输到下位机,针对识别出的非负面表情下达“stop”指令,并执行询问功能,与测试对象进行交互,进而完成人脸表情识别的整个流程。

  下位机(服务机器人运动控制系统)的结构,如图3所示,主要由处理器、电机驱动器、电机控制板等模块构成,其功能主要用于执行上位机传达的指令。该系统的操作流程为:系统接收和处理上位机传达的指令,在RS232串口总线中传输指令处理结果,电机控制模块接收处理后的指令,采用数字处理技术处理串口命令,将处理结果通过脉冲展宽调制输出最终的控制信号,当机器人接收到控制信号之后,开启相应的运动。

 

  图3 运动控制系统结构示意图   

  (二)系统测试

  为对本文所开发的系统性能进行检验,根据人脸表情识别结果与机器人之间构建交互规则,机器人按结果做出反馈。通过相关的实验数据,对该系统的识别率以及实时性进行验证。

  1.系统的识别率

  在对本文所提出的系统稳定性及鲁棒性进行验证的过程中,选取了两位测试者(一男一女)的表情识别结果。为提高验证结果的准确性和可信度,测试者的每个表情均统计100帧连续图像,并对其中识别错误的帧数进行记录,以此来检验系统的人脸表情识别率。

  2.实时性评估

  对人脸表情识别的实时性进行评估,通过处理100帧数连续图像的方式,统计表情识别整个流程所需的时间,以及对手机远程连接所需的时间进行测试。测试实验数据显示:表情识别到运动控制耗时为1.32s,相比较传统的人脸表情识别系统而言,所需时间略微延长。究其原因在于表情识别之后需通过无线传输信号,并利用电机驱动的方式促使运动控制,这一过程所耗时间较长,导致表情识别控制实时性下降。同时,在机器人运动过程中,还会受到多种干扰因素影响,进一步降低实时性;手机远程连接耗时为1.19s,比1.32s快0.13s,说明集成性的人脸表情识别系统具有良好的实时性,其性能优于其他识别系统。

  3.人机交互性

  根据人机交互规则,系统识别到负面表情后,会发出询问,与测试对象进行交互,如询问“您怎么啦?我能帮助你吗?”当识别到非负面情绪时,系统仍然会发出语音,如“您看起来很高兴”。

  根据实验结果显示,本系统可完成表情识别操作,具备良好的识别实时性和操作稳定性。在后续研究中,应将语音识别技术、语音播报技术运用到人机交互中,丰富人机交互的功能,使人机交互过程更加顺畅,从而给测试对象带来良好的交互体验。

  三、结语

  综上所述,为使人机交互过程变得更加自然和准确,智能机器人需要对人脸表情进行识别。为提高识别率,可以引入卷积神经网络算法。据此,本文开发了一款人脸表情识别系统,对系统的硬件和软件进行分析,并通过实验的方法,对系统地识别率和实时性进行验证,最终结果表明,该系统能够满足真实环境的应用需要。
大牛论文网是一家专业提供论文定制修改服务的网站,上10年的论文经验,无论是本科论文、硕士论文还是MBA论文,博士论文,我们都能为您提供方便、快捷、安全的论文服务。代写一篇硕士论文、MBA论文多少钱,希望给您的论文写作带来帮助!

  参考文献

  [1] 沈利迪.融合深度学习和稀疏表示的人脸表情识别方法研究[J].自动化技术与应用,2019(10):109-111.

  [2] 张俞晴,何宁,魏润辰.基于卷积神经网络融合SIFT特征的人脸表情识别[J].计算机应用与软件,2019(11):143-146.

  [3] 姚丽莎,张军委,房波,等.基于LBP和SVM的人脸表情识别系统的设计与实现[J].贵州师范大学学报(自然科学版),2020(1):87-92.

  [4] 李旻择,李小霞,王学渊,等.基于多尺度核特征卷积神经网络的实时人脸表情识别[J].计算机应用,2019(9):2568-2574.

作者单位:阜阳职业技术学院
原文出处:陆玉.人机交互中的人脸表情识别研究[J].北京印刷学院学报,2020,28(12):162-164.

返回顶部