情感计算 | 机器之心

简介

情感计算(也被称为人工情感智能或情感AI)是基于系统和设备的研究和开发来识别、理解、处理和模拟人的情感。它是一个跨学科领域，涉及计算机科学、心理学和认知科学（cognitive science)。在计算机领域，1995年Rosalind Picard 首次提出affective computing。研究的目的是使得情感能够模拟和计算。这个技术也可以让机器人能够理解人类的情绪状态，并且适应它们的行为，对这些情绪做出适当的反应。这是一个日渐兴起的新兴领域。

目前情感计算的技术有如下5类：

语音的情感识别

自主神经系统的各种变化可以间接地改变一个人的言语，而情感技术可以利用这些信息来识别情绪。例如，在恐惧、愤怒或欢乐的状态下产生的言语，会迅速、响亮、准确地发音，音调更高、范围更广，而诸如疲倦、无聊或悲伤等情绪往往会产生缓慢、低沉和含糊不清的言语。

语音分析是一种有效的识别情感状态的方法，在最近的研究中，平均报告的准确度为70%到80%。有些系统达到的准确率高于人类识别的正确率(大约60%)的水准，比使用其他形式的情感检测(如生理状态或面部表情)的系统要精确得多。然而，由于许多语音特征无法获得语义或文化的信息，因此这一领域被认为是进一步研究的途径。

面部表情识别

自动面部表情分析（au'表单1'!B2tomated facial expression analysis AFEA) 通过 optical flow、隐马尔可夫模型、神经网络处理模型等多种方法对面部表情进行检测和处理。多种模式可以组合或融合(多模态识别，例如面部表情和语音韵律，面部表情和手势，或面部表情和多模态数据和元数据分析)，以提供对受试者情绪状态的更有力的估计。

肢体语言识别

自动动作分析（automated gesture analysis leveraging AFEA)手势可以被有效地用来检测用户的特定情绪状态，特别是当与语音和人脸识别结合使用时，准确率更高。这种识别主要根据具体的动作，手势等，比如当你不知道一个问题的答案的时候抬起你的肩膀，或者在与手语交流时，它们可能是复杂和有意义的。再如，当使用一个物体的时侯，我们可以指向它们，移动、触摸或处理它们。这些动作计算机能够识捕捉并且识别，分析上下文并以一种有意义的方式做出响应，以便有效地用于人机交互。

有许多方法来检测身体姿态。一些文献区分了两种不同的手势识别方法: 基于3D模型和基于外观的。方法一是利用人体各部分关键元素的三维信息，获得几个重要的参数，如手掌位置或关节角度。另一个方法，基于外观的系统使用图像或视频来进行直接解释。手势一直是身体姿态检测的一个常见焦点，传统上使用的是3D建模方法。

身体数据监控识别

这可以通过监测和分析用户的生理信号来检测用户的情绪状态，如心跳，血压等。这一领域的研究还处于相对的初级阶段，处于初级阶段的原因有很多，如何获得特定情绪的数据（实验的设计和数据的收集），以及情绪的分类理论的不断演化（即使情绪很早就已经衍生，但是情绪的计算和分类到现在也是研究的热门领域）。当然，这一领域正在发展壮大，现在看到的是真正实现技术的产品，如emotive insight, spire stone等，这些产品并不能全面的获得各种情绪。目前市场上比较多的设备都是测量压力这种情绪的。目前，可以分析的三个主要生理信号是血容量脉冲、电刺激皮肤反应、面部肌电图。

目前比较主要的传感器有：

脑部活动 : electroencephalography (EEG)
心跳活动: electrocardiography (ECG)
皮肤反应 : galvanic skin response (GSR) and electrodermal activity (EDA)
血液活动: photoplethysmography (PPG)
肌肉活动 : electromyography (EMG)
呼吸反应 : piezoelectricity/electromagnetic generation.

视觉特征或电子游戏

美学，在艺术和摄影的世界里，是指自然的原则和对美的欣赏。判断美和其他审美品质是一项高度主观的任务。宾夕法尼亚州立大学的计算机科学家们将其视觉内容作为机器学习的问题，将图片的视觉内容自动推断出来，并将其作为一个数据来源。他们提取一定的视觉特征，因为他们可以辨别出令人愉悦和不愉快的图像。

电子游戏也可以探测人的情绪，一般都是通过游戏的手柄进行反馈，它获取的数据有按键的力度或者频率等。这些数据都可以用于情绪的探测上。这样的结果可以应用于自闭儿童的诊断上。同样的，目前也有研究根据电脑的键盘敲击频率和力度来分析使用电脑用户的情绪，但是目前的研究精确度不是很高，而且分类的数目也很有限。

【描述来源：wikipedia， URL：https://en.wikipedia.org/wiki/Affective_computing 】

发展历史

情感计算是一个新兴的研究领域。使智能系统能够识别、感知、推断和理解人类的情感。这是一个跨学科的领域，从计算机科学与心理学，从社会科学到认知科学。在过去的两十年里，AI研究人员一直在尝试赋予机器设备具有识别、解释和表达的认知能力。情感计算成也成为了社交媒体的新潮流。情感计算也可以有效帮助对抑郁症患者等进行监控，能有效地监控人们的心理健康状态。

情感计算首先由MIT，Picard在1995年首次提出。随后，MIT 在Media Lab下成立了Affective Computing 组。在2003年，Group. Fasel, B.对面部表情识别进行分析，文章分析了过去十多年最有效地面部识别情绪系统。随着传感器地进一步发展，如脑电波，通过EEG通过模式提取来识别情绪；并且目前市场上已经有EEG设备可以识别脑部活动，如emotive insight。2017年，Poria, S对情感计算进行了全新地总结分析。在该领域下，计算人的性格，情感（压力，投入度，兴奋）等都成为了可能。该领域的发展，可以对人们的精神状态进行监控和管理，而不仅仅从身体上的物理数据（如心跳，步数，呼吸等身体数据）。

主要事件

年份	事件	相关论文
1995	Picard首次提出Affective Computing	Picard, R. W. (1995). Affective computing./Lisetti, C. L. (1998). Affective computing.
1997	Picard出了Affective computing书	Picard, R. W., & Picard, R. (1997). Affective computing (Vol. 252). Cambridge: MIT press.
2003	Fasel, B.对面部表情识别进行分析	Fasel, B., & Luettin, J. (2003). Automatic facial expression analysis: a survey. Pattern recognition, 36(1), 259-275.
2004	Coan, J. A.使用脑电波计算心情	Coan, J. A., & Allen, J. J. (2004). Frontal EEG asymmetry as a moderator and mediator of emotion. Biological psychology, 67(1), 7-50.
2008	Castellano, G.通过肢体语言面部活动来识别情绪	Castellano, G., Kessous, L., & Caridakis, G. (2008). Emotion recognition through multiple modalities: face, body gesture, speech. Affect and emotion in human-computer interaction, 92-103.
2017	Poria, S对情感计算进行回顾	Poria, S., Cambria, E., Bajpai, R., & Hussain, A. (2017). A review of affective computing: From unimodal analysis to multimodal fusion. Information Fusion, 37, 98-125.

发展分析

瓶颈

基于语音识别的情感识别的瓶颈

语音识别大多都依赖数据库，并不是都来自于自然数据。
语音识别目前很难获取到语义信息和文化背景信息，这些都是目前存在的挑战。

基于面部识别的情感识别的瓶颈

面部识别(非情感状态识别)的精确度并没有达到足以使其在世界范围内广泛有效使用的程度(有许多尝试，是在执法过程中进行对象情感识别，进而判断是否是嫌犯)。如果不提高扫描人脸的硬件和软件的准确性，进展就会慢得多。
大多数研究对象所使用的表达方式并不自然，因此也不是百分之百的准确。
模型对旋转和位移的鲁棒性欠缺。在正面使用时，影响检测效果很好，但在旋转头部超过20度时，“出现了问题”

基于肢体语言的情感识别的瓶颈

普遍的方法是使用摄像头或者3D模型来进行情感识别，这种方法中的设备移动性较差，不像手表，或者手机一样随身携带。
摄像头或者3D模型这种数据，计算量庞大，对于小型的可穿戴设备来说，运载压力很大。

未来发展方向

情感计算还局限于设备，场景，特定的数据集等，还没有普及大众化。但是由于近几十年，可穿戴传感器日益发展，情感计算会越来越以一种简单的方式植入人们的生活。
除此之外，情感计算紧密联系着人们的心理健康，如何通过情感计算来合理监控人们的心理波动和健康状况也是未来的发展方向之一。
情感计算基于可穿戴设备或移动设备，边缘计算的对该领域的普及起着至关重要的作用。

可使用的API=

基于面部识别的情感识别的API

基于文本的情感识别的API

Contributor: Ruiying Cai

简介