Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

学术君作者

人工智能的下一个春天:情绪和情感计算

你想不想有这样一个音乐APP,它可以根据你的心境播放或悲伤、或舒缓、或欢快的歌曲,不用你切歌,就能慰藉你一天的辛劳?

近日,麦康布斯商学院信息风险和运营管理教授Maytal Saar-Tsechansky与德克萨斯大学的计算机科学研究人员共同创建了“个性化DJ”。该程序会根据每个用户的情感变化,在正确的时间播放正确的音乐。

这个程序中所运用的技术,正是情感计算

具有情感感知能力的类人机器人:pepper

感情可以计算吗?机器人真的能理解感情吗?在各方争论中,情感机器人姗姗而来,并在许多实用领域有了一展身手的机会。

情感计算是什么

情感计算研究可以从两个方面来理解,一是基于生理学的角度,通过各种测量手段来记录人体的各种生理参数,比如,人体运动数据,脸部表情、心理、脉搏、脑电波等,并以此为根据来计算人体的情感状态;二是基于心理学的角度,通过各种传感器接收并处理信息,并以此为根据计算人造机器所处的情感状态。

简单来说,情感计算研究就是试图创建一种能感知、识别和理解人的情感,并能针对人的情感做出智能、灵敏、友好反应的计算系统,它是一个高度综合的研究和技术领域。


近年来,Picard领导的美国麻省理工学院多媒体实验室相继提出了近50种情感计算应用项目。例如,将情感计算应用于医疗康复,协助自闭症者,识别其情感变化,理解患者的行为;在教育中应用情感计算,实现对学习状态的采集及分析,指导教学内容的选择及教学进度进行;还可以将情感计算应用于生活中,计算机能够感知用户对音乐的喜好,根据对情感反应的理解判断,为用户提供更感兴趣的音乐播放等。

接下来,学术君就对情感计算在课堂教学、情感检测、医疗康复和舆论监控中的运用做详细介绍。

以下内容摘自AI报告——《人工智能情感计算》。

课堂教学

面部识别测量学生理解程度

上学的时候,你是否有过“假装听懂”的课堂经历?

明明没听懂知识点,却在大家异口同声的“听明白了”的潮流中,怯怯地说自己也懂了。

教师不知道学生真懂还是假懂,那些课业有困难的学生很容易遭到忽视。

SensorStar实验室运用面部识别技术,解决了这个问题。他们用相机捕捉学生上课反应,并且输入到计算机里面,运用算法来确定学生注意力是否转移。

孩子们的眼睛是专注于老师的吗?他们是在思考还是发呆?他们是微笑还是皱着眉头?或者他们只是觉得困惑?还是无聊?

测量之后,老师将会收到一份反馈报告,基于面部分析,得出学生学习兴趣何时最高、何时最低。这样,老师能够对自己的教学方案做出调整,满足更多学生的需求。

此外,比尔和梅林达盖茨基金会资助了传感器手镯(sensor bracelets)的开发,这可以用来追踪学生的参与水平。腕部设备能够发送小电流,通过在神经系统响应刺激时测量电荷的细微变化便可以得知学生的课程兴奋程度。

机器学习定制学生课堂学习内容

在线教育有多火?

毫不夸张地说,在西二旗地铁站,每两步就会挤到一位在线教育公司的创始人。每两个猎头电话里,就有一个来自在线教育公司。

地铁里的在线教育广告目前在线教育的基础思路,是将学生学习效果数据进行分类,在此基础上制定相关的教学内容。同时根据学生个人能力和教学要求,实时推荐附加内容,调整教学速度。

情感计算的介入,使在线教育的效率更上一层楼。英特尔公司已经开始利用摄像头捕捉和分析学生面部表情,从而调整其学习内容和环境。

有了这些学生的表情数据,“Emoshape”这样的情感计算智能系统就能自动分析情感,并做出适当回复。这些系统具备了解决个体问题的能力, 也帮助老师提供高度个性化的内容来激发学生的学习兴趣。


情绪监测

美国麻省理工学院计算机科学与人工智能实验室打造了用无线信号监测情绪的EQ-Radio。在没有身体感应器和面部识别软件辅助的情况下,EQ-Radio通过测量呼吸和心跳的微小变化,利用无线信号捕捉到一些肉眼不一定能察觉的人类行为,判断一个人到底处于以下四种情绪中的哪一种:激动、开心、生气或者忧伤,正确率高达87%。

美国麻省理工学院教授和该项目的负责人DinaKatabi预测,这个系统会被运用于娱乐、消费者行为和健康护理等方面:电影工作室和广告公司可以用这个系统来测试观众实时的反应;而在智能家居的环境中,该系统可以通过捕捉与人的心情有关的信息,调节室内温度,或者建议你应该呼吸一些新鲜空气。

EQ-Radio 无线信号监测目前,对美国麻省理工学院计算机科学与人工智能实验室而言,最艰巨的任务就是摆脱不相关数据的干扰。比如,为了分析心率,他们要抑制呼吸可能带来的影响,因为呼吸时,人的肺部起伏比他心跳时的心脏起伏要大。

医疗康复

在自闭症治疗上,情感计算被寄予了厚望。

可穿戴“社交假肢”

美国麻省理工学院情感计算团队正在开发世界上第一个可穿戴的情感计算技术设备:一个具有社交智能的假肢,用来实时检测自闭症儿童的情感,帮助机器人使用自闭症儿童独有的数据,来评估这些互动过程中每个孩子的参与度和兴趣。

这个装置用一个小型照相机,分析孩子的面部表情和头部运动来推断他们的认知情感状态。还有一种叫“galvactivator”的工具,通过测量穿戴者的皮肤电流数据,推断孩子的兴奋程度。这个像手套一样的设备可以利用发光二极管描绘出人体生理机能亢奋程度的图谱。这种可视化的展现方式,能够清晰地展示出人的认知情感水平。

NAO机器人

SoftBank Robotics NAO类人机器人将近2英尺高,类似于装甲超级英雄,通过改变眼睛的颜色、肢体的运动以及声音的音调来表达不同的情绪。

NAO机器人有视觉、听觉和通过完全编程控制自身动作的功能人类治疗师会向孩子展示一张照片或者闪存卡片,用来表示不同的情绪,以教会他们如何识别恐惧、悲伤或喜悦的表情。治疗师随后对机器人进行编程,向孩子们展示这些相同的情绪,并且在孩子与机器人交往时观察孩子。孩子们的行为提供了宝贵的反馈信息,机器人和治疗师可以根据反馈信息继续学习。

在与机器人互动的过程中,孩子可以通过非常有条理的方式学习如何表达表情。

值得一提的是,研究人员发现深度学习机器人对儿童行为的估计,要比人类专家更加具体清晰。


舆情监控

大数据时代网络社区的舆情分析技术,主要集中于话题识别与话题跟踪、意见领袖识别以及情感倾向判别这三个方面。

话题识别与话题跟踪首先在文本中识别出新话题,接下来在一段时间内检测并实时跟踪话题,实现该话题的再现,研究其随时间发展的演化过程。

意见领袖的发现和识别重点在于评价指标的制定以及模型的构建。例如,曹玖新等将网络社区用户看作一个个节点,根据节点之间信息的交互和传播过滤,从用户结构、行为和情感三个特征维度挖掘意见领袖。

情感倾向判别在舆情研究中最为常见,首先收集web金融领域的文本数据属性,接下来构建金融领域的情感词典,最后结合语义分析,将语义规则应用到情感及情感强度识别当中,提升了分类器的准确率M。

目前国外已有一部分研究者开始关注深度情感计算方面的研究,如 Ayush Sharma等人利用语言数据联盟(Linguistic Data Consortium,LDC)中情绪韵律的语音和文本,研究韵律特征提取与分类的深层情感识别。

随着后续情感方面的深度研究,多模型认知和生理指标相结合、动态完备数据库的建立以及高科技智能产品的加入等将会成为情感计算相关研究的新趋势。我们期待更自然的人机交互,也期待情感计算带来更多令人动容的应用案例。

情感计算会成为下一个人工智能热点吗?欢迎在留言区发表你的看法。

AMiner学术头条
AMiner学术头条

AMiner平台由清华大学计算机系研发,拥有我国完全自主知识产权。系统2006年上线,吸引了全球220个国家/地区800多万独立IP访问,数据下载量230万次,年度访问量1000万,成为学术搜索和社会网络挖掘研究的重要数据和实验平台。

https://www.aminer.cn/
专栏二维码
产业情感计算
43
相关数据
英特尔机构

英特尔(NASDAQ: INTC)是全球半导体行业的引领者,以计算和通信技术奠定全球创新基石,塑造以数据为中心的未来。我们通过精尖制造的专长,帮助保护、驱动和连接数十亿设备以及智能互联世界的基础设施 —— 从云、网络到边缘设备以及它们之间的一切,并帮助解决世界上最艰巨的问题和挑战。

http://www.intel.cn/
相关技术
深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

感知技术

知觉或感知是外界刺激作用于感官时,脑对外界的整体的看法和理解,为我们对外界的感官信息进行组织和解释。在认知科学中,也可看作一组程序,包括获取信息、理解信息、筛选信息、组织信息。与感觉不同,知觉反映的是由对象的各样属性及关系构成的整体。

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

参数技术

在数学和统计学裡,参数(英语:parameter)是使用通用变量来建立函数和变量之间关系(当这种关系很难用方程来阐述时)的一个数量。

语义分析技术

语义分析是编译过程的一个逻辑阶段, 语义分析的任务是对结构上正确的源程序进行上下文有关性质的审查,进行类型审查。语义分析是审查源程序有无语义错误,为代码生成阶段收集类型信息。比如语义分析的一个工作是进行类型审查,审查每个算符是否具有语言规范允许的运算对象,当不符合语言规范时,编译程序应报告错误。如有的编译程序要对实数用作数组下标的情况报告错误。又比如某些程序规定运算对象可被强制,那么当二目运算施于一整型和一实型对象时,编译程序应将整型转换为实型而不能认为是源程序的错误。

数据库技术

数据库,简而言之可视为电子化的文件柜——存储电子文件的处所,用户可以对文件中的数据运行新增、截取、更新、删除等操作。 所谓“数据库”系以一定方式储存在一起、能予多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合。

类人机器人技术

类人机器人是一种具有与人类相似外形的机器人。类人机器人的主要特性包括:1. 可以在人类日常环境中工作 2. 可以使用人类日常使用的工具 3. 具有与人类相似的外形 目前类人机器人的设计主要来满足功能方面和实验方面的需求。针对功能性设计的类人机器人需要协助人类完成一些高危险,高难度的任务以及辅助病人,幼儿及老年人的日常生活和娱乐等。类人的设计使其可以很好的在人类日常环境中行走以及使用人类日常工具。同时,其类人的交互模式使其可以更好的完成辅助人类以及交互娱乐的功能; 而针对实验需求的类人机器人可以帮助人类更好的探究人类自身的认知,智力,心理等多方面特点。 通常来讲,类人机器人完整的模仿人类的外形,具有躯干,头部和四肢。也存在针对部分特定人体进行仿真的类人机器人,例如只模仿腰部以上的PR2机器人,只模仿腿部的机器人,以及只涉及眼睛和嘴来模仿人类面部表情的机器人(例如Kismet机器人)。此外,仿制人在普通类人机器人的基础上进一步从美学角度上对人类的皮肤,毛发,神态等模仿,从而达到了以假乱真的效果。

准确率技术

分类模型的正确预测所占的比例。在多类别分类中,准确率的定义为:正确的预测数/样本总数。 在二元分类中,准确率的定义为:(真正例数+真负例数)/样本总数

流数据技术

流数据是一组顺序、大量、快速、连续到达的数据序列,一般情况下,数据流可被视为一个随时间延续而无限增长的动态数据集合。应用于网络监控、传感器网络、航空航天、气象测控和金融服务等领域。

情感计算技术

情感计算(也被称为人工情感智能或情感AI)是基于系统和设备的研究和开发来识别、理解、处理和模拟人的情感。它是一个跨学科领域,涉及计算机科学、心理学和认知科学(cognitive science)。在计算机领域,1995年Rosalind Picard 首次提出affective computing。研究的目的是使得情感能够模拟和计算。这个技术也可以让机器人能够理解人类的情绪状态,并且适应它们的行为,对这些情绪做出适当的反应。这是一个日渐兴起的兴欣领域

人机交互技术

人机交互,是一门研究系统与用户之间的交互关系的学问。系统可以是各种各样的机器,也可以是计算机化的系统和软件。人机交互界面通常是指用户可见的部分。用户通过人机交互界面与系统交流,并进行操作。小如收音机的播放按键,大至飞机上的仪表板、或是发电厂的控制室。

推荐文章
人在判断别人情绪时是通过多方面特征的,有面部表情,说的话等。所以应该把图像、语音等各种数据载入到输入特征进行训练。不知道图像和语音怎么有机结合在一起作为神经网络的输入?
电子科技大学・模式识别・硕士
回复逍遥
涉及到融合特征处理技术。
请问要是图片与音乐的情感匹配具体怎么做呢,用lstm处理音乐还是svm比较好呢,还有用什么跨模态才好呢