社会信号处理

社会信号处理是一个新的跨学科研究领域，旨在理解和建模社会互动（人类科学研究）和赋予计算机（计算机科学研究）类似能力。社会信号处理仍处于形成阶段，人工社会智能和社会感知计算的发展时间依然漫长。 社会信号处理有助于为机器赋予社会智能，特别是它专注于社会互动中非语言行为的建模，分析和生成。社会信号处理的关键思想是计算机可以通过自动理解和综合人们用来表达或泄露社会相关信息的许多非语言行为线索（面部表情，发声，手势，姿势等）来参与社会互动（态度，信仰，意图，立场等）。

社会信号往往通过以下几个方面表现：

• 物理外观。
• 手势和姿势。
• 面部和眼睛活动。
• 声音行为。

社会信号分析通常有以下几个步骤：

1. 录制场景
2. 检测场景中的人
3. 提取人们在场景中显示的音频或视觉行为，并根据观察到的行为线索传达的社会信号来解释这些信息
4. 感知记录场景中的上下文，并以上下文敏感的方式将检测到的社会信号分类为“目标-社会行为-解释”类别。

社会信号和社会行为表达了对社会情境和相互作用的态度，它们通过多种非言语行为线索表现出来，包括面部表情，身体姿势和手势，以及像笑声一样的声音爆发（图一）。社会信号通常持续很短的时间（如话语权转换，模仿），相比之下，持续时间更长的社会行为（如同情，共感）和表达为非言语行为线索的时间模式。

社会信号处理源于三个主要研究领域，即人类行为理解，社会心理学和计算机科学。前者提供了将非言语行为作为物理（机器可检测）现象来处理的方法。社会心理学提供了非言语行为与社会/心理现象之间关系的定量分析。计算机科学在人与人和人与计算机交互环境中提供用于机器检测和合成这些相关现象的技术。

 社会信号来源于社会行为，社会行为包含以下种类：

• 社会行动/互动。社会互动是实际或虚拟呈现的多方交换一系列社会行为的事件，即由一方执行的与一个或多个其他方相关的交流信号。社会交互中的典型交流信号是反向信道信号，例如头部点头，凝视交流和融洽关系，告知接收方他的互动伙伴正在关注并理解他。
• 社会情感。个人和社会情感之间可以有明显的区别。幸福和悲伤是个体情感的典型例子，我们可以自己快乐或悲伤，我们的感受不是针对任何其他人的。另一方面，钦佩，嫉妒和同情是社会情感的典型例子，我们对另一个人有这些感受。揭示个人情感的信号和传达社会情感的信号包括面部表情，声音语调，以及身体姿势等。
• 社会评估。对于一个人的社会评估，与评价这个人的特征是否符合我们的美，智力，力量，正义，利他主义等标准有关。因为根据我们对其他人的评估，我们决定是否参与他们的社会互动，要执行什么类型的社会行为，以及与他们建立什么样的关系。社会评估中显示的典型信号是批准和不批准，至少对评估者而言。就被评估的人而言，典型的信号涉及那些传达所需特征的信号，例如骄傲，自信和精神力量，这些信号包括抬起的下巴，竖立的姿势，轻松和放松的动作等。
• 社会态度。社会态度可以定义为对一个人或一群人的积极或消极的评价。社会态度包括认知元素，如信仰，观点和社会情绪。所有这些因素决定（并由其决定）偏好和意图。协议和分歧可以被视为与社会态度有关。如果两个人同意那么这通常需要一个联盟和一个相互积极的态度。这与分歧形成鲜明对比，分歧通常意味着冲突和相互消极的态度。协议和分歧的典型信号是头部点头，头部摇晃，微笑，交叉双臂等。
• 社会关系。社会关系是两个（或更多）人之间的关系，这些人有相关的目标。因此，并非每种关系都是社会关系。在公共汽车中彼此相邻的两个人具有物理上的接近关系，但这不是社会关系。我们可以与其他人有许多不同的社会关系：依赖，竞争，合作，爱情，剥削等。社会关系的典型信号包括问候（说'你好'表示希望积极的社会关系），交谈，模仿等。

描述与图片来源：

1. Vinciarelli, A., Pantic, M., & Bourlard, H. (2009). Social signal processing: Survey of an emerging domain. Image and vision computing, 27(12), 1743-1759. http://www.dcs.gla.ac.uk/~vincia/papers/sspsurvey.pdf
2. Pantic, M., Cowie, R., D’Errico, F., Heylen, D., Mehu, M., Pelachaud, C., ... & Vinciarelli, A. (2011). Social signal processing: the research agenda. In Visual analysis of humans (pp. 511-538). Springer, London. http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.371.3893&rep=rep1&type=pdf

发展历史

描述

社会信号处理是一门年轻的学科，虽至今才发展了10年左右。

2007年，Pentland在论文“Social signal processing [exploratory DSP]”中首次提出了社会信号处理这一表述，成为了社会信号处理这一领域的开端。

2009年，Vinciarelli等人在文章“ Social signal processing: Survey of an emerging domain”中定义了社会信号处理的含义，并认为要赋予机器社会智能，紧密结合了当下人工智能的应用和社会发展的最新需求。

2011年，Pantic在论文“Social signal processing: the research agenda”中结合自己对于社会信号处理的理解，预计了社会信号处理领域发展的日程表，为今后该方向的研究提供了有力指导。

2015年，Vinciarelli和Pentland在文章“New social signals in a new interaction world: the next frontier for social signal processing”中总结了当下研究，并展望了社会信号处理的下一个前沿。

2018年，Inaguma等人的论文“ An End-to-End Approach to Joint Social Signal Detection and Automatic Speech Recognition”，在信号处理的顶级会议ICASSP上，首次提出了从语音中同时识别社会信号与语音内容的端到端方法。这也是第一个将社会信号与计算机语音信号相结合的开创性研究。

主要事件

发展分析

瓶颈

社会信号处理作为一个年轻的学科，目前获得的关注还比较少，社会信号检测的方法还未成熟，各类机器学习算法应用的结果在社会交互中的表现如何还没有统一标准。

未来发展方向

1. 由于社会信号的时序多样性，如何解决不同长度的多模态行为信号的融合以及上下文约束的问题是当前最重要的发展方向。
2. 构建一个权威的数据库，让研究者们可以将自己的方法使用在同一份数据上，得出可比较性的结果，加快该领域标准的制定。

Contributor: Yuanchao Li