Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

乂学教育-松鼠AI承办,IJCAI研讨会聚焦多模态数据提升人类学习

学习到底是什么?

人类对于学习的认知往往受制于我们的感知能力和衡量标准,这也是为何千年以来人类学习的进化速度异常的缓慢。

然而,现代多模态传感数据的处理能力日新月异,通过在实际的教育过程收集到的学生生理信号、言语表达、面部表情、姿势等多模态数据,科学家们正在以一种新的视角重新审视和理解学习。

中国教育行业正在经历一场以数据和人工智能为核心的技术变革,这也是为何在今年8月10日-16日于澳门举办的国际人工智能联合会议上(IJCAI)上,围绕多模态数据分析和智能教育的研讨会AIMA4EDU受到了业内极大的关注。

AIMA4EDU,全称为“基于人工智能的多模态分析用于理解现实世界教育环境中的人类学习”,由中国人工智能教育独角兽乂学教育-松鼠AI联合举办,8月11日举办为期一天。研讨会除了颁发最佳论文和最佳学生论文之外,还邀请了来自加州伯克利大学、孟菲斯大学和松鼠AI的专家,分享他们基于多模态数据的教育前沿研究。

明年的AIMA4EDU研讨会将与IJCAI 2020一起在日本横滨举办。

最佳论文

获得最佳论文的是来自荷兰开放大学和德国莱布尼茨教育研究和信息研究所的“Multimodal Pipeline: A generic approach for handling multimodal data for supporting learning(多模态工作流:用于处理多模态数据以支持学习的通用方法)”。

多模态工作流是一种用于支持学习的多模态数据的收集、存储、注释、处理和利用的方法。 在目前的发展阶段,多模态工作流由两个相关的原型组成:1)多模态学习中心,用于收集和存储来自多个应用程序的传感器数据;2)可视化检查工具,用于可视化和记录所记录的会话。 多模态工作流可用于支持各种学习场景,如演示技巧、患者人体模型的医学模拟等,可以提供不同的支持策略,包括检测错误,并在智能辅导系统中提示实时反馈,或通过学习分析仪表板激励自我反省。论文链接在

最佳学生论文 

获得最佳学生论文的是来自新南威尔士大学研究团队的“Deep Multi-agent Attentional Learning for Cognitive Attention Analysis in Educational Context(深层多智能体学习在教育语境中的认知注意力分析)”。

传感系统的最新发展允许连续产生大量传感数据,这使得复杂的学习成为可能。为了应对日益增长的对教育问题的关注,本文将学生的EEG信号与教育背景下的认知注意状态联系起来。研究团队考虑人类关注的两个固有特征,即空间 - 时间上不同的特征显着性和个体特征之间的关系。 基于这些,本文提出了一种多智能体时空关注模型。时空关注机制有助于智能地选择信息渠道及其活跃期。 并且所提出的模型中的多个智能体表示具有集体全局选择的单个特征的生理现象。 通过共同目标,智能体共享获得的信息并协调他们的选择策略以学习最佳的注意力分析模型。论文链接在

以下是大会演讲的亮点汇总:

孟菲斯大学Frank Andrasik:关于神经反馈治疗自闭症谱系障碍的方法论思考

Andrasik博士目前担任田纳西州孟菲斯大学心理学系行为医学中心的杰出教授、主席和主任。他在1979年获得俄亥俄大学临床心理学博士学位,至今发表过大约270篇文章,并发表了大量演讲。Andrasik博士同时还是心理学家,以及Applied Psychophysiology和Biofeedback两份刊物的主编。

Andrasik博士的演讲讨论了神经反馈(Neurofeedback)在治疗自闭症谱系障碍患者(Autism Spectrum Disorder,简称ASD)的方法论。ASD简单而言就是自闭症,但是一个更广义上的医学名词。

脑神经反馈训练则是目前一种比较新颖的治疗手段,通过检测患者的脑波活动状态,针对大脑薄弱的区域通过特殊的手段锻炼大脑神经。在过去三年,这项技术呈现井喷式增长,并且开始大量用于商业化,位于佛罗里达的Neurocore是目前美国最大的神经反馈服务供应商之一,美国教育部长贝齐·德沃斯(Betsy DeVos)拥有该公司的部分股权。

尽管神经反馈的发展迅猛,但Andrasik博士列举了该治疗技术在过去几年出现的问题:比如安慰剂效应,忽略了衡量维度,缺乏长期跟踪患者状态的机制。

神经反馈公司夸大的宣传也是行业的普遍现象:美国联邦贸易委员会指控Lumos游戏的创建者Lumos Labs欺骗消费者,毫无根据地声称他们的游戏可以帮助患者在工作和学校中表现更好,并减少或延迟与年龄和其他严重健康状况相关的认知障碍。

那么该如何推动这个行业前进?Andrasik博士总结了七个方向:

  1. DSM-5提高诊断精度。DSM-5是美国精神疾病诊断与统计手册第五版,把当代人们所有因为情绪控制不当和各种奇葩的病症列为各类轻~重型精神病;
  2. 认识到皮质缺乏不是症状的唯一原因。 外周生理活动、例如心率及其变异性,与神经生理学信号密切相关,并与社会参与度有关;
  3. 确定反应的预测因素,治疗可能需要40-80个疗程;
  4. 利用非接触式电容式EEG电极,基于近红外光谱(NIRS)的传感器,可穿戴式头盔设备等,在最需要的环境中每天练习;
  5. 加强对治疗机制的关注;
  6. 利用机器学习方法;
  7. 关注在真实环境而不是实验室环境中的功效。

松鼠AI 首席架构师、Richard Tong:基于智能体的自适应教学系统设计框架

松鼠AI首席架构师Richard Tong曾担任过Knewton的大中华区负责人和Amplify Education的解决方案架构总监,除此之外,他还是IEEE AIS(自适应教学系统)标准工作组成员以及互操作性小组的主席(IEEE 2247.2)。

Richard Tong介绍了松鼠AI建立自适应教学系统框架的初衷和细节。他认为,阻挡优质教育的普及和规模化的最大障碍来自于三点:成本、可行性、系统惯性。基于此,松鼠AI坚信教育方法需要重新定义:

  • 每个学生都不同,任何基于团队的教学都不能有效地利用学生的时间;
  • AI现在可以提供大规模的连续自适应一对一体验;
  • 人类教师(教练)应提供有针对性的、社会的和具有动机的个人支持。

那为什么教育需要一个基于智能体的框架?Richard 认为,一个智能体框架能设计出更好的教育过程:

  • 智能体更好地了解整个教育过程和产品,学习的关键条件可以在智能体框架中得到很好的体现,包括学习的准备、学习能力、以及学习环境;
  • 智能体框架是一个发生学习的自然框架,可以更好地帮助学生学习科学,拥有更好的可解释性和人机界面设计;
  • 更好地智能体设计可以更好地设计教育系统,智能体的水平应主要通过智能体改善学习成果的能力来衡量,而不是通过实施方法的复杂程度来衡量

Richard 简单介绍了松鼠AI自适应教学系统的设计框架,主要由三部分组成:一个教学智能体,学习拥有本体层、传感器、资源和工具;一个复合模型,包含领域模型、学习模型、交互模型;以及一个教学模型,可以看成是一个强化学习的策略,有行为、规则、和奖励函数。

在整个框架下,松鼠AI设计了四种智能体:外环智能体、内环智能体、伴侣智能体、模拟学生智能体。

需要着重了解的是这个外环-内环框架机制,也可以理解宏观-微观适应性架构。外环智能体会遍历一个动态的任务序列,结合本体层的学习地图和内容地图以及算法层的学生画像、知识状态评估、推荐引擎,为学生选定合适的任务进行学习。

内环智能体则是获得一个动态的学习行为,遍历学习一个任务的不同步骤,架构类似但不同的模块更加细分。这使得松鼠AI的系统真正具有适应性 - 不仅可以提供有关任务的反馈,还可以提供各个步骤的反馈。将两者结合之后得到的智能体学习行为,会保存在LRS中作为智能体先前的学习历史。

Richard也列举了目前依然遇到的挑战,比如:智能体之间的交流、本体层、传感信息的融合、以及上下文信息的同步。松鼠AI的下一步是进行更多的联合研究,目前已经和卡内基梅隆大学以及斯坦福大学达成联合研究的项目;做更多的参考设计和实验;标准化系统之间的智能体接口和其他组件。

松鼠AI KP Thai:用于多模态教学和学习分析的大规模数据集

松鼠AI的高级学习和数据科学家KP Thai博士主要介绍了松鼠AI研究团队的最新成果:一个用于多模态教学和学习分析的大规模数据集MULTA。

Thai博士介绍称,搭建这个数据的原因是高频多模态数据采集技术和AI/ML分析技术的进步可以为学习提供新的见解,但目前公开的可用的数据集并不多,尤其是来自现实世界的学习环境、松鼠AI希望通过发布数据集以帮助探索多模态学习分析和数据挖掘,促进教学和学习的进步。

松鼠AI收集了来自两个课后学习中心的156名中学生的数据,他们参与了5个科目:数学、英语(语法和阅读)、中文、物理、化学。在五周的时间里,学生们被要求佩戴脑波耳机并进行录像。

在学习过程中,松鼠AI收集了其系统上的用户记录、脑电波(使用BrainCo的脑电图头带)、以及网络摄像头视频(通过Debut视频录制软件的网络摄像头)。研究团队将脑电波和网络摄像头视频同步到用户记录上,根据时间同步三个数据源,基于不同的问题分割脑波和网络摄像头视频数据。

数据集目前还存在一些不足,比如数据收集过程并未如同设想的一致,导致可用数据少于预期

网络摄像头和脑波数据的长度与课程长度不同,网络摄像头没有正确设置等等。

未来,松鼠AI将优化数据收集和准备过程,继续收集数据,寻求多模态之间同步的工具,并更好地理解脑电波的特征表示。

后文将对其余演讲者的内容做简单介绍:

来自新南威尔士大学的研究团队介绍了他们的最新论文“On Using EEG Signals for Human Attention Estimation(用EEG信号进行人体注意力估计)”。EEG信号是估计人类注意力的主要媒介。当前的EEG研究通常需要针对不同受试者的适应步骤,然后脑计接口经过调整后才能用在新的实验者身上,这会耗费大量的时间和人力。研究者提出了卷积递归注意模型(CRAM),利用卷积神经网络编码脑电信号的高级表示和反复注意机制,以探索脑电信号的时间动态,并专注于最具辨别力的时间周期。

来自北京交通大学和北京师范大学的研究团队介绍了他们的最新论文“Understanding Schoolchildren Test Anxiety through Online Writing Analysis(通过在线写作分析了解学童考试焦虑)”。如何科学有效地判断学生是否有考试焦虑,从而及时给予帮助是一个值得关注的研究 课题。与高成本的自我报告相比,本文的研究试图通过分析在线写作来了解考试焦虑的表现并预测个体考试焦虑的程度。研究发现考试焦虑与一些写作习惯有关,例如易用词的使用频率和猜测词的使用类型。 通过应用机器学习技术,建立并评估基于在线书写数据的考试焦虑预测模型。 随机森林回归器目前实现了最佳性能。

来自悉尼科技大学、南京航空航天大学、和北京化工大学的研究团队介绍了他们的最新论文“Student Sentiment Analysis Through Students’ Assignments(通过学生作业分析学生情绪)”。学生情绪分析对学生管理学习和生活至关重要。为了解决这个问题,本文提出了一个分层的学生情绪分析框架来分析学生的作业情绪。 该框架包括两个流:参考流和学生语句流,它们能够从引号和引用中分析部分学生情绪。 实验结果证明这个框架在大学生作业数据集方面优于其他竞争对手。

来自悉尼科技大学和蒙纳士大学的研究团队介绍了他们的最新论文“Universal Graph Embedding for Heterogeneous Study-trajectory Graph(用于异构研究轨迹图的通用图嵌入)”。当前的学习兴趣发现方法使用单个时间序列单调地模拟每个学生的学习轨迹,忽略了学生和课程之间的相互依赖性。 本文中将学生和课程构建为研究轨迹图中的异构节点源,并提出了一种通用图嵌入框架(UGE)来同时捕获同质节点之间的相互关系以及异构节点之间的相互依赖性。

产业乂学教育松鼠AIIJCAI 2019多模态学习
2
相关数据
数据分析技术

数据分析是一类统计方法,其主要特点是多维性和描述性。有些几何方法有助于揭示不同的数据之间存在的关系,并绘制出统计信息图,以更简洁的解释这些数据中包含的主要信息。其他一些用于收集数据,以便弄清哪些是同质的,从而更好地了解数据。 数据分析可以处理大量数据,并确定这些数据最有用的部分。

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

感知技术

知觉或感知是外界刺激作用于感官时,脑对外界的整体的看法和理解,为我们对外界的感官信息进行组织和解释。在认知科学中,也可看作一组程序,包括获取信息、理解信息、筛选信息、组织信息。与感觉不同,知觉反映的是由对象的各样属性及关系构成的整体。

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

数据科学技术

数据科学,又称资料科学,是一门利用数据学习知识的学科,其目标是通过从数据中提取出有价值的部分来生产数据产品。它结合了诸多领域中的理论和技术,包括应用数学、统计、模式识别、机器学习、数据可视化、数据仓库以及高性能计算。数据科学通过运用各种相关的数据来帮助非专业人士理解问题。

多模态学习技术

现实世界中的信息通常以不同的模态出现。例如,图像通常与标签和文本解释联系在一起;文本包含图像以便更清楚地表达文章的主要思想。不同的模态由迥异的统计特性刻画。例如,图像通常表示为特征提取器的像素强度或输出,而文本则表示为离散的词向量。由于不同信息资源的统计特性不同,发现不同模态之间的关系是非常重要的。多模态学习是一个很好的模型,可以用来表示不同模态的联合表示。多模态学习模型也能在观察到的情况下填补缺失的模态。多模态学习模型中,每个模态对应结合了两个深度玻尔兹曼机(deep boltzmann machines).另外一个隐藏层被放置在两个玻尔兹曼机上层,以给出联合表示。

注意模型技术

注意模型是采用了注意力机制的机器学习模型,注意力机制是在编码器-解码器结构下用于神经机器翻译(NMT)的一种结构,它已经非常快速地扩展到了其它相关任务,例如图像描述和文本摘要等。直观而言,注意力机制通过允许解码器在多个向量中关注它所需要的信息,从而使编码器避免了将输入嵌入为定长向量,因此能保留更多的信息。

随机森林技术

在机器学习中,随机森林是一个包含多个决策树的分类器,并且其输出的类别是由个别树输出的类别的众数而定。 Leo Breiman和Adele Cutler发展出推论出随机森林的算法。而"Random Forests"是他们的商标。这个术语是1995年由贝尔实验室的Tin Kam Ho所提出的随机决策森林(random decision forests)而来的。这个方法则是结合Breimans的"Bootstrap aggregating"想法和Ho的"random subspace method" 以建造决策树的集合。

数据挖掘技术

数据挖掘(英语:data mining)是一个跨学科的计算机科学分支 它是用人工智能、机器学习、统计学和数据库的交叉方法在相對較大型的数据集中发现模式的计算过程。 数据挖掘过程的总体目标是从一个数据集中提取信息,并将其转换成可理解的结构,以进一步使用。

卷积神经网络技术

卷积神经网路(Convolutional Neural Network, CNN)是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元,对于大型图像处理有出色表现。卷积神经网路由一个或多个卷积层和顶端的全连通层(对应经典的神经网路)组成,同时也包括关联权重和池化层(pooling layer)。这一结构使得卷积神经网路能够利用输入数据的二维结构。与其他深度学习结构相比,卷积神经网路在图像和语音识别方面能够给出更好的结果。这一模型也可以使用反向传播算法进行训练。相比较其他深度、前馈神经网路,卷积神经网路需要考量的参数更少,使之成为一种颇具吸引力的深度学习结构。 卷积网络是一种专门用于处理具有已知的、网格状拓扑的数据的神经网络。例如时间序列数据,它可以被认为是以一定时间间隔采样的一维网格,又如图像数据,其可以被认为是二维像素网格。

强化学习技术

强化学习是一种试错方法,其目标是让软件智能体在特定环境中能够采取回报最大化的行为。强化学习在马尔可夫决策过程环境中主要使用的技术是动态规划(Dynamic Programming)。流行的强化学习方法包括自适应动态规划(ADP)、时间差分(TD)学习、状态-动作-回报-状态-动作(SARSA)算法、Q 学习、深度强化学习(DQN);其应用包括下棋类游戏、机器人控制和工作调度等。

本体技术

在计算机科学和信息科学中,本体包括表示、正式命名和定义概念,数据,实体之间的类别,属性和关系,并在一个,多个或所有域实例中。

暂无评论
暂无评论~