Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

Facebook联合NUS、MIT等推出3000小时第一视角视频数据集Ego4D

从第三视角看世界,和从第一视角和世界互动,有显著差异。比如说,看别人坐过山车和自己坐过山车,体验完全不同。

图1. 左:同一场景在第一视角和第三视角下;右:第一视角视频采集设备

为了开启下一波AI技术浪潮,为增强现实 (AR) 和智能机器人赋能,AI需要从现在的第三视角转换成第一视角的全新范式。这是因为在第一视角的世界中,常有实时的运动变化,手与物体的交互,多种感官的信息融合。

为此,Facebook联合新加坡国立大学 (NUS) 、MIT等世界各地的13所大学组成了一个学术联盟,致力于开展一个长期项目——Ego4D(第一视角的 4D 实时感知 )。

来自NUS研究团队的Principal Investigator(主要负责人),助理教授Mike寿政说:“在过去十年里,我们见证了AI在理解图像方面的变革,这是建立在 ImageNet 等数据集,所奠定的基础上的。类似的,我相信我们的 Ego4D 数据集,将为第一视角的视频研究打好基础,从而推动智能感知在 AR 和机器人方面的快速发展。”

论文链接:https://arxiv.org/abs/2110.07058

项目链接:https://ego4d-data.org/  

一、目前最大的第一视角视频数据集

图 2. Ego4D 是目前最大的第一视角的日常活动视频数据集

大多数AI系统需要大量数据进行训练,现有的大规模视频数据集通常以第三视角为主;而现有的第一视角数据集在规模、多样性和复杂性上都很有限。因此,该学术联盟推出了 Ego4D 数据集:

  • 大规模:研究人员分发头戴式相机或者AR眼镜给数据采集者,从而收集了累计3,000 小时的、日常活动中的第一视角视频;
  • In-the-wild:包含了人们的日常生活的数百种不同活动,记录了相机佩戴者在关注什么,用手和面前的物体做什么,以及他们是如何与其他人互动的;
  • 多样性:涵盖全球 73 个地点、9个国家,700 多名不同背景、种族、职业、年龄的数据采集者,囊括不同的文化和地理差异;
  • 抽好的特征:所有视频,均有预先抽好的SlowFast特征,方便大家进行实验;
  • 授权公开:这些数据将于 2021 年 11 月公开,视频中的所有可见人脸和可听懂的语音均已获得参与者的授权。

二、新任务,新技术

图3. 通过采集的第一视角视频数据,Ego4D团队可以开发AI模型来解决新的任务

与数据收集同样重要的是,定义正确的任务,进行严格的人工标注,来引导新技术的研发。

为此,Ego4D 学术联盟联合构建了五个全新的、具有挑战性的任务:

  1. 情景记忆:什么时候发生了什么?如图3A, 告诉我钱包最近一次出现的位置。
  2. 预测未来:我接下来要做什么?如图3B, 他即将跳起来抓住单杠。
  3. 手与物体交互:我在做什么以及如何做?如图3C, 告诉我下一步的操作。
  4. 视觉+听觉:多人场景下,谁在什么时候说了什么?如图3D, 生成会议内容的总结。
  5. 社交交互:人与人如何交互?如图3D, 我注视着他,而他正在对我说话。

“我们NUS研究团队主要为其中两个关键任务开发模型:一是,利用声音和视觉线索帮助AI识别“谁在什么时候说了什么”;二是,开发具有社交智能的 AI,检测当下谁在对谁说话,谁在关注谁,”同样来自NUS团队的Co-PI李海洲教授如是说。

有第一视角感知能力的AI,将赋能AR眼镜、智能机器人等等同样是第一视角的设备,将在我们的日常生活和工作中发挥更大作用。想象一下:在对着新菜谱做菜时,不必再来来回回地看菜谱,你的AR 眼镜就可以实时地同步指导你执行每个步骤;对于有阿尔茨海默症等健康问题的人,AR眼镜可以帮助他们回忆钱包放在哪里了。

Ego4D数据集只是起点,研发第一视角AI技术,进而赋能智能机器人、AR眼镜,将在不远的将来,改变我们的生活、工作、娱乐方式,带给我们前所未有的、虚拟与现实交融的体验。

附:

Ego4D 计划的学术联盟包括以下主要负责人:CV Jawahar (印度国际信息科技研究院,海得拉巴), David Crandall (印第安纳大学), Dima Damen (布里斯托大学), Giovanni Maria Farinella (卡塔尼亚大学), Kristen Grauman (Facebook AI), Bernard Ghanem (阿卜杜拉国王科技大学), Jitendra Malik (Facebook AI), Kris Kitani (卡内基梅隆大学和卡内基梅隆大学非洲校区), Aude Oliva (麻省理工学院), Hyun Soo Park (明尼苏达大学), Jim Rehg (佐治亚理工学院), Yoichi Sato (东京大学), Jianbo Shi (宾夕法尼亚大学), Antonio Torralba (麻省理工学院), Mike Zheng Shou (新加坡国立大学), and Pablo Arbelaez (哥伦比亚安第斯大学)。

参考链接:https://news.nus.edu.sg/nus-facebook-world-class-universities-teach-ai-to-understand-the-world-through-our-eyes/

工程数据集
2
相关数据
李海洲人物

李海洲教授现任新加坡国立大学电气与计算机工程系终身教授,同时也是澳大利亚新南威尔士大学教授、国际语音通信学会 (ISCA) 首位华人主席、亚洲自然语言处理协会 (AFNLP) 主席、亚太信号与信息处理学会(APSIPA)主席、美国电气与电子工程师学会(IEEE)音频、语音、和语言处理汇刊总编。李海洲教授在国际期刊上已发表了 500 余篇技术论文和学术论文,并多次获最佳论文奖。研究方向包括说话人识别,人声分离,语音识别、语音分析处理,信息检索、机器学习和数字信号处理等多个领域。研究成果自 2008 年起在美国国家标准与科技局年度评测中名列前茅。2018年8月,李海洲教授加入厦门快商通科技股份有限公司,担任快商通首席科学家,全面指导快商通新加坡人工智能研究院。

增强现实技术

增强现实,是指透过摄影机影像的位置及角度精算并加上图像分析技术,让屏幕上的虚拟世界能够与现实世界场景进行结合与互动的技术。这种技术于1990年提出。随着随身电子产品运算能力的提升,增强现实的用途也越来越广。

感知技术

知觉或感知是外界刺激作用于感官时,脑对外界的整体的看法和理解,为我们对外界的感官信息进行组织和解释。在认知科学中,也可看作一组程序,包括获取信息、理解信息、筛选信息、组织信息。与感觉不同,知觉反映的是由对象的各样属性及关系构成的整体。

推荐文章
暂无评论
暂无评论~