Jansfer作者

Get新技能!深度学习开启新一轮运动追踪革命

人工智能技术飞速发展,正在推动一种新的开源工具来分析动物的行为和姿态。

生理学家瓦伦蒂娜·迪·桑托(Valentina Di Santo)是斯德哥尔摩大学的博士后,她正在研究一种名叫skates swim的鱼游泳时的动作。迪·桑托花了大量时间检查高分辨率的鱼类影像。

她在水箱中拍摄了一条单独的鱼,并手动逐帧注释了它们的身体部位,为了得到一条72秒钟的镜头,她必须全身心地投入大约一个月的时间。然后,她使用以计算机语言MATLAB开发的名为DLTdv的开源应用程序,提取了鱼身体部位的坐标,g'b这是她研究所需的关键信息。

该分析显示,当这种鱼需要更快游泳时,它们会在鳍边缘上形成弧形以加强其边缘。但是随着迪·桑托研究的重点从单个动物转移到鱼群上,这种笨拙复杂的老办法就不再适用了,很明显将需要一种新方法。因此,她改为使用DeepLabCut。

图片来源:The Project Twins

DeepLabCut是由哈佛大学神经科学家Mackenzie Mathis和她的同事开发的开源软件,它使用户可以训练称为神经网络的计算模型来跟踪视频中的动物姿势。目前公开发布的版本没有随时间推移追踪多种动物的简便方法,但是Mathis的团队同意使用fish数据运行更新的版本,迪·桑托使用图形用户界面(GUI)对其进行了注释。

迪·桑托说:“初步输出看起来很有希望,尽管我正在等待观察该工具在完整数据集上的表现。但是如果没有DeepLabCut算法帮助的话,这项研究是绝对不可能进行下去的”。

Mathis表示,长期以来,研究人员对跟踪动物的运动很感兴趣,因为运动“是对大脑内意图很好的读出”。但是通常这涉及花费数小时来手工记录行为。新泽西州普林斯顿大学的神经科学家塔尔莫·佩雷拉(Talmo Pereira)说,上一代动物追踪工具绝大多数只能表示出质心,有的工具还能表示出方向,而那些为数不多的捕捉更精细细节的工具只能专门针对特定动物,还可能受到其他方面因素的限制。

在过去的几年中,深度学习(一种使用神经网络识别数据中细微模式的人工智能方法)的发展为研究动物行为带来了新的工具。诸如DeepLabCut,LEAP估计动物姿势(LEAP)和DeepFly3D之类的开源程序包使用深度学习来确定视频中动物身体部位的坐标。辅助工具执行诸如识别特定动物的任务。这些软件对研究从猎豹运动到斑马鱼集体行为的研究都有帮助。但每个工具都有局限性。有些需要特定的实验设置,或者当动物总是挤在一起时效果不佳。但是,研究方法会随着图像捕获和机器学习的进步而改善,马萨诸塞州波士顿哈佛医学院的神经科学家Sandeep Robert Datta说:“尽管还有各种各样的问题,但是我们现在所看到的只是神经科学家研究行为方式的长期转变的开始,未来的算法将得到完善,适用范围也将更广。”

世界各地的科学家们都针对动物的行为开发了许多不同的计算模型,他们各有千秋。DeepLabCut原本是基于用于分析人体姿势的软件。Mathis的团队对其底层神经网络进行了调整,使其可用于训练数据相对较少的其他动物。

Mathis说,尽管需要的数量取决于数据质量和进行贴标工作的人员的一致性等因素,但通常需要50到200个手动注释的框架才能进行标准的实验室研究。除了使用GUI注释身体部位外,用户还可以通过Jupyter Notebook发布命令,Jupyter Notebook是受数据科学家欢迎的计算文档。科学家已经使用DeepLabCut来研究实验室和野生动物,包括小鼠,蜘蛛,章鱼和猎豹。

加州大学伯克利分校神经科学家Zhang Wujie和他的同事用它来在实验室估计埃及果蝠的行为活动。由佩雷拉和他的同事开发的基于深度学习的姿势跟踪软件LEAP需要50-100个带注释的实验动物框架。尽管他的团队尚未进行足够的实验来确定数量,但野生动物的镜头仍需要更多的训练数据。

研究人员计划在今年发布另一个名为Social LEAP(SLEAP)的软件包,以更好地处理多个紧密互动的动物镜头。德国康斯坦茨市马克斯·普朗克动物行为研究所的行为科学家杰克·格雷夫和他的同事比较了在Grevy斑马视频上重新实现DeepLabCut算法和LEAP的性能。他们报告说,LEAP处理图像的速度提高了约10%,但DeepLabCut算法的精确度约为其三倍。

Graving的团队开发了一种名为DeepPoseKit的替代工具,该工具已用于研究沙漠蝗虫的行为。研究人员报告说DeepPoseKit结合了DeepLabCut的准确性和超过LEAP的批处理速度。例如,使用DeepPoseKit在以60帧/秒的速度拍摄的一小时录像中跟踪一只斑马,用DeepPoseKit花费约3.6分钟,用LEAP花费6.4分钟,而DeepLabCut算法需要花费约7.1分钟。

想要测试多种软件解决方案的生物学家可以尝试由动物学家克里斯汀·布兰森开发的动物零件追踪器,该追踪器是位于弗吉尼亚州阿什本的霍华德·休斯医学研究所珍妮莉亚研究园区的计算机科学家和她的同事们研发的。

用户可以选择几种跟踪算法中的任何一种,包括DeepLabCut和LEAP中使用的算法的修改版本,以及Branson实验室的另一种算法。DeepPoseKit还提供了使用替代算法的选项,SLEAP也是如此。当然,还有一些工具是为更专业的实验设置而设计的。例如,DeepFly3D跟踪单个实验动物的3D姿势,例如带有植入电极的小鼠或果蝇在小球上行走。洛桑瑞士联邦理工学院(EPFL)的神经工程师Pavan Ramdya及其同事开发了该软件,他们正在使用DeepFly3D来识别果蝇执行特定动作时哪些神经元处于活动状态。

由加利福尼亚大学洛杉矶分校的神经科学家Ahmet Arac和他的同事开发的DeepBehavior,允许用户跟踪3D运动轨迹并计算诸如小鼠和人类的速度和关节角度之类的参数。阿拉克的团队正在使用此软件包来评估中风患者的康复情况,并研究其大脑网络活动与行为之间的联系。

想要研究多种动物的科学家经常需要追踪哪种动物。为解决这一问题,位于里斯本的Champalimaud基金会私人研究机构Champalimaud Research的神经科学家Gonzalo de Polavieja及其同事开发了idtracker.AI,这是一种基于神经网络的工具,无需人工注释训练数据即可识别单个动物。de Polavieja说,该软件可以处理多达100条鱼和80只苍蝇的视频,其输出可以输入DeepLabCut或LEAP。他的团队使用idtracker.AI来探究斑马鱼如何决定第5组中的移动位置。但是,该工具仅适用于实验室录像,而不能用于野生动物录像,并且要求动物至少短暂地彼此分开。 

其他软件包可以帮助生物学家理解动物的动作。Mathis说,例如,研究人员可能希望将姿势坐标转换为修饰行为。如果科学家知道他们感兴趣的行为,则可以使用由布兰森团队开发的受监督机器学习工具Janelia自动动物行为注释器(JAABA)注释示例并自动识别视频中的更多实例。

另一种方法是无监督的机器学习,它不需要预先定义行为。佐治亚州亚特兰大市埃默里大学的理论生物物理学家戈登·伯曼说,这种策略可能适合想要捕获动物全部行为的研究人员。他的团队开发了MATLAB工具MotionMapper来识别经常重复的动作。运动序列(MoSeq)是Datta团队的一种基于Python的工具,它可以发现诸如步行、转弯或后仰等动作。通过混合和匹配这些工具,研究人员可以从动物图像中提取新的含义。

(来源:https://www.nature.com/articles/d41586-019-02942-5)

AMiner学术头条
AMiner学术头条

AMiner平台由清华大学计算机系研发,拥有我国完全自主知识产权。系统2006年上线,吸引了全球220个国家/地区800多万独立IP访问,数据下载量230万次,年度访问量1000万,成为学术搜索和社会网络挖掘研究的重要数据和实验平台。

https://www.aminer.cn/
专栏二维码
产业深度学习
1
相关数据
深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

神经科学技术

神经科学,又称神经生物学,是专门研究神经系统的结构、功能、发育、演化、遗传学、生物化学、生理学、药理学及病理学的一门科学。对行为及学习的研究都是神经科学的分支。 对人脑研究是个跨领域的范畴,当中涉及分子层面、细胞层面、神经小组、大型神经系统,如视觉神经系统、脑干、脑皮层。

参数技术

在数学和统计学裡,参数(英语:parameter)是使用通用变量来建立函数和变量之间关系(当这种关系很难用方程来阐述时)的一个数量。

数据科学技术

数据科学,又称资料科学,是一门利用数据学习知识的学科,其目标是通过从数据中提取出有价值的部分来生产数据产品。它结合了诸多领域中的理论和技术,包括应用数学、统计、模式识别、机器学习、数据可视化、数据仓库以及高性能计算。数据科学通过运用各种相关的数据来帮助非专业人士理解问题。

神经网络技术

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

神经元技术

(人工)神经元是一个类比于生物神经元的数学计算模型,是神经网络的基本组成单元。 对于生物神经网络,每个神经元与其他神经元相连,当它“兴奋”时会向相连的神经元发送化学物质,从而改变这些神经元的电位;神经元的“兴奋”由其电位决定,当它的电位超过一个“阈值”(threshold)便会被激活,亦即“兴奋”。 目前最常见的神经元模型是基于1943年 Warren McCulloch 和 Walter Pitts提出的“M-P 神经元模型”。 在这个模型中,神经元通过带权重的连接接处理来自n个其他神经元的输入信号,其总输入值将与神经元的阈值进行比较,最后通过“激活函数”(activation function)产生神经元的输出。

加州大学伯克利分校机构

加利福尼亚大学伯克利分校,简称加州大学伯克利分校,又常被译为加利福尼亚大学伯克莱分校,位于美国加利福尼亚州旧金山湾区伯克利市,是一所世界著名的公立研究型大学。其许多科系位于全球大学排行前十名,是世界上最负盛名的大学之一,常被誉为美国乃至世界最顶尖的公立大学。

https://www.berkeley.edu/
暂无评论
暂无评论~