Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

通过深度学习预测离散时间分岔

图片

编辑 | 白菜叶

许多自然和人造系统都容易发生关键转变——动态方面的突然且可能具有破坏性的变化。深度学习分类器可以通过从大型模拟训练数据集中学习分叉的通用特征,为关键转变提供预警信号。到目前为止,分类器仅被训练来预测连续时间分岔,忽略了离散时间分岔所特有的丰富动态。

在这里,麦吉尔大学(McGill University)Thomas M. Bury 的研究团队训练一个深度学习分类器,为余维一的五个局部离散时间分岔提供预警信号。他们使用生理学、经济学和生态学中使用的离散时间模型的模拟数据以及经历倍周期分岔的自发跳动的鸡心聚集体的实验数据来测试分类器。

在各种噪声强度和接近分叉率的情况下,该分类器比常用的预警信号表现出更高的灵敏度和特异性。它还可以在大多数情况下预测正确的分岔,尤其是倍周期分岔、Neimark-Sacker 分岔和折叠分岔的准确度特别高。

该研究以「Predicting discrete-time bifurcations with deep learning」为题,于 2023 年 10 月 10 日发布在《Nature Communications》。

图片

自然界和社会中的许多系统都具有临界阈值,在该阈值下系统会经历突然且显着的动态变化。在生理学上,心脏可以自发地从健康的节律转变为危险的节律。在经济学中,金融市场可能会形成「泡沫」并陷入衰退;在生态学中,生态系统可能因其与人类行为的相互作用而崩溃。这些事件的特征是突然切换到不同的动态状态,被称为关键转变。

通过分岔理论可以更好地理解关键转变,分岔理论是数学的一个分支,研究当参数跨越阈值(分岔)时动力系统如何经历突然的质变。许多分岔都伴随着严重的减速——系统局部稳定性的减弱——这会导致噪声时间序列的属性发生系统性变化,例如方差、自相关和功率谱。这些属性可以在存在不同分叉的情况下通过分析来近似,并且数据中的相应观察可以用作分叉的预警信号(EWS)。

在气候、地质、生态和心脏系统转变之前,已经观察到方差和滞后 1 自相关的系统性变化,表明存在分叉。然而,这些 EWS 预测分叉类型的能力有限,并且在具有非平滑势或噪声引起的转换的系统中可能会失败。

近期,深度学习技术已被用来提供分叉的 EWS。这涉及训练神经网络根据其接近的分叉类型以及适当的控制对时间序列进行分类。与深度学习的许多应用不同,这种方法不需要研究系统中的大量数据,而在关键转变的背景下,这些数据通常是无法获得的。

相反,该方法从具有每种类型分叉的通用模型生成大量模拟数据库。然后,神经网络学习与每种类型的分叉相关的通用特征,这些特征可以在研究系统的不可见时间序列中被识别。这是由于分叉的普遍属性的存在而实现的,当动态系统接近分叉时,分叉的普遍属性在时间序列中表现出来。

在 Bury 团队之前的工作中,研究人员训练了一个深度学习分类器来提供连续时间分岔的 EWS,并发现它可以有效地预测真实的热声、气候和地质转变。

分岔可以根据它们发生在连续还是离散时间动力系统中进行划分。这种区别很重要,因为离散时间动力系统(微分方程)可以表现出与其连续时间对应系统(微分方程)截然不同的行为。例如,考虑人口增长的逻辑模型。当设置为连续时间时(适合世代重叠的种群,例如人类),随着繁殖率的增加,种群会平稳增长。

然而,当在离散时间中设置时(适用于具有非重叠世代的种群,例如昆虫),种群会显示出一系列参数值的动态变化,包括稳定点、稳定循环和混沌。因此,开发适用于连续和离散时间分岔的 EWS 非常重要。虽然方差和 lag-1 自相关等指标可以为离散时间分岔提供 EWS,但深度学习分类器执行此任务的能力尚未得到研究。

与生态学一样,离散时间分岔在生理学、流行病学和经济学中自然出现,其中事件可以在离散时间线上发生。为了说明他们的方法,研究人员将使用生态学、生理学和经济学的模型模拟,以及来自自发跳动的鸡心聚集体的实验数据。给药后,在某些总量中,两次心跳之间的时间间隔开始交替,即存在周期加倍分叉。

这种转变也可能以 T 波交替的形式发生在人类心脏中,这会增加患者心源性猝死的风险。倍周期分岔伴随着严重的减速,因此方差和lag-1 自相关的系统变化是预期的,并且已被证明可以在该系统中提供 EWS。雏鸡心脏聚集体是测试 EWS 性能的良好研究系统,因为他们有多个记录,但并非所有记录都经历了转变,这使研究人员能够测试误报。

图片

图示:用钾通道阻滞剂(E-4031,1.5 μmol)处理后,自发跳动的鸡胚心脏细胞聚集体出现倍周期分叉。(来源:论文)

离散时间分岔有多种类型,每种类型都具有相关的动力学变化。在最新的研究中,Bury 团队重点关注余维一的五个局部分叉。在「局部」情况下,这些分岔伴随着严重的减速,因此预计会出现系统变化、方差和自相关。

然而,并非所有这些分歧都会导致关键转变。相反,它们可以平滑过渡到相交稳态(跨临界)或逐渐增加振幅的振荡(超临界内马克-萨克尔)。预测分岔类型提供了有关分岔后动力学性质的信息,而方差和自相关本身无法提供这些信息。

该团队训练一个深度学习分类器,为离散时间动态系统的分岔提供特定的 EWS。他们使用附加有高阶项和噪声的范式方程的模拟数据来训练分类器。然后,该团队在心脏病学、生态学和经济学中使用的五个离散时间模型的模拟运行中测试分类器,并评估其相对于方差和滞后 1 自相关的性能。在模型模拟中改变噪声幅度和强迫率,从而评估 EWS 的稳健性。最后,研究人员使用经历倍周期分岔的自发跳动的鸡心聚集体的实验数据来测试分类器。

论文链接:https://www.nature.com/articles/s41467-023-42020-z

理论神经网络深度学习
相关数据
深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

参数技术

在数学和统计学裡,参数(英语:parameter)是使用通用变量来建立函数和变量之间关系(当这种关系很难用方程来阐述时)的一个数量。

数据库技术

数据库,简而言之可视为电子化的文件柜——存储电子文件的处所,用户可以对文件中的数据运行新增、截取、更新、删除等操作。 所谓“数据库”系以一定方式储存在一起、能予多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合。

神经网络技术

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

逻辑技术

人工智能领域用逻辑来理解智能推理问题;它可以提供用于分析编程语言的技术,也可用作分析、表征知识或编程的工具。目前人们常用的逻辑分支有命题逻辑(Propositional Logic )以及一阶逻辑(FOL)等谓词逻辑。

动力系统技术

动态系统(dynamical system)是数学上的一个概念。动态系统是一种固定的规则,它描述一个给定空间(如某个物理系统的状态空间)中所有点随时间的变化情况。例如描述钟摆晃动、管道中水的流动,或者湖中每年春季鱼类的数量,凡此等等的数学模型都是动态系统。 在动态系统中有所谓状态的概念,状态是一组可以被确定下来的实数。状态的微小变动对应这组实数的微小变动。这组实数也是一种流形的几何空间坐标。动态系统的演化规则是一组函数的固定规则,它描述未来状态如何依赖于当前状态的。这种规则是确定性的,即对于给定的时间间隔内,从现在的状态只能演化出一个未来的状态。 若只是在一系列不连续的时间点考察系统的状态,则这个动态系统为离散动态系统;若时间连续,就得到一个连续动态系统。如果系统以一种连续可微的方式依赖于时间,我们就称它为一个光滑动态系统。

暂无评论
暂无评论~