2023/06/08 14:42

扩散模型还能预测地震和犯罪？清华团队最新研究提出时空扩散点过程

清华大学电子工程系城市科学与计算研究中心最新提出时空扩散点过程，突破已有方法建模时空点过程的受限概率形式和高采样成本等缺陷，实现了灵活、高效且易于计算的时空点过程模型，可广泛用于城市自然灾害、突发事故和居民活动等时空事件的建模与预测，促进城市规划和管理的智能化发展。

时空点过程是具有时间和空间属性的随机事件集合，相关研究方法主要是对随机事件在时间和空间上的分布和演化规律进行建模，这对于许多领域都至关重要，包括地震学、疾病传播、城市流动、环境监测等。然而，以往的研究在建模时通常将时间和空间视为条件独立，无法准确捕捉事件时空之间的复杂相互作用，且计算对数似然需要使用蒙特卡罗来近似积分，这导致对时空点过程的理解和预测存在很大的局限性。

清华大学电子工程系城市科学与计算研究中心近日在 KDD2023 发表论文《Spatio-temporal Diffusion Point Processes》，提出时空扩散点过程（DSTPP）模型，率先实现了对复杂时空联合分布的灵活精准建模。由于不对概率密度函数的参数形式施加任何限制，这种基于扩散模型的点过程方法解决了当前时空建模的一系列困难问题，在捕捉复杂时空动态性方面具有很大潜力。该方法建立了新的生成式时空建模范式，为该领域的研究和应用带来了新的可能性。

论文链接：https://arxiv.org/abs/2305.12403
开源代码及数据：https://github.com/tsinghua-fib-lab/Spatio-temporal-Diffusion-Point-Processes

针对时空点过程，研究团队提出了全新的参数化框架，利用扩散模型学习复杂的时空联合分布。该框架将目标联合分布的学习分解为多个步骤，每个步骤可由高斯分布准确描述。为了增强每个步骤的学习能力，研究团队在去噪网络中嵌入时空共注意力机制，使其能自适应地捕捉时间和空间复杂的依赖耦合关系。通过这一创新模型，研究团队首次突破了现有解决方案对时空依赖关系的建模限制，为时空点过程提供了新的建模范式。下表展示了 DSTPP 相比已有点过程解决方案的优势。

方法优势对比结果

大量来自流行病学、地震学、犯罪学和城市流动等各领域的实验表明，DSTPP 在性能上显著超越现有解决方案，平均提升幅度超过 50%。进一步深入分析验证了该模型适应不同场景下复杂时空耦合关系的能力。

这一创新研究成果为时空点过程建模提供了全新的思路和方法，具有重要的理论和应用价值。该模型的成功应用将为地震预测、疾病控制和城市规划等领域带来更准确的分析和预测能力，助力城市发展和人类福祉。

值得注意的是，该项目的论文、代码和数据集均已开源：

开源地址：https://github.com/tsinghua-fib-lab/Spatio-temporal-Diffusion-Point-Processes

效果展示

下面展示了不同数据集（地震，高斯霍克斯过程，流行病传播）的去噪过程。

日本地震分布去噪

混合高斯霍克斯过程去噪

美国新泽西州疫情分布去噪

日本地震密度图

混合高斯霍克斯过程密度图

美国新泽西州疫情密度图

方法概览

扩散去噪建模框架

该框架首先设计时空编码器学习历史时空事件的表征，以该表征作为条件，DSTPP 旨在学习未来事件的时空联合分布模型。具体而言，对于序列中的每个事件，该方法将扩散过程建模为在空间和时间域上的马尔科夫过程，逐步向空间和时间值添加微小高斯噪声，直到它们被破坏城纯高斯噪声。在时空场景下，向时间和空间域添加噪声的过程类似于图像场景（噪声独立地应用于每个像素），DSTPP 通过以下方式在空间和时间域上分别进行独立扩散：

时空扩散过程

相反地，DSTPP 将下一步事件的预测建模为从第 K 步到第 0 步的逆向去噪迭代过程。时间和空间的去噪过程依赖于前一步中获得的彼此之间的信息，而下一步的预测值以时间和空间条件独立的方式进行建模，具体公式如下：

时空去噪过程

通过这种方式，DSTPP 成功将时空联合分布的建模分解为单步条件独立建模，而组合起来是联合建模的形式，实现了对时空联合分布的有效建模。下面罗列了 DSTPP 的训练和采样算法，这些算法训练稳定，易于实现。

训练及采样算法

网络架构

针对网络架构，研究团队在时空编码器部分提出使用基于 Transformer 的架构来学习历史时空表征，在时空扩散部分提出时空共注意力网络来参数化噪声预测网络。在每个去噪步骤中，时空共注意力网络同时执行空间和时间注意力，以捕捉二者之间的细粒度交互。不同去噪步骤共享相同的网络结构，都是基于历史表征，上一步预测得到的时空结果和去噪步数 k 的位置编码，来预测下一步的时空噪声。

网络结构图

实验结果

研究团队将 DSTPP 与最先进的时空点过程方法进行比较，并在 8 个数据集（所有数据集均已开源）进行了大量的实验。在连续空间情形下中，论文使用了两个仿真数据集和四个真实世界数据集，涵盖了广泛的领域，包括地震学，人类移动、流行病传播、城市单车使用，以及模拟的霍克斯高斯混合过程和风车结构数据。此外，论文还使用了两个真实世界的离散数据集，包括犯罪数据和出租车数据，它们的空间标签是离散的街区。

研究团队将所提的 DSTPP 与一系列最先进的建模方法进行对比，这些方法可以分为三类：空间点过程模型，时间点过程模型，时空点过程模型。针对时空点过程，可以自由组合已有的空间点过程和时间点过程来进行建模。结果显示，DSTPP 在所有数据集上的多个评估指标上均取得了最佳表现，相比最佳基线模型平均提升超过 50%。

似然和预测误差结果

为了更深入地理解去噪过程中的时空相互依赖关系，研究团队对共同注意力权重进行了深入分析。并构造一个新的的仿真数据集，该数据的时空两个维度是完全独立的，因此可以验证所设计的时空共同注意力机制是否可以学习不同的时空相互依赖关系。下图展示了在去噪过程中时间和空间维度在彼此和自身上的注意力权重变化情况。在时空耦合数据集上，随着去噪过程的进行，时间和空间维度逐渐向彼此分配注意力；而在时空独立数据集上，两个维度几乎没有相互分配注意力权重。这表明 DSTPP 可以自适应地学习时间和空间之间的各种相互作用机制。

时空注意力权重变化

团队信息

清华大学电子工程系城市科学与计算研究中心聚焦于城市科学与计算研究方向，以城市科学为基础研究问题，基于复杂系统、计算社会学等理论展开研究，结合数据科学、机器学习的新一代 “认知人工智能” 为核心技术，服务于城市孪生、城市治理、无线网络孪生等面向国家重大需求的应用领域。团队在 Nature 子刊等顶级国际期刊与 KDD、NeurIPS、WWW、UbiComp 等顶级国际会议发表学术论文 150 余篇（CCF A 类 70 余篇），文章引用 19000 余次，7 次获国际会议最佳论文 / 提名奖。团队近年来与华为、腾讯、美团、快手、高德、商汤、丰田以及移动运营商等各类商企也建立了良好的合作关系，各研究课题的研究成果得到了工业界与学术界的广泛认可，已部署于武警总部、中央网信办、公安部等国家重要部门。

理论扩散模型

相关技术

机器学习物体识别深度学习人脸识别图像分割

权重技术

线性模型中特征的系数，或深度网络中的边。训练线性模型的目标是确定每个特征的理想权重。如果权重为 0，则相应的特征对模型来说没有任何贡献。

来源：Google AI Glossary

机器学习技术

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.

高斯分布技术

正态分布是一个非常常见的连续概率分布。由于中心极限定理(Central Limit Theorem)的广泛应用，正态分布在统计学上非常重要。中心极限定理表明，由一组独立同分布，并且具有有限的数学期望和方差的随机变量X1,X2,X3,...Xn构成的平均随机变量Y近似的服从正态分布当n趋近于无穷。另外众多物理计量是由许多独立随机过程的和构成，因而往往也具有正态分布。

来源：Wikipedia

人工智能技术

在学术研究领域，人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体（intelligent agent）

来源：Russell, S., & Norvig, P. (2003). Artificial Intelligence: A Modern Approach.

参数技术

在数学和统计学裡，参数（英语：parameter）是使用通用变量来建立函数和变量之间关系（当这种关系很难用方程来阐述时）的一个数量。

来源：维基百科

数据科学技术

数据科学，又称资料科学，是一门利用数据学习知识的学科，其目标是通过从数据中提取出有价值的部分来生产数据产品。它结合了诸多领域中的理论和技术，包括应用数学、统计、模式识别、机器学习、数据可视化、数据仓库以及高性能计算。数据科学通过运用各种相关的数据来帮助非专业人士理解问题。

来源：维基百科

注意力机制技术

我们可以粗略地把神经注意机制类比成一个可以专注于输入内容的某一子集（或特征）的神经网络. 注意力机制最早是由 DeepMind 为图像分类提出的，这让「神经网络在执行预测任务时可以更多关注输入中的相关部分，更少关注不相关的部分」。当解码器生成一个用于构成目标句子的词时，源句子中仅有少部分是相关的；因此，可以应用一个基于内容的注意力机制来根据源句子动态地生成一个（加权的）语境向量（context vector）, 然后网络会根据这个语境向量而不是某个固定长度的向量来预测词。

来源：机器之心

美团机构

美团的使命是“帮大家吃得更好，生活更好”。作为中国领先的生活服务电子商务平台，公司拥有美团、大众点评、美团外卖、美团打车、摩拜单车等消费者熟知的App，服务涵盖餐饮、外卖、打车、共享单车、酒店旅游、电影、休闲娱乐等200多个品类，业务覆盖全国2800个县区市。

www.meituan.com

腾讯机构

腾讯，1998年11月诞生于中国深圳，是一家以互联网为基础的科技与文化公司。我们的使命是“通过互联网服务提升人类生活品质”。腾讯秉承着 “一切以用户价值为依归”的经营理念，为亿万网民提供优质的互联网综合服务。腾讯的战略目标是“连接一切”，我们长期致力于社交平台与数字内容两大核心业务：一方面通过微信与QQ等社交平台，实现人与人、服务及设备的智慧连接；另一方面为数以亿计的用户提供优质的新闻、视频、游戏、音乐、文学、动漫、影业等数字内容产品及相关服务。我们还积极推动金融科技的发展，通过普及移动支付等技术能力，为智慧交通、智慧零售、智慧城市等领域提供有力支持。

http://www.tencent.com/