2024/02/15 16:22

LLM是世界模型的新证据？ChatGPT能理解WiFi等物理信号，并猜出你的位置

大语言模型是否是世界模型？

大语言模型除了在数字世界完成如写作或翻译等任务，它们能否理解并处理物理世界中的信息并进而完成更广泛的任务呢？

最近来自香港科技大学（HKUST）、南洋理工大学（NTU）与加利福尼亚大学洛杉矶分校（UCLA）的研究者们提供了新的思路：他们发现大语言模型如 ChatGPT 可以理解传感器信号进而完成物理世界中的任务。该项目初步成果发表于 ACM HotMobile 2024。

论文标题：Penetrative AI: Making LLMs Comprehend the Physical World
论文地址：https://arxiv.org/abs/2310.09605
项目网站：https://dapowan.github.io/wands_penetrative-ai/

在讨论大型语言模型（LLMs）与物理世界互动的议题时，大家或许更熟悉的是将其应用于图像或音频数据处理，例如视觉语言模型（VLMs）。但在真实物理世界中，除了这些人类依赖的感知数据外，还存在诸多其他重要的物理量，如温度、气压、加速度、电压及电磁波信号强度等等。

因此，该研究团队从一个更广的视野出发，探索了大型语言模型理解这些物理量的可能性。他们发现了大语言模型新的能力 —— 处理物理信号进而理解世界，并基于此提出了渗透式人工智能（Penetrative AI）的概念。

研究者们首先尝试让 ChatGPT 来处理手机传感器（加速计、卫星和 WiFi）信号来感知用户在现实世界的活动与位置语义，流程与部分实验结果如下图所示：

研究团队在多种真实场景中采集手机传感器信号，并让 ChatGPT-4 分析采集的数据（图中绿色部分）。研究发现 ChatGPT 能够准确地识别用户的行为和所处环境。

在第一项实验中，模型通过分析特定 WiFi 名称（SSID），如「WiFi.HK via EPCC」和「3DG Jewellery」，成功推理用户很有可能在香港某商场。

接下来，研究团队进一步挑战让 ChatGPT 处理心电图（ECG）数据来推算心率。每次心跳都会在 ECG 数据上形成明显的波峰，即所谓的 R-peak。

在这一任务中，ChatGPT 的目标是识别出所有的 R-peak 峰值，以此来计算心率。不同于之前的任务，传感器数据在此任务中完全以纯数字序列的形式提供给模型，如下图所示：

初步实验发现，大语言模型如 ChatGPT 无法有效地直接处理长数字序列信号。面对此挑战，研究者在 Prompt 中为大语言模型设计了一个基于自然语言的「算法」以引导其分析数字信号。

与传统算法不同，该「算法」包含许多模糊逻辑（如「overall」和「lower」等词汇），且无需设定任何阈值。

实验结果显示，ChatGPT-4 能有效利用「算法」在绝大多数情况下准确识别出ECG信号中所有R-peaks，其精度甚至能超越相同实验设置下的传统信号处理算法。

渗透式人工智能

开启 AI 和物理世界交互新篇章

定义

研究团队于是提出了一个创新性的概念，渗透式人工智能（Penetrative AI）：利用大语言模型内嵌的世界知识来理解和处理广泛部署的物联网（IoT）传感器或控制器信号，来为物理信息系统（Cyber–Physical System，CPS）完成感知与决策任务。

该研究总结了渗透式人工智概念下感知事物的简易流程。在这一新范式下，大语言模型的输入和输出都对应真实的物理信号或状态。例如，让语言模型处理温度计捕获的温度信号，并生成与物理状态相对应的描述性文本 ——「水沸腾了」。随着任务复杂度的增加，向模型中注入专家知识（Expert Knowledge）可以增强其处理复杂数据的能力。

核心特点

与传统范式相比，渗透式人工智能的独特之处在于利用大语言模型中的通用知识。传统方法依赖于专家对物理世界的观察和规则制定，或通过大数据集训练的机器学习模型。而渗透式智能则基于大语言模型中的通识，通过与额外观察或专家模型的协作，为物理信息系统提供更全面的知识支持。

这种新的智能范式利用大量文本数据衍生的通识，不仅能增强系统的泛化能力，而且也能降低对领域知识的依赖。得益于大型语言模型的特性，开发者主要通过编辑文本进行操作，这相比传统的编程方式，可降低开发的难度和成本。该范式也可以利用文本这一通用表征，将不同传感器信号文本化再整合，呈现新的多模态融合方式。

深度探索

研究团队从信号处理的角度出发，深入探讨了大语言模型在处理不同类型信号时的能力，分为文本层次渗透和数字层次渗透两大层次，如上图所示：

文本层次渗透（Textualized-level Penetration）：大语言模型主要处理文本形式的信号，例如文本化的温度信号，或第一个示例应用中大模型分析的 WiFi 名称。
数字层次渗透（Digitized-level Penetration）：大语言模型主要处理数字形式的信号，例如温度数字信号，或第二个示例应用中大模型分析的 ECG 数字信号。

前文两个示例应用均展示了大型语言模型如 ChatGPT 在两个层次的潜能。相较于文本层次的渗透，大语言模型在数字层次渗透中可以处理更细致的信号信息，但也对其解析信号能力提出了更高要求，任务难度也随之增大。

小结

该研究提出了「渗透式人工智能」（Penetrative AI）的概念，透过两个具体的应用实例，展示了大型语言模型（LLM）如何利用其丰富的知识库，在不同信号层面上理解和处理物理信号，从而实现对现实世界的深度感知和有效干预的潜能。此研究也说明大语言模型如 ChatGPT-4 可能已经发展出世界模型，对物理世界有深入的理解。

渗透式智能不仅扩展了大型语言模型的应用领域，而且为 AI 在医疗、环境监测、家庭自动化等多个领域的应用提供了新的智能化解决方案。

如想进一步了解渗透式人工智能的定义、潜力、所面临的挑战和机遇，以及应用实例设计细节，欢迎阅读原论文。

^参考文献

^{[1] Huatao Xu, Liying Han, Qirui Yang, Mo Li, Mani Srivastava. ”Penetrative AI: Making LLMs Comprehend the Physical World”, Proceedings of the 25th International Workshop on Mobile Computing Systems and Applications. 2024.}

产业Penetrative AIACM HotMobile 2024

相关数据

机器学习技术

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.

感知技术

知觉或感知是外界刺激作用于感官时，脑对外界的整体的看法和理解，为我们对外界的感官信息进行组织和解释。在认知科学中，也可看作一组程序，包括获取信息、理解信息、筛选信息、组织信息。与感觉不同，知觉反映的是由对象的各样属性及关系构成的整体。

来源：维基百科

人工智能技术

在学术研究领域，人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体（intelligent agent）

来源：Russell, S., & Norvig, P. (2003). Artificial Intelligence: A Modern Approach.

知识库技术

知识库是用于知识管理的一种特殊的数据库，以便于有关领域知识的采集、整理以及提取。知识库中的知识源于领域专家，它是求解问题所需领域知识的集合，包括基本事实、规则和其它有关信息。

来源：维基百科

家庭自动化技术

家庭自动化系指利用微处理电子技术，来集成或控制家中的电子电器产品或系统，例如：照明灯、咖啡炉、电脑设备、保安系统、暖气及冷气系统、视讯及音响系统等。

来源：百度百科

逻辑技术

人工智能领域用逻辑来理解智能推理问题；它可以提供用于分析编程语言的技术，也可用作分析、表征知识或编程的工具。目前人们常用的逻辑分支有命题逻辑（Propositional Logic ）以及一阶逻辑（FOL）等谓词逻辑。

来源：机器之心

信号处理技术

信号处理涉及到信号的分析、合成和修改。信号被宽泛地定义为传递“关于某种现象的行为或属性的信息（如声音、图像和生物测量）”的函数。例如，信号处理技术用于提高信号传输的保真度、存储效率和主观质量，并在测量信号中强调或检测感兴趣的组件。我们熟悉的语音、图像都可以看做是一种信号形式。因此，对于语音、图像的增强、降噪、识别等等操作本质上都是信号处理。

来源：Roland Priemer (1991). Introductory Signal Processing. World Scientific. p. 1. ISBN 9971509199.

语言模型技术

统计式的语言模型是借由一个几率分布，而指派几率给字词所组成的字串。语言模型经常使用在许多自然语言处理方面的应用，如语音识别，机器翻译，词性标注，句法分析和资讯检索。

来源：维基百科