好奇心是人类智能的一个重要性质，推动着科学技术的进步和人类文明的发展。理解人类的好奇心也有助于开发具有探索精神的创新型人工智能。在论文《A rational analysis of curiosity》中，加州大学伯克利分校心理学系的两位研究者 Rachit Dubey 和 Thomas L. Griffiths 提出了一种新的好奇心模型并进行了实验验证。机器之心技术分析师对该论文进行了解读，本文为解读的中文版。
论文：https://arxiv.org/abs/1705.04351
我们给出了对好奇心（curiosity）的理性分析，并提出人们的好奇心的驱动力是寻求刺激，并使该刺激能最大化他们未来获得合适响应的能力。这种观点提供了一种将之前的好奇心理论统一成一个单一框架的方法。实验结果证实了我们的模型的预测，展现了好奇心和信心之间的关系会如何根据环境的性质而发生显著改变。
引言
好奇心是这篇论文的主题，也是一个相当有趣的主题。它与内在动机（intrinsic motivation）领域有关，并被认为是人类努力奋斗的重要因素之一。好奇心是很多科学贡献的内在驱动力，也在创意艺术领域扮演了重要角色。这篇论文的作者给出了对好奇心的理性分析，并提出人们的好奇心的驱动力是寻求刺激，并使该刺激能最大化他们未来获得合适响应的能力。这篇论文提出了一个好奇心模型，并通过实验展现了好奇心和信心之间的关系会如何根据环境的性质而发生显著改变。
已有的好奇心模型
基于新颖性的好奇心
这个理论最早发表在《英国心理学杂志（British Journal of Psychology）》（Volume 41, Issue 1-2, September 1950, pages 68-80）上，作者是英国/加拿大心理学家 D.E. Berlyne。该理论假设好奇心与新颖性（novelty）有关联，因为获取全新刺激的信息会有更高的内在奖励。Berlyne 称这种“知觉好奇心（perceptual curiosity）”能够驱策个体寻找全新的刺激，而这种刺激又会随着曝光而降低。这个理论的局限之处在于其假设个体在探索所有环境中的全新刺激时存在一个最优的解决方案。但实际上，在很多情况中，环境中也许确实存在一个全新的刺激，但却缺乏让个体了解该刺激及获取有用知识的信息或资源。
基于信息空隙的好奇心
该理论由 Loewenstein 提出，发表于《Psychological Bulletin》（Volume 116, Number 1, page 75-98, 1994）。这个理论假设好奇心源自个体之间的信息间隙（Information Gap），即各个个体掌握的信息各不相同，由此会促使个体去补全缺失的知识和解决不确定的地方。但是，当一个体对一个刺激了解过少或过多时，好奇心就会消失。该理论也存在一个局限性，即没有考虑个体预先存在兴趣的情况，这时候，个体在某个特定领域内的信息参照点会变得很高。也许还需要进一步研究才能解释为什么有些人对特定主题有兴趣而有些人则几乎对所有事情都有兴趣。
基于学习过程的好奇心
引导这一理论的假设是学习过程能产生内在的奖励。这个理论假设大脑内在的动力是完成人们的预测总是会随之提升的任务。因此，人们会重点关注可学习的任务，而不是太过简单或太困难的任务。这一理论的局限性仍然是在环境中。如果环境中充满了困难的任务，那么就说不清楚个体的好奇心是如何起效的？
新提出的好奇心模型
在我深入介绍模型之前，这里先列出该模型所用的符号表示方法：
- V 是个体当前知识的值
- n 是环境中刺激的数量
- pk 是第 k 个刺激的“需求概率（need probability）。这是第 k 个刺激将会在未来出现的概率
- hk 是第 k 个刺激出现的次数
- ck 是个体知道对第 k 个刺激的正确响应的概率
在研究者提出的这个模型中，个体在环境中的目标是最大化它的知识，并由此最大化未来的奖励。c 和 h 之间的关键建模成了：
我们可以看到，个体知晓正确响应的概率会随刺激出现的次数而单调增长，并且会在出现次数达到一定程度后饱和。我个人认为这是一个非常粗略的好奇心模型，举个例子，如果 ck=0.95，则可求得 hk≈3。也就是说，个体在 3 次遇见刺激后就能达到 0.95 的正确响应概率。因为这不是这篇论文的研究主题，所以我也不会进一步阐述这一点。对于有兴趣的读者，我会建议用一个常量 αk 来建模第 k 个刺激的难度，例如：
对于想要最大化其整体知识 V 的个体，按以下等式建模：
为了最大化上述等式，我们求 (4) 式对 hk 的偏导。
是刺激 k 的出现所造成的知识变化。这个变化率这个变化率被作者称为对第 k 个刺激的个体好奇心，表示为 Ωk。完成求导可得到下面的结果：
因此，可以看到，对第 k 个刺激的好奇心会随刺激出现次数而指数级下降，并会随第 k 个刺激未来出现的概率而线性增长。
实验假设
这个好奇心的理性模型有两个实验预测。
1、需求概率和出现次数之间有关
图 1 展示了该模型，并给出了分别预计会达到
和
的好奇心与出现次数以及好奇心与信心的关系。
图 1：预测 1 的模型
这些关系可在图 2 中看出。可以看出，好奇心在刺激最初出现的几次增长最迅猛，在达到一定程度后又会指数级下降。此外，当个体对特定刺激的信心适中时，好奇心是最高的。
图 2：左图为好奇心与出现次数的关系，右图为好奇心与信心的关系2、需求概率与出现次数之间无关
图 3 展示了该模型，可以看到需求概率与出现次数是无关的。好奇心与出现次数以及好奇心与信心的关系分别预计为
和
。
图3：预测 2 的模型
可以看到，因为需求概率对出现次数没有影响，所以我们可以将上述关系中的 pk 视为常量，因此好奇心会随出现次数的增长而指数下降，而且好奇心与信心呈线性关系。如图 4 所示。这一预测很特别，因为其表明当个体对某个刺激最没有信心时好奇心最强，或在完全没有见过刺激时好奇心最高。
图 4：左图为好奇心与出现次数的关系，右图为好奇心与信心的关系
实验设置
用于检验前一节中提出的假设的行为实验的细节可参阅原论文。这些实验的目的是评估人们的好奇心是否会受需求概率和信心之间的关系影响。因此，预计结果会是图 2 和图 4 的右图，其表现出了“倒 U 形”关系。
实验结果
如果你没有阅读实验设置的细节，这里简单说明一下。实验由 2 轮组成。在第一轮（也是主要一轮）中，参与者会看到 40 个问题，并会被询问他们对回答这些问题的信心水平以及他们对这些问题的好奇程度。
在第二轮中，首先第一部分，所有问题会被展示给参与者，他们可以选择是否希望看到答案。展示一个答案会有 10 秒钟的延迟成本。展示全部 40 个问题所用的时间用作衡量好奇程度的指标（更加好奇的参与者会询问问题的答案，因此耗时更长）。
在第二轮的第二部分，参与者有固定量的时间来回答之前一轮中的 10 个问题。其有两种类型的采样：随机采样和基于信心的采样。随机采样是统一地取出 10 个问题，而基于信心的采样是选择对应参与者信心水平更高的问题。
结果表明，好奇心和信心之间的关系确实表现为“倒 U 形”。如图 5 所示，这个结果是根据参与者在第一轮中处理完所有 40 个问题所用的时间衡量的。看得出来，这两条曲线几乎一样（至少我看起来是这样）。因为所有 40 个问题都以两种采样方式进行了展示，所以采样类型实际上对结果没什么影响。因此，我们可以看到两组参与者表现出的一般行为。
图 5：好奇心与信心之间的关系实验结果
研究者还展示了另一个结果，即参与者询问查看一个答案的概率与参与者在回答该问题上的信心的关系。图 6 展示了该结果。可以在统一采样结果上看到，参与者通常更倾向于询问他们的信心更低的问题的答案。这符合我们的直觉。因此，随着参与者对问题的信心的增长，要求揭示答案的概率就会下降。
图 6：揭示答案的概率与信心之间的关系实验结果
结论和分析师简评
这篇论文基于环境、刺激和最大化未来得到合适响应的概率的驱动力，提出了一种好奇心模型。研究者还简要探讨了其它看待好奇心的方式。
结果表明，人类的好奇心不仅与刺激的性质有关，而且还会受环境的性质的影响。如果人们处在一个需求概率会影响出现次数的环境中，那么他们对他们有适中信心的刺激的好奇心最强。另一方面，如果需求概率与出现次数无关，则人们对全新刺激的好奇心最强。
最后，简单点评一下。我个人认为这个模型非常粗糙。前文已经解释过，以等式 (1) 建模好奇心并没有考虑刺激的难度，而且个体会在刺激仅仅出现 3 次之后就达到 99% 的信心。此外，参考图 6 中基于信心的采样的结果，在假设 1 中的“当个体对特定刺激的信心适中时，好奇心是最高的”这句话是不正确的。最后，图 6 中的统一采样结果看起来似乎是单调递减的（但仔细看却发现在信心很低时并非如此），所以根本不能代表他们的假设 2.
因此，我觉得这篇论文的贡献更多在于给出了人类试图理解抽象的、难以确定的好奇心概念的一个有趣想法。这也许能启发人工智能研究者想出机器评估和选择下一个任务的方式。但是，要将这一模型用在人工智能实际使用中，还需要很多进一步的改进。
