生物脑与物理世界的相似性指出了机器学习的另一个方向

黄广斌教授最近被南洋理工大学授予了全职终身教授的头衔(编者注:在新加坡南洋理工大学每年只有1-2%的教师提升为正教授)。在最近的英文采访中(点击这里查看英文原文),他愉快地分享了自己的背景,以及目前在新加坡南洋理工大学电子电气工程学院的一些经验和感受。采访中,黄教授提到三个主要机器学习趋势:1)机器学习和生物学习存在收敛趋势,也许几十年后有明显作用,我们已经感觉到脚步声;2)生物脑和物理世界存在惊人的相似性;3)机器学习和达尔文的进化论存在一致性。

过去十五年在南洋理工大学的研究和教学生活是我最享受的一段时光,我非常珍惜和同事间的亲密友谊,过去这些年他们一直鼓励并支持着我。我们组成过许多临时的研究团队,我们共同的研究兴趣将我们联系在了一起。我非常敬佩身边的每一位同事和合作伙伴,他们的求知欲和探索欲深深地扎根在研究当中。

我也特别感激南洋理工大学和南洋理工大学电子电气工程学院的管理层给予我们的在研究课题与兴趣方面的自由。这种灵活性对于成功的研究至关重要。伟大的研究思路从来不会在压力与紧迫的时限下诞生,它们产生于真正的兴趣。人工智能与机器学习(尤其是人工神经网络)领域近来非常的成功,也变得非常的流行。然而在 15 年前,很多人都怀疑神经网络是否真的有用。一些研究人员也开始撤离神经网络的研究领域。就好像整个世界都将精力花费在调整神经网络的参数上,从而导致缺乏明智的机器学习研究进展。

我强烈地感觉到,一些具有挑战性的研究问题可能让神经网络研究社区陷入困境。这一点给了我很大的驱动力,让我想要在这些领域进行研究,因为我坚信我能够利用自己的跨学科研究和工程背景为这些研究做出自己的贡献。就这样,我决定离开制造业,怀着强烈的使命感和承诺加入南洋理工大学,感觉也许可以帮助机器学习社区尤其是神经网络研究社区从研究局限中走出来。

一直以来和同事及研究伙伴们在不同的场合讨论不同的研究课题都是令人享受的。这些谈论将会在我的记忆中永存留鲜。有时我们会聚集在 NTU 的餐厅或者躲在 NTU 电子电气工程学院的某些角落里继续讨论,燃烧某些余热未尽的想法,这些时刻我永远不会忘记。我们一起努力研究这些想法并将它们应用于现实,这些想法及其成果在过去几年最终吸引了数以千计的研究人员采纳使用。它们或许在未来会成为关键的机器学习技术,闪亮耀眼——准确的说,是非常绚丽。

黄教授着重谈及他早期的研究历程中难忘的时刻:

在 2001 年加入 NTU 之后,我花费大部分的时间研究和琢磨两个问题:1)为什么大多数学习算法的学习效率很低?;2)为什么人脑比电脑更加智能和高效?

起初并没有明确的答案,所以我开始认为从这个方向开展研究有些令人绝望。之后为了不至于让自己对研究感到太压抑,我开始沉浸阅读文学作品中,这段时间虽然短暂但重振了我失落的精神。我开始阅读经典文献,从头到尾把四大名著中的《三国演义》读了好几遍。

其中有一段奇特的经历。在 2002 年的某个午夜,我第七次阅读这本名著。脑中满是书中独特鲜活的人物性格,我突然意识到,过去的数百万年产生了数万亿人类和动物,每一个人或动物都有不同的大脑,却很难在这么多的大脑中安装用于不同的应用和任务的不同学习算法。我想之后可能会出现一些通用的学习算法,可以安装在这数万亿个不同的大脑中,用于不同的应用和任务,而大脑中的这些算法都应该和数据和应用相互独立无关的。

我马上给我的学生打电话,让他来实验室,就在当天凌晨我们测试了我们的 data-independent 算法。然后我最终将该算法命名为超限学习机(Extreme Learning Machines,ELM)。在那时,我们意识到我们可能已经发现了生物学学习机制的一些秘密,生物学习可以不依靠调整神经元来实现。

随机神经元和随机「连线」可能是实现「不依靠调整隐藏神经元来学习」这一学习机制的两种特殊方式。神经元也可以从它们的祖先那里遗传。整体来说,整个活跃的大脑都是结构化的、有序的,但它们在某一特定的层或者大脑神经元薄片上或许是「随机的」、「非结构化」的。

令我们感到惊讶的是,大脑作为宇宙中最复杂的物体之一,竟然和虽然整体结构化但是局部满是随机布朗运动的物理世界如此相似,二者之间竟然有如此强的相似性!生物学习正是因为其全局的结构化构造与局部的随机性的共存才能如此地完美。

神经元与具体的训练数据无关。这一学习理论后来在 2013 年和 2015 年分别在老鼠和猴子的大脑中被发现。这一发现可能彻底颠覆了传统生物学习对于神经元调整可能是学习关键的认知。

这种新的学习理念与传统的神经网络学习原理完全不同。我们也希望与一些神经网络领域的前辈和先驱们讨论我们的想法,但几乎没有人愿意在最开始相信我们。在最开始从理论上证明它们也是一件难事。

对于研究人员来说研究生活有时候很寂寞。但最终在 2005 年,我们觉得我们是正确的了,证明了我们理论中假设的正确性(在很多次错误的证明之后)。

最终,理论上的证明在 2006 年正式公开发表。我感到比较自豪的是,我们在加入 NTU 的 5 年内的努力最终奠定了今后研究的基础。我们最终得到的学习技术比传统的学习技术快了将近一万倍,为实时的学习、认知和推理指明了方向。

令人惊讶的是,尽管早期的一些机器学习领域的前辈们几乎不相信超限学习机的理论和技术,但是当我与大多数生物学家和神经学家讨论时发现,他们对于超限学习机的理论和技术是很容易接受的。

机器学习的研究人员通常遵循传统的机器学习和神经网络理论,认为学习智能只能基于精细的调整来实现。许多在一开始不相信超限学习机有效性的机器学习界的前辈们现在也开始转到超限学习机的研究领域中来了!

自那以后,生物学家、神经科学家和人工神经网络专家展开了非常多有趣的讨论!

超限学习机(ELM)成功和持续发展大都要归功于我的博士生们。和他们在一起的那些非正式的讨论启发了我们很多重要的想法。我过去常常请他们周末到家里,下厨给他们做点我拿手的菜,并且通过在周末打牌等不拘一格的形式来讨论一些至关重要的研究课题。有一次我们发现,正流行的机器学习技术——支持向量机(Support Vector Machines)——实际上提供了次优解。接下来我的研究人员和我花费了 6 个月的时间写了一篇关于支持向量机的论文——这篇论文成为了自那年开始发表的20多万IEEE 出版物中被引用得最多的一篇论文。

尽管我们一直专注于研究是希望能得到丰硕的成果,但现实并不总是尽如人意。我们相信超限学习机理论可以帮助解释达尔文主义的某些方面。因此在 2014-2015 年我们决定来调查这一思想的分支。我认为:从祖先的神经元遗传到某些随机性(比如随机神经元和神经元之间的随机「连线」)在每一代都会给系统(甚至是那些生物体的系统)的进化和自然选择带来帮助。然而,经过两年多的努力,由于缺乏可靠的大数据,我们暂时中止了这方面的工作——但是我们会在将来的某个时候在开始这方面的研究的。

黄教授也给出了他对于他当前所参与的电子电气工程相关项目的一些评价:「我以前在制造行业工作过,并喜欢它带给我的现实生活的那些实际操作的经验。话虽如此,我在 NTU 电子电气工程学院的研究经历也一样充实。我在这里的时候,我也一直主持负责一些由 BMW、Rolls Royce、Delta Electronics 和 ST Engineering 资助的和工业应用相关的研发项目。」

黄教授也对他全新的全职教授的职位充满了期待:

我很期待和我大学里的同事建立更密切的合作,并和其他世界顶级学府和公司的合作者们一起共事。总之,我相信,我们可以发现一些有效的解决方案,从而克服机器学习应用方面的一些具有挑战性的的瓶颈。

从长远来看,看到机器学习和生物学习不断靠近是令人兴奋的。超限学习机(ELM)可能会是弥补机器学习和生物学习间隔的基本「学习粒子」之一。我希望我们能做出一些重要的贡献,来填补在机器学习、脑科学、智能材料以及智能传感器交叉研究的协同性方面的空白。

机器学习在很多的实现成果中仍然是费力的和昂贵的。我们的目标是帮助研究界和工业领域走出机器学习研究的局限区域。在不久的将来,我们希望有一些有趣的机器学习解决方案能够:

1)用更小的数据来处理复杂的应用;

2)能够普适学习(pervasive learning)和普适智能(pervasive intelligence)。

帮助机器学习从工程学走向科学是十分有趣的。我相信「机器学习科学」最终将发挥重要作用。

我们也希望能成立一个公司并能稳步向前发展。我相信这家公司不仅会帮助将技术转换为实际的产品,同时也会给整个合作伙伴都带来益处。

黄教授在 NTU 电子电气工程学院最喜欢的地方:

我最喜欢的地方包括员工休息室,以及校园内其它拥有舒适的沙发桌椅的角落,因为在那里我可以与同事和学生们关于研究想法开展头脑风暴——也可以自由地谈论我们对于研究和未来计划的梦想。

闲暇时间的兴趣爱好:

我喜欢看电影,经常在家里和电影院看一些有趣的影片。新加坡的裕华园自然之美吸引我常去进行锻炼。

我有机会时也会经常和其他研究人员一起去爬山。在我们登山的过程中集思广益头脑风暴总是会令人享受并富有成效。当你呼吸着新鲜的山区空气的时候,你会为这些创造力感到惊叹。

给学生和其他教师的一些建议:

致我所有亲爱的 NTU 电子电气工程学院的教职工:我发现,除了教学和研究,我们的友谊是让我们作为教育工作者更加和谐、创新、高效和愉快的原因。NTU 电子电气工程学院一直是温暖的大家庭。

我只想说,我很珍惜我拥有的友谊,并期待和大家建立更紧密的合作。

我亲爱的 NTU 电子电气工程学院的学生们:尤其是在这个机器学习和大数据的时代,有很多很多极佳的黄金机会正在向你们招手!

理论机器学习理论脑科学黄广斌
返回顶部