Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

张震 乔布斯哈哈编译

这群男人的梦想影响全球科技界

1960 年左右,在 Buffalo 城,Perceptron 感知器在进行微调。 在过去五年里,人工智能已经从茫茫迷雾中走出,摇身一变成了科技行业拥有最光明前景的事物。计算机现在已经学会了识别人脸和物体,理解语言,还能在不同语言之间进行翻译。世界上最大的科技公司ーー Alphabet、 Amazon、 Apple、 Facebook 和微软——大多数都将自己的未来押注在人工智能上,并且相互竞争看谁能最快建造出更加智能的机器。特斯拉的自动驾驶汽车,能与孩子聊天的 Alexa,好像人工智能是在一夜之间就出现的一样。但事实上并不是这样,人工智能不是一夜长成,它也不是某个硅谷企业家的脑力发明。

现代人工智能神经网络机器学习背后的理念可以追溯到二战末期。当时,学者们开始创建计算机系统,它以类似于人类大脑的方式存储和处理信息。几十年过去了,这项技术经历起起伏伏,直到 2012 年前后才引起了计算机科学家们的广泛关注,这要归功于那一小部分即使被误解成傻瓜,也勇敢坚持的研究人员。他们一直坚信,神经网络将照亮世界,改变人类命运。

尽管这些先驱者分散在全球各地,但神经网络的信仰者却相当的集中,他们大都集中在加拿大。某种程度上来说这是因为运气:政府支持的加拿大高级研究所通过为神经网络研究提供资金,吸引了一小群学者来到这个国家,当时神经网络的研究除了看上去有点时髦之外一无是处。这笔资金正好资助了多伦多大学的 Geoffrey HintonYann LeCun,蒙特利尔大学的 Yoshua Bengio 和阿尔伯塔大学的 Richard Sutton 等计算机科学家,鼓励他们分享自己的想法并坚持自己的信念。他们提出了许多引发人工智能革命的概念,现在这些人都被认为是该技术教父级的人物。

下文是一个我对他们的采访拼凑而成的传奇故事:这个故事讲述了为什么神经网络花了这么长时间才发挥作用,这些科学家们是如何走到一起的,以及为什么加拿大最终成为了机器崛起的舞台。

(虽然现在并不是每个人都认同加拿大因此而产生的地域自豪感。看看你能否从下面的文章中找到德国研究人员 Jürgen Schmidhuber,并看看他为什么如此的不认同。)

Justin Trudeau(加拿大首相)人工智能只是一台能够模拟人类思想和行为的计算机。在这个机器里,存在着机器学习,那就是说通过它你可以让计算机一遍又一遍地做实验。它可以模拟一辆汽车在路上行驶或者试图识别照片中的猫。加拿大首相:贾斯廷·特鲁多

其中,有一个叫做深度学习机器学习子集。它的基本思路就是你构建一个神经网络,然后对权重和偏差进行调整,以便在预期的结果中找到答案。计算机可以对问题解决的方法进行迭代和改进,这就是 Geoff Hinton 和其他人在过去几十年里真正在做的东西,这一技术现在是人工智能最让人兴奋部分的基础,它能很好地模仿人类大脑的思维方式。

Cade Metz(《纽约时报》的记者,也是即将出版的《人工智能历史》的作者),他称:神经网络的概念可以追溯到 20 世纪 40 年代一个模拟大脑神经元网络的计算系统概念。当时有一个名叫 Frank Rosenblatt 的年轻人,他在 20 世纪 50 年代真正推动了这项工作的发展。他是一名教授,曾与美国海军和其他政府部门合作过,他基于神经网络概念开发了一个名为 Perceptron(感知器)的东西。当他公布这项成果时,像《纽约时报》和《纽约客》这样的媒体都用奇迹之类的词汇来描述这件事。

Rosenblatt 当时声称,感知器不仅可以学着去完成图像识别这样的小任务,理论上来说,它还可以教会机器走路、说话和表达情感。但它只是单层的神经元,这意味着它的能力极其有限,他承诺的事情没有一件真正的实现了。

Rosenblatt 的同事 Marvin Minsky 恰好是他在 Bronx 的高中同学,Minsky 在 20 世纪 60 年代末写了一本书,详细阐述了感知器和神经网络的局限性,他的结论将整个研究领域深深冻结了至少 10 年。

Geoff Hinton:Rosenblatt 的感知器可以做一些有趣的事情,只是他的研究早了大约 50 年的时间。虽然 Minsky 某种程度上也相信神经网络,但他阐释了有些事情是神经网络无法无法完成的。这本由 Minsky 和 Seymour Papert 合著的关于这项技术的书 (Perceptrons: An Introduction to The field) 基本上导致了这项研究的终止。Geoff Hinton

在 20 世纪 70 年代,一小群人仍在从事神经网络的研究工作,但总的来说,当时已经进入了人工智能寒冬时期。

METZ:Geoff  Hinton,他刚开始卡内基梅隆大学工作,后来去了多伦多大学,他一直坚持神经网络的想法。最终,他和合作伙伴以及其他人共同开发了一个多层神经网络ーー一个深度神经网络ーー这个网络开始在很多方面都发挥作用。

一位名叫 Yann LeCun 的法国计算机科学家,在多伦多花了一年时间在 Hinton 的实验室做博士后研究项目。后来,LeCun 被位于新泽西州的贝尔实验室聘用。

Yann LeCun:我从很小的时候就很喜欢智能这类的东西。我出生于 20 世纪 60 年代,当时出现了太空探索,第一台计算机以及人工智能。所以当我开始学习工程学的时候,我就对人工智能非常感兴趣,这在当时也是一个非常新的领域。Yann LeCun

我听说了感知器的事,很是好奇,因为我认为学习是智能不可分割的一部分。于是我四处寻找,想尽可能找到有关感知器的一切资料。作为一名工程师,如果你想了解智能,最直接的方法就是尝试构建一个智能机器ーー它促使你去了解创造智能所需的组成部分。这有点像航空业的先驱们从鸟类获取灵感,但并没有完全模仿它们一样。你不会想仅仅模仿生物智能或大脑,因为它的机能有很多方面是由于生物化学和生物学的决定的ーー这些真的与智能无关。就像羽毛不是飞行的关键:空气动力学原理才是关键。

Metz:有些人认为 LeCun 完全是个疯子,因为他做的事情在某种程度上是徒劳。一般来说作为一个神经网络研究者,虽然你可以参加那些大型的人工智能会议,但你不会被学术界的核心圈子接纳,因为你的想法太过于边缘。

Yoshua Bengio:在 1985 年,神经网络是一个很边缘的东西,我在麦吉尔大学的时候没有人教这些东西。老师讲的只是一些经典的,象征性的人工智能,所以我不得不去说服我的教授指导我做神经网络。因为我有政府奖学金,所以我可以自由选择我的论文主题,而且对教授来说,这也没什么损失。所以我们达成了一个共识:我可以做机器学习有关的研究,但我要把机器学习应用到他关心的东西上,也就是语音识别

LeCun:大约在 1986 年,神经网络出现了一段火热时期,部分原因是由于物理学家们对这些模型产生了兴趣,他们甚至还提出了新的数学方法来研究它。这使得神经网络再次被人们所接受,在 20 世纪 80 年代末和 90 年代初引起了不小的兴奋。当时,我们中的一些人基于神经网络系统做出了一些实际成果,比如信用卡欺诈检测。我自己还从事了一项自动化系统的工作,利用字符识别进行文章审查。1979 年,LeCun (右) 在 Esiee 巴黎研究生院。Source: Yann LeCun

Metz:在卡内基梅隆大学,一个名叫 Dean · Pomerleau 的年轻人在 20 世纪 80 年代末利用神经网络打造了一辆自动驾驶汽车,它可以在公路上行驶。在 20 世纪 90 年代,LeCun 利用这项技术建立了一个可以识别手写数字的系统,这个系统后来被商业化并在银行使用。

1995 年,Pomerleau 演示他的自动驾驶汽车。

因此,在 80 年代末到 90 年代初,神经网络的取得了复兴并应用到了实际生活中,LeCun 的工作就是最好的例子。但是,由于缺乏计算能力和可用的数据,神经网络再次碰到了天花板。人工智能再次进入寒冬。

Jurgen Schmidhuber:虽然我们和加拿大人一起工作,但很明显我们并没有使用他们的算法,而是他们在使用我们的算法。LeCun 其实是一个法国人,我们使用的是 LeCun 的算法。他做出了很多贡献,这些贡献非常重要,也非常有用。

我认识这些人很久了。我和 Yoshua 的第一次接触是在我的一个学生发表同样的东西的四年后,他也发表了同样的东西,或者说差不多是一样的东西。几年后,我们出席了同一个会议,并进行了摊牌。在研讨会上,我们进行了一场公开辩论,让大家都清楚是谁先做了哪些事情,这并不令人讨厌,我们只是在澄清事实而已。你在科学中所做的事情就是澄清事实。( Bengio 否认了 Schmidhuber 的说法。)

LeCun:当时的问题是,这些方法需要复杂的软件、大量的数据和强大计算能力的计算机。但当时没有多少人能够接触到这些东西,或者即使能接触到,也不愿意在这些东西上面投入大量时间。结果呢,在上世纪 90 年代中期到 21 世纪初左右,人们直接做出了选择ーー没有人再真正对神经网络感兴趣。对于 Geoff、Yoshua 和我来说,那真是一段黑暗时期,但其实我们并不痛苦,让悲哀的是其他人的想法。

Hinton:当然,我们一直相信它,并不断地研究它。但是工程师们发现其他方法在小数据集上运行的很好或更好,所以他们对处理小数据集的方法趋之若鹜,觉得神经网络只是是一厢情愿的想法。想让神经网络运行的更好的人数量非常少。

加拿大高级研究所把来自世界各地的,和我们一样的人,聚到了一起互相交流,慢慢的,它给我们带来了一个临界点。

LeCun:这里是一个非常小的社区,聚集在这里的人们脑子里都有这样的想法:神经网络会重现于世。在 2003 年,Geoff 在多伦多与 Cifar 进行了接触,并启动了一个神经网络计算项目。于是我们又聚到了一起,决定努力重新燃起对我们事业的兴趣。

但是在项目发表之前,我们需要一个让人安心的空间来真正发展我们的想法,希望很少的研讨会和会议打扰到我们。该计划于 2004 年正式开始,到了 2006 年,我们写出了一些非常有趣的论文,Geoff 在《科学》杂志上发表了其中一篇。Hinton 2006 年《科学》杂志论文的人脸识别测试图片。来源:Science

Trudeau:在最近的一次人工智能寒冬,当人们放弃继续前进的时候,加拿大悄悄搭建了现代人工智能的基础设施,这对我来说,是一种「加拿大总是做得很好」的证明。我们支持纯科学项目,我们赋予真正聪明人做聪明事情的能力,虽然这些事情最后可能会不了了之,也可能不会以商业或其他形式落地。

Hinton:2006 年,我们在多伦多发明了多层训练网络的方法,这是一种更有效率的方法。同年,我们在《科学》上发表了一篇非常有影响力的论文来支持我们的主张,这让很多人再次对这一领域产生兴趣。在 2009 年,我实验室的两个学生发明了一种使用这些深度网络进行语音识别的方法,这比现存的网络工作的更好。

虽然这其实只是稍微好了一点点,但现有的技术已经存在了 30 年,没有过丝毫进步。这些深度网络在短短几个月内就能比现有技术做的更好的事实意味着,再过几年,它们将进一步发展。

Metz:大约 2009 年的时候,Hinton 和微软的一位名叫 Li Deng语音识别研究人员进行了一次非正式会面。像其他人一样,Li Deng 坚信一种被称为符号人工智能的不同种类的人工智能。在这种方法中,你基本上一次只能建立一行语音识别系统程序,还必须以特定的语言编程,这运作起来真的很慢。

Hinton 就提了他的神经网络语音识别方法正在取得实质性进展。它可以通过分析口语单词数据库来学习识别单词,并且它比符号化的逐行工作更快。Deng 不是很相信 Hinton,但是还是邀请他和他的两个合作伙伴到微软演示一下这个技术。随后,语音识别在微软取得了巨大的飞跃,谷歌同样也在 2010 年取得了巨大的飞跃。

然后,在 2012 年底,Hinton 和他的两个学生有了一个巨大的图像识别突破,他们随之抛弃了以前的技术。那个时候,不仅仅是微软和谷歌,其他行业也意识到了这些想法的强大之处。

要记住的是,这些想法都是非常古老的想法,改变的是神经网络背后的计算能力和数据量。要运行一个微软或谷歌,你需要成千上万的机器协同工作,来一起处理从文本到视频的一切内容。这个改变最终让神经网络取得巨大成功。也就是说,你现在需要大量数据来训练,你还需要强大计算能力来执行训练。Hinton 在他的办公室里。Source: CIFAR

LeCun:为什么花了这么长时间?因为这就是科学工作的方式。它是心理学,在人们采用一套技术之前,他们必须确信它能起作用。这些方法对环境要求太高,需要一些黑魔法。

Richard Sutton:电脑计算能力的稳定增长的意义是非常深远的。现在,我们在试图开发算法和试图开发越来越快的计算机的人之间进行了一场赛跑。你必须为你的人工智能算法制定一个计划,使之能与 5 年到 10 年内的计算机都能一起工作。

计算机必须知道什么是好的,什么是坏的,所以你给它一个叫做奖励的特殊信号。如果奖励高,那就意味着它是好的。如果奖励低,那就意味着它是坏的。这就是目标的来源。

神经网络是你储存学习的地方,强化则是你如何决定你想要做的改变。

Bengio:我们离 Geoff,Yann 和我梦想的那种无监督学习还有很长的路要走。几乎所有基于深度学习的工业产品都依赖于有监督学习,现在在数百万的案例中,计算机还是要必须被人类告知该怎么做。当然,人类并不是这样学习的,我们是自主学习的。我们自己发现周围的世界。一个 2 岁的孩子有物理、重力、压力等天生的直觉,她的父母从来不需要告诉她 Issac Newton 的力和重力方程式。我们与世界互动,观察,并不知不觉的建立一个心理模型:如果我们这样做或者那样做,未来的事情会如何发展。

我们正在进入一个研究非监督学习的新阶段,它与强化学习联系在一起。我们不仅在观察世界,我们还在世界上实践,然后利用这些实践的效果来弄明白什么事物是有用的。

LeCun:我感兴趣的是让机器像动物和人类一样高效地学习。当你学会开车时,你知道如果你偏离道路,坏事就会发生。我们可以预测我们的行为的后果,这意味着我们并不需要通过做一些事情来认识到它们到底是好事还是坏事。

所以,我所追求的是找到让机器能够通过观察来学习的训练方法,这样他们就能建立世界的预测模型。每一只活的动物都有其对周围环境的预测模型。他们越聪明,他们就越擅长做这件事。你可以说,预测能力加上根据预测进行实践的能力就是智力的本质。

LeCun:我们很可能在接下来的 3 年,5 年,10 年或 15 年内取得一些重大进展。我们还需要很长一段时间才能真正建立类似人类智能的系统。这需要数十年的时间。

Bengio:我不认为人类一定会失业,即使机器变得非常聪明,甚至比我们聪明。我们总是希望有真正的人类从事那些需要与人类交往的工作。我不想让一个机器人照顾我的孩子,或者爷爷奶奶,或者当我生病住院的时候,我不用担心会发生终结者那样的剧本。我相信,如果我们能够建造像我们一样聪明的机器,他们也会足够聪明地理解我们的价值观和我们的道德体系,然后以一种有利于我们的方式进行行动。

我真正关心的是 AI 潜在的滥用,例如应用于军事武器。正如你在广告中看到的一样,AI 已经被用来影响人类。我认为,在道德上或伦理上错误的地方应用人工智能,我们就应该让它成为非法行为。这时我们需要集体智慧

Sutton:我认为我们这个领域被称之为「人工智能」是一个很大的错误。这使得它看起来和人类很不一样,就像它并不是真正的智能。它会使人们觉得它有陌生感,但这正是我们在试图做的一件人性化的事情:重新创造人类智能。

科学总是揭示不是所有人都喜欢的真相——你了解了真相,但并不一定是你想要的真相。也许这就是宗教在历史上与科学不一致的原因。我想这和我们想更多地了解大脑是一样的。也许并不存在知觉的解释。有些人会喜欢,有些人不喜欢。科学不能改变什么是真相。

只要你有改变,总会有赢家和输家。但是变化是不可避免的。我想我们会成为智能机器,我们应该把 AI 视为我们自己或我们的后代。我们可以创造出我们认为合适的人工智能

人性是什么?就是为了更好而努力。我们不应该冻结住我们现在的方式,还说这是它应该永远存在的方式。

2011 年,Hinton(左起第二个)和 Bengio(右)在伦敦郊外的一个由比尔盖茨组织的研讨会上。Source: LeCun

LeCun:在我们知道它到底是什么样子之前就开始担心是很不成熟的。我不相信奇点的概念:有一天我们会想出如何创造超智能机器,而且第二天这些机器还会制造出更智能的机器,然后它们又全部飞走。我认为人们忘记了每一个物理事件或社会事件都会面临摩擦,所以指数增长不可能无限期地增长下去。

就像在阿拉斯加的某个地方,有人想出了 AI 的秘诀,然后建造了一个机器人,它接管了整个世界,这简直荒谬可笑,这是好莱坞的场景。

Trudeau:这不是我在过分担心的事情。我想我们都看到过或读过很多的科幻小说,它们描述了理论上的 AI 有多危险。我总有一种感觉,科技可以是好的,也可以是坏的。我相信加拿大是在走正确的道路。我不想放缓我们的研究,我们想弄清楚宇宙的各个的细节。

问题是:我们想要一个什么样的世界?我们想要一个成功的人必须躲在封闭社区里而其他嫉妒的人却在 Pitchforks 更新状态的世界吗?或者,你想要一个人人都有潜力为创新做出贡献的世界?

Hinton:我认为所有这些因素对社会的影响很大程度上取决于我们所处的政治体制。从本质上来讲,为了使商品的生产效率更高,我们应该考虑增加集体效益。唯一糟糕的做法是:如果你管理一个社会,它享受了生产力提高带来的所有好处,却把好处赋予前 1% 的人口。我住在加拿大的原因之一就是税收制度;如果你赚了很多钱,这个国家就会给你很多税收。我认为这太好了。

我的主要观点是,真的很难预测未来。只要你开始预测未来 20 年内会发生什么,最后你总是会发现自己错了。但有些事情我们可以预测,比如这项技术会改变一切。

产业人工智能发展史机器学习神经网络
相关数据
约书亚·本吉奥人物

约书亚·本希奥(法语:Yoshua Bengio,1964年-)是一位加拿大计算机科学家,因人工神经网络和深度学习领域的研究而闻名。Yoshua Bengio于1991年获得加拿大麦吉尔大学计算机科学博士学位。经过两个博士后博士后,他成为蒙特利尔大学计算机科学与运算研究系教授。他是2本书和超过200篇出版物的作者,在深度学习,复现神经网络,概率学习算法,自然语言处理和多元学习领域的研究被广泛引用。他是加拿大最受欢迎的计算机科学家之一,也是或曾经是机器学习和神经网络中顶尖期刊的副主编。

邓力人物

邓力,本科毕业于中国科学技术大学,随后在威斯康星大学麦迪逊分校获的硕士和博士学位。曾任微软人工智能首席科学家。邓力2009 年就同 Geoffrey Hinton 教授合作,首次提出并将深度神经网络应用到大规模语言识别中,显著提高了机器对语音的识别率,极大推动了人机交互领域的发展与进步。2017年5月,他加入了市值300亿美元的对冲基金Citadel并担任首席人工智能官。

相关技术
杨立昆人物

杨立昆(法语:Yann Le Cun,英语:Yann LeCun,1960年7月8日-)是一位计算机科学家,他在机器学习、计算机视觉、移动机器人和计算神经科学等领域都有很多贡献。他最著名的工作是在光学字符识别和计算机视觉上使用卷积神经网络 (CNN),他也被称为卷积网络之父。他同Léon Bottou和Patrick Haffner等人一起创建了DjVu图像压缩技术。他同Léon Bottou一起开发了Lush语言。

深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

自动驾驶技术技术

从 20 世纪 80 年代首次成功演示以来(Dickmanns & Mysliwetz (1992); Dickmanns & Graefe (1988); Thorpe et al. (1988)),自动驾驶汽车领域已经取得了巨大进展。尽管有了这些进展,但在任意复杂环境中实现完全自动驾驶导航仍被认为还需要数十年的发展。原因有两个:首先,在复杂的动态环境中运行的自动驾驶系统需要人工智能归纳不可预测的情境,从而进行实时推论。第二,信息性决策需要准确的感知,目前大部分已有的计算机视觉系统有一定的错误率,这是自动驾驶导航所无法接受的。

非监督学习技术

非监督式学习是一种机器学习的方式,并不需要人力来输入标签。它是监督式学习和强化学习等策略之外的一种选择。在监督式学习中,典型的任务是分类和回归分析,且需要使用到人工预先准备好的范例(base)。一个常见的非监督式学习是数据聚类。在人工神经网络中,自组织映射(SOM)和适应性共振理论(ART)则是最常用的非监督式学习。

权重技术

线性模型中特征的系数,或深度网络中的边。训练线性模型的目标是确定每个特征的理想权重。如果权重为 0,则相应的特征对模型来说没有任何贡献。

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

感知技术

知觉或感知是外界刺激作用于感官时,脑对外界的整体的看法和理解,为我们对外界的感官信息进行组织和解释。在认知科学中,也可看作一组程序,包括获取信息、理解信息、筛选信息、组织信息。与感觉不同,知觉反映的是由对象的各样属性及关系构成的整体。

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

人脸识别技术

广义的人脸识别实际包括构建人脸识别系统的一系列相关技术,包括人脸图像采集、人脸定位、人脸识别预处理、身份确认以及身份查找等;而狭义的人脸识别特指通过人脸进行身份确认或者身份查找的技术或系统。 人脸识别是一项热门的计算机技术研究领域,它属于生物特征识别技术,是对生物体(一般特指人)本身的生物特征来区分生物体个体。

自动驾驶汽车技术

自动驾驶汽车,又称为无人驾驶汽车、电脑驾驶汽车或轮式移动机器人,是自动化载具的一种,具有传统汽车的运输能力。作为自动化载具,自动驾驶汽车不需要人为操作即能感测其环境及导航。

机器人技术技术

机器人学(Robotics)研究的是「机器人的设计、制造、运作和应用,以及控制它们的计算机系统、传感反馈和信息处理」 [25] 。 机器人可以分成两大类:固定机器人和移动机器人。固定机器人通常被用于工业生产(比如用于装配线)。常见的移动机器人应用有货运机器人、空中机器人和自动载具。机器人需要不同部件和系统的协作才能实现最优的作业。其中在硬件上包含传感器、反应器和控制器;另外还有能够实现感知能力的软件,比如定位、地图测绘和目标识别。之前章节中提及的技术都可以在机器人上得到应用和集成,这也是人工智能领域最早的终极目标之一。

神经网络技术

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

监督学习技术

监督式学习(Supervised learning),是机器学习中的一个方法,可以由标记好的训练集中学到或建立一个模式(函数 / learning model),并依此模式推测新的实例。训练集是由一系列的训练范例组成,每个训练范例则由输入对象(通常是向量)和预期输出所组成。函数的输出可以是一个连续的值(称为回归分析),或是预测一个分类标签(称作分类)。

神经元技术

(人工)神经元是一个类比于生物神经元的数学计算模型,是神经网络的基本组成单元。 对于生物神经网络,每个神经元与其他神经元相连,当它“兴奋”时会向相连的神经元发送化学物质,从而改变这些神经元的电位;神经元的“兴奋”由其电位决定,当它的电位超过一个“阈值”(threshold)便会被激活,亦即“兴奋”。 目前最常见的神经元模型是基于1943年 Warren McCulloch 和 Walter Pitts提出的“M-P 神经元模型”。 在这个模型中,神经元通过带权重的连接接处理来自n个其他神经元的输入信号,其总输入值将与神经元的阈值进行比较,最后通过“激活函数”(activation function)产生神经元的输出。

语音识别技术

自动语音识别是一种将口头语音转换为实时可读文本的技术。自动语音识别也称为语音识别(Speech Recognition)或计算机语音识别(Computer Speech Recognition)。自动语音识别是一个多学科交叉的领域,它与声学、语音学、语言学、数字信号处理理论、信息论、计算机科学等众多学科紧密相连。由于语音信号的多样性和复杂性,目前的语音识别系统只能在一定的限制条件下获得满意的性能,或者说只能应用于某些特定的场合。自动语音识别在人工智能领域占据着极其重要的位置。

强化学习技术

强化学习是一种试错方法,其目标是让软件智能体在特定环境中能够采取回报最大化的行为。强化学习在马尔可夫决策过程环境中主要使用的技术是动态规划(Dynamic Programming)。流行的强化学习方法包括自适应动态规划(ADP)、时间差分(TD)学习、状态-动作-回报-状态-动作(SARSA)算法、Q 学习、深度强化学习(DQN);其应用包括下棋类游戏、机器人控制和工作调度等。

集体智慧技术

英文collective intelligence,也称集体智能、群智等称,此术语中intelligence即为智力、智能。(注意,有几个英文单词都有“群”的含义,目前大陆科技论文中,一般“群体智能”、“群智能”是指另外一个术语,其“群”字的英文原文是另一个词)

深度神经网络技术

深度神经网络(DNN)是深度学习的一种框架,它是一种具备至少一个隐层的神经网络。与浅层神经网络类似,深度神经网络也能够为复杂非线性系统提供建模,但多出的层次为模型提供了更高的抽象层次,因而提高了模型的能力。

感知器技术

感知器是Frank Rosenblatt在1957年就职于Cornell航空实验室时所发明的一种人工神经网络。它可以被视为一种最简单形式的前馈神经网络,是一种二元线性分类器。 Frank Rosenblatt给出了相应的感知机学习算法,常用的有感知机学习、最小二乘法和梯度下降法。

推荐文章
暂无评论
暂无评论~