Surya Ganguli作者hai.stanford选自

斯坦福Surya Ganguli:理解生物智能与创造人工智能

本文是由斯坦福大学应用物理与神经生物学助理教授 Surya Ganguli 发表在斯坦福「以人为中心的 AI 计划」(李飞飞主导)官方网站的博客,机器之心摘要了大部分内容。本文介绍了一些有趣的神经科学事实、神经科学与 AI 的联系以及生物认知结构的大致框架,或许能给当前 AI 研究带来启发和借鉴。

「我不理解造不出来的东西。」——理查德·费曼

智能的创生和理解


几百万年前,人类智能在非洲大陆首次出现,并且继续发展,最终在大约 10 万年前在智人的大脑中达到顶峰。作为现代人类,我们只能想象古代祖先在窥视夜空时所经历的事情,以思考物理现实的本质,以及在内心窥视自己思考自己心理现实的本质。在过去的几百年里,我们的物种通过发现控制空间、时间、物质和能量行为的基本数学定律,在发展对物理现实的精确理解方面取得了巨大的智力进步,现在已经在量子力学和广义相对论的大框架中被编纂。然而,我们正处于探索心理现实本质的最初阶段。尤其是人类智能是如何从 100 亿个突触连接的 1000 亿个神经元的湿物中产生的?神经科学、心理学和认知科学的现代学科在过去 100 年中取得了重要进展,为攻克这一重大问题奠定了基础。

但是,当涉及到我们自己的智能时,仅仅理解它们是不够的。我们也非常希望在无生命系统中重现这些功能。事实上,人工智能(AI)的新兴领域,与神经科学、心理学和认知科学领域合作,在创造具有类似人类能力的机器方面取得了巨大进步。在这篇文章中,我将深入探讨人工智能神经科学、心理学和认知科学以及数学、物理和社会科学中的交叉学科如何交织在一起以理解和创造智能系统的过程。

生物与人工之间的合作

  • 在过去的 60 多年中,AI 受到神经科学和心理学的深刻影响,并且确实得到了启发。以下是神经科学、心理学和 AI 之间过去的相互关联的历史:
  • 相对简单元素(神经元)的分布式网络能够实现大规模计算,并且现在以神经网络的形式渗透到现代 AI 系统中。
  • 各种降维技术包括多维缩放和因子分析,最初是在心理测量学研究的背景下开发的。
  • 著名的神经科学家 Horace Barlow 提出了分解编码(factorized codes)的概念,这反过来激发了独立成分分析(ICA)和当前的 AI 研究,目的在于分解出数据变异的独立因素。
  • Tolman 在认知地图上的工作提供了证据:即使是老鼠也会形成世界的心理模型,并且可以使用这些模型进行规划和导航。这巩固了内部模型形成作为动物智能的关键组成部分的思想,这一课题目前处于人工智能研究的前沿。
  • Hopfield 网络是理论神经科学的一个模型,为分布式、内容可寻址的内存存储和检索提供了统一的框架,也启发了 Boltzmann 机的提出以及许多满足弱约束的分布作为 AI 计算模型的想法。
  • 目前主宰机器视觉的深度卷积网络的关键成分直接受到大脑的启发。这些成分包括腹侧流中的分层视觉处理结构,表明「深度」的重要性;视网膜部位再现(retinotopy)是整个视觉皮层的组织原理,导致卷积的提出;简单和复杂细胞的发现启发了最大池化等操作的提出;皮层内神经归一化现象的发现,促进了人工网络中的各种归一化阶段的提出。
  • 稀疏编码的研究是为了理解初级视觉皮层中定向边缘检测器的原理,如今稀疏编码成为现代 AI 系统中的基本构建块。
  • 即时差分学习等算法现在已经成为强化学习领域的基础,其灵感来自经典的动物条件反射实验。
  • 反过来,强化学习对基底神经节工作原理的解释产生了巨大影响,其中多巴胺能(dopaminergic)神经元为基底神经节提供了最重要的奖励预测误差信号,从而推动了许多强化学习算法的学习。
  • 大脑中存储系统的模块化启发了现代记忆神经网络,它在一定程度上将存储器存储和执行控制电路的操作分开,决定何时从存储器读取和写入。
  • 人类注意力系统启发了注意力神经网络的提出,这些神经网络可以被训练以动态地处理或忽略部分状态和输入。
  • 语言学和认知科学中形式化语法生成的发展导致概率语法和 CS、AI 中的解析方法的发展。
  • dropout 等现代正则化技术受到神经动力学内在随机性的启发。

AI 未来的生物学启示

尽管当前人工智能系统在监督模式识别任务方面取得了显着的成功,但我们仍然要在很长时间里模仿人类智能。在这里,我从个人观点概述了一些研究方向,其中生物和人工智能领域可以携手前进。当然这些方向并非详尽无遗。

生物学式的信度分配

信度分配问题可能是神经科学人工智能领域最大的开放性问题之一。假设你正在打网球而且发觉你正不正确地击球。你的 100 万亿个突触中哪一个应该受到指责?大脑如何在你的运动系统中专门找到并纠正真相关的突触组,尤其是在错误发生后几百毫秒内通过视觉系统传递错误时?在 AI 中,这种信度分配问题在许多情况下通过多层计算的反向传播来解决。然而,目前尚不清楚大脑如何解决这个问题。实际上大脑使用局部学习规则来解决:即每个突触仅使用物理上可用的信息来调整其强度,例如由突触连接的两个神经元的电活动、其他附近突触的连接强度,以及任何反映反映奖励和错误的神经递质输入。解释这种局部突触的规则是什么,以及它们如何工作可能对 AI 产生重大影响,带来学习上避免反向传播通信开销的神经形态芯片的易并行实现。

整合突触复杂性

生物和人工神经模型之间的主要区别在于我们模拟连接神经元突触的方式。在人工网络中,突触由单个标量值建模,利用乘法增益因子转换突触前神经元的输入来影响突触后神经元的输出。相反,每个生物突触都隐藏在极其复杂的分子信号通路中。例如,我们对最近事件记忆的海马突触各自包含数百种不同类型分子的化学反应网络,能够实现具有复杂时间处理能力的完整动力系统

对于这种复杂性,理论家或工程师可能会试图简单地将其视为生物学上的混乱,只是进化过程中的偶然事件。然而,理论研究表明,这种突触复杂性可能确实对学习和记忆至关重要。事实上,在突触具有有限动态范围的记忆网络模型中,要求这样的突触本身就是具有复杂时间过滤特性的动态系统,以实现合理的网络存储容量。此外,人们最近在 AI 中探索了更智能的突触作为解决灾难性遗忘问题的一种方法(有序地学习两个任务的网络只能学习到第二个任务,因为学习第二个任务会改变突触权重,抹去了学习第一个任务时获得的知识)。

更一般地说,我们当前的人工智能系统很可能通过忽略生物突触的动态复杂性而满足于在表格数据中取得重大的性能增益。但正如我们可以为网络添加空间深度以实现复杂的层次表征一样,我们可能还需要为突触添加动态深度以实现复杂的时间学习功能。

单个突触内的复杂分子状态可以帮助学习和记忆。

从系统级模块化大脑架构中获取线索

当前的 AI 系统涉及具有相对均匀的分层或循环架构的训练网络,其从随机初始化权重开始训练。但是,对于更复杂的任务来说,这可能难以解决。事实上,生物进化的道路截然不同。所有脊椎动物的最后共同祖先生活在 5 亿年前。从那以后,它的基础大脑一直在发展,大约 1 亿年前演化为哺乳动物大脑,乃至几百万年前的人类大脑。这种不间断的进化链导致了一个错综复杂的大脑结构,具有高度保守的计算元素和巨大的系统级模块化。事实上,我们目前基本缺乏工程设计原则,来解释像大脑这样的复杂传感、通信、控制和记忆网络如何在 5 亿年内不断扩大规模和复杂性,同时永远不会失去在动态环境中自适应运行的能力。因此,AI 从大脑的系统级结构中获取线索可能会非常有趣。

其中一个关键的系统属性是功能层面和解剖层面的模块化。大脑不像我们目前的 AI 架构那样是同质的,而是有不同的模块,如海马体(保存情节记忆和导航)、基底神经节(潜在的强化学习和动作选择区域)和小脑(自动化熟练的运动控制和通过监督学习获得更高层次的认知)。此外,人脑中的记忆系统(习惯记忆、运动技能、短期记忆、长期记忆、情景记忆、语义记忆)也是功能模块化的;不同的记忆型患者可能在一种类型的记忆中存在缺陷而在其他类型的记忆中没有缺陷。此外,在运动系统中,嵌套反馈回路结构占主导地位:简单的快速回路通过脊髓在 20 毫秒内实现自动运动校正;稍慢的智能回路通过运动皮层在 50 毫秒内实现更复杂的运动校正;最后,视觉反馈流过整个大脑,实现对运动错误的有意识纠正。最后一点,所有哺乳动物大脑的一个主要特征是由大量相对相似的 6 层皮质柱组成的新皮层,所有这些都被认为是在单个规范计算模块上实现变异。

总体而言,现代哺乳动物大脑的显着模块性,在 1 亿年独立进化的物种之间相对保守,表明这种系统级模块化可能有利于在 AI 系统中实施(功能原理,不限于生物细节),并且目前从零开始训练神经网络的方法可能不是走向通用人类智能的途径。实际上,系统级模块化(解剖和功能)的组合、隔离不同类型纠错的嵌套循环,以及更加动态复杂的突触可能都是解决上述信度分配问题的关键因素。

5 亿年的脊椎动物大脑进化创造了一个高度异构和模块化的计算系统。

监督学习迁移学习和课程设计

人工智能系统与人类学习之间的另一个主要差异在于,拥有大量标记数据人工智能系统甚至可以达到人类级别的性能。例如,最近的语音识别系统在 11,940 小时的语音训练中进行了对齐转录。如果我们每天听和看另一个人类阅读文本两个小时,那么将需要花费 16 年才能收集到如此规模的数据集。AlphaGo Zero 练习了 490 万场自我对弈来击败人类围棋大师。如果一个人每天玩 Go 30 年,每天将必须玩 450 场比赛才能训练出 AlphaGo Zero。此外,最近关于视觉问答的数据集包含 0.25M 图像、0.76M 问题和 10M 答案。如果我们每天收到关于图像的 100 个问题的答案,那么我们需要 274 年的时间来收集这个规模的数据集。在所有这三种情况下,很明显人类接受的标记训练数据量要少得多,但他们可以识别语音、下围棋并很好地回答有关图像的问题。

弥合人工智能和生物智能之间差距的几个关键在于人类从未标记数据中学习的能力(无监督学习),以及在解决先前任务时获得的强大先验知识,并将这些知识迁移到新任务(迁移学习)。最后,人类社会建立了教育系统,涉及精心挑选的任务序列的设计,以促进知识获取(课程设计)。为了在人工系统中有效地实例化这些概念,我们需要更深入地理解和用数学形式化人类和其他动物如何进行无监督学习、知识如何在任务之间转移,以及如何优化课程。

Taskonomy:斯坦福大学开展的关于 26 项不同视觉任务之间迁移的研究。

建立理解、规划和主动因果学习的世界模型

当前 AI 的成功很多是通过监督方法实现的,其中 AI 系统被动地接收输入,被告知正确的输出,并且它调整其参数以匹配每个输入-输出组合。相比之下,婴儿就像活跃的科学家一样考察周围的环境。例如,考虑下面的实验:通过戏法,我们可以让婴儿看到两个「魔法」物体:物体 A,它看起来穿过了墙壁;而物体 B,它在放手时不会掉落。现在给宝宝两个玩具,婴儿将专门尝试将物体 A 推过固体表面,然后放下物体 B 以查看它是否会掉落。这项非凡的实验表明,婴儿就像科学家一样思考和行动。特别是他们:(1)已经有了物理世界应该如何表现的内部模型;(2)注意违反世界模型的事件;(3)进行主动的实验以收集有关这些违规行为的进一步数据,从而自主根据当前的世界模型选择自己的训练数据。

因此,与大多数当前的 AI 系统不同,即使婴儿也具有学习和利用世界模型的卓越能力。我们需要在神经科学人工智能方面进一步研究从经验中学习世界模型,使用这些世界模型进行规划(即,根据当前行动想象不同的未来),并据此作出决策。这种基于模型的规划和决策可能是当前无模型强化学习系统的有力辅助,无模型系统简单地将世界状态映射到数值或预期的未来奖励。这个方向的研究可以和神经科学携手并进,揭示动物的神经活动如何与想象的以及现实的未来相关。此外,好奇心等基本驱动因素可以形式化为强化学习系统,以促进学习和探索。更一般地,深入理解多个系统和促进动物和人类学习的内在生物驱动可能对加速人工系统的学习非常有益。

科学家发现婴儿的感官体验统计数据有了新的变化。

在后摩尔定律时代实现节能计算

生物系统和人工系统之间的另一个数量级差异在于它们的能量消耗。人脑仅消耗 20 瓦的功率,而超级计算机则以兆瓦的功率运行。从这个意义上讲,我们甚至比灯泡更加暗淡!造成这种差异的一个关键原因可能是过度依赖数字计算本身。虽然数字革命推动了现代信息技术的兴起,但现在可能被认为是实现强人工智能过程中的次优技术遗产。原因是数字计算需要在计算的中间阶段以极高的可靠性翻转每一位。然而,热力学定律为每一个快速可靠的位翻转确定了相当大的能量成本,从而无法 shi'xian 高能效。

相比之下,使用细胞内的分子以及脑内神经元的生物计算看起来令人惊讶地嘈杂和不精确。然而,生物计算的每个中间步骤都足够可靠,以使最终答案足够好。此外,大脑可以智能地根据所需的通信速度向上或向下调节能量成本(正如手机处理器刚开始做的事情)。例如,考虑大脑中通过目标神经元的单个位(bit)的成本。它开始于囊泡的随机释放,其内容物以 1 毫米/秒的速度扩散到源神经元和目标神经元之间的空间,仅燃烧 2.3 毫微微焦耳(fJ)。这种慢速很好,因为神经元连接之间的空间只有 20 纳米。该化学信号被转换为无源电信号,其以 1 米/秒的速度流过神经元细胞体,燃烧 23fJ 以横穿约 10 微米。最后,它到达轴突终端并转换为长轴,沿着轴突每秒行进 100 米,燃烧 6000 fJ 行进 1 厘米。因此,在从化学信号传递到被动电信号时,大脑动态地将通信速度上调 1000 倍,以跨越增加 1000 倍的距离,从而导致能量消耗增加 10 倍。类似地,在从被动到主动电信号传输的过程中,大脑将通信速度提高 100 倍,以跨越增加 1000 倍的距离,从而导致能量消耗增加约 200 倍。

因此,只有在需要更高速度以及需要更高可靠性时,大脑才会消耗更多能量。相比之下,数字计算机在刚性同步时钟上运行,并且在每个时钟周期,许多晶体管必须可靠地翻转状态。总之,生物计算的明显混乱不一定是不可避免的混乱,而可能反映其高能效设计的理想原则。

Neurogrid:由斯坦福 Brains in Silicon Lab 开发的一种生物启发的神经形态计算机。

寻求生物和人工智能的普遍规律

人工智能系统设计中,一种经常被引用的无视生物学的争论涉及到飞机与鸟类的比较。毕竟,如果我们想要做出人造飞行机器,现在看来模仿羽毛和扑翼等生物成分来发明飞行器似乎是荒谬的。然而,仔细观察这个想法会发现更多的细微差别。飞行的一般问题涉及解决两个基本问题:(1)为了前进而产生推力,以及(2)升力的产生使我们保持在天空中。鸟类和飞机确实解决了非常不同的推力问题;鸟儿拍翅膀,飞机使用喷气发动机。然而,它们以完全相同的方式解决了升力问题,通过使用弯曲的翼形,在下方产生更高的气压。

实际上,我们知道空气动力学的一般物理定律控制着不同形状通过空气的运动,这产生了可计算的方法来预测产生的力,如升力和推力。而且,任何解决飞行问题的方法,都必须遵守空气动力学定律。虽然在空气动力学约束下对于飞行问题可能存在不同的可行解决方案,但是这种解决方案可以共享某些特性(即,用于产生升力的方法),同时在其他特性(即,产生推力的方法)方面不同。最后,在飞行器开发中可能还有进一步的工程灵感,可以从果蝇实施的生物控制法中获得。果蝇能够进行快速的空中机动,远远超过世界上最先进战斗机的能力。

更一般地说,在我们对物理世界的研究中,我们习惯于存在约束其行为的原则或规律。例如,正如空气动力学控制飞行物体的运动一样,广义相对论控制着空间和时间的曲率,量子力学控制着纳米世界的演化。我们认为,也可能存在一般原则或规律来约束智能行为如何从大型互连神经元网络的合作活动中产生。事实上,本文的作者曾经使用动力系统理论、统计力学、黎曼几何、随机矩阵理论、自由概率理论等技术来获得对生物和人工网络运作的概念性见解。然而,为了阐明约束非线性分布式电路中智能出现的一般规律和设计原则,还需要进一步的工作,包括开发新概念、分析方法和工程能力。最终,就像鸟类、飞机和空气动力学的故事一样,创造智能机器的问题可能存在多种解决方案,其中一些组件在生物解决方案和人工解决方案之间共享,而其他组件则可能不同。通过寻求一般的智能定律,我们可以更有效地理解和遍历这个解决方案空间。


原文链接:https://hai.stanford.edu/news/the_intertwined_quest_for_understanding_biological_intelligence_and_creating_artificial_intelligence/

入门斯坦福人工智能生物神经网络
2
相关数据
权重技术

线性模型中特征的系数,或深度网络中的边。训练线性模型的目标是确定每个特征的理想权重。如果权重为 0,则相应的特征对模型来说没有任何贡献。

视觉问答技术

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

神经科学技术

神经科学,又称神经生物学,是专门研究神经系统的结构、功能、发育、演化、遗传学、生物化学、生理学、药理学及病理学的一门科学。对行为及学习的研究都是神经科学的分支。 对人脑研究是个跨领域的范畴,当中涉及分子层面、细胞层面、神经小组、大型神经系统,如视觉神经系统、脑干、脑皮层。

参数技术

在数学和统计学裡,参数(英语:parameter)是使用通用变量来建立函数和变量之间关系(当这种关系很难用方程来阐述时)的一个数量。

规划技术

人工智能领域的「规划」通常是指智能体执行的任务/动作的自动规划和调度,其目的是进行资源的优化。常见的规划方法包括经典规划(Classical Planning)、分层任务网络(HTN)和 logistics 规划。

模式识别技术

模式识别(英语:Pattern recognition),就是通过计算机用数学技术方法来研究模式的自动处理和判读。 我们把环境与客体统称为“模式”。 随着计算机技术的发展,人类有可能研究复杂的信息处理过程。 信息处理过程的一个重要形式是生命体对环境及客体的识别。其概念与数据挖掘、机器学习类似。

独立成分分析技术

在统计学中,独立成分分析或独立分量分析(Independent components analysis,缩写:ICA) 是一种利用统计原理进行计算的方法。它是一个线性变换。这个变换把数据或信号分离成统计独立的非高斯的信号源的线性组合。独立成分分析是盲信号分离(Blind source separation)的一种特例。

最大池化技术

最大池化(max-pooling)即取局部接受域中值最大的点。

神经网络技术

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

映射技术

映射指的是具有某种特殊结构的函数,或泛指类函数思想的范畴论中的态射。 逻辑和图论中也有一些不太常规的用法。其数学定义为:两个非空集合A与B间存在着对应关系f,而且对于A中的每一个元素x,B中总有有唯一的一个元素y与它对应,就这种对应为从A到B的映射,记作f:A→B。其中,y称为元素x在映射f下的象,记作:y=f(x)。x称为y关于映射f的原象*。*集合A中所有元素的象的集合称为映射f的值域,记作f(A)。同样的,在机器学习中,映射就是输入与输出之间的对应关系。

监督学习技术

监督式学习(Supervised learning),是机器学习中的一个方法,可以由标记好的训练集中学到或建立一个模式(函数 / learning model),并依此模式推测新的实例。训练集是由一系列的训练范例组成,每个训练范例则由输入对象(通常是向量)和预期输出所组成。函数的输出可以是一个连续的值(称为回归分析),或是预测一个分类标签(称作分类)。

先验知识技术

先验(apriori ;也译作 先天)在拉丁文中指“来自先前的东西”,或稍稍引申指“在经验之前”。近代西方传统中,认为先验指无需经验或先于经验获得的知识。先验知识不依赖于经验,比如,数学式子2+2=4;恒真命题“所有的单身汉一定没有结婚”;以及来自纯粹理性的推断“本体论证明”

动力系统技术

动态系统(dynamical system)是数学上的一个概念。动态系统是一种固定的规则,它描述一个给定空间(如某个物理系统的状态空间)中所有点随时间的变化情况。例如描述钟摆晃动、管道中水的流动,或者湖中每年春季鱼类的数量,凡此等等的数学模型都是动态系统。 在动态系统中有所谓状态的概念,状态是一组可以被确定下来的实数。状态的微小变动对应这组实数的微小变动。这组实数也是一种流形的几何空间坐标。动态系统的演化规则是一组函数的固定规则,它描述未来状态如何依赖于当前状态的。这种规则是确定性的,即对于给定的时间间隔内,从现在的状态只能演化出一个未来的状态。 若只是在一系列不连续的时间点考察系统的状态,则这个动态系统为离散动态系统;若时间连续,就得到一个连续动态系统。如果系统以一种连续可微的方式依赖于时间,我们就称它为一个光滑动态系统。

强人工智能技术

强人工智能或通用人工智能(Strong AI或者 Artificial General Intelligence)是具备与人类同等智慧、或超越人类的人工智能,能表现正常人类所具有的所有智能行为。强人工智能是人工智能研究的主要目标之一,同时也是科幻小说和未来学家所讨论的主要议题。相对的,弱人工智能(applied AI,narrow AI,weak AI)只处理特定的问题。弱人工智能不需要具有人类完整的认知能力,甚至是完全不具有人类所拥有的感官认知能力,只要设计得看起来像有智慧就可以了。由于过去的智能程式多是弱人工智能,发现这个具有领域的局限性,人们一度觉得强人工智能是不可能的。而强人工智能也指通用人工智能(artificial general intelligence,AGI),或具备执行一般智慧行为的能力。强人工智能通常把人工智能和意识、感性、知识和自觉等人类的特征互相连结。

迁移学习技术

迁移学习是一种机器学习方法,就是把为任务 A 开发的模型作为初始点,重新使用在为任务 B 开发模型的过程中。迁移学习是通过从已学习的相关任务中转移知识来改进学习的新任务,虽然大多数机器学习算法都是为了解决单个任务而设计的,但是促进迁移学习的算法的开发是机器学习社区持续关注的话题。 迁移学习对人类来说很常见,例如,我们可能会发现学习识别苹果可能有助于识别梨,或者学习弹奏电子琴可能有助于学习钢琴。

边缘检测技术

边缘检测是图像处理和计算机视觉中的基本问题,边缘检测的目的是标识数字图像中亮度变化明显的点。图像属性中的显著变化通常反映了属性的重要事件和变化。这些包括(i)深度上的不连续、(ii)表面方向不连续、(iii)物质属性变化和(iv)场景照明变化。 边缘检测是图像处理和计算机视觉中,尤其是特征检测中的一个研究领域。

神经元技术

(人工)神经元是一个类比于生物神经元的数学计算模型,是神经网络的基本组成单元。 对于生物神经网络,每个神经元与其他神经元相连,当它“兴奋”时会向相连的神经元发送化学物质,从而改变这些神经元的电位;神经元的“兴奋”由其电位决定,当它的电位超过一个“阈值”(threshold)便会被激活,亦即“兴奋”。 目前最常见的神经元模型是基于1943年 Warren McCulloch 和 Walter Pitts提出的“M-P 神经元模型”。 在这个模型中,神经元通过带权重的连接接处理来自n个其他神经元的输入信号,其总输入值将与神经元的阈值进行比较,最后通过“激活函数”(activation function)产生神经元的输出。

降维技术

降维算法是将 p+1 个系数的问题简化为 M+1 个系数的问题,其中 M<p。算法执行包括计算变量的 M 个不同线性组合或投射(projection)。然后这 M 个投射作为预测器通过最小二乘法拟合一个线性回归模型。两个主要的方法是主成分回归(principal component regression)和偏最小二乘法(partial least squares)。

语音识别技术

自动语音识别是一种将口头语音转换为实时可读文本的技术。自动语音识别也称为语音识别(Speech Recognition)或计算机语音识别(Computer Speech Recognition)。自动语音识别是一个多学科交叉的领域,它与声学、语音学、语言学、数字信号处理理论、信息论、计算机科学等众多学科紧密相连。由于语音信号的多样性和复杂性,目前的语音识别系统只能在一定的限制条件下获得满意的性能,或者说只能应用于某些特定的场合。自动语音识别在人工智能领域占据着极其重要的位置。

正则化技术

当模型的复杂度增大时,训练误差会逐渐减小并趋向于0;而测试误差会先减小,达到最小值后又增大。当选择的模型复杂度过大时,过拟合现象就会发生。这样,在学习时就要防止过拟合。进行最优模型的选择,即选择复杂度适当的模型,以达到使测试误差最小的学习目的。

神经形态计算技术

神经形态工程也称为神经形态计算,是Carver Mead在1980年代后期开发的一个概念,描述了使用包含电子模拟电路来模拟神经系统中存在的神经生物学结构的超大规模集成(VLSI)系统。 近来,神经形态(Neuromorphic)一词已被用于描述模拟、数字、混合模式模拟/数字VLSI以及实现神经系统模型(用于感知,运动控制或多感官集成)的软件系统。

摩尔定律技术

摩尔定律是由英特尔创始人之一戈登·摩尔提出来的。其内容为:积体电路上可容纳的电晶体数目,约每隔两年便会增加一倍;经常被引用的“18个月”,是由英特尔首席执行官大卫·豪斯所说:预计18个月会将芯片的性能提高一倍。

因子分析技术

因子分析在统计学中是一种常用的降维方法,目的在于用更少的、未观测到的变量(factor)描述观测到的、相关的变量。更准确的来说,因子分析假设在观测到的变量间存在某种相关关系,从观测变量的矩阵内部相关关系出发找到潜变量(latent variables)从而使得潜变量和观测变量之间的关系成立

强化学习技术

强化学习是一种试错方法,其目标是让软件智能体在特定环境中能够采取回报最大化的行为。强化学习在马尔可夫决策过程环境中主要使用的技术是动态规划(Dynamic Programming)。流行的强化学习方法包括自适应动态规划(ADP)、时间差分(TD)学习、状态-动作-回报-状态-动作(SARSA)算法、Q 学习、深度强化学习(DQN);其应用包括下棋类游戏、机器人控制和工作调度等。

暂无评论
暂无评论~