整理

市北GMIS | 第四范式涂威威:自动机器学习求解三要素与发展趋势

在市北•GMIS 2019 全球数据智能峰会上,第四范式资深算法科学家涂威威发表主题演讲《自动机器学习技术回顾与展望》,在演讲中,他为听众详细介绍了自动化机器学习求解的三要素与发展趋势。

以下为涂威威在市北•GMIS 2019 全球数据智能峰会上的演讲内容,机器之心进行了不改变原意的编辑、整理:

大家好,非常感谢机器之心的邀请。今天来跟大家分享的主题是自动机器学习技术的回顾和展望。在介绍自动机器学习之前,先介绍下机器学习机器学习的经典定义,是计算机程序利用经验(数据)来改善系统性能。目前,机器学习推荐系统、在线广告、金融市场分析、计算机视觉语言学、生物信息学等诸多领域都取得了成功,在这些成功的应用范例中,人类专家参与了绝大多数的工作。Google、Facebook、百度阿里巴巴腾讯等科技公司依靠其顶尖的机器学习专家团队来支撑机器学习在企业内部的各种应用。但是,并非所用公司在拥有数据之后,都可以像这些巨头公司一样应用 AI,并改善性能,实现数据驱动增长的新模式。

原因在于机器学习是一个非常复杂的技术,且应用的门槛非常高。机器学习的阶段包括了定义问题、收集数据、数据预处理、特征工程、模型训练,模型评估,模型应用等过程,搭建整套机器学习流程往往超出了非机器学习专家的能力范围。机器学习专家对机器学习技术的成功应用至关重要。机器学习的成功应用需要复合型的专家人才,他既需要了解机器学习理论知识,另外还需要对行业有深入了解,这样的人才培养周期特别长,且不具有可复制性。由于机器学习专家的缺口太大,人才短缺,人才抢夺激烈,专家团队的管理成本高昂和专家经验不可复制等原因,很多传统企业、中小型企业和一般的科研机构,就很难组建专业的机器学习专家团队,从而阻碍了机器学习在各行各业广泛落地。

解决这样的问题,我们要把机器学习这个技术变得平民化,让很多人可以用起来。这里面有一个关键的技术就是自动机器学习。这个技术背后的逻辑用机器替代人,替代原来机器学习专家做的事情,从而在应用 AI 的过程中降低对专家的依赖。

自动机器学习求解的三要素

自动机器学习的定义就是试图在有限的资源限制和没有人为辅助的情况下自动找到解决目标问题的尽可能优的机器学习配置。自动机器学习求解有三个要素,第一个是机器学习到底有哪些配置,它的配置空间是什么;第二个是有了配置之后,我们如何评估配置的性能;第三个是有了配置空间定义和配置性能评估方法之后,如何高效的找到这些任务。因此,总结自动机器学习三个核心的要求,就是配置空间、配置的性能评估、配置的优化策略。

首先是配置空间,以经典机器学习过程为例,大多有三个核心步骤:数据预处理、特征处理和模型训练。数据预处理囊括了数据清洗、类型推断、样本选择、样本增强等。特征处理主要分为特征生成、特征选择两块,其中有各自不同的多种多样的方法。在模型训练方面,需要选择各种各样的模型算法,每个模型算法还需要对相应的学习参数进行调整。所以对自动机器学习而言,需要解决所有这些配置问题。可以看到这是一个随着配置数目指数增长的超大搜索空间。有了配置之后,需要对这个配置进行评估。机器学习最重要的指标是泛化性,就是要关注未来模型被应用到的样本上的性能。目前一般的性能估计算法是把数据切成训练集和测试集,利用训练集构建完模型,在测试集上进行验证,评估模型的泛化性能,但整个流程是非常漫长的。对于评估配置而言,整个评估的代价非常高。

现在有一些加速版本,比如可以进行采样,或是提前停止以及利用参数共享的方式来提升配置性能评估的速度。也有一些方法是训练一个替代模型,给定数据和配置之后,利用诸如元学习等方法去预测该配置可能的性能,能够更进一步提升性能评估速度。有了性能评估方法之后,就需要找一些方法,能够快速地在配置空间寻找一个在性能度量下尽可能好的配置,就是配置优化的问题。这个优化问题相比传统的优化问题很不一样:它要优化的函数一般无法写出解析表达式,优化搜索空间巨大,函数计算代价也很大。

自动机器学习最经典的解法会尝试用基础搜索:网格搜索随机搜索等方法去优化。这种方法非常简单,在实际应用中也很广泛,但是这类方法不会利用目标问题的特性,对于所有的问题都是一样的解法。还有一类更聪明的利用待解问题特性的方法:基于采样的方法。这类方法首先在配置空间里面采到一个点,然后进行评估并获得反馈,这个反馈慢慢地对要解的问题有更深的认识,可以利用问题特性更快地找到更适合的点。这里面有很多经典的方法,比如说像基于模型的零阶优化(比如贝叶斯优化、随机坐标收缩等)、局部搜索、启发式算法、强化学习等等。如果最终目标可以写出一个配置及其验证集效果之间解析表达式,那就可以利用基于梯度的方法更快速的进行优化,比如双层优化方法等,但是这类方法要求配置及验证集之间的关系可以写出解析表达式,这在实际应用中往往是不成立的,所以这类方法应用并不广泛。

我们结合自动机器学习技术的三个典型例子来看,每个例子里面这三要素是如何配合并优化的。

自动机器学习之——多保真度超参数优化

第一个是超参数搜索,它的配置空间是模型训练的超参数,配置的优化策略一般会采用基于采样优化,比如贝叶斯优化或者随机坐标收缩方法等。我们在前面提到,这里面比较关键的问题是每次做超参数(配置)性能评估的时候,需要把整个模型重新训练一遍,时间非常长。一种简单的加速做法是把这个数据进行采样,在很小的样本上面进行评估,或者采用提前停止的方法,虽然评估的很快(利用的资源很少),但是降低了准确性。就有学者提出了多保真度超参数搜索的方法,在效率和准确性之间做了较好的权衡

比如 SuccessiveHalving 和 Hyperband 方法。SuccessiveHalving 一开始是以非常小的资源给到所有可能的参数配置,经过评估之后,将比较好的半数配置保留,淘汰另一半较差的配置,然后把相同的资源用于剩下参数的评估,再淘汰一半,不断往复,直到就剩一组参数配置。

但该方法也存在缺陷,有些参数配置可能在给定更多资源的情况下才能表现更好。就有学者提出了 Hyperband 的方法,同时启动好几个 SH(SuccessiveHalving)方法,每个 SH 方法都以不同的资源配置(小、中、大等)作为起始点,所以就有一定概率可以找到那些给定更多资源才能表现更好的参数。SH 和 Hyperband 可以在效率和性能之间做一定的权衡,但是这类方法没有充分利用问题的特性,对于不同的问题,解法都是一致的。

又有学者提出了 Transfer Series Expansion(TSE)的做法,这种做法试图去学习低资源和高资源之间的性能误差模型,在给定低资源的性能情况下去预测高资源的效果。但是构建这样的模型需要的样本数据是非常难以获得的,因为要训练这样的模型,需要搜集很多给定同样配置高资源和低资源模型效果的样本对,需要大量高资源训练出来的模型,这样的代价非常大的。TSE 设计了一个巧妙的做法就是可以收集很多的低资源和中等资源(远远小于高资源)效果的样本对,构建一个预测低资源和中资源之间误差的模型,然后把这样的模型迁移到低资源和高资源之间,利用 fine-tune 以及集成学习的思想,只需要非常少的低资源和高资源的样本就可以构建非常准确的模型。这样的方法,在取得相同效果的情况下,资源消耗降低了一个量级。

自动机器学习之——自动特征工程

第二个例子是在机器学习环节中非常关键的特征工程。在很多实际业务的特征中,组合特征的重要性不言而喻。例如在新闻推荐中,若只有新闻类型、用户 ID 两类特征,模型只能分别预测不同新闻类型或不同用户 ID 对点击率的影响。通过加入新闻类型 x 用户 ID 组合特征,模型就可学习到一个用户对不同新闻的偏好。再加入时间等特征进行高阶组合,模型就可对一个用户在不同时间对不同新闻的偏好进行预测,提升模型个性化预测能力。一些知名的推荐系统通过探索出近半数的组合特征和少数高阶特征(high-order feature)而变得更为出色。但是如何找到这些隐含的特征使非常困难的,只有 20 个特征的特征组合搜索问题的搜索空间就远大于 AlphaGo 的搜索空间。

因此有学者提出了 AutoCross 方法,这类方法在搜索策略以及性能评估上做了专门的优化,比如利用 Beam Search 这样的贪心方法对特征组合空间进行探索,提出了 Successive Mini-batch GD, Field-Wise LR 可以并行的评估很多的特征组合,保证效果的同时,可以大幅提高评估效率。

此外,在实际的业务当中,会碰到各式各样的数据,这些数据是以多张表的形式呈现的,但是机器学习算法只能接收一张表,而且实际业务会存在大量的时序特性,对自动机器学习而言,如何构建有效的时序的特征、将多表拼接成一张表的问题更为复杂,搜索空间要比自动特征组合更为巨大,第四范式有学者提出了 AutoTemporal 的方法,同样在性能评估、优化策略上进行了更加深入优化,并在实际应用中获得了很好的落地,相比专家做出的方案,利用了更少的特征,获得了更好的准确率,并在实际预测耗时上数个量级低于专家设计的方案。

自动机器学习之——神经网络架构搜索(NAS)

得益于深度学习在各个领域的广泛研究,在自动机器学习中,大家比较熟知的研究是神经网络架构搜索。深度学习效果好很大程度上是得益于架构上的设计。如何针对目标问题自动地设计一个好的神经网络架构?其中包括很多方面,比如需要做多少层、什么样的层、用多少个节点,层与层之间如何连接、超参数如何配置等,设计难度巨大。

近期关于 NAS 的一些工作,是从 Google 的 2017 年的工作开始(其实几十年前也有类似的工作,具体可以参见第四范式的 AutoML 综述文章),当时 Google 的工作用 RNN 描述 CNN 的结构,利用强化学习去做超参数的探索,对探索出来的每个结构用完整训练的方式进行评估,效果已经逼近人当时设计的最好的结构,但这种方法消耗的时间和成本非常大。

之后,很多研究对 NAS 进行了改进,主要体现在自动机器学习求解的三要素上:在配置空间上,有一些工作将大的结构裁剪成重复的小单元,在小数据集合上搜索小的单元结构,迁移到大数据及上,然后再进行与之前一样的做法,可以看到相比原来的方法,效率提升了一个量级;

在网络架构(NAS 的配置)的性能评估上,在训练网络的时候,不同的网络配置之间可以参数共享,避免从头开始训练,通过这样的方式,效率提升了三个量级;最后,最新的一些方法将神经网络架构搜索的配置空间转换成连续化表达,就可以利用梯度下降的方法去优化,效率以及效果得到了进一步的提升。

自动机器学习三要素的发展趋势

接下来,我们展望一下自动机器学习技术的发展趋势。首先是配置空间、配置性能评估和优化策略等自动机器学习三要素的发展趋势。从配置空间上讲,以前搜索的空间中,很多是无关紧要的,因此我们需要在指数级爆炸的搜索空间中找到更紧致更精确的配置空间,尽可能的降低配置空间的复杂度。在性能评估上,要降低整个性能评估开销,提升整个评估的准确性。在优化策略上,则沿着尽可能减少迭代的次数,找到更好的局部解,获得更快的收敛速度及更好地鲁棒性的方向去发展。

其次是让自动机器学习寻求更广泛的求解范围。目前,自动机器学习解决的问题有限,对数据质量要求较高、可应用的任务有限、性能度量关注点有限。

在数据方面,实际业务场景的数据可能存在各种各样的问题,比如有的数据噪声严重,有的仅有少量有标记的样本数据及大量未标记的数据,甚至有的仅有少量正例和大量未标记的数据等等。对于弱标记数据的自动机器学习问题,其中的关键问题在于怎么评估配置的泛化性能,因为可靠的标记是非常有限的,需要解决配置的泛化性能评估不准确的问题。

在有学者提出的 AutoSSL(自动半监督学习)中,基本思想是大间隔假设,意思就是如果某个超参数较好,其在未标记数据上的模型预测结果分类间隔较大,利用分类间隔来估计配置的性能可能会取得更好的效果,实际实验也发现这样能够取得很优异的效果。此外,在只有少量有标记样本且只有正例的情况下,如果还采用大间隔的方法,使得间隔的估计不准确。一些学者在这方面也做了大量的研究工作,提出了无偏的间隔估计方法,并取得了优异的效果。

除了数据的问题外,目前自动机器学习应用的任务面也非常窄。刚才看到的很多神经网络架构搜索的工作基本上是在 CIFAR10 和 ImageNET 上评估的,并不足以代表自动机器学习的性能,需要在更多的任务以及更多的数据上进行评估才能有效证明自动机器学习系统的性能。未来自动机器学习技术拓展其他领域有更多的可能性。比如说知识图谱领域,比较常见的是通过人与公司、人与人的关系构建了一个知识图谱,我们希望这个知识图谱可以帮助及机器学习任务。

机器学习算法只能接受向量化的表示,无法直接使用知识图谱,所以将知识图谱转化成向量化表示是关键,而知识图谱向量化表示的关键在于评分函数的设计,这些评分函数之前往往是人为根据不同的数据情况设计的。就有一些学者提出了 AutoKGE,将知识图谱的评分函数表示成 4×4 的矩阵这样一个配置空间,再经过一些巧妙的优化策略设计,获得了远超出人为设计的评分函数的效果。

自动机器学习还有可能可以被应用在自然文本的领域,比如垃圾邮件识别、情感分类、主题分类等文本任务,怎么构建一个自动文本分类系统使得每个业务都可以拿自己的数据训练出自己的文本分类系统也是一个极具挑战的事情。在今年的世界人工智能大会 WAIC 上,第四范式即将和 Google、ChaLearn 主办世界首个 AutoNLP 大赛,希望参赛选手设计开发全自动的自然语言文本分类系统,比赛将在 8 月 1 日至 22 日举办线上预赛,TOP10 的队伍将在 29 日到世界人工智能大会现场进行线下决赛,欢迎大家参加。

目前的自动机器学习只能针对某种可以确切量化的单一指标进行优化,然而实际应用中自动机器学习系统需要面对复杂的多目标优化、甚至是不可量化目标的问题,比如成本和效果的权衡问题,目前的自动机器学习系统可以为用户找出效果很好的模型,但是产生这个模型的代价,以及这个模型在线上推断代价都是实际需要考量的。如何在效果和成本上进行平衡,是未来自动机器学习需要进一步优化的问题。

交互式自动机器学习系统成为突破口

目前 AutoML 存在黑盒、效率以及适用性的问题。目前大部分的自动机器学习系统是一个黑盒,人是无法干预的。有时候自动机器学习系统可能在做一些无用功,导致效率非常低下。配置空间的复杂度随配置数目指数增长,目前的黑盒 AutoML 系统人的先验无法帮助。

另外,自动机器学习当前只能解决明确可量化的目标,比如准确率、AUC、MSE 等,但是比如刚才提到的效果和性能之间的权衡这样的多目标优化问题,人也很难写出准确的目标,还有一些优化目标是写不出来的,比如说像可解释性,诸如这类的需要人不断探索目标设定的问题,当前自动机器学习系统无能为力。

交互式的机器学习将有可能解决以上这些问题。目前的自动机器学习,所有的事情要么全部由人做,要么全部机器做。但这两者之间有一个中间状态,这个状态是人与机器做各自擅长的事情。人与机器之间需要有一个交互界面,就对应到我们刚才说的配置空间(Choice)和配置性能的目标(Objective)。

机器可以优化明确的量化目标,人可以做目标拆解,通过这种实时交互的方式,人能够获得即时的反馈,同时能够探索去设置适合最终问题的目标。同时,我们还需要新的一套描述机器学习的基础界面,在现在用诸如 Tensor 之类的浮点数矩阵来描述机器学习的基本元素,然而实际业务中很多数据并不是浮点数,诸如地址、性别、职业、类别等等,这类抽象知识描述可能更加适合的方式是 Ontology 这样的表达。基于 Ontology 的机器学习也是未来自动机器学习需要关注的。

未来,对于自动机器学习而言,最关键的一点是自动机器学习理论的问题。因为早就有了没有免费午餐(No Free Lunch)定理,不同能存在通用的算法去解决所有的问题。

对于这样的一个已经有这样一个假设之后,自动机器学习要做的事情就是希望用同一套系统能够解决更多的问题,也就是在「对抗」没有免费午餐的定理。对于自动机器学习系统而言,在自动机器学习的适用边界、优化性能分析、算法的泛化性能等问题上的研究还很少,需要大家共同努力去探索。

第四范式也在 IEEE(模式分析与机器智能汇刊)旗下的学术性汇刊 PAMI 上开设了 AutoML 特刊,大家可在 PAMI 上选择「SI: AutoML」进行投稿,PAMI 将在 2019 年 10 月至 2020 年 3 月期间接受提交的报告,欢迎各位积极投稿,共同推动 AutoML 的发展。

PAMI 链接:https://mc.manuscriptcentral.com/tpami-cs

入门自动化机器学习智能物联网机器学习第四范式
1
相关数据
第四范式机构

第四范式成立于2015年初,是国际领先的人工智能技术与服务提供商,已服务20多个行业完成上千个AI落地案例。目前国内重要的国有银行和全国性股份制银行,超过一半都是第四范式的客户,此外,公司在互联网、医疗、政府、能源、零售、媒体等行业均有涉猎,诸多案例取得百分之一百以上的效果提升。

https://www.4paradigm.com/
深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

网格搜索技术

网格搜索是一项模型超参数优化技术,常用于优化三个或者更少数量的超参数,本质是一种穷举法。对于每个超参数,使用者选择一个较小的有限集去探索。然后,这些超参数笛卡尔乘积得到若干组超参数。网格搜索使用每组超参数训练模型,挑选验证集误差最小的超参数作为最好的超参数。

半监督学习技术

半监督学习属于无监督学习(没有任何标记的训练数据)和监督学习(完全标记的训练数据)之间。许多机器学习研究人员发现,将未标记数据与少量标记数据结合使用可以显着提高学习准确性。对于学习问题的标记数据的获取通常需要熟练的人类代理(例如转录音频片段)或物理实验(例如,确定蛋白质的3D结构或确定在特定位置处是否存在油)。因此与标签处理相关的成本可能使得完全标注的训练集不可行,而获取未标记的数据相对便宜。在这种情况下,半监督学习可能具有很大的实用价值。半监督学习对机器学习也是理论上的兴趣,也是人类学习的典范。

局部搜索技术

在计算机科学中,局部搜索是解决最优化问题的一种元启发式算法。局部搜索从一个初始解出发,然后搜索解的邻域,如有更优的解则移动至该解并继续执行搜索,否则返回当前解。局部搜索的优点是简单、灵活及易于实现,缺点是容易陷入局部最优且解的质量与初始解和邻域的结构密切相关。常见的改进方法有模拟退火、禁忌搜索等。

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

超参数优化技术

集成学习技术

集成学习是指使用多种兼容的学习算法/模型来执行单个任务的技术,目的是为了得到更佳的预测表现。集成学习的主要方法可归类为三大类: 堆叠(Stacking)、提升(Boosting) 和 装袋(Bagging/bootstrapaggregating)。其中最流行的方法包括随机森林、梯度提升、AdaBoost、梯度提升决策树(GBDT)和XGBoost。

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

参数技术

在数学和统计学裡,参数(英语:parameter)是使用通用变量来建立函数和变量之间关系(当这种关系很难用方程来阐述时)的一个数量。

收敛技术

在数学,计算机科学和逻辑学中,收敛指的是不同的变换序列在有限的时间内达到一个结论(变换终止),并且得出的结论是独立于达到它的路径(他们是融合的)。 通俗来说,收敛通常是指在训练期间达到的一种状态,即经过一定次数的迭代之后,训练损失和验证损失在每次迭代中的变化都非常小或根本没有变化。也就是说,如果采用当前数据进行额外的训练将无法改进模型,模型即达到收敛状态。在深度学习中,损失值有时会在最终下降之前的多次迭代中保持不变或几乎保持不变,暂时形成收敛的假象。

文本分类技术

该技术可被用于理解、组织和分类结构化或非结构化文本文档。文本挖掘所使用的模型有词袋(BOW)模型、语言模型(ngram)和主题模型。隐马尔可夫模型通常用于词性标注(POS)。其涵盖的主要任务有句法分析、情绪分析和垃圾信息检测。

提前停止技术

在机器学习中,提前停止是一种正则化形式,用于在用迭代方法(例如梯度下降)训练学习器时避免过度拟合。 这种方法更新了学习器,使其更好地适合每次迭代的训练数据。 这提高了学习器在训练集之外的数据上的表现。 但是,提高学习器对训练数据的适应性是以增加的泛化误差为代价的。 提前停止规则提供了在学习器开始过度训练之前可以运行多少次迭代的指导。提前停止规则已经在许多不同的机器学习方法中使用,理论基础不尽相同。

超参数技术

在机器学习中,超参数是在学习过程开始之前设置其值的参数。 相反,其他参数的值是通过训练得出的。 不同的模型训练算法需要不同的超参数,一些简单的算法(如普通最小二乘回归)不需要。 给定这些超参数,训练算法从数据中学习参数。相同种类的机器学习模型可能需要不同的超参数来适应不同的数据模式,并且必须对其进行调整以便模型能够最优地解决机器学习问题。 在实际应用中一般需要对超参数进行优化,以找到一个超参数元组(tuple),由这些超参数元组形成一个最优化模型,该模型可以将在给定的独立数据上预定义的损失函数最小化。

元学习技术

元学习是机器学习的一个子领域,是将自动学习算法应用于机器学习实验的元数据上。现在的 AI 系统可以通过大量时间和经验从头学习一项复杂技能。但是,我们如果想使智能体掌握多种技能、适应多种环境,则不应该从头开始在每一个环境中训练每一项技能,而是需要智能体通过对以往经验的再利用来学习如何学习多项新任务,因此我们不应该独立地训练每一个新任务。这种学习如何学习的方法,又叫元学习(meta-learning),是通往可持续学习多项新任务的多面智能体的必经之路。

验证集技术

验证数据集是用于调整分类器超参数(即模型结构)的一组数据集,它有时也被称为开发集(dev set)。

计算机视觉技术

计算机视觉(CV)是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。

知识图谱技术

知识图谱本质上是语义网络,是一种基于图的数据结构,由节点(Point)和边(Edge)组成。在知识图谱里,每个节点表示现实世界中存在的“实体”,每条边为实体与实体之间的“关系”。知识图谱是关系的最有效的表示方式。通俗地讲,知识图谱就是把所有不同种类的信息(Heterogeneous Information)连接在一起而得到的一个关系网络。知识图谱提供了从“关系”的角度去分析问题的能力。 知识图谱这个概念最早由Google提出,主要是用来优化现有的搜索引擎。不同于基于关键词搜索的传统搜索引擎,知识图谱可用来更好地查询复杂的关联信息,从语义层面理解用户意图,改进搜索质量。比如在Google的搜索框里输入Bill Gates的时候,搜索结果页面的右侧还会出现Bill Gates相关的信息比如出生年月,家庭情况等等。

推荐系统技术

推荐系统(RS)主要是指应用协同智能(collaborative intelligence)做推荐的技术。推荐系统的两大主流类型是基于内容的推荐系统和协同过滤(Collaborative Filtering)。另外还有基于知识的推荐系统(包括基于本体和基于案例的推荐系统)是一类特殊的推荐系统,这类系统更加注重知识表征和推理。

神经网络技术

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

梯度下降技术

梯度下降是用于查找函数最小值的一阶迭代优化算法。 要使用梯度下降找到函数的局部最小值,可以采用与当前点的函数梯度(或近似梯度)的负值成比例的步骤。 如果采取的步骤与梯度的正值成比例,则接近该函数的局部最大值,被称为梯度上升。

特征工程技术

特征工程是利用数据所在领域的相关知识来构建特征,使得机器学习算法发挥其最佳的过程。它是机器学习中的一个基本应用,实现难度大且代价高。采用自动特征工程方法可以省去采用人工特征工程的需求。Andrew Ng 说“挖掘特征是困难、费时且需要专业知识的事,应用机器学习其实基本上是在做特征工程。”

准确率技术

分类模型的正确预测所占的比例。在多类别分类中,准确率的定义为:正确的预测数/样本总数。 在二元分类中,准确率的定义为:(真正例数+真负例数)/样本总数

逻辑技术

人工智能领域用逻辑来理解智能推理问题;它可以提供用于分析编程语言的技术,也可用作分析、表征知识或编程的工具。目前人们常用的逻辑分支有命题逻辑(Propositional Logic )以及一阶逻辑(FOL)等谓词逻辑。

随机搜索技术

特征选择技术

在机器学习和统计学中,特征选择(英语:feature selection)也被称为变量选择、属性选择或变量子集选择。 它是指:为了构建模型而选择相关特征(即属性、指标)子集的过程。

强化学习技术

强化学习是一种试错方法,其目标是让软件智能体在特定环境中能够采取回报最大化的行为。强化学习在马尔可夫决策过程环境中主要使用的技术是动态规划(Dynamic Programming)。流行的强化学习方法包括自适应动态规划(ADP)、时间差分(TD)学习、状态-动作-回报-状态-动作(SARSA)算法、Q 学习、深度强化学习(DQN);其应用包括下棋类游戏、机器人控制和工作调度等。

阿里巴巴机构

阿里巴巴网络技术有限公司(简称:阿里巴巴集团)是以曾担任英语教师的马云为首的18人于1999年在浙江杭州创立的公司。 阿里巴巴集团经营多项业务,另外也从关联公司的业务和服务中取得经营商业生态系统上的支援。业务和关联公司的业务包括:淘宝网、天猫、聚划算、全球速卖通、阿里巴巴国际交易市场、1688、阿里妈妈、阿里云、蚂蚁金服、菜鸟网络等。 2014年9月19日,阿里巴巴集团在纽约证券交易所正式挂牌上市,股票代码“BABA”,创始人和董事局主席为马云。 2018年7月19日,全球同步《财富》世界500强排行榜发布,阿里巴巴集团排名300位。2018年12月,阿里巴巴入围2018世界品牌500强。

https://www.alibabagroup.com/
百度机构

百度(纳斯达克:BIDU),全球最大的中文搜索引擎、最大的中文网站。1999年底,身在美国硅谷的李彦宏看到了中国互联网及中文搜索引擎服务的巨大发展潜力,抱着技术改变世界的梦想,他毅然辞掉硅谷的高薪工作,携搜索引擎专利技术,于 2000年1月1日在中关村创建了百度公司。 “百度”二字,来自于八百年前南宋词人辛弃疾的一句词:众里寻他千百度。这句话描述了词人对理想的执着追求。 百度拥有数万名研发工程师,这是中国乃至全球最为优秀的技术团队。这支队伍掌握着世界上最为先进的搜索引擎技术,使百度成为中国掌握世界尖端科学核心技术的中国高科技企业,也使中国成为美国、俄罗斯、和韩国之外,全球仅有的4个拥有搜索引擎核心技术的国家之一。

http://home.baidu.com/
腾讯机构

腾讯科技股份有限公司(港交所:700)是中国规模最大的互联网公司,1998年11月由马化腾、张志东、陈一丹、许晨晔、曾李青5位创始人共同创立,总部位于深圳南山区腾讯大厦。腾讯由即时通讯软件起家,业务拓展至社交、娱乐、金融、资讯、工具和平台等不同领域。目前,腾讯拥有中国国内使用人数最多的社交软件腾讯QQ和微信,以及中国国内最大的网络游戏社区腾讯游戏。在电子书领域 ,旗下有阅文集团,运营有QQ读书和微信读书。

http://www.tencent.com/
机器之心机构

机器之心,成立于2014年,是国内最具影响力、最专业、唯一用于国际品牌的人工智能信息服务与产业服务平台。目前机器之心已经建立起涵盖媒体、数据、活动、研究及咨询、线下物理空间于一体的业务体系,为各类人工智能从业者提供综合信息服务和产业服务。

语言学技术

每种人类语言都是知识和能力的复合体,语言的使用者能够相互交流,表达想法,假设,情感,欲望以及所有其他需要表达的事物。语言学是对这些知识体系各方面的研究:如何构建这样的知识体系,如何获取,如何在消息的制作和理解中使用它,它是如何随时间变化的?语言学家因此关注语言本质的一些特殊问题。比如: 所有人类语言都有哪些共同属性?语言如何不同,系统的差异程度如何,我们能否在差异中找到模式?孩子如何在短时间内获得如此完整的语言知识?语言随时间变化的方式有哪些,语言变化的局限性是什么?当我们产生和理解语言时,认知过程的本质是什么?语言学研究的就是这些最本质的问题。

多目标优化技术

多目标优化是多准则决策的一个领域,它是涉及多个目标函数同时优化的数学问题。多目标优化已经应用于许多科学领域,包括工程、经济和物流,其中需要在两个或多个相互冲突的目标之间进行权衡的情况下作出最优决策。分别涉及两个和三个目标的多目标优化问题的例子有:在购买汽车时降低成本,同时使舒适性最大化;在使车辆的燃料消耗和污染物排放最小化的同时将性能最大化。

推荐文章
暂无评论
暂无评论~