参与王淑婷 刘晓坤

深度学习果实即将摘尽?11位大牛谈AI的当下(2018)与未来(2019)

KDnuggets 向 11 位来自学界和业界不同领域的机器学习和 AI 专家咨询,以期总结出今年的业内进展并预测明年的关键趋势。

KDnuggets 分别获得了来自 Anima Anandkumar、Andriy Burkov、Pedro Domingos、Ajit Jaokar、Nikita Johnson、Zachary Chase Lipton、Matthew Mayo、Brandon Rohrer、Elena Sharova、Rachel Thomas 和 Daniel Tunkelang 的回答。

这些专家挑选出的关键词包括深度学习的进步、迁移学习机器学习的局限性、自然语言处理不断变化的现状等等。

Anima Anandkumar:英伟达的 ML 研究主任和加州理工学院的 Bren 讲座教授。

2018 年机器学习人工智能的主要进展是什么?

深度学习容易获得的果实几乎已经摘尽」(Low hanging fruits of deep learning have been mostly plucked)。

深度学习的焦点开始从标准的监督学习转向更具挑战性的机器学习问题,如半监督学习、域适应、主动学习生成模型。GAN 继续受到研究人员的欢迎,他们正在尝试更加艰巨的任务,如照片级图像生成(BigGAN)和视频到视频合成。人们开发了替代的生成模型(例如,神经渲染模型)以在单个网络中组合生成和预测以帮助半监督学习。研究人员将深度学习的应用扩展到许多科学领域,如地震预测、材料科学、蛋白质工程、高能物理和控制系统。在这些情况下,领域知识和约束与学习相结合。例如,为了改善无人机的自主着陆,我们可以学习地面效应模型以校正基础控制器并保证学习稳定,这在控制系统中很重要。

预测:

人工智能将把模拟和现实联系起来,变得更安全,更具物理真实性。」

我们将看到人们开发新的域适应技术,以便将知识从模拟无缝迁移到现实世界。使用模拟将有助于我们克服数据稀缺性并加快新领域和新问题的学习。使 AI 从模拟到实际数据(Sim2real)将对机器人技术、自动驾驶、医学成像、地震预报等产生重大影响。模拟是解决自动驾驶等安全关键应用中所有可能情况的好方法。内置于复杂模拟器中的知识将以新颖的方式使用,使 AI 更具物理意识、更强大,并能够推广到新的场景。

Andriy Burkov:Gartner 机器学习团队的负责人。

这是我作为一名从业者的看法,而不是 Gartner 基于研究的官方声明。

2018 年机器学习人工智能的主要发展是什么?

TensorFlow 在学术界输给了 PyTorch。有时谷歌的巨大影响力和能力可能会使市场偏向次优的方向,因为 MapReduce 和随后的 hadoop 狂热已经导致了这种情况。

Deepfakes(以及相似的语音转换模型)粉碎了最值得信赖的信息来源:视频片段。几十年前我们不再相信印刷文字,但直到最近,视频的可信度还是不可动摇。

强化学习深度学习的形式回归是非常意外和酷的!

Google 致电餐厅并(成功)假装为真正人类的系统是一个里程碑。然而,它引发了许多关于道德和人工智能的问题。

个人助理和聊天机器人很快就达到了极限。他们比以往任何时候都好用,但又不如去年每个人所希望的那么好。

你认为 2019 年的主要趋势是什么?

1)我估计每个人都会对今年的 AutoML 进展感到兴奋。但我也预计它会失败(除了一些非常具体和明确定义的用例,如图像识别、机器翻译文本分类,其中手工制作的特征不是必要或是标准的,原始数据接近于机器期望作为输入,并且数据是丰富的)。

2)营销自动化:利用成熟的生成对抗网络变分自编码器,可以生成数千张相同人物或图像的图片,这些图像之间的面部表情或情绪差异很小。根据消费者对这些图片的反应,我们可以制作出最佳的广告活动。

3)移动设备上的实时语音生成与真实人类无法区分。

4)自动驾驶的出租车将保持在测试/ PoC 阶段。

Pedro Domingos :华盛顿大学计算机科学与工程系的教授。

经过多年的炒作,2018 年变成了对人工智能过度恐惧的一年。听媒体甚至是一些研究人员的言论,你可能会认为机器学习算法是偏见和歧视的垃圾桶,机器人正在接手我们的工作,然后是我们的生活... 不仅仅是谈话:欧洲和加利福尼亚州已经通过了严厉的隐私法,联合国正在就智能武器禁令等进行辩论。公众对人工智能的看法越来越消极,这既危险又不公平。希望 2019 年将看到理智回归。

Ajit Jaokar:牛津大学物联网数据科学的首席数据科学家和创始人

2018 年,一些趋势开始起飞。AutoML 是一个,强化学习是一个。这两个新生趋势将在 2019 年大幅扩展。作为我在牛津大学教学的一部分,我认为物联网越来越多地交织在自动驾驶汽车、机器人和智能城市等大型生态系统中。通过与 Dobot 的合作,我见证了一种新的机器人技术,即协作机器人(cobots),这是 2019 年的一个关键趋势。与以前的装配线机器人不同,新的机器人将能够自主并理解情绪。最后,有一个有争议的观点:在 2019 年,我们所知道的数据科学家的角色将倾向于从研究转向产品开发。我认为人工智能与下一代数据产品的创建密切相关。数据科学家的角色将相应改变。

Nikita Johnson:RE.WORK 的创始人。

我们在 2018 年目睹的一个发展是开源工具数量的增加,这些工具降低了进入门槛,使所有人都能更容易地应用 AI,以加强组织之间的协作。这些社区对于确保人工智能在社会和企业各个领域的传播至关重要。

同样,在 2019 年,我们将看到关注「人工智能」的公司数量有所增加,这是基于谷歌最近宣布的 AI for Social Good 计划,以及微软的 AI for Good 计划。随着社会要求公司拥有更高的社会目标,这种向人工智能的积极转变正获得推动力。

Zachary Chase Lipton:卡内基梅隆大学机器学习助理教授,Approximately Correct Blog 创始人

让我们从深度学习领域开始,这个领域占据机器学习人工智能的公共话题的最大份额。也许会惹恼一些人,但我认为对 2018 年的一个合理解读是:最大的发展是没有发展!当然这太简单了,但请允许我展开这个问题。最大的发展很大一部分是「调参」与定性新思想的本质区别。BigGAN 是一个 GAN,但更大。GAN 的逐渐发展产生了真正有趣的结果,在某些意义上迈出了一大步,但从方法论上来说,它只是一个带有课程学习技巧的 GAN。在 NLP 方面,今年最重要的进展是 ELMO 和 BERT 的语境化嵌入。但是至少从 2015-16 开始,我们已经预先训练了语言模型并对下游分类任务进行了微调,当时 Andrew Dai 和 Quoc Le 的实验规模较小。所以也许更愤世嫉俗的说法是,这不是由全新思想主宰的一年。另一方面,积极的说法可能是现有技术的全部功能尚未实现,硬件、系统和工具的快速发展可能会从这里发挥作用,来挤出这些流行了三四年的思想的所有成果。

我认为现在正在酝酿的很多新想法都出现在新兴的深度学习理论中。有很多研究人员,包括 Sanjeev Arora、Tengyu Ma、Daniel Soudry、Nati Srebro 等等,他们正在做一些非常令人兴奋的工作。我们早就已经有了第一性原理理论,这些理论是严谨的,但经常忽略了实践,然后是「实验性」ML,它真正在实践科学,但却导致了排行榜追逐现象。现在出现了一种新的探究模式,理论与实验的结合更紧密。你开始看到受实验启发的理论论文,进行实验的理论论文。

2019 年及以后。我认为应用机器学习领域会有一个清算。我们正急于进入所有这些声称「解决」问题的实际领域,但到目前为止,我们工具箱中唯一可靠的锤子只有监督学习,而且我们只能通过模式匹配来做些约束。受监督的模型可以找到关联,但它们不提供正当理由。它们不知道哪些信息是安全的,或脆弱的(因为它可能会随着时间的推移而发生变化)。这些模型没有告诉我们干预措施的效果。当我们在人类交互系统中部署基于监督学习的自动化系统时,我们并没有预料到它们会扭曲激励因素,从而改变它们的环境,打破它们所依赖的模式。我认为在接下来的一年里,我们会看到更多 ML 项目的案例被废弃,或者因为这些限制而陷入困境。我们会看到社区中更有创意成员的转变,从关注函数拟合排行榜,到更多地关注与弥合表征学习因果推理之间差距相关的问题。

Matthew Mayo:KDnuggets 的编辑

对我而言,2018 年的机器学习发展很好。例如,迁移学习有更广泛的应用,特别是在自然语言处理方面,这要归功于通用语言模型微调文本分类(ULMFiT)等技术和 Transformers 的双向编码器表征(BERT)。另外需要注意的是语言模型嵌入(ELMo),这是一个深层语境化的单词表征模型,它对模型的每个任务都进行了相当大的改进。今年的其它突破似乎集中在现有技术的改进上,例如 BigGAN。此外,关于机器学习的包容性和多样性的非技术性讨论也成为主流。

我相信,在 2019 年,研究注意力将从监督学习转向强化学习和半监督学习等领域,因为这些领域的潜在应用越来越多地得到实现。例如,我们现在正处于图像识别和生成问题已经「解决」的阶段,并且沿途学到的东西可以帮助研究人员追求更复杂的机器学习应用。

作为业余的 AutoML(自动化机器学习)传播者,我认为我们将继续看到 AutoML 的逐步进步,以至于普通的监督学习任务将能够通过开发中的可行方法有效地进行算法选择和超参数优化。我认为人们对 AutoML 的普遍看法将转变。AutoML 将不再被视为机器学习工具箱的替代品,而是作为其中的另一种工具。我认为,在日常情景中,从业者将经常使用这些工具,这将成为定局。

Brandon Rohrer:Facebook 的数据科学

2018 年的一个重要趋势是数据科学教育机会的扩散和成熟。在线课程是原始的数据科学教育场所。它们在各个层面继续受到欢迎,每年学生和主题都在增加,以及有更多教育形式的变体。

在学术界,新的数据科学硕士课程正以每年约十几个的速度增长。我们的高等院校正在响应公司和学生的请求,为数据相关领域提供专门的计划。

在非正式的层面,教程和博客文章无处不在。它们为读者和作者对数据科学的集体理解做出了巨大贡献。

在 2019 年及以后,数据科学学术计划将成为学习数据科学职位所需基本技能的更常见方式。这是件好事。受认证的机构将填补长期的空白。到目前为止,数据科学资格主要通过以前的工作经验来证明。新数据科学家无法展示自己的资历,因为他们从未从事过数据科学工作;反过来,因为他们无法获得数据科学工作,他们也无法展示自己的资格。教育机构的证书是打破这一循环的一种方式。

但是,在线课程不是哪里都有。有许多人无法接受大学教育的时间和经济要求。通过对项目工作、相关经验和在线培训的展示,即使没有学位,新数据科学家也能够展示他们的技能。在线课程和教程将继续变得更加普遍、更复杂、对数据科学教育更为重要。事实上,一些著名的数据科学机器学习计划甚至将他们的课程放在网上,甚至为非预科学生提供入学选择。我预计数据科学大学学位与在线培训课程之间的界限将继续变得模糊。在我看来,这是「数据科学民主化」的最真实形式。

Elena Sharova:ITV 的高级数据科学

2018 年机器学习人工智能的主要发展是什么?

在我看来,2018 年 AI 和 ML 社区发生了以下三个值得注意的事件。

首先,旨在提高公平性和个人数据使用透明度的欧盟全球数据保护条例(GDPR)的启用。该规定明确了个人控制其个人数据和获取其使用信息的权利,但也引起了对法律解释的一些混淆。迄今为止的最终结果是,许多公司认为自己是合规的,对数据处理做了一些表面上的改变,忽略了重新设计数据存储和处理基础设施的基本需求。

其次,还有剑桥 Analytica 丑闻,它给整个数据科学社区蒙上阴影。如果之前的辩论主要是关于确保 AI 和 ML 产品的公平性,那么这个丑闻则会引发更深层次的伦理问题。对 Facebook 参与的最新调查意味着它不会很快消失。随着数据科学领域的成熟,这些发展将在许多行业中发生。比如亚利桑那州的 Uber 自驾车案,这种事件之后会有强烈的公众反应。技术就是力量,力量就是责任。正如诺姆乔姆斯基所说:「只有在民间故事、童话故事中,权力才被用来摧毁邪恶。但现实世界教给我们的是截然不同的教训。除非故意或者太无知,否则我们无法忽视这些教训。」

最后,从一个更积极的角度来看,亚马逊自己的服务器处理器芯片的最新发展意味着,我们可能会越来越接近云计算的普及,到那时,云计算的成本不再是问题。

你预计 2019 年的主要趋势会是什么?

数据科学家的角色和责任已不再限于建立实现准确预测的模型。2019 年,ML、AI 和 DS 从业者的主要趋势将是越来越多地关注既定的软件开发实践,特别是测试和维护。数据科学的终端产品将必须与公司其它技术堆栈共存。高效运行和维护专有软件的要求将适用于我们构建的模型和解决方案。这意味着,最好的软件开发实践将巩固我们需要遵循的机器学习规则。

Rachel Thomas:fast.ai 联合创始人,旧金山大学助理教授。

2018 年人工智能的两个主要发展是:

1. 迁移学习在 NLP 的成功应用

2. 越来越多的人开始关注人工智能的反乌托邦滥用(包括仇恨团体和独裁者的监控和操纵)

迁移学习是指将预训练的模型应用到新的数据集。迁移学习计算机视觉迅猛发展的一个关键因素。2018 年,迁移学习在 NLP 中的成功应用包括:fast.ai 的 ULMFiT、艾伦研究所的 ELMo、OpenAI transformer 和谷歌的 BERT

有些一直存在的问题在 2018 年也终于开始受到主流媒体的关注,如 Facebook 在「Genocide in Myanmar」事件中的决定性作用,YouTube 不当地推荐阴谋论(其中许多宣扬白人至上),以及政府和执法机构使用人工智能进行监控等。虽然 AI 的这些滥用很严重也很可怕,但越来越多的人开始意识到这个问题并进行抵制。

我估计随着 NLP 的快速进步(正如 Sebastian Ruder 今年夏天说的,NLP 的 ImageNet 时刻已经到来),以及技术方面的反乌托邦发展,这个趋势将在 2019 年继续。

Daniel Tunkelang:专门从事搜索、发现和 ML/AI 的独立顾问。

2018 年,自然语言处理和理解的词嵌入方面有两大进展。

首先是 3 月份,来自艾伦人工智能研究所和华盛顿大学的研究人员发表论文《Deep contextualized word representations》,引入了 ELMo (Embeddings from Language Models),一个开源的深度语境化词表征,该表征改进了 word2vecGloVe 这样的无语境嵌入。作者证明,通过简单地用来自 ELMo 预训练模型的向量进行替换就可以在现有 NLP 系统上实现改进。

其次是 11 月的时候,谷歌开源了 BERT (Bidirectional Encoder Representations from Transformers)。它是一个在 Wikipedia 上预训练得到的双向无监督语言表征。作者在论文《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》中证明,他们在多种不同的 NLP 基准上实现了很大的改进,甚至是与 ELMo 相关的基准

从智能语音助手的快速普及(2018 年底达到 1 亿用户)到移动手机上无处不在的数字助手,自然语言理解方面的进展正迅速从实验室转移到产品。对 NLP 的实践和研究来说,这些成果都令人激动。

但我们还有很长的路要走。

同样是今年,艾伦人工智能研究所的研究人员发表了《Swag: A Large-Scale Adversarial Dataset for Grounded Commonsense Inference》,这是一个需要常识理解的句子补充任务数据集。他们的实验表明,当前最先进的 NLP 模型仍然远不如人类表现。

但我们可能将在 2019 年看到更多 NLP 方面的突破。因为很多非常优秀的计算机科学人才都在为之努力,而业界也已整装待发。 

原文链接:https://www.kdnuggets.com/2018/12/predictions-machine-learning-ai-2019.html

产业Pedro Domingos
1
相关数据
亚马逊机构

亚马逊(英语:Amazon.com Inc.,NASDAQ:AMZN)是一家总部位于美国西雅图的跨国电子商务企业,业务起始于线上书店,不久之后商品走向多元化。目前是全球最大的互联网线上零售商之一,也是美国《财富》杂志2016年评选的全球最大500家公司的排行榜中的第44名。

https://www.amazon.com/
相关技术
OpenAI 机构

OpenAI是一家非营利性人工智能研究公司,旨在以惠及全人类的方式促进和发展友好的人工智能。OpenAI成立于2015年底,总部位于旧金山,旨在通过向公众开放其专利和研究与其他机构和研究人员“自由合作”。创始人的部分动机是出于对通用人工智能风险的担忧。

https://www.openai.com/
微软机构

微软是美国一家跨国计算机科技公司,以研发、制造、授权和提供广泛的计算机软件服务为主。总部位于美国华盛顿州的雷德蒙德,最为著名和畅销的产品为Microsoft Windows操作系统和Microsoft Office办公室软件,以及Xbox的游戏业务。微软是美国《财富》杂志2015年评选的世界500强企业排行榜中的第95名。

https://www.microsoft.com/en-us/about
深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

自动驾驶技术技术

从 20 世纪 80 年代首次成功演示以来(Dickmanns & Mysliwetz (1992); Dickmanns & Graefe (1988); Thorpe et al. (1988)),自动驾驶汽车领域已经取得了巨大进展。尽管有了这些进展,但在任意复杂环境中实现完全自动驾驶导航仍被认为还需要数十年的发展。原因有两个:首先,在复杂的动态环境中运行的自动驾驶系统需要人工智能归纳不可预测的情境,从而进行实时推论。第二,信息性决策需要准确的感知,目前大部分已有的计算机视觉系统有一定的错误率,这是自动驾驶导航所无法接受的。

基于Transformer 的双向编码器表征技术

BERT是谷歌发布的基于双向 Transformer的大规模预训练语言模型,该预训练模型能高效抽取文本信息并应用于各种NLP任务,并刷新了 11 项 NLP 任务的当前最优性能记录。BERT的全称是基于Transformer的双向编码器表征,其中“双向”表示模型在处理某一个词时,它能同时利用前面的词和后面的词两部分信息。

半监督学习技术

半监督学习属于无监督学习(没有任何标记的训练数据)和监督学习(完全标记的训练数据)之间。许多机器学习研究人员发现,将未标记数据与少量标记数据结合使用可以显着提高学习准确性。对于学习问题的标记数据的获取通常需要熟练的人类代理(例如转录音频片段)或物理实验(例如,确定蛋白质的3D结构或确定在特定位置处是否存在油)。因此与标签处理相关的成本可能使得完全标注的训练集不可行,而获取未标记的数据相对便宜。在这种情况下,半监督学习可能具有很大的实用价值。半监督学习对机器学习也是理论上的兴趣,也是人类学习的典范。

因果推理技术

基于因果关系的一类推理方法,是一种常见推理模式,涉及观察到的共同效应的原因的概率依赖性。

模式匹配技术

在计算机科学中,模式匹配就是检查特定序列的标记是否存在某种模式的组成部分。 与模式识别相比,匹配通常必须是精确的。 模式通常具有序列或树结构的形式。 模式匹配的使用包括输出令牌序列内的模式的位置(如果有的话),输出匹配模式的某个分量,以及用另一个令牌序列(即搜索和替换)替换匹配模式。

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

自然语言理解技术

自然语言理解是人工智能的核心课题之一,也被广泛认为是最困难和最具标志性的任务。最经典的两个人工智能思想实验——图灵测试和中文房间,都是围绕自然语言理解来构建的。自然语言理解在人工智能技术体系中的重要性不言而喻,它一方面承载着机器和人的交流,另一方面直达知识和逻辑。自然语言理解也是人工智能学者孜孜以求的圣杯,机器学习的巨擘 Michael I. Jordan 就曾经在 Reddit 上的 AMA(Ask Me Anything)栏目中畅想用十亿美元建立一个专门用于自然语言理解的实验室。

GloVe技术

Stanford开发的用于词向量表示的一个库/工具

变分自编码器技术

变分自编码器可用于对先验数据分布进行建模。从名字上就可以看出,它包括两部分:编码器和解码器。编码器将数据分布的高级特征映射到数据的低级表征,低级表征叫作本征向量(latent vector)。解码器吸收数据的低级表征,然后输出同样数据的高级表征。变分编码器是自动编码器的升级版本,其结构跟自动编码器是类似的,也由编码器和解码器构成。在自动编码器中,需要输入一张图片,然后将一张图片编码之后得到一个隐含向量,这比原始方法的随机取一个随机噪声更好,因为这包含着原图片的信息,然后隐含向量解码得到与原图片对应的照片。但是这样其实并不能任意生成图片,因为没有办法自己去构造隐藏向量,所以它需要通过一张图片输入编码才知道得到的隐含向量是什么,这时就可以通过变分自动编码器来解决这个问题。解决办法就是在编码过程给它增加一些限制,迫使其生成的隐含向量能够粗略的遵循一个标准正态分布,这就是其与一般的自动编码器最大的不同。这样生成一张新图片就比较容易,只需要给它一个标准正态分布的随机隐含向量,这样通过解码器就能够生成想要的图片,而不需要给它一张原始图片先编码。

超参数优化技术

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

基准技术

一种简单的模型或启发法,用作比较模型效果时的参考点。基准有助于模型开发者针对特定问题量化最低预期效果。

词嵌入技术

词嵌入是自然语言处理(NLP)中语言模型与表征学习技术的统称。概念上而言,它是指把一个维数为所有词的数量的高维空间嵌入到一个维数低得多的连续向量空间中,每个单词或词组被映射为实数域上的向量。

数据科学技术

数据科学,又称资料科学,是一门利用数据学习知识的学科,其目标是通过从数据中提取出有价值的部分来生产数据产品。它结合了诸多领域中的理论和技术,包括应用数学、统计、模式识别、机器学习、数据可视化、数据仓库以及高性能计算。数据科学通过运用各种相关的数据来帮助非专业人士理解问题。

文本分类技术

该技术可被用于理解、组织和分类结构化或非结构化文本文档。文本挖掘所使用的模型有词袋(BOW)模型、语言模型(ngram)和主题模型。隐马尔可夫模型通常用于词性标注(POS)。其涵盖的主要任务有句法分析、情绪分析和垃圾信息检测。

自动驾驶汽车技术

自动驾驶汽车,又称为无人驾驶汽车、电脑驾驶汽车或轮式移动机器人,是自动化载具的一种,具有传统汽车的运输能力。作为自动化载具,自动驾驶汽车不需要人为操作即能感测其环境及导航。

超参数技术

在机器学习中,超参数是在学习过程开始之前设置其值的参数。 相反,其他参数的值是通过训练得出的。 不同的模型训练算法需要不同的超参数,一些简单的算法(如普通最小二乘回归)不需要。 给定这些超参数,训练算法从数据中学习参数。相同种类的机器学习模型可能需要不同的超参数来适应不同的数据模式,并且必须对其进行调整以便模型能够最优地解决机器学习问题。 在实际应用中一般需要对超参数进行优化,以找到一个超参数元组(tuple),由这些超参数元组形成一个最优化模型,该模型可以将在给定的独立数据上预定义的损失函数最小化。

TensorFlow技术

TensorFlow是一个开源软件库,用于各种感知和语言理解任务的机器学习。目前被50个团队用于研究和生产许多Google商业产品,如语音识别、Gmail、Google 相册和搜索,其中许多产品曾使用过其前任软件DistBelief。

表征学习技术

在机器学习领域,表征学习(或特征学习)是一种将原始数据转换成为能够被机器学习有效开发的一种技术的集合。在特征学习算法出现之前,机器学习研究人员需要利用手动特征工程(manual feature learning)等技术从原始数据的领域知识(domain knowledge)建立特征,然后再部署相关的机器学习算法。虽然手动特征工程对于应用机器学习很有效,但它同时也是很困难、很昂贵、很耗时、并依赖于强大专业知识。特征学习弥补了这一点,它使得机器不仅能学习到数据的特征,并能利用这些特征来完成一个具体的任务。

计算机视觉技术

计算机视觉(CV)是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。

机器翻译技术

机器翻译(MT)是利用机器的力量「自动将一种自然语言(源语言)的文本翻译成另一种语言(目标语言)」。机器翻译方法通常可分成三大类:基于规则的机器翻译(RBMT)、统计机器翻译(SMT)和神经机器翻译(NMT)。

MapReduce技术

MapReduce,一种编程模型,用于大规模数据集(大于1TB)的并行运算。概念"Map(映射)"和"Reduce(归约)",是其主要思想,皆从函数式编程语言借用。它还借用了矢量编程语言的特性。它极大地方便了编程人员在不会分布式并行编程的情况下,将自己的程序运行在分布式系统上。 当前的软件实现是指定一个Map(映射)函数,用来把一组键值对映射成一组新的键值对,指定并发的Reduce(归约)函数,用来保证所有映射的键值对中的每一个共享相同的键组。

云计算技术

云计算(英语:cloud computing),是一种基于互联网的计算方式,通过这种方式,共享的软硬件资源和信息可以按需求提供给计算机各种终端和其他设备。

监督学习技术

监督式学习(Supervised learning),是机器学习中的一个方法,可以由标记好的训练集中学到或建立一个模式(函数 / learning model),并依此模式推测新的实例。训练集是由一系列的训练范例组成,每个训练范例则由输入对象(通常是向量)和预期输出所组成。函数的输出可以是一个连续的值(称为回归分析),或是预测一个分类标签(称作分类)。

迁移学习技术

迁移学习是一种机器学习方法,就是把为任务 A 开发的模型作为初始点,重新使用在为任务 B 开发模型的过程中。迁移学习是通过从已学习的相关任务中转移知识来改进学习的新任务,虽然大多数机器学习算法都是为了解决单个任务而设计的,但是促进迁移学习的算法的开发是机器学习社区持续关注的话题。 迁移学习对人类来说很常见,例如,我们可能会发现学习识别苹果可能有助于识别梨,或者学习弹奏电子琴可能有助于学习钢琴。

聊天机器人技术

聊天机器人是经由对话或文字进行交谈的计算机程序。能够模拟人类对话,通过图灵测试。 聊天机器人可用于实用的目的,如客户服务或资讯获取。有些聊天机器人会搭载自然语言处理系统,但大多简单的系统只会撷取输入的关键字,再从数据库中找寻最合适的应答句。

无人机技术

无人机(Uncrewed vehicle、Unmanned vehicle、Drone)或称无人载具是一种无搭载人员的载具。通常使用遥控、导引或自动驾驶来控制。可在科学研究、军事、休闲娱乐用途上使用。

word2vec技术

Word2vec,为一群用来产生词向量的相关模型。这些模型为浅而双层的神经网络,用来训练以重新建构语言学之词文本。网络以词表现,并且需猜测相邻位置的输入词,在word2vec中词袋模型假设下,词的顺序是不重要的。 训练完成之后,word2vec模型可用来映射每个词到一个向量,可用来表示词对词之间的关系。该向量为神经网络之隐藏层。 Word2vec依赖skip-grams或连续词袋(CBOW)来建立神经词嵌入。Word2vec为托马斯·米科洛夫(Tomas Mikolov)在Google带领的研究团队创造。该算法渐渐被其他人所分析和解释。

自然语言处理技术

自然语言处理(英语:natural language processing,缩写作 NLP)是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言;自然语言认知则是指让电脑“懂”人类的语言。自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。

生成模型技术

在概率统计理论中, 生成模型是指能够随机生成观测数据的模型,尤其是在给定某些隐含参数的条件下。 它给观测值和标注数据序列指定一个联合概率分布。 在机器学习中,生成模型可以用来直接对数据建模(例如根据某个变量的概率密度函数进行数据采样),也可以用来建立变量间的条件概率分布。

生成对抗网络技术

生成对抗网络是一种无监督学习方法,是一种通过用对抗网络来训练生成模型的架构。它由两个网络组成:用来拟合数据分布的生成网络G,和用来判断输入是否“真实”的判别网络D。在训练过程中,生成网络-G通过接受一个随机的噪声来尽量模仿训练集中的真实图片去“欺骗”D,而D则尽可能的分辨真实数据和生成网络的输出,从而形成两个网络的博弈过程。理想的情况下,博弈的结果会得到一个可以“以假乱真”的生成模型。

主动学习技术

主动学习是半监督机器学习的一个特例,其中学习算法能够交互式地查询用户(或其他信息源)以在新的数据点处获得期望的输出。 在统计学文献中,有时也称为最佳实验设计。

强化学习技术

强化学习是一种试错方法,其目标是让软件智能体在特定环境中能够采取回报最大化的行为。强化学习在马尔可夫决策过程环境中主要使用的技术是动态规划(Dynamic Programming)。流行的强化学习方法包括自适应动态规划(ADP)、时间差分(TD)学习、状态-动作-回报-状态-动作(SARSA)算法、Q 学习、深度强化学习(DQN);其应用包括下棋类游戏、机器人控制和工作调度等。

自动化机器学习技术

机器学习最近在许多应用领域取得了长足的进步,这促成了对机器学习系统的不断增长的需求,并希望机器学习系统可以被新手快速地熟悉并使用。相应地,越来越多的商业企业推出产品旨在满足这种需求。这些服务需要解决的核心问题是:在给定数据集上使用哪种机器学习算法、是否以及如何预处理其特征以及如何设置所有超参数。这即是自动化学习(AutoML)企图解决的问题。

语言模型技术

语言模型经常使用在许多自然语言处理方面的应用,如语音识别,机器翻译,词性标注,句法分析和资讯检索。由于字词与句子都是任意组合的长度,因此在训练过的语言模型中会出现未曾出现的字串(资料稀疏的问题),也使得在语料库中估算字串的机率变得很困难,这也是要使用近似的平滑n元语法(N-gram)模型之原因。

暂无评论
暂无评论~