王欣校对文婧 编辑

年度盘点!必看AI顶会论文、Github高星项目大合集(附链接)

目前,国外计算机界评价学术水平主要是看在顶级学术会议上发表的论文,特别是在机器学习计算机视觉人工智能领域,顶级会议才是王道。本期我们盘点了2019年人工智能领域的顶会,如最核心的顶会AAAI、IJCAI、ICCV,以及“后起之秀”EMNLP 获奖的论文。此外,我们还盘点了Github上的高星项目,满满干货大合集,大家拿走不谢哦!
 
AAAI 2019获奖论文

论文1:How to Combine Tree-Search Methods in Reinforcement Learning

作者:Yonathan Efroni、Gal Dalal、Bruno Scherrer 和 Shie Mannor

论文地址:https://arxiv.org/abs/1809.01843

推荐:这篇论文获得了杰出论文奖。有限时长的前瞻策略方法在强化学习中有着广泛的应用,这类方法在实证研究中展现出了优秀的价值。通常,前瞻策略方法在应用的时候都会搭配一些具体的规划方法,比如蒙特卡洛树搜索(AlphaZero 中就是这样做的)。对于看作是树搜索的规划问题,算法实现中的一种合理做法是只在叶子节点上备份值,同时在根节点上获得的值只会用来更新策略。在这篇论文中,作者们质疑了这种方法的表现。具体来说,这种做法并不具备一般化的收缩性,也无法保证收敛。作者们提出的改进方法思路直接而且简单:用最优的树路径的返回值备份根节点的子节点的值。这会带来 γh的收缩过程,其中 γ 是折扣系数,h 是树的深度。为了表明这种方法的效果,作者们首次提出了一个名为"多步贪婪持续性"的想法。作者们编写了两个以上改进的算法实例,并在树搜索阶段和值估计阶段都注入噪声的状况下提供了收敛速率结果。

论文2:Solving Imperfect-Information Games via Discounted Regret Minimization

作者:Noam Brown、Tuomas Sandholm

论文地址:https://arxiv.org/abs/1809.04040

推荐:这篇论文获得了杰出论文荣誉提名奖。反事实后悔最小化(CFR)是一类最为火热的迭代算法,而且在实际应用中也是可以最快逼近解决大规模非完全信息博弈的方法。这篇论文中作者们提出了一种新的 CFR 变体,它的特点是:
  1. 通过多种不同的方式,给较早的迭代中的后悔值打上折扣(在某些情况下,正值和负值的折扣比例会有所不同);

  2. 迭代得到输出策略的过程中,通过多种不同的方式给不同的迭代赋予不同的权重

  3. 使用了一个非标准的后悔最小化优化器

  4. 使用了"乐观后悔匹配"。

在多种设定下,这些改进都可以让方法的表现得到大幅度提高。具体来说,作者们提出的某一种变体在所有测试了的博弈中都比此前的最佳表现算法 CFR+ 表现更好,包括在一些大规模的真实设定中。而此前,CFR+ 一直是一个令人敬畏的基准模型,没有任何别的模型表现比它更好。最后作者们也展示了,与 CFR+ 不同,根据作者们提出的改进点设计的新 CFR 变体与现有的许多非完全信息博弈中的剪枝策略都是兼容的,而且其中也有一种和博弈树中的采样兼容。

论文3:Zero Shot Learning for Code Education: RubricSampling with Deep Learning Inference

作者:Mike Wu、Milan Mosse、Noah Goodman 和 Chris Piech

论文链接:https://arxiv.org/abs/1809.01357

推荐:这篇论文获得了杰出学生论文奖。在现代计算机科学教育中,大规模开放在线课程(MOOCs)在提供在线教育的同时也会记录下数千小时的学习过程,其中包括了学生如何解决编程题目的过程。既然手握这么多数据,这些平台也就引起了机器学习领域的研究人员们的兴趣,他们开发了许多新的算法,尝试以提供自动化反馈的方式帮助未来的学生们更好地学习。不过,提供了最初的几十万小时的训练数据的学生们怎么办呢?在大多数教学场景下,想要为课后作业设计监督学习系统都会遇到历史数据不足的问题。

在这篇论文中,作者们提出了一种人参与其中的"提示采样"方法,专门用来处理早期的"无样本学习"问题。对于在入门难度的编程作业中提供自动反馈的任务,相比于以往的需要数据喂养的方法,作者们提出的新方法为第一批学生们提供的反馈有显著的质量提高,而且接近了人类级别的可信度。提示采样需要老师付出的精力最小,可以提供和学生的回答的具体部分相关的反馈,而且可以使用指导者的语言指出学生的误解之处。深度学习推理的使用,让指示采样在未来有更多基于不同的作业的学生数据可用时也能发挥出更好的表现。作者们从全世界最大的编程教育平台 Code.org 采集了一个新数据集并在上面展示了方法的表现。

论文4:Learning to Teach in Cooperative Multiagent Reinforcement Learning

作者:Shayegan Omidshafiei、Dong-Ki Kim、Miao Liu、Gerald Tesauro、Matthew Riemer、Christopher Amato、Murray Campbell 和 Jonathan P. How

论文链接:https://arxiv.org/abs/1805.07830

推荐:这篇论文获得了杰出学生论文荣誉提名奖。人类个体的创新行为可以通过沟通教会别的人,人类集体智慧的提升显然从这种做法中受益匪浅。与人类社会群体类似,分布式学习系统中的智能体也许也可以从沟通中获益,可以分享知识、教授技能。此前已经有工作研究过如何通过教学的方式帮助智能体学习,但是这些方法做出的假设让它们无法在一般的多智能体问题中进行教学,又或者先需要它们要解决的问题的领域知识。这种学习教学的问题本身就有很高的复杂度,而且还要测量教学的长期影响,这在标准的多智能体协调问题上又增加了许多难度。

与现有研究不同,这篇论文首次为多智能体环境中的智慧智能体学习教学问题提出了一个通用的框架和算法。作者们提出的算法,"学习协调与学习强化"(LeCTR),针对的是合作多智能体强化学习中的点对点(peer2peer)教学。方法中的每个智能体都要学习如何指导、指导什么内容,然后使用接收到的建议改进自己的学习。重要的是,这些角色并不是固定的;智能体们会学习在不同的时间决定别的智能体是学生还是老师的角色,对应地提供指导或者接受指导,以便提高整个团体范围内的表现和学习能力。与当前最好的方法之间的比较表明,作者们提出的教学智能体不仅显著地学习更快,而且也可以在现有方法无法解决的问题中学会协调。

论文5:Content-Boosted Collaboratie Filtering for Improed Recommendations

作者:Prem Melville、Raymond J. Mooney 和 Ramadass Nagarajan

论文链接:

https://www.cs.utexas.edu/~ml/papers/cbcf-aaai-02.pdf

推荐:这篇论文获得了经典论文奖。大多数推荐系统使用协作过滤或基于内容的方法来预测用户感兴趣的新项目。虽然这两种方法各有优势,但若单独使用它们,在大多数情况下都无法提供好的建议。若将两种方法结合起来构成一个混合推荐系统,则可以克服这些缺点。在本文中,作者提出了一个漂亮且有效的框架,用于结合内容和协作。作者使用了基于内容的预测器来增强现有用户的数据,然后通过协作过滤提供个性化建议。我们的实验结果显示这种方法(内容增强的协作过滤)比纯内容预测器、纯协作过滤器或简单混合方法的性能都要更好。
 
ICCV 2019获奖论文

论文1:SinGAN:Learning a Generative Model From a Single Natural Image

作者:Tamar Rott Shaham, Tali Dekel, Tomer Michaeli

论文地址:https://arxiv.org/abs/1905.01164

源码地址:

https://github.com/tamarott/SinGAN

推荐:这篇论文获得了最佳论文奖。该文将GAN带入了一个新领域--从单幅自然图像中学习非条件生成模型。对单幅自然图像中的图像内部分布进行建模已被公认为是许多计算机视觉任务的有用先验,单幅自然图像通常具有足够的内部统计信息,可以使网络学习到一个强大的生成模型。作者提出了一种具有简单统一架构的模型SinGAN,能够处理包含复杂结构和纹理的普通自然图像,而不必依赖于具有同一类别图像的数据集。这是通过金字塔结构的全卷积GAN实现的,每个GAN负责捕捉不同尺度的图像分布。经过训练后,SinGAN可以以任意尺寸生成各种高质量的图像样本,这些样本在语义上类似于训练图像,但包含新的目标和结构,如下图所示。并且多种图像处理任务都可以应用SinGAN,如图像绘制、编辑、融合,超分辨率重建和动画化。

论文2:PLMP - Point-Line Minimal Problems in Complete Multi-View Visibility

作者:Timothy Du、 Kathlen Kohn、Anton Leykin and Tomas Pajdla

论文链接:https://arxiv.org/abs/1903.10008

推荐:这篇论文获得了最佳学生论文奖。通过校准透视相机完全观察到的点和线的一般排列,作者对所有极小问题进行了完整分类。作者证明总共只有30个极小问题,对于6个以上的相机、5个以上的点以及6条以上的线,则不存在这样的问题。作者提出了一系列检测极小值的测试,这些测试从对自由度进行计数开始,到对代表性样本进行完整的符号化和数字化验证而结束。对于发现的所有极小问题,作者介绍它们的代数度,即度量其内在困难的解的数量。它显示了问题的难度如何随着视图数量的增多而增加。重要的是,几个新的具有很小代数度的极小问题可能在图像匹配和3D重建中是实用的。
 
IJCAI 2019 获奖论文

论文1:Clause Elimination for SAT and QSAT

作者:Marijn Heule,Matti Jrvisalo,Florian Lonsing,Martina Seidl,Armin Biere论文链接:https://www.jair.org/index.php/jair/article/view/10942

推荐:这篇论文获得了IJCAI-JAIR 最佳论文。这篇论文介绍了在 SAT(Boolean satisfiability,布尔可满足性)和 QBF(quantified Boolean formulas,量化布尔方程)解算器中可以作为预处理和简化方法的许多种不同的条款消除(clause elimination)过程,介绍了它们的基础结果和实际应用中的结果。自从这篇论文发表之后,论文中描述的方法对于最先进的 SAT&QBF 解算器的效率有长远、显著的影响。

论文2:Boosting for Comparison-Based Learning

作者:Michal Perrot, Ulrike von Luxburg

论文链接:https://arxiv.org/pdf/1810.13333.pdf

推荐:这篇论文获得了IJCAI 2019杰出论文(Distinguished Paper),该论文作者来自德国马普研究所和图宾根大学。在论文中作者们提出了 TripletBoost,这是可以仅仅使用三元组比较就可以学习到一个分类器的方法。方法的关键思路是把三元组信息集聚成为较弱的分类器,然后可以把它逐步提升为一个比较强的分类器。通过实验,这种方法能够更好的抵抗噪声。

论文3:Between MDPs and semi-MDPs: A framework for temporal abstraction in reinforcement learning

作者:Richard S. Sutton, Doina Precup, Satinder Singh

论文地址:

https://www.researchgate.net/publication/2413902_Between_MDPs_and_Semi-MDPs_A_Framework_for_Temporal_Abstraction_in_Reinforcement_Learning?ev=auth_pub

推荐:这篇论文获得了AIJ 经典论文奖(The AIJ Classic Paper Award),这篇论文的第一作者 Richard Sutton 正是强化学习领域的开山人物之一。这是关于 Options(选项)的一篇精华论文,Options 是强化学习中广泛使用的一个框架,用来在不同的时间尺度、不同的抽象级别上表征动作。Options 框架影响了这个领域内后续的研究的走向,而且如今仍然定义了强化学习领域内层级式的动作、知识的表征学习是如何公式化、如何进行研究的。

论文4:The dropout learning algorithm

作者:Pierre Baldi,Peter Sadowski

论文链接:

https://www.sciencedirect.com/science/article/pii/S0004370214000216

推荐:这篇论文获得了AIJ 突出论文奖(The AIJ Priminent Paper Award)。dropout 已经成为了大规模神经网络训练时使用的一个避免过拟合的关键技巧。这篇论文中的数学分析揭露出的本质属性已经让 dropout 成为了深度学习的一个重要基石。这篇论文也和统计学领域的其它方面、和集成学习和脉冲神经元的理论建立了一些联系。
 
EMNLP 2019 最佳论文

论文 1:Specializing Word Embeddings(for Parsing)by Information Bottleneck

作者:Xiang Lisa Li、Jason Eisner

论文链接:

http://cs.jhu.edu/~jason/papers/li+eisner.emnlp19.pdf

推荐:这篇论文的两位作者都来自约翰·霍普金斯大学,其中一位是华人学者。在 11 月 7 日在香港落幕的 EMNLP-IJCNLP 2019 大会上,这篇论文荣获了本届大会最佳论文奖。 

论文 2:Loss Landscape Sightseeing with Multi-Point Optimization

作者:Ivan Skorokhodov、Mikhail Burtsev

论文链接:https://arxiv.org/abs/1910.03867

项目地址:https://github.com/universome/loss-patterns

推荐:这篇出自莫斯科物理技术学院(Moscow Institute of Physics and Technology)神经网络深度学习实验室的论文向读者介绍了多点优化在模型训练中的诸多优势。 

论文 3:Unsupervised Cross-lingual Representation Learning at Scale

作者:Alexis Conneau、Kartikay Khandelwal、Naman Goyal、Vishrav Chaudhary、Guillaume Wenzek 等

论文链接:https://arxiv.org/abs/1911.02116

推荐:Facebook 这篇论文提出的 XLM-R 模型是基于 Transformer 的掩模语言模型,其在多个跨语言理解基准测试中的结果都显著优于 BERT(mBERT)。 

论文 4:Understanding the Role of Momentum in Stochastic Gradient Methods

作者:Igor Gitman、Hunter Lang、Pengchuan Zhang、Lin Xiao

论文链接:https://arxiv.org/abs/1910.13962v1

推荐:这篇出自微软研究院人工智能中心(Microsoft Research AI)的论文详细探讨了随机梯度中动量参数收敛以及不同算法中性能衡量指标的影响。 

论文 5:The Visual Task Adaptation Benchmark

作者:Xiaohua Zhai、Joan Puigcerver、Alexander Kolesnikov、Pierre Ruyssen 等

论文链接:https://arxiv.org/abs/1910.04867

推荐:众所周知,图像分类领域有 ImageNet 数据集,自然语言处理领域有 GLUE 基准,这些基准在对应领域的进展中发挥了重要作用。终于,谷歌推出了视觉任务适应性领域的基准 VTAB(Visual Task Adaptation Benchmark),该基准有助于用户更好地理解哪些哪些视觉表征可以泛化到更多其他的新任务上,从而减少所有视觉任务上的数据需求。

论文 6:The Eighty Five Percent Rule for optimal learning

作者:Robert C. Wilson、Amitai Shenhav、Mark Straccia、Jonathan D. Cohen

论文链接:

https://www.nature.com/articles/s41467-019-12552-4

项目地址:

https://github.com/bobUA/EightyFivePercentRule


推荐:这是一篇发表在 Nature Communications 上的论文,详细介绍了最优学习的 85% 规则。
 
论文 7:Confident Learning: Estimating Uncertainty in Dataset Labels
作者:Curtis G. Northcutt、Lu Jiang、Isaac L. Chuang
论文链接:https://arxiv.org/abs/1911.00068
项目地址:https://pypi.org/project/cleanlab/

推荐:这篇出自麻省理工学院和谷歌的论文通过对分类噪声的假设对置信学习(CL)进行泛化,实现了对噪声标签和纯净标签之间联合分布的直接估计。
 
Github高星项目
 
机器学习领域项目推荐

1、Face Recognition

项目地址:

https://github.com/ageitgey/face_recognition

推荐:这是世界上最简洁的人脸识别工具。它提供对 Python 和命令行的应用程序接口(API),其用途是识别以及操作图像中的人脸。它使用 Dlib 最先进的人脸识别算法构建,该深度学习模型在 LFW(Labeled Faces in the Wild)数据集上达到了 99.38% 的准确率。它还提供了 face_recognition 命令行工具,它可以让你在包含图像的文件夹中使用命令行来进行人脸识别

2、fastText

项目地址:

https://github.com/facebookresearch/fastText

推荐:fastText 是由 Facebook 团队开发的免费开源库,用于高效词表征学习。它是轻量级的,允许用户学习文本表征和句子分类器。它可以在标准通用硬件上运行,模型甚至可以被压缩到适应移动设备的大小。文本分类是很多应用的核心问题,例如垃圾邮件检测、情感分析或智能回复。文本分类的目标是给文档(例如电子邮件、博客、短信、产品评论等)分配多个类别。对自然语言处理(NLP)爱好者而言,这是一款非常有用的工具。 

3、Awesome TensorFlow

项目地址:https://github.com/jtoy/awesome-tensorflow

推荐:这是一个帮你理解和使用 TensorFlow 的资源集合。该 repo 涵盖一系列资源列表,如很棒的 TensorFlow 实验、库和项目。TensorFlow 是 Google 开发的端到端开源机器学习平台。它有全面的生态系统,包括工具、库和社区资源,允许研究者创建最先进的机器学习算法。使用 TensorFlow,开发者可以很容易地构建并部署由机器学习驱动的应用。

4、Apache predictionio

项目地址:

https://github.com/apache/predictionio

推荐:Apache PredictionIO 是供开发者、数据科学家和终端用户使用的开源机器学习框架。用户可使用该框架构建真实的机器学习应用,并进行部署和测试。它甚至支持事件收集、评估,以及查询预测结果。它基于可扩展的开源服务,如 Hadoop、HBase 等。就机器学习而言,该工具减轻了开发人员的思维负担。
 
Python 开源项目推荐

1、Manim - Mathematical Animation Engine

项目地址:https://github.com/3b1b/manim

推荐:Manim 是解释性数学视频的动画引擎,用于以编程方式创建精确的动画。

2、XSStrike

项目地址:https://github.com/s0md3v/XSStrike

推荐:XSStrike 是一个 Cross Site Scripting 检测套件,配备四个手写解析器,一个智能有效负载生成器,一个强大的模糊引擎和一个非常快速的爬虫。

3、如何在抖音上找到漂亮小姐姐(抖音机器人)

项目地址:

https://github.com/wangshub/Douyin-Bot

推荐:使用 Python+ADB 做的 Python 抖音机器人。可以实现自动翻页、颜值检测、人脸识别、自动点赞、自动关注、随机防 Ban、自动评论等功能

4、PythonRobotics

项目地址:

https://github.com/AtsushiSakai/PythonRobotics

推荐:这是机器人算法的 Python 代码集合,尤其适用于自主导航。易于阅读并能快速理解每个算法的基本思想、选择被广泛使用和实用的算法、最低依赖性。

5、Google Images Download

项目地址:

https://github.com/hardikvasa/google-images-download

推荐:这是一个命令行 python 程序,用于搜索 Google Images 上的关键字 / 关键短语,并可选择将图像下载到本地计算机;还可以从另一个 python 文件调用此脚本。另外,这还是一个小型可立即运行的程序。如果只想为每个关键字下载最多 100 个图像,则无需安装依赖。如果你想要每个关键字超过 100 个图像,那么你需要安装 Selenium 库和 chromedriver。

6、Python暖心微信问候

项目地址:

https://github.com/sfyc23/EverydayWechat

推荐:这个项目作者使用Python做了一套自动抓取天气预报、暖心图片,鸡汤文等信息,然后定时发送微信消息给女朋友的小程序,非常适合因为加班太多而冷落了女朋友的程序员小哥哥们。

AI黑客教程推荐

骇入神经网络指南

项目地址:

https://github.com/Kayzaks/HackingNeuralNetworks

教程文章地址:

https://github.com/Kayzaks/HackingNeuralNetworks/blob/master/Article.pdf

推荐:在项目中,作者主要介绍了几种利用神经网络弱点对其发动攻击的方法,包括从使用神经网络的应用中找到漏洞,进行信息窃取、恶意程序注入和后门入侵等。此外还有利用深度学习训练中的内存加速,从 GPU 攻入系统的方法。项目具体分为多个章节,每个章节都提供了对应的代码和练习教程。除此以外,作者还提供了一篇文章,详细介绍了攻击原理和思路。
 
深度学习项目推荐

一本开源的深度学习中文教程

项目地址:

https://github.com/dragen1860/Deep-Learning-with-TensorFlow-book

推荐:这个中文开源项目基于 TensorFlow2.0 框架,并提供了电子版的《TensorFlow 2.0 深度学习开源书》,同时按照章节在每个文件夹中提供了源代码。你只需要下载书籍,并根据内容和源代码进行学习即可,非常适合希望了解 tf2.0 的开发者学习参考。

算法项目推荐

Algorithm Visualizer

项目地址:

https://github.com/algorithm-visualizer/algorithm-visualizer

推荐:这是一个名为 Algorithm Visualizer 的直观的算法可视化工具,在里面你可以自由选择自己想学习的算法,每个算法它都清晰描绘了其原理和运作过程。这款工具通过动画与代码相结合的学习方式,确实降低了开发者的理解成本,使知识更加容易吸收。目前支持的算法非常多,其中包括回溯法、加密算法、动态规划图搜索、贪婪算法、搜索算法、排序算法等常用算法。
 
以上便是今日分享,觉得不错,还请点个在看,谢谢~
THU数据派
THU数据派

THU数据派"基于清华,放眼世界",以扎实的理工功底闯荡“数据江湖”。发布全球大数据资讯,定期组织线下活动,分享前沿产业动态。了解清华大数据,敬请关注姐妹号“数据派THU”。

入门AI论文
15
相关数据
微软机构

微软是美国一家跨国计算机科技公司,以研发、制造、授权和提供广泛的计算机软件服务为主。总部位于美国华盛顿州的雷德蒙德,最为著名和畅销的产品为Microsoft Windows操作系统和Microsoft Office办公室软件,以及Xbox的游戏业务。微软是美国《财富》杂志2015年评选的世界500强企业排行榜中的第95名。

https://www.microsoft.com/en-us/about
Doina Precup人物

罗马尼亚人工智能专家,目前居住在蒙特利尔。她是加拿大麦吉尔大学理学院研究副院长,加拿大机器学习研究主席和加拿大高级研究院高级研究员。她还是DeepMind蒙特利尔办事处的负责人。

深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

排序算法技术

排序算法是将一串数据依照特定排序方式进行排列的算法,最常用到的排序方式是数值顺序以及字典顺序。基本上,排序算法的输出必须遵守下列两个原则:输出结果为递增序列(递增是针对所需的排序顺序而言);输出结果是原输入的一种排列、或是重组。

动态规划技术

动态规划(也称为动态优化),是一种在数学、管理科学、计算机科学、经济学和生物信息学中使用的,通过把原问题分解为相对简单的子问题的方式求解复杂问题的方法。动态规划将复杂的问题分解成一系列相对简单的子问题,只解决一次子问题并存储它的解决方案(solution),下一次遇到同样的子问题时无需重新计算它的解决方案,而是简单地查找先前计算的解决方案,从而节省计算时间。动态规划适用于有最优子结构(Optimal Substructure)和重叠子问题(Overlapping Subproblems)性质的问题。

AlphaZero技术

DeepMind 提出的 AlphaZero 不仅征服了围棋,也在将棋、国际象棋等复杂游戏中实现了超越人类的表现。DeepMind 推出的 AlphaGo 曾在围棋项目中取得了超越人类的表现,其研究曾经两次登上 Nature。2018 年 12 月,AlphaGo 的「完全自我博弈加强版」AlphaZero 的论文又登上另一大顶级期刊 Science 的封面。在论文中,AlphaZero 不仅征服了围棋,也在将棋、国际象棋等复杂游戏中实现了超越人类的表现。

权重技术

线性模型中特征的系数,或深度网络中的边。训练线性模型的目标是确定每个特征的理想权重。如果权重为 0,则相应的特征对模型来说没有任何贡献。

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

集成学习技术

集成学习是指使用多种兼容的学习算法/模型来执行单个任务的技术,目的是为了得到更佳的预测表现。集成学习的主要方法可归类为三大类: 堆叠(Stacking)、提升(Boosting) 和 装袋(Bagging/bootstrapaggregating)。其中最流行的方法包括随机森林、梯度提升、AdaBoost、梯度提升决策树(GBDT)和XGBoost。

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

基准技术

一种简单的模型或启发法,用作比较模型效果时的参考点。基准有助于模型开发者针对特定问题量化最低预期效果。

参数技术

在数学和统计学裡,参数(英语:parameter)是使用通用变量来建立函数和变量之间关系(当这种关系很难用方程来阐述时)的一个数量。

剪枝技术

剪枝顾名思义,就是删去一些不重要的节点,来减小计算或搜索的复杂度。剪枝在很多算法中都有很好的应用,如:决策树,神经网络,搜索算法,数据库的设计等。在决策树和神经网络中,剪枝可以有效缓解过拟合问题并减小计算复杂度;在搜索算法中,可以减小搜索范围,提高搜索效率。

数据科学技术

数据科学,又称资料科学,是一门利用数据学习知识的学科,其目标是通过从数据中提取出有价值的部分来生产数据产品。它结合了诸多领域中的理论和技术,包括应用数学、统计、模式识别、机器学习、数据可视化、数据仓库以及高性能计算。数据科学通过运用各种相关的数据来帮助非专业人士理解问题。

收敛技术

在数学,计算机科学和逻辑学中,收敛指的是不同的变换序列在有限的时间内达到一个结论(变换终止),并且得出的结论是独立于达到它的路径(他们是融合的)。 通俗来说,收敛通常是指在训练期间达到的一种状态,即经过一定次数的迭代之后,训练损失和验证损失在每次迭代中的变化都非常小或根本没有变化。也就是说,如果采用当前数据进行额外的训练将无法改进模型,模型即达到收敛状态。在深度学习中,损失值有时会在最终下降之前的多次迭代中保持不变或几乎保持不变,暂时形成收敛的假象。

文本分类技术

该技术可被用于理解、组织和分类结构化或非结构化文本文档。文本挖掘所使用的模型有词袋(BOW)模型、语言模型(ngram)和主题模型。隐马尔可夫模型通常用于词性标注(POS)。其涵盖的主要任务有句法分析、情绪分析和垃圾信息检测。

人脸识别技术

广义的人脸识别实际包括构建人脸识别系统的一系列相关技术,包括人脸图像采集、人脸定位、人脸识别预处理、身份确认以及身份查找等;而狭义的人脸识别特指通过人脸进行身份确认或者身份查找的技术或系统。 人脸识别是一项热门的计算机技术研究领域,它属于生物特征识别技术,是对生物体(一般特指人)本身的生物特征来区分生物体个体。

规划技术

人工智能领域的「规划」通常是指智能体执行的任务/动作的自动规划和调度,其目的是进行资源的优化。常见的规划方法包括经典规划(Classical Planning)、分层任务网络(HTN)和 logistics 规划。

回溯法技术

回溯法是暴力搜寻法中的一种。对于某些计算问题而言,回溯法是一种可以找出所有(或一部分)解的一般性算法,尤其适用于约束满足问题(在解决约束满足问题时,我们逐步构造更多的候选解,并且在确定某一部分候选解不可能补全成正确解之后放弃继续搜索这个部分候选解本身及其可以拓展出的子候选解,转而测试其他的部分候选解)。

TensorFlow技术

TensorFlow是一个开源软件库,用于各种感知和语言理解任务的机器学习。目前被50个团队用于研究和生产许多Google商业产品,如语音识别、Gmail、Google 相册和搜索,其中许多产品曾使用过其前任软件DistBelief。

表征学习技术

在机器学习领域,表征学习(或特征学习)是一种将原始数据转换成为能够被机器学习有效开发的一种技术的集合。在特征学习算法出现之前,机器学习研究人员需要利用手动特征工程(manual feature learning)等技术从原始数据的领域知识(domain knowledge)建立特征,然后再部署相关的机器学习算法。虽然手动特征工程对于应用机器学习很有效,但它同时也是很困难、很昂贵、很耗时、并依赖于强大专业知识。特征学习弥补了这一点,它使得机器不仅能学习到数据的特征,并能利用这些特征来完成一个具体的任务。

博弈树技术

游戏树(game tree)是指组合博弈理论中用来表达一个赛局中各种后续可能性的树,一个完整的游戏树(complete game tree)会有一个起始节点,代表赛局中某一个情形,接着下一层的子节点是原来父节点赛局下一步的各种可能性,依照这规则扩展直到赛局结束。游戏树相同于扩展形式的博弈理论中的树。游戏树中形成的叶节点代表各种游戏结束的可能情形,例如井字游戏会有26,830个叶节点。

计算机视觉技术

计算机视觉(CV)是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。

推荐系统技术

推荐系统(RS)主要是指应用协同智能(collaborative intelligence)做推荐的技术。推荐系统的两大主流类型是基于内容的推荐系统和协同过滤(Collaborative Filtering)。另外还有基于知识的推荐系统(包括基于本体和基于案例的推荐系统)是一类特殊的推荐系统,这类系统更加注重知识表征和推理。

神经网络技术

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

准确率技术

分类模型的正确预测所占的比例。在多类别分类中,准确率的定义为:正确的预测数/样本总数。 在二元分类中,准确率的定义为:(真正例数+真负例数)/样本总数

图搜索技术

在计算机科学中,图遍历(也称为图搜索)是指在图中访问(检查/或更新)每个顶点的过程。这样的遍历是按访问顶点的顺序进行分类的。比如,树遍历就是图遍历的一个特例。 与树遍历不同,图遍历可能需要多次访问某些顶点,因为在转换到一个已经被探索的顶点之前,它并不一定是已知的。随着图形变得越来越密集,这种冗余变得更加普遍,导致计算时间增加;随着图形变得越来越稀疏,相反的情况也成立。 因此,通常需要记住哪些顶点已经被算法探索过了,这样就可以尽可能少地重新访问顶点(或者在最坏的情况下,防止遍历无限延续)。这可以通过将图中的每个顶点与在遍历期间的“颜色”或“访问”状态相关联来完成,然后在算法访问每个顶点时检查和更新。如果顶点已经被访问过,它就被忽略了,路径就不再被继续了;否则,算法会检查/更新顶点,并继续它当前的路径。

监督学习技术

监督式学习(Supervised learning),是机器学习中的一个方法,可以由标记好的训练集中学到或建立一个模式(函数 / learning model),并依此模式推测新的实例。训练集是由一系列的训练范例组成,每个训练范例则由输入对象(通常是向量)和预期输出所组成。函数的输出可以是一个连续的值(称为回归分析),或是预测一个分类标签(称作分类)。

过拟合技术

过拟合是指为了得到一致假设而使假设变得过度严格。避免过拟合是分类器设计中的一个核心任务。通常采用增大数据量和测试样本集的方法对分类器性能进行评价。

fastText技术

Facebook开发的文本处理工具,是一个用于高效学习单词表示和句子分类的库。

图像处理技术

图像处理是指对图像进行分析、加工和处理,使其满足视觉、心理或其他要求的技术。 图像处理是信号处理在图像领域上的一个应用。 目前大多数的图像均是以数字形式存储,因而图像处理很多情况下指数字图像处理。

查询技术

一般来说,查询是询问的一种形式。它在不同的学科里涵义有所不同。在信息检索领域,查询指的是数据库和信息系统对信息检索的精确要求

自然语言处理技术

自然语言处理(英语:natural language processing,缩写作 NLP)是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言;自然语言认知则是指让电脑“懂”人类的语言。自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。

动量技术

优化器的一种,是模拟物理里动量的概念,其在相关方向可以加速SGD,抑制振荡,从而加快收敛

生成模型技术

在概率统计理论中, 生成模型是指能够随机生成观测数据的模型,尤其是在给定某些隐含参数的条件下。 它给观测值和标注数据序列指定一个联合概率分布。 在机器学习中,生成模型可以用来直接对数据建模(例如根据某个变量的概率密度函数进行数据采样),也可以用来建立变量间的条件概率分布。

图像分类技术

图像分类,根据各自在图像信息中所反映的不同特征,把不同类别的目标区分开来的图像处理方法。它利用计算机对图像进行定量分析,把图像或图像中的每个像元或区域划归为若干个类别中的某一种,以代替人的视觉判读。

强化学习技术

强化学习是一种试错方法,其目标是让软件智能体在特定环境中能够采取回报最大化的行为。强化学习在马尔可夫决策过程环境中主要使用的技术是动态规划(Dynamic Programming)。流行的强化学习方法包括自适应动态规划(ADP)、时间差分(TD)学习、状态-动作-回报-状态-动作(SARSA)算法、Q 学习、深度强化学习(DQN);其应用包括下棋类游戏、机器人控制和工作调度等。

集体智慧技术

英文collective intelligence,也称集体智能、群智等称,此术语中intelligence即为智力、智能。(注意,有几个英文单词都有“群”的含义,目前大陆科技论文中,一般“群体智能”、“群智能”是指另外一个术语,其“群”字的英文原文是另一个词)

优化器技术

优化器基类提供了计算梯度loss的方法,并可以将梯度应用于变量。优化器里包含了实现了经典的优化算法,如梯度下降和Adagrad。 优化器是提供了一个可以使用各种优化算法的接口,可以让用户直接调用一些经典的优化算法,如梯度下降法等等。优化器(optimizers)类的基类。这个类定义了在训练模型的时候添加一个操作的API。用户基本上不会直接使用这个类,但是你会用到他的子类比如GradientDescentOptimizer, AdagradOptimizer, MomentumOptimizer(tensorflow下的优化器包)等等这些算法。

语言模型技术

语言模型经常使用在许多自然语言处理方面的应用,如语音识别,机器翻译,词性标注,句法分析和资讯检索。由于字词与句子都是任意组合的长度,因此在训练过的语言模型中会出现未曾出现的字串(资料稀疏的问题),也使得在语料库中估算字串的机率变得很困难,这也是要使用近似的平滑n元语法(N-gram)模型之原因。

非完全信息博弈技术

非正式地,不完全信息的博弈是一种玩家对正在玩的游戏没有共同知识的博弈。

暂无评论
暂无评论~