Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

机器之心
机器之心原创
杜伟、楚航、罗若天参与

7 Papers & Radios | DeepMind等用AI小鼠探索神经网络；伯克利数据增强RL实现SOTA

本周的重要论文有 DeepMind 联合哈佛大学等机构造出 3D 模拟小老鼠来探索神经网络，以及伯克利提出的数据增强加持的强化学习方法实现了多环境下的 SOTA结果。

目录：

  1. DeepEEP Neuroethology of A Virtual Rodent

  2. Training with Quantization Noise for Extreme Model Compression

  3. Lite Transformer With Long-short Range Attention

  4. Decoupling Representation and classifier for long-tailed recognition

  5. Bayesian Deep Learning and a Probabilistic Perspective of Generalization

  6. MakeItTalk: Speaker-Aware Talking Head Animation

  7. Reinforcement Learning with Augmented Data

  8. ArXiv Weekly Radiostation：NLP、CV、ML更多精选论文（附音频）


论文 1：DeepEEP Neuroethology of A Virtual Rodent

  • 作者：Josh Merel、Diego Aldarondo、Bence Olveczky 等

  • 论文链接：https://openreview.net/pdf?id=SyxrxR4KPS


摘要：人工神经网络算是目前最为先进的人工智能，这是一类由多层神经元互联组件构成的机器学习算法，而「神经元」最早就是来自大脑结构的启发。尽管人工神经网络中的神经元肯定不同于实际人脑中的工作方式，但越来越多的研究者认为，将二者放在一起研究不仅可以帮助我们理解神经科学，还有助于打造出更加智能的 AI。

DeepMind 和哈佛大学的研究者就在这一思路上进行了探索。他们提出的是一种小鼠的 3D 模型，这一模型可在模拟环境中接受神经网络的控制。同时，他们用神经科学技术来分析小鼠的大脑生物活动，由此来理解神经网络如何控制小鼠的行为。

虚拟小鼠身体的构建过程。

虚拟小鼠分别执行跳过空隙、迷宫觅食、逃离丘陵和前爪精确击球四项任务。

虚拟小鼠的行为学分析。

推荐：该论文目前已被 ICLR 2020 大会接收为 Spotlight 论文。

论文 2：Training with Quantization Noise for Extreme Model Compression

  • 作者：Angela Fan、Pierre Stock、Armand Joulin 等

  • 论文链接：https://arxiv.org/pdf/2004.07320.pdf


摘要：剪枝和蒸馏是模型压缩中常用的两种方法，通过减少网络权重的数量来删减参数。还有一种方法就是「量化」，不同的是，它是通过减少每个权重的比特数来压缩原始网络。标量量化（scalar quantization）等流行的后处理量化方法是让训练网络的浮点权重以一个低精度表征去表示，比如说定宽整数。这些后处理量化方法的好处在于压缩效率很高，并且能够加速支持硬件上的推理。但缺点在于，这些近似值造成的误差会在前向传播的计算过程中不断累积，最终导致性能显著下降。

现在，来自 Facebook 的研究者提出了一种新的模型量化压缩技术 Quant-Noise，可对模型进行极致压缩，同时在实际应用部署时保持高性能。在这项研究中，研究者提出了一种仅量化权重子集而非整个网络的压缩方案。在每次前向传播时仅量化网络的随机部分，对大多数权重使用无偏梯度进行更新。

利用/未利用 Quant-Noise 训练的两种情况。

研究者在训练过程中将量化噪声应用于权重子集，从而改善了量化模型的性能。

在未利用 Quant-Noise 训练、利用 Quant-Noise 微调以及利用 Quant-Noise 训练三种不同的设置下，Adaptive Input 架构的困惑度和 RoBERTa 的准确率变化情况。可以看出，直接利用 Quant-Noise 训练可以实现最低的困惑度和最高的准确率。

推荐：该方法可以在训练过程中采用更简单的量化方案，这对于具有可训练参数的量化模块来说是非常有用的，比如乘积量化（Product Quantizer，PQ）算法。

论文 3：Lite Transformer With Long-short Range Attention

  • 作者：Zhanghao Wu、Zhijian Liu、Song Han

  • 论文链接：https://arxiv.org/pdf/2004.11886v1.pdf


摘要：虽然推出还不到 3 年，Transformer 已成为自然语言处理（NLP）领域里不可或缺的一环。然而这样流行的算法却需求极高的算力才能实现足够的性能，这对于受到算力和电池严格限制的移动端来说有些力不从心。

在本文中，来自 MIT 与上海交大的研究人员提出了一种高效的移动端 NLP 体系结构 Lite Transformer，向在边缘设备上部署移动级 NLP 应用迈进了一大步。该研究是由 MIT 电气工程和计算机科学系助理教授韩松领导的。

Lite Transformer 架构 (a) 和注意力权重的可视化，传统的注意力 (b) 过于强调局部关系建模。

推荐：该论文已被 ICLR 2020 接收。

论文 4：Decoupling Representation and classifier for long-tailed recognition

  • 作者：Bingyi Kang、Saining Xie、Yannis Kalantidis 等

  • 论文链接：https://openreview.net/pdf?id=r1gRTCVFvB


摘要：针对长尾分布的图像识别任务，目前的研究和实践提出了大致几种解决思路，比如分类损失权重重分配（loss re-weighting）、数据集重采样、尾部少量样本过采样、头部过多样本欠采样，或者迁移学习。来自新加坡国立大学与 Facebook AI 的研究者提出了一个新颖的解决角度：在学习分类任务的过程中，将通常默认为联合起来学习的类别特征表征与分类器解耦（decoupling），寻求合适的表征来最小化长尾样本分类的负面影响。

该研究系统性地探究了不同的样本均衡策略对长尾型数据分类的影响，并进行了详实的实验，结果表明：a) 当学习到高质量的类别表征时，数据不均衡很可能不会成为问题；b) 在学得上述表征后，即便应用最简单的样本均衡采样方式，也一样有可能在仅调整分类器的情况下学习到非常鲁棒的长尾样本分类模型。该研究将表征学习和分类器学习分离开来，分别进行了延伸探究。

该研究在几个公开的长尾分类数据集上重新修改了头部类别和尾部类别的分类决策边界，并且搭配不同的采样策略进行交叉训练实验。以上是训练出的不同分类器之间的对比结果。

在 Places-LT、Imagenet-LT 和 iNaturalist2018 三个公开标准数据集上，该研究提出的策略也获得了同比更高的分类准确率，实现了新的 SOTA 结果。

推荐：将表征学习和分类器学习分开，寻找合适的表征来最小化长尾样本分类的负面影响，这提供了长尾型分类的新思路。论文已被 ICLR 2020 接收。

论文 5：Bayesian Deep Learning and a Probabilistic Perspective of Generalization

  • 作者：Andrew Gordon Wilson、Pavel Izmailov

  • 论文链接：https://arxiv.org/pdf/2002.08791.pdf


摘要：贝叶斯方法的一个关键区别性特征在于边缘化，而不在于使用单一设置（single setting）的权重。贝叶斯边缘化尤其可以提升现代深度神经网络的准确率和校准。在这篇论文中，来自纽约大学的两位研究者表示，深度集成可以为近似贝叶斯边缘化提供一种有效机制，并且他们提出的相关方法在开销不大的情况下通过在吸引域（basins of attraction）内的边缘化进一步提升了预测分布。

此外，研究者还探究了神经网络权重上模糊分布所隐含的函数先验（prior over function），并从概率性的角度解释此类模型的泛化性能。从这个角度来看，研究者解释了对神经网络泛化来说神秘且独特的结果，例如利用随机标签拟合图像的能力，并展示了这些结果可以通过高斯过程来复现。此外，他们还表示，贝叶斯模型一般可以减轻双下降（double descent），从而能够提升单调性能且增强灵活性。最后研究者从贝叶斯的视角解释了预测分布校准的回火问题。

概率视角下的泛化。

近似真实的预测分布。

贝叶斯模型平均可以缓解双重下降。

推荐：本篇论文第一版提交于 2020 年 2 月，这是修改后的第二版。论文已被 ICML 2020 接收。

论文 6：MakeItTalk: Speaker-Aware Talking Head Animation

  • 作者：Yang Zhou, DIngzeyu Li、Jose Echevarria 等

  • 论文链接：https://arxiv.org/pdf/2004.12992v1.pdf


摘要：今天我们来看 Adobe 的一项研究，该研究提出了一种叫做 MakeItTalk 的新模型，不仅能让真人头像说话，还可以把卡通、油画、素描、日漫中的人像动态化。

该研究提出了一种新方法，可以基于单张人脸图像和语音生成惊艳的说话状态头部动画。之前的方法往往学习音频和原始像素之间的直接映射来创建说话人面部，而该方法将输入音频信号中的内容和说话人信息分离开来。音频内容稳健地控制嘴唇及周围面部区域的运动，说话人信息则决定人脸表情的细节和说话人的头部动态。

该方法的另一个重要组件是预测能够反映说话人动态的人脸特征点。基于该中间表征，该方法能够合成包含完整运动的说话人面部逼真视频。此方法还可使艺术作品、素描、2D 卡通人物、日漫、随手涂鸦转化为会说话的动态视频。

本研究中 MakeItTalk 方法的 Pipeline。

预测得到的卡通形象和动画和真实人脸动画。MakeItTalk 合成的不仅是面部神情，还有不同的头部姿态。

与当前 SOTA 方法的效果对比。

推荐：通过对该方法的定量和定性评估，结果表明与之前的 SOTA 方法相比，该方法能够生成的说话状态头部动画质量更高。

论文 7：Reinforcement Learning with Augmented Data

  • 作者：Michael Laskin、Kimin Lee、Aravind Srinivas 等

  • 论文链接：https://arxiv.org/pdf/2004.14990.pdf


摘要：在本文中，来自加州大学伯克利分校的研究者提出了利用增强数据来进行强化学习（Reinforcement Learning with Augmented Data，简称为 RAD），这是一种可以增强任何 RL 算法的即插即用模块。他们发现，从数据效率、泛化性和墙上时钟速度三方面来看，随机修剪、色彩抖动和随机卷积等数据增强方法在常用基准上能够使简单 RL 算法的性能媲美甚至超越当前 SOTA 方法。

在 DeepMind 控制套件上，研究者证实就数据效率和性能两方面而言，RAD 在 15 个环境中均实现了当前 SOTA 效果，并且 RAD 可以显著提升几个 OpenAI ProcGen 基准上的测试时泛化性。最后自定义的数据增强模块可以实现较类似 RL 方法更快的墙上时钟速度。

Reinforcement Learning with Augmented Data（RAD）架构。

研究者选择了多种不同的数据增强方法。

RAD 与不同数据增强方法在 3 个 OpenAI ProcGen 环境（BigFish、StarPilot 和 Jumper）中的泛化结果对比。

推荐：在 DeepMind 控制套件上，RAD 在 15 个环境中均实现了当前 SOTA 效果。

ArXiv Weekly Radiostation

机器之心联合由楚航、罗若天发起的ArXiv Weekly Radiostation，在 7 Papers 的基础上，精选本周更多重要论文，包括NLP、CV、ML领域各10篇精选，并提供音频形式的论文摘要简介，详情如下：

10 NLP Papers.mp300:0019:30

本周 10 篇 NLP 精选论文是：

1. Empower Entity Set Expansion via Language Model Probing. (from Yunyi Zhang, Jiaming Shen, Jingbo Shang, Jiawei Han)
2. DomBERT: Domain-oriented Language Model for Aspect-based Sentiment Analysis. (from Hu Xu, Bing Liu, Lei Shu, Philip S. Yu)
3. Stay Hungry, Stay Focused: Generating Informative and Specific Questions in Information-Seeking Conversations. (from Peng Qi, Yuhao Zhang, Christopher D. Manningg)
4. Interpretable Multimodal Routing for Human Multimodal Language. (from Yao-Hung Hubert Tsai, Martin Q. Ma, Muqiao Yang, Ruslan Salakhutdinov, Louis-Philippe Morency)
5. Politeness Transfer: A Tag and Generate Approach. (from Aman Madaan, Amrith Setlur, Tanmay Parekh, Barnabas Poczos, Graham Neubig, Yiming Yang, Ruslan Salakhutdinov, Alan W Black, Shrimai Prabhumoye)
6. Recipes for building an open-domain chatbot. (from Stephen Roller, Emily Dinan, Naman Goyal, Da Ju, Mary Williamson, Yinhan Liu, Jing Xu, Myle Ott, Kurt Shuster, Eric M. Smith, Y-Lan Boureau, Jason Weston)
7. Detecting Domain Polarity-Changes of Words in a Sentiment Lexicon. (from Shuai Wang, Guangyi Lv, Sahisnu Mazumder, Bing Liu)
8. Unnatural Language Processing: Bridging the Gap Between Synthetic and Natural Language Data. (from Alana Marzoev, Samuel Madden, M. Frans Kaashoek, Michael Cafarella, Jacob Andreas)
9. Knowledge Graph Empowered Entity Description Generation. (from Liying Cheng, Yan Zhang, Dekun Wu, Zhanming Jie, Lidong Bing, Wei Lu, Luo Si)
10. Self-Attention with Cross-Lingual Position Representation. (from Liang Ding, Longyue Wang, Dacheng Tao)

10 CV Papers.mp300:0019:30

本周 10 篇 CV 精选论文是：

1. Pyramid Attention Networks for Image Restoration. (from Yiqun Mei, Yuchen Fan, Yulun Zhang, Jiahui Yu, Yuqian Zhou, Ding Liu, Yun Fu, Thomas S. Huang, Honghui Shi)
2. Stitcher: Feedback-driven Data Provider for Object Detection. (from Yukang Chen, Peizhen Zhang, Zeming Li, Yanwei Li, Xiangyu Zhang, Gaofeng Meng, Shiming Xiang, Jian Sun, Jiaya Jia)
3. Leveraging Photometric Consistency over Time for Sparsely Supervised Hand-Object Reconstruction. (from Yana Hasson, Bugra Tekin, Federica Bogo, Ivan Laptev, Marc Pollefeys, Cordelia Schmid)
4. Consistent Video Depth Estimation. (from Xuan Luo, Jia-Bin Huang, Richard Szeliski, Kevin Matzen, Johannes Kopfi)
5. DFUC2020: Analysis Towards Diabetic Foot Ulcer Detection. (from Bill Cassidy, Neil D. Reeves, Pappachan Joseph, David Gillespie, Claire O'Shea, Satyan Rajbhandari, Arun G. Maiya, Eibe Frank, Andrew Boulton, David Armstrong, Bijan Najafi, Justina Wu, Moi Hoon Yap)
6. The 4th AI City Challenge. (from Milind Naphade, Shuo Wang, David Anastasiu, Zheng Tang, Ming-Ching Chang, Xiaodong Yang, Liang Zheng, Anuj Sharma, Rama Chellappa, Pranamesh Chakraborty)
7. Gabriella: An Online System for Real-Time Activity Detection in Untrimmed Surveillance Videos. (from Mamshad Nayeem Rizve, Ugur Demir, Praveen Tirupattur, Aayush Jung Rana, Kevin Duarte, Ishan Dave, Yogesh Singh Rawat, Mubarak Shah)
8. Fashionpedia: Ontology, Segmentation, and an Attribute Localization Dataset. (from Menglin Jia, Mengyun Shi, Mikhail Sirotenko, Yin Cui, Claire Cardie, Bharath Hariharan, Hartwig Adam, Serge Belongie)
9. Multi-Scale Boosted Dehazing Network with Dense Feature Fusion. (from Hang Dong, Jinshan Pan, Lei Xiang, Zhe Hu, Xinyi Zhang, Fei Wang, Ming-Hsuan Yang)
10. Deep Multimodal Neural Architecture Search. (from Zhou Yu, Yuhao Cui, Jun Yu, Meng Wang, Dacheng Tao, Qi Tian)

10 ML Papers.mp300:0019:14

本周 10 篇 ML 精选论文是：


1. Image Augmentation Is All You Need: Regularizing Deep Reinforcement Learning from Pixels. (from Ilya Kostrikov, Denis Yarats, Rob Fergus)
2. Energy-based models for atomic-resolution protein conformations. (from Yilun Du, Joshua Meier, Jerry Ma, Rob Fergus, Alexander Rives)
3. Visual Grounding of Learned Physical Models. (from Yunzhu Li, Toru Lin, Kexin Yi, Daniel Bear, Daniel L. K. Yamins, Jiajun Wu, Joshua B. Tenenbaum, Antonio Torralba)
4. Towards Feature Space Adversarial Attack. (from Qiuling Xu, Guanhong Tao, Siyuan Cheng, Lin Tan, Xiangyu Zhang)
5. Non-Exhaustive, Overlapping Co-Clustering: An Extended Analysis. (from Joyce Jiyoung Whang, Inderjit S. Dhillon)
6. An Explainable Deep Learning-based Prognostic Model for Rotating Machinery. (from Namkyoung Lee, Michael H. Azarian, Michael G. Pecht)
7. Reinforcement Learning with Augmented Data. (from Michael Laskin, Kimin Lee, Adam Stooke, Lerrel Pinto, Pieter Abbeel, Aravind Srinivas)
8. Explainable Unsupervised Change-point Detection via Graph Neural Networks. (from Ruohong Zhang, Yu Hao, Donghan Yu, Wei-Cheng Chang, Guokun Lai, Yiming Yang)
9. Plan-Space State Embeddings for Improved Reinforcement Learning. (from Max Pflueger, Gaurav S. Sukhatme)
10. Privacy in Deep Learning: A Survey. (from Fatemehsadat Mirshghallah, Mohammadkazem Taram, Praneeth Vepakomma, Abhishek Singh, Ramesh Raskar, Hadi Esmaeilzadeh)
理论AIRLDeepMind神经网络
4
相关数据
DeepMind机构

DeepMind是一家英国的人工智能公司。公司创建于2010年，最初名称是DeepMind科技（DeepMind Technologies Limited），在2014年被谷歌收购。在2010年由杰米斯·哈萨比斯，谢恩·列格和穆斯塔法·苏莱曼成立创业公司。继AlphaGo之后，Google DeepMind首席执行官杰米斯·哈萨比斯表示将研究用人工智能与人类玩其他游戏，例如即时战略游戏《星际争霸II》（StarCraft II）。深度AI如果能直接使用在其他各种不同领域，除了未来能玩不同的游戏外，例如自动驾驶、投资顾问、音乐评论、甚至司法判决等等目前需要人脑才能处理的工作，基本上也可以直接使用相同的神经网上去学而习得与人类相同的思考力。

https://deepmind.com/
相关技术
图神经网络支持向量机非完全信息博弈逻辑理论机深度神经网络空间变换网络深度生成模型对抗特征学习随机梯度下降贝尔曼方程策略网络像素递归神经网络模型神经图灵机深度学习感受野强化学习阿尔法围棋增量学习神经算术逻辑单元双Q学习马尔可夫链随机最大似然估计Softmax生成对抗网络机器学习STRIPS 表达式分层强化学习神经网络Alex网络归一化指数函数深度Q学习降噪自编码器语音合成机器阅读(理解)变分自编码器邻里成分分析完美信息博弈深度强化学习卷积神经网络梯度遮蔽Adadelta 优化器深度卷积逆图形网络大规模生成对抗网络零样本学习掩饰的基于区域的卷积神经网络（文本）情感分析逻辑推理
韩松人物

2017 年斯坦福大学电子工程系博士毕业，师从 NVIDIA 首席科学家 Bill Dally 教授。他的研究也广泛涉足深度学习和计算机体系结构，他提出的 Deep Compression 模型压缩技术曾获得 ICLR'16 最佳论文，ESE 稀疏神经网络推理引擎获得 FPGA'17 最佳论文，对业界影响深远。他的研究成果在 NVIDIA、Google、Facebook 得到广泛应用，博士期间创立了深鉴科技，现为麻省理工学院电气工程和计算机科学系的助理教授。

来源：机器之心Han, S.
重采样技术

重采样是指根据一类象元的信息内插出另一类象元信息的过程。在遥感中，重采样是从高分辨率遥感影像中提取出低分辨率影像的过程。常用的重采样方法有最邻近内插法（nearest neighbor interpolation）、双线性内插法（bilinear interpolation）和三次卷积法内插（cubic convolution interpolation）。

来源：百度百科
权重技术

线性模型中特征的系数，或深度网络中的边。训练线性模型的目标是确定每个特征的理想权重。如果权重为 0，则相应的特征对模型来说没有任何贡献。

来源：Google AI Glossary
机器学习技术

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.
人工智能技术

在学术研究领域，人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体（intelligent agent）

来源：Russell, S., & Norvig, P. (2003). Artificial Intelligence: A Modern Approach.
基准技术

一种简单的模型或启发法，用作比较模型效果时的参考点。基准有助于模型开发者针对特定问题量化最低预期效果。

来源：Google ML Glossary
神经科学技术

神经科学，又称神经生物学，是专门研究神经系统的结构、功能、发育、演化、遗传学、生物化学、生理学、药理学及病理学的一门科学。对行为及学习的研究都是神经科学的分支。 对人脑研究是个跨领域的范畴，当中涉及分子层面、细胞层面、神经小组、大型神经系统，如视觉神经系统、脑干、脑皮层。

来源：维基百科
参数技术

在数学和统计学裡，参数（英语：parameter）是使用通用变量来建立函数和变量之间关系（当这种关系很难用方程来阐述时）的一个数量。

来源：维基百科
分类数据技术

一种特征，拥有一组离散的可能值。以某个名为 house style 的分类特征为例，该特征拥有一组离散的可能值（共三个），即 Tudor, ranch, colonial。通过将 house style 表示成分类数据，相应模型可以学习 Tudor、ranch 和 colonial 分别对房价的影响。 有时，离散集中的值是互斥的，只能将其中一个值应用于指定样本。例如，car maker 分类特征可能只允许一个样本有一个值 (Toyota)。在其他情况下，则可以应用多个值。一辆车可能会被喷涂多种不同的颜色，因此，car color 分类特征可能会允许单个样本具有多个值（例如 red 和 white）。

来源：Google ML glossary
剪枝技术

剪枝顾名思义，就是删去一些不重要的节点，来减小计算或搜索的复杂度。剪枝在很多算法中都有很好的应用，如：决策树，神经网络，搜索算法,数据库的设计等。在决策树和神经网络中，剪枝可以有效缓解过拟合问题并减小计算复杂度；在搜索算法中，可以减小搜索范围，提高搜索效率。

来源：Wikipedia
贝叶斯模型技术

贝叶斯模型基于贝叶斯定理，即：P(A|B)=P(B|A)*P(A)/P(B)。经典的贝叶斯模型包括朴素贝叶斯、贝叶斯网络和动态贝叶斯网络（DBN）；它们主要用于基于给定条件查找事件的概率。

来源：机器之心
表征学习技术

在机器学习领域，表征学习（或特征学习）是一种将原始数据转换成为能够被机器学习有效开发的一种技术的集合。在特征学习算法出现之前，机器学习研究人员需要利用手动特征工程（manual feature learning）等技术从原始数据的领域知识（domain knowledge）建立特征，然后再部署相关的机器学习算法。虽然手动特征工程对于应用机器学习很有效，但它同时也是很困难、很昂贵、很耗时、并依赖于强大专业知识。特征学习弥补了这一点，它使得机器不仅能学习到数据的特征，并能利用这些特征来完成一个具体的任务。

来源：Wikipedia
神经网络技术

（人工）神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型，那时候研究者构想了「感知器（perceptron）」的想法。这一领域的研究者通常被称为「联结主义者（Connectionist）」，因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型，它们都是前馈神经网络：卷积神经网络（CNN）和循环神经网络（RNN），其中 RNN 又包含长短期记忆（LSTM）、门控循环单元（GRU）等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习，但也有一些为无监督学习设计的变体，比如自动编码器和生成对抗网络（GAN）。

来源：机器之心
欠采样技术

欠采样是信号处理学中的一种采样技术，也叫带通采样（bandpass sampling），是一种以低于其奈奎斯特采样定理（采样频率两倍高于被采样频率）的采样率对带通滤波信号进行采样且仍然能够重建信号的技术。

来源：Wikipedia
高斯过程技术

决策边界技术

在具有两类的统计分类问题中，决策边界或决策曲面是一个超曲面，它将底层的向量空间分成两组，每组一个。分类器会将决策边界一侧的所有点分为属于一个类，而另一侧属于另一个类。也即二元分类或多类别分类问题中，模型学到的类别之间的分界线。

来源：Wikipedia
准确率技术

分类模型的正确预测所占的比例。在多类别分类中，准确率的定义为：正确的预测数/样本总数。 在二元分类中，准确率的定义为：(真正例数+真负例数)/样本总数

来源：Google ML Glossary
映射技术

映射指的是具有某种特殊结构的函数，或泛指类函数思想的范畴论中的态射。 逻辑和图论中也有一些不太常规的用法。其数学定义为：两个非空集合A与B间存在着对应关系f，而且对于A中的每一个元素x，B中总有有唯一的一个元素y与它对应，就这种对应为从A到B的映射，记作f：A→B。其中，y称为元素x在映射f下的象，记作：y=f(x)。x称为y关于映射f的原象*。*集合A中所有元素的象的集合称为映射f的值域，记作f(A)。同样的，在机器学习中，映射就是输入与输出之间的对应关系。

来源：Wikipedia
迁移学习技术

迁移学习是一种机器学习方法，就是把为任务 A 开发的模型作为初始点，重新使用在为任务 B 开发模型的过程中。迁移学习是通过从已学习的相关任务中转移知识来改进学习的新任务，虽然大多数机器学习算法都是为了解决单个任务而设计的，但是促进迁移学习的算法的开发是机器学习社区持续关注的话题。 迁移学习对人类来说很常见，例如，我们可能会发现学习识别苹果可能有助于识别梨，或者学习弹奏电子琴可能有助于学习钢琴。

来源：机器之心Pan, S. J., & Yang, Q. (2010). A survey on transfer learning. IEEE Transactions on Knowledge and Data Engineering, 22(10), 1345–1359.
神经元技术

（人工）神经元是一个类比于生物神经元的数学计算模型，是神经网络的基本组成单元。 对于生物神经网络，每个神经元与其他神经元相连，当它“兴奋”时会向相连的神经元发送化学物质，从而改变这些神经元的电位；神经元的“兴奋”由其电位决定，当它的电位超过一个“阈值”（threshold）便会被激活，亦即“兴奋”。 目前最常见的神经元模型是基于1943年 Warren McCulloch 和 Walter Pitts提出的“M-P 神经元模型”。 在这个模型中，神经元通过带权重的连接接处理来自n个其他神经元的输入信号，其总输入值将与神经元的阈值进行比较，最后通过“激活函数”（activation function）产生神经元的输出。

来源：Overview of Artificial Neural Networks and its Applications. (2018). medium.com.
自然语言处理技术

自然语言处理（英语：natural language processing，缩写作 NLP）是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言；自然语言认知则是指让电脑“懂”人类的语言。自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。

来源：维基百科
强化学习技术

强化学习是一种试错方法，其目标是让软件智能体在特定环境中能够采取回报最大化的行为。强化学习在马尔可夫决策过程环境中主要使用的技术是动态规划（Dynamic Programming）。流行的强化学习方法包括自适应动态规划（ADP）、时间差分（TD）学习、状态-动作-回报-状态-动作（SARSA）算法、Q 学习、深度强化学习（DQN）；其应用包括下棋类游戏、机器人控制和工作调度等。

来源：机器之心
深度神经网络技术

深度神经网络（DNN）是深度学习的一种框架，它是一种具备至少一个隐层的神经网络。与浅层神经网络类似，深度神经网络也能够为复杂非线性系统提供建模，但多出的层次为模型提供了更高的抽象层次，因而提高了模型的能力。

来源：机器之心Techopedia
机器之心机构

机器之心，成立于2014年，是国内最具影响力、最专业、唯一用于国际品牌的人工智能信息服务与产业服务平台。目前机器之心已经建立起涵盖媒体、数据、活动、研究及咨询、线下物理空间于一体的业务体系，为各类人工智能从业者提供综合信息服务和产业服务。

https://www.jiqizhixin.com/
相关技术
机器学习自然语言处理知识图谱
量化技术

深度学习中的量化是指，用低位宽数字的神经网络近似使用了浮点数的神经网络的过程。

来源：Medium
推荐文章
登录后评论
暂无评论
暂无评论~
返回顶部