论文解读:神经网络修剪最新研究进展

本文解读了两篇近期关于神经网络修剪的论文,分别是 L_0 正则化方法和 Fisher 修剪方法。作者对两种方法的工作机制进行了精简的总结和解释,可以帮助我们快速领会论文的方法论思想。

一文看懂卷积神经网络

本文主要介绍了神经网络中的卷积神经网络,适合初学者阅读。

超越Adam,从适应性学习率家族出发解读ICLR 2018高分论文

最近,ICLR 2018 高分论文讨论了 Adam 等适应性学习率算法的收敛性缺点,并提出了一种新的 Adam 变体。为此,我们从 AdaGrad 开始,依次分析了 AdaDelta、RMSProp 和 Adam 等适应性学习率算法家族,并在最后结合该 ICLR 2018 高分论文讨论 Adam 的非收敛性和修正的方法。

通过分析视网膜图像诊断心脑血管疾病:谷歌大脑团队取得医疗深度学习新进展

近日,Jeff Dean 在其推特上说:「谷歌大脑团队在机器学习+医疗上再次取得新进展;我们有了令人鼓舞的新发现:非侵入式视网膜图像上含有机器学习模型可以介入的确诊心脑血管疾病的微妙指标,之前医生都不知道有这种迹象。」

Science组织了一场尖锐的Reddit问答,Yann LeCun的回答还是那么耿直

AAAS 在 reddit 上组织了一场问答,谷歌、微软、Facebook 人工智能实验室的相关负责人一起回答了提问者的众多尖锐问题,话题包括量子计算、隐私、前沿研究方向、伪人工智能等。有趣的是,Yann LeCun 对量子计算与机器学习、伪人工智能等问题的回答相当耿直。

深度可逆网络i-RevNet:信息丢弃不是泛化的必要条件

本文介绍了一种可逆网络架构 i-RevNet,证明对于分类网络的泛化能力,通过信息丢弃构造信息瓶颈并不是必要条件,该结论甚至对 ImageNet 这样的大型数据集也是成立的。

MIT开发神经网络专用芯片:能耗降低95%,适合移动端设备

MIT 研究人员开发了一种专用芯片,可以提高神经网络计算的速度,比之前的芯片速度提升三到七倍,同时将能耗降低 93% - 96%。

可视化线性修正网络:看Fisher-Rao范数与泛化之间的关系

深度模型的泛化性能一直是研究的主题。最近,Twitter 的机器学习研究员 Ferenc Huszár 发表了一篇文章专门讨论泛化与 Fisher-Rao 范数之间的关系,它先分析了提出 Fisher-Rao 度量方法的论文,包括带偏置项和不带偏置项的分段线性网络的可视化,然后再讨论了其它如 Fisher-Rao 范数是否会成为有效的正则化器等问题。

2017年,机器之心贡献过的开源项目

机器之心目前有三个 GitHub 项目,即旨在构建 AI 领域术语库的「Artificial-Intelligence-Terminology」、旨在提供高质量模型实现与试验的「ML-Tutorial-Experiment」和旨在开放 AI 企业评选的「AI00」。

纽约大学:参考儿童认知发展,通过简单神经网络学习归纳偏置

借助先验知识,也就是归纳偏置,人类得以有效学习关于世界的新知识。本文发现,简单神经网络在观察 4 个物体类别的 3 个实例之后,便可以发展出一种形状偏置,这预示着神经网络开始快速学习词汇,与儿童的认知发展过程相一致。本文启发了一种参考生物认知发展过程以初始化模型,然后逐渐泛化到更复杂数据集的模型开发范式。

区块链vs传统数据库:分布式运行有何优势?

区块链(blockchain)这一概念正因比特币等虚拟货币的兴盛而变得火热起来,实际上,这种技术因为特殊的设计思路也可以应用于很多其他领域中。作为一种容错率很高的分布式数据存储模式,区块链与传统数据库有哪些不同之处?想要回答这个问题,我们需要看看它们的运行机制。

陈天奇等人提出TVM:深度学习自动优化代码生成器

TVM 是由华盛顿大学在读博士陈天奇等人提出的深度学习自动代码生成方法,去年 8 月机器之心曾对其进行过简要介绍。该技术能自动为大多数计算硬件生成可部署优化代码,其性能可与当前最优的供应商提供的优化计算库相比,且可以适应新型专用加速器后端。近日,这项研究的论文《TVM: End-to-End Optimization Stack for Deep Learning》终于完成。

返回顶部