【入门教程】Deep Learning in a Nutshell: Sequence Learning
by Tim Dettmers
这是 「Deep Learning in a Nutshell」 系列文章的第三篇。作者首先举例讲述如何使用循环神经网络解决有关任意序列长度的问题,其次介绍 LSTM 为何在消失梯度上表现更好,最后介绍了在自然语言处理的领域中如何使用词向量实现语言理解。通篇保持深入浅出的行文风格,运用大量的举例和类比,在简明地讲述基础知识的同时,推荐了其他可供深入学习的参考资料。
Understanding Natural Language with Deep Neural Networks Using Torch:https://devblogs.nvidia.com/parallelforall/understanding-natural-language-deep-neural-networks-using-torch/
LSTM: A Search Space Odyssey: https://arxiv.org/abs/1503.04069
Long Short-Term Memory:(original paper): http://deeplearning.cs.cmu.edu/pdfs/Hochreiter97_lstm.pdf
Introduction to Neural Machine Translation with GPUs (Part 2): https://devblogs.nvidia.com/parallelforall/introduction-neural-machine-translation-gpus-part-2/
【技术分析】UTCNN: a Deep Learning Model of Stance Classification on Social Media Text
by Wei-Fan Chen, Lun-Wei Ku
作者是两位中央研究院咨询科学研究所的研究员。这篇论文主要研究一个可用于社交网络文本挖掘的深度学习模型,使用 CNN 处理非结构化的社交网络文本来实现立场分类,将相关的话题热度、用户信息、评论、反馈等纳入考虑,不单单是集中在文本本身的处理。
【资源分享】工具:10种深度学习算法的TensorFlow实现
可以在项目地址中可以通过查看 command_line/ 目录来学习这些使用 TensorFlow 的深度学习算法的基本使用方法,同时项目文档也可作为有效参考资料。要求是使用 TensorFlow 0.8 或更新版本。可用模型列表:卷积网络(Convolutional Network),循环神经网络(Recurrent Neural Network (LSTM),受限玻尔兹曼机(Restricted Boltzmann Machine),深度信念网络(Deep Belief Network),作为RBM堆叠的深度自编码器(Deep Autoencoder as stack of RBMs),去噪自编码器(Denoising Autoencoder),堆叠的去噪自编码器(Stacked Denoising Autoencoder),作为去噪自编码器堆叠的深度自编码器(Deep Autoencoder as stack of Denoising Autoencoders),多层感知器(MultiLayer Perceptron), 逻辑回归(Logistic Regression)。