简单的一份关于深度历史上重要论文的指南

2006年以前的历史

2006年以前,神经网络有过高潮,但更多的是持续的低潮。这其中的原因,有其他的模型的强势、计算能力的不足、数据集的不足等等。但也是在这段时期中,神经网络的基本概念和训练的算法都在这个时期被提出,为后来神经网络的爆发奠定了基础。

Perceptron: 神经网路最早的原型

Perceptron

文章主要提出了Perceptron(感知机)模型,可以理解为就是神经网络中的单个神经元。这篇文章在当时引发了很大的影响,并且他提出了一个简单的训练Perceptron的方法。与现在的模型相比,当时的模型只有一个神经元,而现在的模型都是多层多个神经元的堆叠。当时之所以没有在神经元数目上进行改进,原因在于没有训练多层感知机的算法。事实上,训练算法一直是神经网络发展中的一个巨大瓶颈。

Backpropagation: 多层感知机的训练算法

Learning Representations by Back‐propagating Errors

之前的多层感知机(可以理解为多层神经网络)的瓶颈在于无法训练,也就是无法将最后一层的结果反应到前一层。在这篇文章中,Backpropagation的方法被引入到神经网络的训练中,也成为了此后神经网络训练的一大基础。其基本原理也很简单,就是通过梯度的链式法则,将最后一层的梯度传导到中间层,对中间层进行训练。

Convolutional Neural Network: 卷积神经网络的提出

Neocognitron: A Self-organizing Neural Network Model for a Mechanism of Pattern Recognition Unaffected by Shift in Position

Backpropagation Applied to Handwritten Zip Code Recognition

这两篇论文标志着神经网络最重要的变体之一————卷积神经网络(CNN)的提出,CNN最早由日本研究者Fukushima提出,即第一篇论文。卷积神经网络的价值在于他可以用较少的空间来捕捉更多的局部特征,从而在机器视觉与模式识别等领域具有重大的意义。第二篇论文是Lecun第一次将CNN应用在机器视觉问题中。这两篇论文由于年代久远,清晰度低,以及讲的不够现代等原因,不推荐直接阅读。

Recurrent Neural Network:循环神经网络的提出

LSTM Can Solve Hard Long Time Lag Problems

神经网络的第二大变体,循环神经网络在上世纪90年代提出,上面这篇论文是90年代末循环神经网络中的最重要的一种网络LSTM的提出。循环神经网络的价值在于处理例如语言一类的序列数据。

2006年以后的历史

我喜欢把2006年当作历史的一个分界线。2006年前,神经网络只是众多机器学习模型中普通的一个,2006年后,神经网络成为了一个时代的象征。老实说,神经网络其实也不是一朝崛起的,2006年只能算是这个过程的一个开始。从Hinton 2006年在science上发文到大规模数据集ImageNet的完成再到AlexNet屠榜以及AlphaGo,这一系列的过程导致了神经网络今天的崛起。

2006年的故事

Reducing the Dimensionality of Data with Neural Networks A Fast Learning Algorithm for Deep Belief Nets

沉默,是21世纪初的深度学习。在1990年开始的20年时光里,深度学习完全被SVM的光芒所掩盖。结合kernel method,SVM看起来几乎在各方面都比神经网络来的优秀。在这段灰暗的历史里,只有Hinton、Lecun等有限的研究者还在深度学习的研究。其中Hinton在2006年的工作,既是灰暗历史中一点微弱的光芒,也预示着新的时代的来领。

前ImageNet时代

ImageNet: a Large-Scale Hierarchical Image Database.pdf

ImageNet是Feifei Li(李飞飞)在2009年等人提出的一个大规模图像数据集,从2009年到2015年的历史中,几乎所有喊得出名字的图像识别研究都是建立在ImageNet上的。(这里的建立指在ImageNet上训练并测试)ImageNet给学术界带来的影响并不只是一个大规模的数据集那么简单,而是证明了数据在机器学习问题中的作用与大规模众包采集这一模式的可行性。

Imagenet Classification with Deep Convolutional Neural Networks

在ImageNet上,有无数个著名的神经网络,例如GoogleNet、Inception等等。其中最开始的是AlexNet,也就是第二篇文章。AlexNet是第一个夺得ImageNet冠军的深度神经网络,在当年的ImageNet竞赛中,alexNet超过了原有最好的SVM模型10个百分点,向学术界证明深度神经网络的价值,在此后,ImageNet与图像识别界完全成为了神经网络的天下。

后ImageNet时代

Deep Residual Learning for Image Recognition

在alexNet在ImageNet屠榜之后,很多人在其之上做了很多的改进,包括GoogLeNet等等。但其中最重要的改进无疑是ResNet。 ResNet由MSRA的Kaiming He(何恺明)等人提出,其关键思想在于用残差F(x)-x替代F(x)进行训练。在之前的神经网络研究中,一个巨大的瓶颈就是梯度消失。在训练神经网络的过程中,网络训练所需要的梯度是逐层传递的,由于神经网络过深,后面几层拿到的梯度非常小,也就是梯度消失了。这就导致了后面的几层没有被训练。而ResNet通过残差(也就是-x项),使得后面的层可以被训练(对F(x)-x求导会发现导数多了了-1)。

ResNet使得较深的神经网络成为可能,之后神经网络层数迅速到达三位数。

如果要评选大陆学者在AI上的贡献,我想ResNet绝对是第一位的,Google Scholar统计的23722的citation就足以证明这一点。

GPGPU与CUDA

[From CUDA to OpenCL: Towards a performance-portable solution for multi-platform GPU programming]

GPGPU(通用GPU)

欢迎关注一个软黑的无病呻吟