1 文章的主要贡献:

• 利用目前为止最大的卷积神经网络,在ILSVRC-2010和2012中表现了破纪录的结果
• 我们完成了一种充分利用GPU的算法完成了2D的卷积和一些其他的操作

2 数据集

ImageNet

ILSVRC-2012

ILSVRC-2010

3 网络结构

3.1 ReLU Nonlinearity

关于激活函数的概念可以参考这篇文章:

神经网络激励函数的作用是什么？有没有形象的解释？

ReLU非线性激活.和

如果把一个神经网络当作一个函数f,输入的数据作为x,那么标准模式为

$$ f(x) = tanh(x) $$

或者是

$$ f(x) = \frac{1}{1+e^{-x}} $$