简单看看MNIST训练正确率统计

6-layer NN 784-2500-2000-1500-1000-500-10 (on GPU) [elastic distortions] none 0.35 Ciresan et al. Neural Computation 10, 2010 and arXiv 1003.0358, 2010
committee of 25 NN 784-800-10 [elastic distortions] width normalization, deslanting 0.39 Meier et al. ICDAR 2011

  人工神经网络中,错误率最低分别是0.35与0.39,但是可以看出错误率达到0.39的,中间仅仅用了800个神经元作为一个中间层,而0.35虽然结果更优,但是中间使用了6层结构,然后花费了2500、2000、1500、1000、500个神经元作为中间层,这个运算量极其恐怖,一般的电脑很难计算。所以相对来说,只用了800个神经元进行了width normalization及deslanting处理的数据,达到了0.39的成绩,似乎这个比较有实用价值。

  normalizationy是正则化,而deslanting则是指将图片进行加反抗锯齿化,类似于在上面加噪点,或者应该叫毛边化或锯齿化。至于对原图进行elastic distortions,这个是再理所当然不过的事了,这个能增强网络的泛化能力。

large conv. net, unsup pretraining [elastic distortions] none 0.39 Ranzato et al., NIPS 2006
large conv. net, unsup pretraining [no distortions] none 0.53 Jarrett et al., ICCV 2009
large/deep conv. net, 1-20-40-60-80-100-120-120-10 [elastic distortions] none 0.35 Ciresan et al. IJCAI 2011
committee of 7 conv. net, 1-20-P-40-P-150-10 [elastic distortions] width normalization 0.27 +-0.02 Ciresan et al. ICDAR 2011
committee of 35 conv. net, 1-20-P-40-P-150-10 [elastic distortions] width normalization 0.23 Ciresan et al. CVPR 2012

  卷积神经网络的效果好得很夸张,上面可以看到,在不进行elastic distortions时,也能取得0.53的成绩,而在加入width normalization后,最好的成绩达到了0.23的错误率,准确率高得离谱,不过里面用到了35个卷积,这个运算量同样极大。

发表评论

电子邮件地址不会被公开。 必填项已用*标注