6-layer NN 784-2500-2000-1500-1000-500-10 (on GPU) [elastic distortions] | none | 0.35 | Ciresan et al. Neural Computation 10, 2010 and arXiv 1003.0358, 2010 |
committee of 25 NN 784-800-10 [elastic distortions] | width normalization, deslanting | 0.39 | Meier et al. ICDAR 2011 |
人工神经网络中,错误率最低分别是0.35与0.39,但是可以看出错误率达到0.39的,中间仅仅用了800个神经元作为一个中间层,而0.35虽然结果更优,但是中间使用了6层结构,然后花费了2500、2000、1500、1000、500个神经元作为中间层,这个运算量极其恐怖,一般的电脑很难计算。所以相对来说,只用了800个神经元进行了width normalization及deslanting处理的数据,达到了0.39的成绩,似乎这个比较有实用价值。
normalizationy是正则化,而deslanting则是指将图片进行加反抗锯齿化,类似于在上面加噪点,或者应该叫毛边化或锯齿化。至于对原图进行elastic distortions,这个是再理所当然不过的事了,这个能增强网络的泛化能力。
large conv. net, unsup pretraining [elastic distortions] | none | 0.39 | Ranzato et al., NIPS 2006 |
large conv. net, unsup pretraining [no distortions] | none | 0.53 | Jarrett et al., ICCV 2009 |
large/deep conv. net, 1-20-40-60-80-100-120-120-10 [elastic distortions] | none | 0.35 | Ciresan et al. IJCAI 2011 |
committee of 7 conv. net, 1-20-P-40-P-150-10 [elastic distortions] | width normalization | 0.27 +-0.02 | Ciresan et al. ICDAR 2011 |
committee of 35 conv. net, 1-20-P-40-P-150-10 [elastic distortions] | width normalization | 0.23 | Ciresan et al. CVPR 2012 |
卷积神经网络的效果好得很夸张,上面可以看到,在不进行elastic distortions时,也能取得0.53的成绩,而在加入width normalization后,最好的成绩达到了0.23的错误率,准确率高得离谱,不过里面用到了35个卷积,这个运算量同样极大。
Leave a Reply