| 6-layer NN 784-2500-2000-1500-1000-500-10 (on GPU) [elastic distortions] | none | 0.35 | Ciresan et al. Neural Computation 10, 2010 and arXiv 1003.0358, 2010 |
| committee of 25 NN 784-800-10 [elastic distortions] | width normalization, deslanting | 0.39 | Meier et al. ICDAR 2011 |
人工神经网络中，错误率最低分别是0.35与0.39，但是可以看出错误率达到0.39的，中间仅仅用了800个神经元作为一个中间层，而0.35虽然结果更优，但是中间使用了6层结构，然后花费了2500、2000、1500、1000、500个神经元作为中间层，这个运算量极其恐怖，一般的电脑很难计算。所以相对来说，只用了800个神经元进行了width normalization及deslanting处理的数据，达到了0.39的成绩，似乎这个比较有实用价值。
normalizationy是正则化，而deslanting则是指将图片进行加反抗锯齿化，类似于在上面加噪点，或者应该叫毛边化或锯齿化。至于对原图进行elastic distortions，这个是再理所当然不过的事了，这个能增强网络的泛化能力。
| large conv. net, unsup pretraining [elastic distortions] | none | 0.39 | Ranzato et al., NIPS 2006 |
| large conv. net, unsup pretraining [no distortions] | none | 0.53 | Jarrett et al., ICCV 2009 |
| large/deep conv. net, 1-20-40-60-80-100-120-120-10 [elastic distortions] | none | 0.35 | Ciresan et al. IJCAI 2011 |
| committee of 7 conv. net, 1-20-P-40-P-150-10 [elastic distortions] | width normalization | 0.27 +-0.02 | Ciresan et al. ICDAR 2011 |
| committee of 35 conv. net, 1-20-P-40-P-150-10 [elastic distortions] | width normalization | 0.23 | Ciresan et al. CVPR 2012 |
卷积神经网络的效果好得很夸张，上面可以看到，在不进行elastic distortions时，也能取得0.53的成绩，而在加入width normalization后，最好的成绩达到了0.23的错误率，准确率高得离谱，不过里面用到了35个卷积，这个运算量同样极大。
发表评论