CNTK研究(二):测试MNIST几种识别效果

CNTK研究(二):测试MNIST几种识别效果

01_OneHidden,一个隐藏层,相当于简单的三层神经网络,直接用的RELU,效果不错。

Minibatch[1-10]: errs = 1.560% * 10000; ce = 0.05553107 * 10000
Final Results: Minibatch[1-10]: errs = 1.560% * 10000; ce = 0.05553107 * 10000; perplexity = 1.05710186

02_OneConv,一层的卷积神经网络,测试显然有所提升。
Minibatch[1-10]: errs = 1.190% * 10000; ce = 0.03576933 * 10000
Final Results: Minibatch[1-10]: errs = 1.190% * 10000; ce = 0.03576933 * 10000; perplexity = 1.03641675

03_OneConvDropout,一层卷积神经网络的基础上增加了Dropout提升泛化能力,事实上确实不错,有进一步提升。

Minibatch[1-10]: errs = 1.120% * 10000; ce = 0.03119120 * 10000
Final Results: Minibatch[1-10]: errs = 1.120% * 10000; ce = 0.03119120 * 10000; perplexity = 1.03168274

04_OneConvBN,在简单的一层神经网络上,增加了批量正则化提升泛化能力,效果更加好了

Minibatch[1-10]: errs = 0.890% * 10000; ce = 0.02802706 * 10000
Final Results: Minibatch[1-10]: errs = 0.890% * 10000; ce = 0.02802706 * 10000; perplexity = 1.02842351

三符风云涌

Leave a Reply