Tag Archives: 深度学习

乱谈池化算法

  在提取信息的时候,在池化的时候,如果取区域均值(mean-pooling),往往能保留整体数据的特征,能凸出背景的信息,而如果取区域最大值(max-pooling),则能更好保留纹理上的特征,但这些应该都不如小波变换那样,可以保留更多的细节特征,整体上也应该更加细微。   在ICLR2013上,Zeiler提出了stochastic pooling,元素值大的被选中的概率也大,但不是像max-pooling那样总是取最大值,这种方法的优势是,一方面最大化保证了Max值的取值,一方面又部分确保不会所有元素都被max值给忽悠住,造成过度失真。   这种方式想来还是有缺陷的,因为这种随机行挑选尽管有概率倾向,但它是人为叠加上的,无法总是保证一定随机的概率选择中能够选择到更好的结果,所以也会出现更糟糕的结果的时候,不过加入概率算法好处是,它为产生更好的结果产生了可能,所以总的来说,还是有可能得到更好的结果的。   假设目标总是容易被命中的,而有那么个正态分布与目标的分布是近似重合的,如何保证这种分布比较能吻合目标?平均值与最大值都会产生偏移,因为毕竟太暴力了,而概率算法加入无疑是比较理想的,能减少这种偏移的可能,如果运气足够好,收敛会非常好,那么还有可能得到更加贴近的结果,于是这个又扯到了运气上来了。   只是,术数里的收敛为何能那么准确,这个从数学角度实在是难解,究竟是什么没有考虑到?目前有一种隐隐地思路,需要探索以术数的模型套上去,只是还是没有找到桥梁在哪里,第一是要找出,信息是如何演算并折叠在卦中的,第二是要找出如何还能够把信息进行还原。   在尝试计算了近十万个图形与随机起卦之间的联系后,发现要建立这个联系,是极难完成的任务,制作自动编码器运算到一定程度收敛越来越慢,随便估计也是要花上个几个月的(还不一定最后算得出来),想来还是思路有问题。   路漫漫其修远兮。