上一篇文中有人在一评论中提出是否可以利用生成式对抗网络来对射覆的模拟,这个以前简单实验过一下,效果并不理想。
不理想是有原因,主要是一般的生成式对抗网络的实现,本质上是从某个潜在空间到某个样本空间的转换或映射,对于高维数据的学习时,时常会表现出一些缺陷,从直觉上来说,通常它无法很好地模拟循环与周期的概念。
比如试图学习的是这样一个清晰的分布。
而实际上训练出来的结果却是这样:
而且这个并不能进一步进行优化。
本来期望它能如此美好:
#视频请看公众号原文
实际上它却:
#视频请看公众号原文
再比如,如果假设所有的事物都可以划分为八个类,那么在一个无限大的空间内,有限的词汇可以分别聚类为八团,那么用八个高斯团进行表达,大概长这样:
左边可以理解为是各种事物混杂在一起,而右侧可以理解为进行了类似八卦的归类,每个都符合高斯分布且用了不同的颜色代表类别。
理想中的归类过程它应该是类似这样的:
#视频请看公众号原文
但是实际上GAN生成过程中,它的过程是这样的:
#视频请看公众号原文
因此,它生成的结果只能是这样,分类效果显然不够理想。
这也给了我们一些有意义的一些启示,对抗在某些任务上的表现尽管可以不错,但它本身是有很多问题的,抽象到现实,如同战争不能解决一切问题一样。
如果引申一下的话,会发现更有趣的事情是生成式对抗网络如同一个兑卦,兑卦不但有对抗的含义,还有交换、迁移、变革的含义,而GAN网络也似乎更擅长的任务是风格迁移与变化,而不是创造。
通过一定的方法上面的问题是可以克服的,不过那就需要更复杂的研究了,这里只是简单一提,有兴趣的研究者,可以交流。
原文始发于微信公众号(道家阴符文化):探讨一般的生成式对抗网络(GAN)难以模拟术数运算过程的原因
Leave a Reply