zyq5945

一个用来在TensorFlow2神经网络中训练神经元之间的“连接”的多巴胺层

最近在学习TensorFlow,学习到我们会使用Dropout这个trick来解决全连接神经网络的过拟合问题,觉得很不可思议,心中也有那么一丝莫名的突兀感。我们知道多巴胺是大脑的一种奖励机制,当大量分泌多巴胺的时候,行动就会得到肯定和增强,反之行动会被否定和抑制。然后就想着是不是也能把大脑的这种行为用在神经网络中,即把神经网络中的Loss值当做大脑的多巴胺奖励,当Loss值越小,就越肯定和增强这个神经连接回路的行为,反之则抑制甚至负向反馈这个神经连接回路的行为。于是就有了这个可以训练的神经网络连接的多巴胺层-。由于本人是初学者,好多概念都还没弄清楚,而且电脑也很差,到现在也还不知道这个多巴胺层要怎么使用才会好一些,这或许仅仅是个人的一些胡思乱想,但还是发出来供大家一起参考和研究,看是否能提供另外一种提高神经网络的思路方法。另外我们可能需要把多巴胺层和其他网络层分开训练会好一些,但因个人能力问题,也还没有得出具体的答案。

多巴胺Github项目地址

返回主页