droptop是什么意思

发表时间：2024-07-19 19:01:39 来源：网友投稿

dropout（随机失活）：dropout是通过遍历神经网络每一层的节点，然后通过对该层的神经网络设置一个keep＿prob（节点保留概率），即该层的节点有keep＿prob的概率被保留，keep＿prob的取值范围在0到1之间。通过设置神经网络该层节点的保

已保存留概率，使得神经网络不会去偏向于某一个节点（因为该节点有可能被删除），从而使得每一个节点的权重不会过大，有点类似于L2正则化，来减轻神经网络的过拟合。

扩展资料1、第三层网络的权重参数用a3表示，使用a3的shape来产生一个0到1的随机矩阵。

2、设置keep_prob(0到1)的大小，keep_prob表示该层节点保留的概率。对于第一步产生的随机矩阵与keep_prob进行比较，小于为1，大于为0。1表示保留该节点，0表示删除矩阵。

3、将a3与0和1的矩阵相乘(这里是普通的乘法，不是矩阵相乘)，的到新权重参数矩阵a3。

4、对输出的a3矩阵除以keep_prob，即a3/=keep_prob，这一步是最关键的。将a3除以keep_prob的目的是保证a3的期望值(均值)不变，从而保证第三层的输出不变。

注意：dropout在测试阶段不需要使用，因为如果在测试阶段使用dropout可能会导致预测值产生随机变化(因为dropout使节点随机失活)。而且在训练阶段已经将权重参数除以keep_prob来保证输出的期望值不变，所以在测试阶段没必要再使用dropout。

免责声明：本站发布的教育资讯（图片、视频和文字）以本站原创、转载和分享为主，文章观点不代表本网站立场。

如果本文侵犯了您的权益，请联系底部站长邮箱进行举报反馈，一经查实，我们将在第一时间处理，感谢您对本站的关注！