当前位置:新励学网 > 秒知问答 > 交叉熵的优点

交叉熵的优点

发表时间:2024-07-28 00:48:42 来源:网友投稿

叉熵的优势:

在回归模型中有时候会使用均方差作为损失函数,但是当激活函数为sigmoid时,由于其在上边界和下边界的斜率下降十分之快。事实上一般sigmoid函数的斜率最大值也只有0.25。所以当训练结果接近真实值时会因为梯度算子极小,使得模型的收敛速度变得非常慢。

而由于交叉熵损失函数为对数函数,在接近上边界的时候,其仍然可以保持在高梯度状态,所以模型的收敛速度不会受到影响。

免责声明:本站发布的教育资讯(图片、视频和文字)以本站原创、转载和分享为主,文章观点不代表本网站立场。

如果本文侵犯了您的权益,请联系底部站长邮箱进行举报反馈,一经查实,我们将在第一时间处理,感谢您对本站的关注!