当前位置:新励学网 > 秒知问答 > keras调参技巧

keras调参技巧

发表时间:2024-07-30 07:45:27 来源:网友投稿

keras调参经验

1,观察loss胜于观察准确率,loss设计要比较合理,对比训练集和验证集的loss

2,relu可以很好的防止梯度弥散的问题,当然最后一层激活函数尽量别用relu,如果分类则用softmax

3,BatchNorm 可以大大加快训练速度和模型的性能

4,Dropout防止过拟合,可以直接设置为0.5,一半一半,测试的时候把Dropout关掉

5,Loss选择,一般来说分类就是softmax,回归就是L2的loss,但是loss的错误范围(主要是回归)预测一个10000的值,模型输出为0

6,准确率是一个评测指标,但是训练过程中loss你会发现有些情况,准确率是突变的,原来一直是0,可能保持上千迭代,然后变1。而loss不会有那么诡异的发生,毕竟优化目标为loss

7,学习率设置得合理,太大loss爆炸,太小则没有反应

8,对不训练集和验证集的loss,判断过拟合,训练是否足够,是否需要Early Stop

免责声明:本站发布的教育资讯(图片、视频和文字)以本站原创、转载和分享为主,文章观点不代表本网站立场。

如果本文侵犯了您的权益,请联系底部站长邮箱进行举报反馈,一经查实,我们将在第一时间处理,感谢您对本站的关注!