信息熵何时最大
讨论一下信息熵的最大值，即max E n t ( D ) = − ∑ k = 1 N p k log 2 p k s . t . ∑ k = 1 N p k = 1
maxs.t.Ent(D)k=1∑Npk=−k=1∑Npklog2pk=1我们将信息熵的中的符号去掉，即最小化 ∑ k = 1 N p k log 2 p k \\displaystyle{\\sum_{k=1}^{N} p_{k}\\log_{2}p_{k}}k=1∑Npklog2pk，我们采用拉格朗日乘子法，设J ( p 1 , p 2 , ⋯   , p k , λ ) = ∑ k = 1 N p k log 2 p k + λ ( ∑ k = 1 N p k − 1 )
J(p1,p2,⋯,pk,λ)amp;=∑k=1Npklog2pk+λ(∑k=1Npk−1)J(p1,p2,⋯,pk,λ)amp;=∑k=1Npklog2pk+λ(∑k=1Npk−1)
∂J(p1,p2,⋯,pk,λ)∂pk∂J(p1,p2,⋯,pk,λ)∂λamp;=log2pk+1ln2+λ=0,k=1；
2,⋯,Namp;=∑k=1Npk−1=0∂J(p1,p2,⋯,pk,λ)∂pkamp;=log2pk+1ln2+λ=0,k=1；
2,⋯,N∂J(p1,p2,⋯,pk,λ)∂λamp;=∑k=1Npk−1=0
免责声明：本站发布的教育资讯（图片、视频和文字）以本站原创、转载和分享为主，文章观点不代表本网站立场。
如果本文侵犯了您的权益，请联系底部站长邮箱进行举报反馈，一经查实，我们将在第一时间处理，感谢您对本站的关注！
新励学网教育平台
海量全面 · 详细解读 · 快捷可靠
累积科普文章数：18,862,126篇
首页
教育
考研
作文
公考
申论
留学
建造
会计
问答
冀ICP备2024091466号