信源熵的七大基本性质
发表时间：2024-07-28 05:06:44
来源：网友投稿
信源熵的基本性质：
1. 非负性：H(X) ≥ 0
熵描述的是某个集合统计意义上的不确定性，是自信息的加权平均。
而我们在一开始寻找描述不确定性的函数，引出自信息量概念的时候，便要求自信息的取值应在[0，+∞]。
故，熵作为自信息的加权平均，自然也是非负的。
2. 确定性：H(1,0)=H(1,0,0)=……=H(1,0,0,…,0)=0
①根据熵的定义式，可知H(1,0)=1*log1=0
②根据熵的意义，当信源发出某个符号的概率为1，则该信源为确知信源，其不存在不确定性，
即确知信源的熵等于0。
3. 对称性：熵只与随机变量的总体结构有关。
熵的对称性
4. 扩展性：极小概率事件对熵几乎没有影响
熵的扩展性
5. 熵的链式法则
熵的强可加性
该式称为熵的强可加性。
若X,Y统计独立，则
熵的可加性
该式称为熵的可加性。
进一步推广可得
N维联合信源熵的链式法则为：
N维联合信源熵的链式法则
6. 极值性：输入等概时，熵最大。
熵的极值性
上式又称为最大离散熵定理。
7. 熵的独立界：条件熵小于等于无条件熵。
条件作用使熵减小
如果统计相关的变量已知，则统计意义上不确定性减少。
即，条件作用使熵减小。
熵的独立界是统计意义上的，对于Y具体取某个值的情况不一定成立。
熵的独立界
该定理称为熵的独立界。
免责声明：本站发布的教育资讯（图片、视频和文字）以本站原创、转载和分享为主，文章观点不代表本网站立场。
如果本文侵犯了您的权益，请联系底部站长邮箱进行举报反馈，一经查实，我们将在第一时间处理，感谢您对本站的关注！
相关资讯
2025年会计行业十大趋势：技术变革与职业转型
2025-07-03
汽修专业新疆怎么找工作
2025-04-06
机械专业专长怎么写简历
2025-04-06
专科怎么报审计专业的
2025-04-06
专业学科导师类别怎么填
2025-04-06
查报考专业网站怎么查
2025-04-06
水电专业规划怎么写简历
2025-04-06
表演专业怎么留学的好呢
2025-04-06
专业防雷检测怎么收费的
2025-04-06
怎么查询同等学力专业
2025-04-06
高考技能专业怎么选择的
2025-04-06
钢筋套筒专业名称怎么写
2025-04-06
中专怎么填高考志愿专业
2025-04-06
中专统招怎么报志愿专业
2025-04-06
师范专业自我评价怎么写
2025-04-06
景观建筑换专业怎么换好
2025-04-06
推荐资讯
c123排列组合等于多少
2024-07-11 06:24:16
三峡大学基础医学院、健康医学院组建成立
2024-07-24 09:09:55
山东靠近哪个省
2024-07-28 02:20:00
笔记本电脑卡怎么弄流畅
2024-07-28 16:56:50
梁枋读音
2024-07-29 23:02:17
鲁阳管理区是什么单位
2024-10-03 16:25:33
万籁俱寂是描写景色的吗
2024-10-12 17:43:35
孕期睡觉老做梦怎么办
2024-10-15 15:01:17
挂车培训哪个专业好
2025-03-22 17:37:47
大专哪些学校有能源专业
2025-04-03 07:21:50
新励学网教育平台
海量全面 · 详细解读 · 快捷可靠
累积科普文章数：18,862,126篇
热门关注
首页
教育
考研
作文
公考
申论
留学
建造
会计
问答
冀ICP备2024091466号