互信息，互信息的定义

本文目录一览

1，互信息的定义
2，互信息多大才算大
3，求java编写互信息计算并按照互信息值从大到小排列急
4，谁能比较一下卡方距离KL距离和互信息
5，如何理解互信息公式的含义
6，互信息具体指什么

1，互信息的定义

设两个随机变量的联合分布为，边际分布分别为，互信息是联合分布与乘积分布的相对熵，即

互信息的定义

2，互信息多大才算大

一条信息，能看到的人多大，信息量就多大。

虽然我很聪明，但这么说真的难到我了

互信息多大才算大

3，求java编写互信息计算并按照互信息值从大到小排列急

您好，提问者：请问数据是什么？你要根据什么排序，排序规则说一下。 //数组的话用Arrays.sort(Object[] obj) //比如： String[] arr = java.util.Arrays.sort(arr); //再输出数组已经对其进行排序了

你好！什么是互信息计算。。亲仅代表个人观点，不喜勿喷，谢谢。

互信息公式列出来！！

求java编写互信息计算并按照互信息值从大到小排列急

4，谁能比较一下卡方距离KL距离和互信息

1）卡方距离：统计学里面经常需要测量两组样本分布之间的距离，找找统计学的书看看。（2）互信息是计算关联性的，比如决策树分类算法中用哪个特征来划分特征空间，可以用互信息来衡量（3）KL距离：两种概率分布之间差异的度量，概率之间的“距离”信息论里有专门讲互信息和KL距离，推荐我之前上课用的教材 ThomasM.Cove 的《信息论基础》，里面也有应用的例子，非常经典。

搜一下：谁能比较一下卡方距离、KL距离和互信息？

5，如何理解互信息公式的含义

互信息指的是两个随机变量之间的关联程度，即给定一个随机变量后，另一个随机变量不确定性的削弱程度，因而互信息取值最小为0，意味着给定一个随机变量对确定一另一个随机变量没有关系，最大取值为随机变量的熵，意味着给定一个随机变量，能完全消除另一个随机变量的不确定性

物质的量只是一种表示方式而已因为对于微观粒子来说讨论个数效率非常低所以配合相对质量以阿伏加德罗常数个粒子为1mol最妥当在这个衡量标准下 1mol粒子的质量的值（g）为相对质量的值

6，互信息具体指什么

百度百科：http://baike.baidu.com/view/1974678.htm

平均自信息是针对信源编码而言，而平均互信息是针对信道编码而言，我们定义自信息（“信息论”中的一个定义）的数学期望为信源的平均自信息量（也即“信息熵”）。平均互信息代表接收到输出符号后平均每个符号获得的关于信源符号x的信息量。据我的理解这两者的区别，很明显的，平均自信息给的是发送一个信息所代表的信息量，而平均互信息所代表的是在接收到了符号后发送端符号所代表的信息量。