开发者社区> 问答> 正文

python中数据离散化分类中的基于信息熵分组中熵的概念是什么?

python中数据离散化分类中的基于信息熵分组中熵的概念是什么?

展开
收起
游客qzzytmszf3zhq 2021-11-30 01:13:32 336 0
1 条回答
写回答
取消 提交回答
  • 熵,是在结果出来之前对可能产生的信息量的期望——考虑该随机变量的所有可能取值,即所有可能发生事件所带来的信息量的期望。
    

    可以表示为:E(x) = -\sum_{i=1}^{n}p(x_i)log_{2}p(x_i)

        按照随机变量的所有可能取值划分数据的总熵E是所有事件的熵的加权平均:E = \sum_{i=1}^{k}w_iE_i
    

    式中,w_i = \frac{m_i}{m}是第x个事件出现的比例,是第个可能取值出现的次数,是所有取值出现的总次数。

    2021-11-30 01:13:50
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
From Python Scikit-Learn to Sc 立即下载
Data Pre-Processing in Python: 立即下载
双剑合璧-Python和大数据计算平台的结合 立即下载