开发者社区> 问答> 正文

python中数据离散化分类中的基于信息熵分组的原理是什么?

python中数据离散化分类中的基于信息熵分组的原理是什么?

展开
收起
游客qzzytmszf3zhq 2021-11-30 01:09:40 296 0
1 条回答
写回答
取消 提交回答
  • 概念:

    (1)信息量

        Shannon认为,信息是用来消除随机不确定性的东西。即,衡量信息量大小就看这个消息消除不确定性的程度。
    
        信息量的大小和事件发生的概率成反比。可以用公式表示为:l(x) = -log_{2}p(x)
    

    式中,p(x)表示x发生的概率。

    (2)熵

        熵,是在结果出来之前对可能产生的信息量的期望——考虑该随机变量的所有可能取值,即所有可能发生事件所带来的信息量的期望。
    
    2021-11-30 01:10:05
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
From Python Scikit-Learn to Sc 立即下载
Data Pre-Processing in Python: 立即下载
双剑合璧-Python和大数据计算平台的结合 立即下载