一、离散信源熵计算（文本数据）
1. 核心代码实现
function entropy = calculate_entropy_text(filename)
% 读取文本文件
fid = fopen(filename, 'r');
text = fread(fid, inf, 'char')';
fclose(fid);
% 统计字符频率（忽略大小写）
text = upper(text);
[unique_chars, ~, idx] = unique(text);
counts = accumarray(idx, 1);
% 计算概率分布
probabilities = counts / sum(counts);
% 计算香农熵（单位：nat）
entropy = -sum(probabilities .* log(probabilities + eps));
end
% 示例调用
entropy_value = calculate_entropy_text('nan311.txt');
disp(['信源熵值: ', num2str(entropy_value, '%.4f'), ' nat']);
2. 关键统计指标
| 指标 | 计算公式 | 物理意义 |
|---|---|---|
| 熵值 (H) | H=−∑pilnpi | 系统不确定性度量 |
| 最大熵 | Hmax=lnN | 等概率分布时的熵值 |
| 冗余度 | R=Hmax−H | 信息压缩潜力 |
二、图像熵计算（灰度图像）
1. 核心代码实现
function entropy_img = calculate_entropy_image(filename)
% 读取图像并转换为灰度
img = imread(filename);
if size(img, 3) == 3
img = rgb2gray(img);
end
% 统计灰度级频率
[counts, ~] = imhist(img);
total_pixels = numel(img);
probabilities = counts / total_pixels;
% 计算图像熵
entropy_img = -sum(probabilities .* log2(probabilities + eps));
end
% 示例调用
entropy_value = calculate_entropy_image('lena.bmp');
disp(['图像熵值: ', num2str(entropy_value, '%.4f'), ' bit/pixel']);
三、连续变量熵估计（KSG算法）
1. 核心代码实现（Holmes-Nemenman修正）
function entropy = ksg_entropy(data, k)
n = size(data, 1);
d = size(data, 2);
% 构建kNN树
nbrs = KDTreeSearcher(data);
[~, dist] = knnsearch(nbrs, data, 'K', k+1); % 包含自身
% 提取第k近邻距离
epsilon = dist(:, end);
% 计算常数项
Cd = pi^(d/2) / gamma(d/2 + 1);
% 计算熵值
entropy = digamma(n) - digamma(k) + d * mean(log(epsilon)) + log(Cd);
end
% 示例调用（三维数据）
data = rand(1000, 3); % 生成1000个三维样本
entropy_value = ksg_entropy(data, 5);
disp(['连续熵估计值: ', num2str(entropy_value, '%.4f'), ' nat']);
2. 参数敏感性分析
| 参数 | 推荐范围 | 影响说明 |
|---|---|---|
| k值 | 3-10 | k过小导致偏差，k过大增加方差 |
| 距离度量 | 欧氏/曼哈顿 | 影响局部密度估计精度 |
| 数据标准化 | 必须执行 | 避免量纲差异导致的距离失真 |
四、统计结果对比分析
| 数据类型 | 熵值范围 | 典型应用场景 | 计算耗时（1000样本） |
|---|---|---|---|
| 离散信源 | 0-4.0 nat | 文本压缩、密码分析 | <1 ms |
| 灰度图像 | 0-8 bit/pixel | 图像质量评估、特征提取 | 5-10 ms |
| 连续变量 | 0-∞ nat | 信号处理、机器学习 | 50-200 ms |
参考代码 matlab熵值计算程序统计 www.youwenfan.com/contentalh/44543.html
五、扩展功能实现
1. 熵可视化（联合熵与边际熵）
% 联合熵计算（二维数据）
[X, Y] = meshgrid(1:256, 1:256);
joint_prob = histcounts2(data(:,1), data(:,2), [1,256], [1,256]) / n;
joint_entropy = -sum(sum(joint_prob .* log2(joint_prob + eps)));
% 边际熵计算
marginal_entropy = ksg_entropy(data(:,1), 5) + ksg_entropy(data(:,2), 5);
2. 交互式熵分析工具
% 创建GUI界面
fig = uifigure('Name', '熵值分析工具');
ax = uiaxes(fig);
data_plot = imagesc(ax, data);
colorbar(ax);
title(ax, '数据分布与熵值分析');
% 实时更新熵值
entropy_slider = uislider(fig, 'Value', 0.5, 'Limits', [0.1, 10]);
xlabel(entropy_slider, 'k值');
ylabel(entropy_slider, '熵值 (nat)');
六、参考文献与工具
核心文献：
Shannon, C. E. (1948). A Mathematical Theory of Communication.
Kozachenko, L. F., & Leonenko, N. N. (1987). Sample estimate of the entropy of a random vector.
MATLAB工具箱：
Signal Processing Toolbox（信号熵计算）
Statistics and Machine Learning Toolbox（KSG估计）
