【ML】matlab和python实现SVD(奇异值分解)算法

简介: matlab和python实现SVD(奇异值分解)算法

1.SVD
SVD: Singular Value Decomposition,奇异值分解
SVD算法不光可以用于降维算法中的特征分解,还可以用于推荐系统,以及自然语言处理等领域。是很多机器学习算法的基石。

假设我们现在有一个矩阵M(m×n),如果其存在一个分解:M = UDV^T^
其中,U(m×m,酉矩阵,即U^T^=U^-1^);
D(m×n,半正定矩阵);
V^T^(n×n,酉矩阵,V的共轭转置矩阵);
==这样的分解称为M的奇异值分解。==
**D对角线上的元素称为奇异值;
U称为左奇异矩阵;
V^T^称为右奇异矩阵。**

2.SVD奇异值分解与特征值分解的关系
特征值分解与SVD奇异值分解的目的都是提取一个矩阵最重要的特征。
==然而,特征值分解只适用于方阵,而SVD奇异值分解适用于任意的矩阵,不一定是方阵。==

M^T^M = (UDV^T^)^T^UDV^T^=V(D^T^D)V^T^
MM^T^ = UDV^T^(UDV^T^)^T^=U(DD^T^)U^T^
这里,M^T^M和MM^T^是方阵;
U^T^U和V^T^为单位矩阵,
V^T^为M^T^M的特征向量,
U为MM^T^的特征向量。
==M^T^M 和MM^T^的特征值为M的奇异值的平方==

3.SVD奇异值分解的作用核意义
==奇异值分解最大的作用就是数据的降维==

m×n的矩阵M,进行奇异值分解:
M(m×n) = U(m×m)D(m×n)V^T^(n×n)
取其前r个非零奇异值,可以还原原来的矩阵,即前个非零奇异值对应的奇异向量代表了矩阵的主要特征。
可以表示为:
M(m×n)约等于 U(m×r)D(r×r)V^T^(r×n)

4.matlab实现SVD

%% 测试奇异值分解过程
load A.mat;%该文件是做好的一个手写体的图片(28*28 uint8类型)

% for i = 1:28
%     j = 28*(i-1)+1;
%     B(i,:) = A(1,j:j+27);
% end

B = zeros(28,28);%将行向量重新转换成原始的图片
% 方法一:uint8转double类型
for i = 1:28
    for j = 1:28
        B(i,j) = A(i,j);
    end
end

% % 方法二:uint8转double
% B = im2double(A);

%进行奇异值分解
[U S V] = svd(B); 

% U:左奇异矩阵
% S:对角矩阵,对角线上的元素是奇异值,从大到小排列
% V:右奇异矩阵

%选取前面14个非零奇异值
for i = 1:14
    for j = 1:14
        S_1(i,j) = S(i,j);
    end
end

%左奇异矩阵
for i = 1:28
    for j = 1:14
        U_1(i,j) = U(i,j);
    end
end

%右奇异矩阵
for i = 1:28
    for j = 1:14
        V_1(i,j) = V(i,j);
    end
end

B_1 = U_1*S_1*V_1';

%同时输出两个图片
subplot(121);imshow(B); % B是没降维之前
subplot(122);imshow(B_1); % B_是降维后之的

这里有一个疑问?
B是28 28,B_也是28 28的啊?不是说好的降维呢?
我是这么理解的:
实际上,取前r=14个奇异值,再重构图片,这就是一个降维过程啊,
以前一张图片是m×n,现在把它分解成后,取奇异值前r个,
则,左奇异矩阵为:m×r
奇异值矩阵:r×r
右奇异矩阵:r×n
在这里插入图片描述
右边的三个矩阵相乘的结果将会是一个接近于A的矩阵,在这儿,r越接近于n,则相乘的结果越接近于A。而这三个矩阵的面积之和(在存储观点来说,矩阵面积越小,存储量就越小)要远远小于原始的矩阵A,我们如果想要压缩空间来表示原矩阵A,我们存下这里的三个矩阵。

==[从28维降到了14维]==
取的r值越大,重构的图片和原始图片越像。(当然是再矩阵行列数范围内)

run result:
在这里插入图片描述
原始的矩阵B:
在这里插入图片描述
分解后的U:
在这里插入图片描述
分解后的S:
在这里插入图片描述
分解后的V:
在这里插入图片描述
5.python实现SVD
python中的numpy提供了SVD分解算法
函数调用:

np.linalg.svd(a,full_matrices=1,compute_uv=1)
# a:一个m×n矩阵
# full_matrices:取值为0或者1,默认取1,这时u大小为m×m,v的大小为n×n;否则,u的大小为m×k,v的大小为k×n,
# k = min(m,n)
# compute_uv:取值为0或者1,默认取1,表示计算u,s,v;取0表示只计算s

from scipy.io import loadmat 
from numpy import linalg as la
from skimage import io # 用于显示图片
import numpy as np

load_data = loadmat('A_0.mat') # 为0手写体
A = load_data['A'] # 获取数据集
A = A[:,0:26]

# 原始图片
io.imshow(A)

#data = np.double(data) # python中svd可直接对uint8进行计算

U,Sigma,VT = la.svd(A)

# Sigma:本身应该是28*26的矩阵,但是只返回一列奇异值不为0组成的向量,为了节省空间
# U:28*28
# V: 26*26

S = np.zeros((28,26))
S[:26,:26] = np.diag(Sigma)
A_recon = np.dot(np.dot(U, S), VT) # 恢复原始维度
io.imshow(A_recon)

run result:
在这里插入图片描述
总结:我一直在想降维,是高维到低维,比如2826的矩阵,降到2814的矩阵,这样直观产生数据才对啊,我看网上也有和我同样的疑问,这个SVD分解的过程,到取前r个奇异值,(得到简化的U_1,S_1,V_1,这就是降维啊,哈哈哈)进行数据还原,这个才是SVD的精髓所在。

参考和引用:
https://www.zhihu.com/question/34143886 (SVD 降维体现在什么地方?
感觉即使把分解的三个矩阵变小,可乘回去整个矩阵并没有小。)

https://www.jianshu.com/p/9846fc1c4cac

https://blog.csdn.net/google19890102/article/details/27109235

https://www.cnblogs.com/LeftNotEasy/archive/2011/01/19/svd-and-applications.html

https://blog.csdn.net/mingyuli/article/details/81092795

仅用来个人学习和分享,如有错误,请指正。

如若侵权,留言立删。

相关文章
|
6天前
|
机器学习/深度学习 算法 数据安全/隐私保护
基于机器学习的人脸识别算法matlab仿真,对比GRNN,PNN,DNN以及BP四种网络
本项目展示了人脸识别算法的运行效果(无水印),基于MATLAB2022A开发。核心程序包含详细中文注释及操作视频。理论部分介绍了广义回归神经网络(GRNN)、概率神经网络(PNN)、深度神经网络(DNN)和反向传播(BP)神经网络在人脸识别中的应用,涵盖各算法的结构特点与性能比较。
|
4天前
|
编解码 算法 数据安全/隐私保护
一维信号的小波变换与重构算法matlab仿真
本程序使用MATLAB2022A实现一维信号的小波变换与重构,对正弦测试信号进行小波分解和重构,并计算重构信号与原信号的误差。核心步骤包括:绘制分解系数图像、上抽取与滤波重构、对比原始与重构信号及误差分析。小波变换通过多分辨率分析捕捉信号的局部特征,适用于非平稳信号处理,在信号去噪、压缩等领域有广泛应用。
|
6天前
|
算法 图形学 数据安全/隐私保护
基于NURBS曲线的数据拟合算法matlab仿真
本程序基于NURBS曲线实现数据拟合,适用于计算机图形学、CAD/CAM等领域。通过控制顶点和权重,精确表示复杂形状,特别适合真实对象建模和数据点光滑拟合。程序在MATLAB2022A上运行,展示了T1至T7的测试结果,无水印输出。核心算法采用梯度下降等优化技术调整参数,最小化误差函数E,确保迭代收敛,提供高质量的拟合效果。
|
4天前
|
机器学习/深度学习 数据采集 算法
基于GA遗传优化的CNN-LSTM-SAM网络时间序列回归预测算法matlab仿真
本项目使用MATLAB 2022a实现时间序列预测算法,完整程序无水印。核心代码包含详细中文注释和操作视频。算法基于CNN-LSTM-SAM网络,融合卷积层、LSTM层与自注意力机制,适用于金融市场、气象预报等领域。通过数据归一化、种群初始化、适应度计算及参数优化等步骤,有效处理非线性时间序列,输出精准预测结果。
|
3天前
|
算法 数据安全/隐私保护 索引
基于GWO灰狼优化的多目标优化算法matlab仿真
本程序基于灰狼优化(GWO)算法实现多目标优化,适用于2个目标函数的MATLAB仿真。使用MATLAB2022A版本运行,迭代1000次后无水印输出结果。GWO通过模拟灰狼的社会层级和狩猎行为,有效搜索解空间,找到帕累托最优解集。核心步骤包括初始化狼群、更新领导者位置及适应值计算,确保高效探索多目标优化问题。该方法适用于工程、经济等领域复杂决策问题。
|
5天前
|
算法 数据安全/隐私保护
基于信息论的高动态范围图像评价算法matlab仿真
本项目基于信息论开发了一种高动态范围(HDR)图像评价算法,并通过MATLAB 2022A进行仿真。该算法利用自然图像的概率模型,研究图像熵与成像动态范围的关系,提出了理想成像动态范围的计算公式。核心程序实现了图像裁剪处理、熵计算等功能,展示了图像熵与动态范围之间的关系。测试结果显示,在[μ-3σ, μ+3σ]区间内图像熵趋于稳定,表明系统动态范围足以对景物成像。此外,还探讨了HDR图像亮度和对比度对图像质量的影响,为HDR图像评价提供了理论基础。
|
1天前
|
机器学习/深度学习 算法 数据安全/隐私保护
基于贝叶斯优化的自适应马尔科夫链蒙特卡洛(Adaptive-MCMC)算法matlab仿真
本项目基于贝叶斯优化的自适应马尔科夫链蒙特卡洛(Adaptive-MCMC)算法,实现MATLAB仿真,并对比Kawasaki sampler、IMExpert、IMUnif和IMBayesOpt四种方法。核心在于利用历史采样信息动态调整MCMC参数,以高效探索复杂概率分布。完整程序在MATLAB2022A上运行,展示T1-T7结果,无水印。该算法结合贝叶斯优化与MCMC技术,通过代理模型和采集函数优化采样效率。
|
7月前
|
安全
【2023高教社杯】D题 圈养湖羊的空间利用率 问题分析、数学模型及MATLAB代码
本文介绍了2023年高教社杯数学建模竞赛D题的圈养湖羊空间利用率问题,包括问题分析、数学模型建立和MATLAB代码实现,旨在优化养殖场的生产计划和空间利用效率。
282 6
【2023高教社杯】D题 圈养湖羊的空间利用率 问题分析、数学模型及MATLAB代码
|
7月前
|
存储 算法 搜索推荐
【2022年华为杯数学建模】B题 方形件组批优化问题 方案及MATLAB代码实现
本文提供了2022年华为杯数学建模竞赛B题的详细方案和MATLAB代码实现,包括方形件组批优化问题和排样优化问题,以及相关数学模型的建立和求解方法。
165 3
【2022年华为杯数学建模】B题 方形件组批优化问题 方案及MATLAB代码实现
|
7月前
|
数据采集 存储 移动开发
【2023五一杯数学建模】 B题 快递需求分析问题 建模方案及MATLAB实现代码
本文介绍了2023年五一杯数学建模竞赛B题的解题方法,详细阐述了如何通过数学建模和MATLAB编程来分析快递需求、预测运输数量、优化运输成本,并估计固定和非固定需求,提供了完整的建模方案和代码实现。
142 0
【2023五一杯数学建模】 B题 快递需求分析问题 建模方案及MATLAB实现代码