第四章 基于纹理特征的图像检索技术
纹理特征是一种不依赖于颜色或亮度的反映图像中同质现象的视觉特征。纹理特征包含了物体表面结构组织排列的重要信息以及它们与周围环境的联系。用户可通过提交包含有某种纹理的图像来查找含有相似纹理的其他图像[11]。从人类的感知经验出发, 纹理特征主要有粗糙性、方向性和对比度。纹理分析方法，大致可分为两类：（1）统计方法。用于分析像木纹、沙地、草坪等细致而不规则的物体，并根据关于像素间灰度的统计性质对纹理规定特征及特征与参数间的关系。（2）结构方法。适于像布料的印刷图案或砖瓦等一类元素组成的纹理及其排列比较规则的图案, 然后根据纹理基元及其排列规则来描述纹理的结构及特征、特征与参数间的关系。
4.1 灰度矩阵法
共生矩阵用两个位置的像素的联合概率密度来定义，它不仅反映亮度的分布特征，也反映具有同样亮度或者接近亮度的像素之间的位置分布特性，是有关图像亮度变化的二阶统计特征。它是定义一组纹理特征的基础[12]。由于纹理是由灰度在空间位置上反复出现而形成的，因而在图像空间中像个某距离的两像素之间会存在一定的灰度关系，即图像中灰度的空间相关特性。灰度共生矩阵就是一种通过研究灰度的空间相关特性来描述纹理的常用方法。灰度直方图是对图像上单个像素具有某个灰度进行统计的结果，而灰度共生矩阵是对图像上保持某个距离的两像素分别具有某灰度的状况进行统计得到的。
一幅图像的灰度共生矩阵能反映出图像灰度关于方向、相邻间隔、变化幅度的综合信息，它是分析图像的局部模式和它们排列规则的基础。
4.2 实验结果与分析
第一张实验图片采用灰度矩阵法的检索结果如图16所示。第二张实验图片采用灰度矩阵法的检索结果如图17所示. 第三张实验图片采用灰度矩阵法的检索结果如图18所示。
图16 第一张实验图片采用灰度矩阵法的检索结果
图17 第二张实验图片采用灰度矩阵法的检索结果
图18 第三张实验图片采用灰度矩阵法的检索结果
分析上述实验结果，不难发现采用灰度矩阵法进行图像纹理特征的检索，对于纹理特征较为明显的图像具有更好的匹配效果。
第五章 基于形状特征的图像检索技术
形状是描述图像内容的本质特征, 在实际检索中, 很多查询可能并不针对图像的颜色, 因为同一物体可能有各种不同的颜色, 但其形状总是相似的。如检索某辆汽车的图像，汽车可以是红的、绿的等, 但形状决不会像飞机的外形[13]。另外, 对于图形来说, 形状是它唯一重要的特征。目前用于图像检索的形状描述方法主要有两类:基于边缘和基于区域的形状方法。基于边缘的形状特征提取是利用图像的边缘信息，在边缘检测的基础上，用面积、周长、偏心率、角点、链码、兴趣点、傅里叶描述子、矩描述子等特征来描述物体的形状，适用于图像边缘较清晰、容易获取的图像。
5.1 形状不变矩法
Hu利用二阶和三阶归一化中心矩构造了7个不变矩,不变矩是一处高度浓缩的图像特征，在连续图像下具有平移、灰度、尺度、旋转不变性。
7个不变矩构成一组特征量，实际上，在对图片中物体的识别过程中，只有M1和M2不变性保持的比较好，其他的几个不变矩带来的误差比较大，有学者认为只有基于二阶矩的不变矩对二维物体的描述才是真正的具有旋转、缩放和平移不变性(M1和M2刚好都是由二阶矩组成的）。由Hu矩组成的特征量对图片进行识别，优点就是速度很快，缺点是识别率比较低。Hu不变矩一般用来识别图像中大的物体，对于物体的形状描述得比较好，图像的纹理特征不能太复杂，像识别水果的形状，或者对于车牌中的简单字符的识别效果会相对好一些。
5.2 实验结果与分析
第一张实验图片采用形状不变矩法的检索结果如图19所示。第二张实验图片采用形状不变矩法的检索结果如图20所示. 第三张实验图片采用形状不变矩法的检索结果如图21所示。
图19 第一张实验图片采用形状不变矩法的检索结果
图20 第二张实验图片采用形状不变矩法的检索结果
图21 第三张实验图片采用形状不变矩法的检索结果
通过上述实验可以看出，基于形状不变矩的图像形状检索，仅仅对第一张图片——太极图，给出了较好的结果而对于第二，三张图片检索结果均不理想，分析可以设想其是因为图片形状特征不明显所致。
第六章 基于三种特征信息综合的图像检索
6.1 三种特征信息综合方法
在上述简单提取图像的一种特征进行检索的基础上，不难想到将三种特征结合起来以待得到更优结果。基本思路是：将已经提取到的三种特征向量分别合并为一个特征向量，为每张图像获取一个维数更高，特征值更多的特征向量。
6.2 实验结果与分析
第一张实验图片采用三种特征信息综合法的检索结果如图22所示。第二张实验图片采用三种特征信息综合法的检索结果如图23所示。第三张实验图片采用三种特征信息综合法的检索结果如图24所示。
图22 第一张实验图片采用三种特征信息综合法的检索结果
图23 第二张实验图片采用三种特征信息综合法的检索结果
图24 第三张实验图片采用三种特征信息综合法的检索结果
分析上述实验结果，并且将其与三种特征独立使用时的实验结果进行对比，发现采用三种特征信息综合法这种简单的优化方式就可以得到比单独使用任何一种方法单独使用时更加精确的结果。
第七章 基于主成分分析法的图像检索
7.1 主成分分析法
主成分分析方法的出发点简单来说就是把图像看做无数个连续像素点的载体。例如一个图像是一个由LL像素点组成的方形(MR 图像),那么其向量的大小是L的平方。典型的图像尺寸一般为256256,所以其向量的长度(维)为65, 536。但是在一个非常高的维度内，图像采集的方法就会改变,十万维空间中的图像进行比较的任务是艰巨的。所以说我们需要找到一个更合适的图像矢量表示，在准确表示图像本征维的同时，确保它的维度不会太高。
将图像的像素点信息看做一个有特征向量组成的特征空间。然后根据欧氏距离算法，把图像间的相似度，也近似看做这个向量间的距离。再对这些距离结果设定一些区间，按照区间的数值来给图像分类。
本文首先将图像缩放到64*64的矩阵，然后对每一维进行主成分分析得到一个主成分值，共计64个使其构成图像的特征向量。
7.2 实验结果与分析
第一张实验图片采用主成分分析法的检索结果如图25所示。第二张实验图片采用主成分分析法的检索结果如图26所示。第三张实验图片采用三主成分分析法的检索结果如图27所示。
图25 第一张实验图片采用主成分分析法的检索结果
图26 第二张实验图片采用主成分分析法的检索结果
图27 第三张实验图片采用主成分分析法的检索结果
分析上述实验结果可知，本文的主成分分析法的检索结果，虽然有一定的合理性，但是结果却差强人意。究其原因可能是因为，算法对于每张图像保留的主成分不具有很强的代表性，导致结果较差。
第八章基于迁移学习的图像检索
8.1 迁移学习
稀疏结构是非常适合神经网络的结构，尤其是对大而深的神经网络，不仅可以减轻过拟合同时也可以降低计算量。但是随着网络层次的加深，模型抽取出的特征也会更加抽象，使得模型最后忽略了数据中的细节信息。并增加计算机的运行成本，即耗时过长。因此，CVPR2017年的Best Paper中出现了DenseNet来缓解网络层数加深和变宽之后带来的一系列问题。DenseNet网络脱离了原有的加深变宽思想，从特征角度去考虑。通过特征的重复使用和旁路设置(Bypass)设置,该网络既大幅度减少了网络的参数量,又在一定程度上缓解了gradient vanishing问题的产生。结合信息流和特征复用的假设。
随着越来越多的机器学习应用场景的出现，而现有表现比较好的监督学习需要大量的标注数据，标注数据是一项枯燥无味且花费巨大的任务，所以迁移学习受到越来越多的关注。
传统机器学习(主要指监督学习)：基于同分布假设；需要大量标注数据；然而实际使用过程中不同数据集可能存在一些问题。比如，数据分布差异；标注数据过期；训练数据过期，也就是好不容易标定的数据要被丢弃，有些应用中数据是分布随着时间推移会有变化。如何充分利用之前标注好的数据（废物利用），同时又保证在新的任务上的模型精度？基于这样的问题，所以就有了对于迁移学习的研究。
迁移学习是：将某个领域或任务上学习到的知识或模式应用到不同但相关的领域或问题中。主要思想是：从相关领域中迁移标注数据或者知识结构、完成或改进目标领域或任务的学习效果[14]。
在本项目中主要是将DenseNet201的网络结构及训练参数在稍作改编的情况下，直接对数据集进行学习。
8.2 实验结果与分析
DenseNet201网络训练过程，如图28所示；最终训练网络的loss曲线与accuracy曲线，如图29所示。
图28 DenseNet201网络训练过程
图29 loss曲线与accuracy曲线
第一张实验图片采用迁移学习法的检索结果如图30所示。第二张实验图片采用迁移学习法的检索结果如图31所示。第三张实验图片采用迁移学习法的检索结果如图32所示。
图30 第一张实验图片采用主成分分析法的检索结果
图31 第二张实验图片采用迁移学习法的检索结果
图32 第三张实验图片采用迁移学习法的检索结果
根据上述实验结果分析可知，迁移学习对于基于内容的图像检索具有最好的效果。
第九章 总结与展望
9.1 总结
本次综合实训，完成了基于内容的图像检索系统，共计实现了七种基于内容的图像检索方法，其中基于深度学习的迁移学习法可以得到最好的检索效果，三种特征信息综合的方法次之。本文实现的方法分别是：基于颜色信息的图像检索，包括：HSI中心矩法和HSV中心矩法；基于纹理特征的图像检索，采用灰度共生矩阵实现；基于形状特征的图像检索，采用形状不变矩法；基于综合信息的图像检索，包括将三种特征信息综合的方法，主成分分析法，基于深度学习的迁移学习法。
根据实验结果来看，基于深度学习的迁移学习法在基于内容的图像检索方面有独特的优势，它的准确率往往优于传统方法，这是它的明显优势，但是该方法的弊端在于必须提前获取大量数据集对网络进行训练，使用较长的预处理时间，才可以得到效果较好的网络，因此它很难实现实时加载新的数据集对其进行检索。而三种特征信息综合的方法，虽然它的准确率很难与迁移学习方法比肩，但是它对于较小的数据集可以实现动态的图像数据集加载，完成检索工作。综上所述，当检索需求要求较高准确率，检索数据集较大，且无需实现动态的图像数据集加载，那么采用迁移学习的方法是比较好的选择；当检索需求要求准确率不高，检索数据集较小，但是需要实现动态的图像数据集加载，那么采用三种特征信息综合的方法是更优的选择。
9.2 创新点
本文在实现基本的颜色、纹理，形状三种特征提取的方法上，还进行了一些拓展：
(1) 三种特征信息综合。最朴素，最自然的想法是将三种特征向量按照权重相同的方式融合，得到更好的检索效果。实验结果表明，这种简单的结合便可以得到更好的效果。
(2) 基于主成分分析。图像检索中的特征提取，在更高的抽象意义来说就是在低维找到可以准确表征高维空间事物的本征维。而主成分分析法正好可以完成这个任务。因此，本文还采用了主成分分析对图像进行特征提取与检索。
(3) 基于深度学习的迁移学习法。深度学习方法对处理图像数据的抽象内容信息有着较大优势。因此，本文采用迁移学习法对图像内容进行检索。实验结果表明，迁移学习具有最好的效果。
(4) 系统设计。支持菜单按钮与树形目录选择并实时渲染目标图像；支持多达50张相似图片滚动展示；支持帮助门户网站功能，用户可以进入网站查看系统介绍，系统使用方法，下载源文件以及数据集和联系网页。
9.3 展望
本文认为主成分分析也是很有前景的方法，它将迁移学习的高准确率与三种特征信息综合的高效进行了折中，既有望实现较高的准确率，又可以实现图像数据集的动态加载
