1. 数据集介绍
本文的应用场景是对于卫星图片数据的分类，图片总共1400张，分为airplane和lake两类，也就是一个二分类的问题，所有的图片已经分别放置在2_class文件夹下的两个子文件夹中。数据集–提取码：7qb0
2. 加载图片
在该过程主要分为两个部分，第一个步骤是读取文件所在的路径，第二个步骤是使用tesorflow提供的模块对图片进行读取和封装。
本程序中我的数据集路径为/content/gdrive/My Drive/Colab Notebooks/tensorflow/DS/2_class/
2.1 导入相关包
from google.colab import drive drive.mount('/content/gdrive') import os os.chdir("/content/gdrive/My Drive/Colab Notebooks/tensorflow") import tensorflow as tf print('Tensorflow version: {}'.format(tf.__version__)) from tensorflow import keras import matplotlib.pyplot as plt %matplotlib inline import numpy as np import pathlib
Drive already mounted at /content/gdrive; to attempt to forcibly remount, call drive.mount("/content/gdrive", force_remount=True). Tensorflow version: 2.2.0-rc4
2.2 配置数据集路径
#配置数据集路径 path_root = os.path.join(os.path.realpath("."),"DS","2_class") data_dir = pathlib.Path(path_root) #目录的数量 image_count = len(list(data_dir.glob('*/*.jpg'))) #显示类别 CLASS_NAMES = np.array([item.name for item in data_dir.glob('*')]) print("数据集的数量:{}\n数据集的类别:{}".format(image_count,CLASS_NAMES)) #%% # 打印该路径下的文件 for item in data_dir.iterdir(): print(item) import random all_image_path = list(data_dir.glob("*/*")) all_image_path = [str(path) for path in all_image_path] random.shuffle(all_image_path)
数据集的数量:1400 数据集的类别:['lake' 'airplane'] /content/gdrive/My Drive/Colab Notebooks/tensorflow/DS/2_class/lake /content/gdrive/My Drive/Colab Notebooks/tensorflow/DS/2_class/airplane
2.3 读取图像
#%%确定每个图像的标签 lable_names = sorted(item.name for item in data_dir.glob("*/")) #为每个标签分配索引,构建字典 lable_to_index = dict((name,index) for index,name in enumerate(lable_names)) print(lable_to_index) #创建一个列表，包含每个文件的标签索引 all_image_label = [lable_to_index[pathlib.Path(path).parent.name] for path in all_image_path] #包装为函数，以备后用 def preprocess_image(image): image = tf.image.decode_jpeg(image, channels=3) image = tf.image.resize(image, [256, 256]) image /= 255.0 # normalize to [0,1] range return image #加载图片 def load_and_preprocess_image(path): image = tf.io.read_file(path) return preprocess_image(image)
{'airplane': 0, 'lake': 1}
下面我们举一个例子，调用方法，显示一个图片实例
image_path = all_image_path[0] label = all_image_label[0] plt.imshow(load_and_preprocess_image(image_path)) plt.grid(False) ##plt.xlabel(caption_image(image_path)) plt.title(lable_names[label].title()) plt.axis("off") print()
3. 图片预处理
在这一部分我们只要介绍采用from_tensor_slices 方法对图片数据集进行构建，这也是比较简单而且常用的方法。
3.1 构建（图片，标签）对数据集
#%%构建一个tf.data.Dataset #一个图片数据集构建 tf.data.Dataset 最简单的方法就是使用 from_tensor_slices 方法。 #将字符串数组切片，得到一个字符串数据集： path_ds = tf.data.Dataset.from_tensor_slices(all_image_path) print(path_ds) #现在创建一个新的数据集，通过在路径数据集上映射 preprocess_image 来动态加载和格式化图片。 AUTOTUNE = tf.data.experimental.AUTOTUNE image_ds = path_ds.map(load_and_preprocess_image,num_parallel_calls=AUTOTUNE) lable_ds = tf.data.Dataset.from_tensor_slices(tf.cast(all_image_label,tf.int64)) for label in lable_ds.take(5): print(lable_names[label.numpy()]) #%%构建一个（图片，标签）对数据集 #因为这些数据集顺序相同，可以将他们打包起来 image_label_ds = tf.data.Dataset.zip((image_ds,lable_ds)) print(image_label_ds) #注意：当你拥有形似 all_image_labels 和 all_image_paths 的数组，tf.data.dataset.Dataset.zip 的替代方法是将这对数组切片 # =================================im============================================ # ds = tf.data.Dataset.from_tensor_slices((all_image_path,all_image_label)) # def load_and_preprocess_from_path_label(path, label): # return load_and_preprocess_image(path),label # image_label_ds = ds.map(load_and_preprocess_from_path_label) # =============================================================================
<TensorSliceDataset shapes: (), types: tf.string> lake lake lake lake airplane <ZipDataset shapes: ((256, 256, 3), ()), types: (tf.float32, tf.int64)>
3.2 设置训练数据和测试数据
我们将数据集分为训练集和验证集，训练集占80%。
#%%设置训练数据和测试数据的大小 test_count = int(image_count*0.2) train_count = image_count - test_count print(test_count,train_count) #跳过test_count个 train_dataset = image_label_ds.skip(test_count) test_dataset = image_label_ds.take(test_count)
280 1120 • 1
4. 训练阶段
在对数据进行训练前，我们一般会对数据进行一定的处理
- 充分的打乱
- 分割称若干个batch
- 永远的重复
batch_size = 32 # 设置一个和数据集大小一致的 shuffle buffer size（随机缓冲区大小）以保证数据被充分打乱。 train_ds = train_dataset.shuffle(buffer_size=image_count).repeat().batch(batch_size) test_ds = test_dataset.batch(batch_size)
4.1 构建模型
#%%数据标准化 model = tf.keras.Sequential() #顺序模型 model.add(tf.keras.layers.Conv2D(64, (3, 3), input_shape=(256, 256, 3), activation='relu')) model.add(tf.keras.layers.Conv2D(64, (3, 3), activation='relu')) model.add(tf.keras.layers.MaxPooling2D()) model.add(tf.keras.layers.Conv2D(128, (3, 3), activation='relu')) model.add(tf.keras.layers.Conv2D(128, (3, 3), activation='relu')) model.add(tf.keras.layers.MaxPooling2D()) model.add(tf.keras.layers.Conv2D(256, (3, 3), activation='relu')) model.add(tf.keras.layers.Conv2D(256, (3, 3), activation='relu')) model.add(tf.keras.layers.MaxPooling2D()) model.add(tf.keras.layers.Conv2D(512, (3, 3), activation='relu')) model.add(tf.keras.layers.MaxPooling2D()) model.add(tf.keras.layers.Conv2D(512, (3, 3), activation='relu')) model.add(tf.keras.layers.MaxPooling2D()) model.add(tf.keras.layers.Conv2D(1024, (3, 3), activation='relu')) model.add(tf.keras.layers.GlobalAveragePooling2D()) model.add(tf.keras.layers.Dense(1024, activation='relu')) model.add(tf.keras.layers.Dense(256, activation='relu')) model.add(tf.keras.layers.Dense(1, activation='sigmoid')) #%% model.summary() model.compile(optimizer='adam', loss='binary_crossentropy', metrics=['acc'] )
