深度学习项目实战——“年龄预测”

本文涉及的产品
传统型负载均衡 CLB,每月750个小时 15LCU
EMR Serverless StarRocks,5000CU*H 48000GB*H
应用型负载均衡 ALB,每月750个小时 15LCU
简介: 学了那么多深度学习的基本知识,还在发愁没有地方展示自己学过的知识?来试试这个简单的实际问题吧!

更多深度文章,请关注:https://yq.aliyun.com/cloud


介绍:

你可以通过阅读或者观看视频/MOOC来学习数据科学,接着你就必须将学到的知识应用到解决问题当中来。你需要完成这两件事才能有效地完成你的学习计划。接下来这篇文章旨在向你介绍深度学习如何应用到一个有趣的问题。

今天我们将用深度学习来解决年龄检测问题

如果你是刚刚想要进入深度学习领域的new boy。请先阅读下面的文章,它们能帮你了解并且快速进入深度学习领域:

如果你已经花了几天或者几个月的时间来学习深度学习,并且正在寻找新的方式来提高你的深度学习技能,练习解决实际问题的例子无疑是最佳选择。我这样说是因为他们为你提供从头开始解决问题的经验,而且他们也不是很难。

以下是你应该选择几个实践问题练习的原因:

  • 花时间建立基础:我一直建议,我们应该始终建立一个正确的基础(思考问题陈述和探索数据集),并练习很多。但我仍然看到人们一开始就编码,而不考虑问题和理解数据。在这种方法中,你实际上不是在探索问题和数据,因为你正在专注于算法。
  • 同行学习(论坛/博客):在实践中,参与者在论坛或博客上分享他们的方法,并随时准备讨论新的方法。这实际上就是一种开源的学习方式。
  • 练习:这些实践问题就像你的练习课,在出山和解决现实生活中的问题之前。你应该首先多多练习,然后评估你的表现。相信熟能生巧,这句话。
  • 测试你的知识:这是一个伟大的方式,尝试练习你学到的东西,这将是非常有益。结果并不重要,因为这是一个练习问题。

让我们进入正题:如何用深度学习来预测年龄:

我假设你已经安装了numpyscipypandasscikit-learnkeras 。如果没有,请安装它们。以上文章可以帮助你。

第一件事 让我们下载数据并将其加载到我们的jupyter笔记本中!这里是实践问题的链接https://datahack.analyticsvidhya.com/contest/practice-problem-age-detection/

在建立模型之前,我希望你解决这个简单的练习:

你可以写一个脚本,随机地将图像加载到jupyter笔记本中并打印出来吗?(PS:不要看下面的答案!)。在这个讨论主题中发布你的代码。这是我实践的方法和往常一样,我先导入所有必要的模块,

% pylab inline
import os
import random
import pandas as pd
from scipy.misc import imread

然后我加载了csv文件,这样可以更容易找到文件

root_dir = os.path.abspath('.')
data_dir = '/mnt/hdd/datasets/misc'
train = pd.read_csv(os.path.join(data_dir, 'train.csv'))
test = pd.read_csv(os.path.join(data_dir, 'test.csv'))

然后我写了一个脚本来随机选择一个图像并打印出来

i = random.choice(train.index)
img_name = train.ID[i]
img = imread(os.path.join(data_dir, 'Train', img_name))
imshow(img)
print(‘Age: ‘, train.Class[i])

这是我得到的:AgeYOUNG

2ef03ad77e4f2d7b7c3d87c270bbbe0c5c7debde

上述实践的练习的动机是让你能随机的访问到数据集,并且帮助发现你在建立模型时可能遇到的问题。

这里有几个我从上述实践中分析到的可能在建立模型时要面对的问题的假设。

1.形状变化:一个图像是(66,46),而另一个图像是(102,87)。

2.多个方向:我们的图像可能是多个方向的,这里有些例子:

侧面图

a8b69c11918293e077edf41bb5a04a1f4fc85b4a

正视图

2ef03ad77e4f2d7b7c3d87c270bbbe0c5c7debde

3.图像质量:一些图像的质量可以太差了点,例如下面这张:

fdf3e9ea7e5a48eb5075d5f7ba84f854aff433f7

4.亮度和对比度差异:检查下面的图像, 他们似乎是故意来捣乱的,但是,这种现象在实际生活中确实存在。

现在,让我们先关注一个问题,即如何处理形状的变化?

d466f37d35f7cc2266b0f978f9eda54868531ae2

我们可以通过简单地调整图像大小来做到这一点。让我们加载所有的图像,并将它们调整为单个numpy数组

from scipy.misc import imresize
temp = []
for img_name in train.ID:
    img_path = os.path.join(data_dir, 'Train', img_name)
    img = imread(img_path)
    img = imresize(img, (32, 32))
    img = img.astype('float32') # this will help us in later stage
    temp.append(img)
train_x = np.stack(temp)

对于测试图像也是如此

temp = []
for img_name in test.ID:
    img_path = os.path.join(data_dir,'Test',img_name)
    img = imread(img_path)
    img = imresize(img,(32,32))
    temp.append(img.astype( 'FLOAT32'))
test_x = np.stack(temp)

我们可以做另外一件事情,帮助我们建立一个更好的模型:即我们可以标准化我们的图像,标准化图像将使我们的训练更快。

train_x = train_x / 255.
test_x = test_x / 255.

现在我们来看看我们的目标变量。我有一个问题:我们数据中类的分布是什么?你能说这是一个非常不平衡的问题吗?

这是我的尝试:

train.Class.value_counts(normalize=True)
 MIDDLE    0.542751
 YOUNG     0.336883
 OLD       0.120366
 Name: Class, dtype: float64

在分拣数据的基础上,我们可以创建一个简单的提交。我们看到大多数演员都是中年人。所以我们可以说我们测试数据集中的所有演员都是中年了!

在提交页面上上传这个文件,看看结果!

test['Class'] = 'MIDDLE'
test.to_csv(‘sub01.csv’, index=False)

让我们解决问题!第2部分:建立更好的模型

在建立模型之前,让我们为目标变量引进形状。我们将目标转换为虚拟列,以便我们的模型更容易吸收。

import keras
from sklearn.preprocessing import LabelEncoder
lb = LabelEncoder()
train_y = lb.fit_transform(train.Class)
train_y = keras.utils.np_utils.to_categorical(train_y)

现在是开始建立模型!由于问题与图像处理相关,使用神经网络来解决问题更为明智。我们也将为这个问题建立一个简单的前馈神经网络。

首先我们应该指定我们将在神经网络中使用的所有参数:

input_num_units = (32,32,3)
hidden_num_units = 500
output_num_units = 3
epochs = 5
batch_size = 128

然后我们将导入必要的keras模块

from keras.models import Sequential
from keras.layers import Dense, Flatten, InputLayer

之后,我们将定义我们的网络

model = Sequential([
  InputLayer(input_shape=input_num_units),
  Flatten(),
  Dense(units=hidden_num_units, activation='relu'),
  Dense(units=output_num_units, activation='softmax'),
])

看看我们的模型的效果如何:让它打印

model.summary()

60d42cc6cbd7910ea80b16eefc1801674a70eca7

现在让我们编译我们的网络并且让它训练一段时间

model.compile(optimizer='sgd', loss='categorical_crossentropy', metrics=['accuracy'])
model.fit(train_x, train_y, batch_size=batch_size,epochs=epochs,verbose=1)

2ae598481ffb349398257f630916e5f547ff37aa

好像已经训练好了!但是我们还没有验证它。如果我们想要确保我们的模型在对其进行培训的数据和新的测试数据上都能表现良好,验证是非常必要的。

让我们调整一下代码来验证它。

model.fit(train_x,train_y,batch_size = batch_size,epochs = epochs,verbose = 1,validation_split = 0.2)

f26e5ee842f26b05142f6d658d6dda69ab76fffc

该模型看起来比第一个模型表现要好。让我们提交结果。

pred = model.predict_classes(test_x)
pred = lb.inverse_transform(pred)
test ['Class'] = pred
test.to_csv('sub02.csv',index = False)

实际检查我们的预测(实际检验)

这是另一个简单的练习,打印你在模型中训练的图像。最好在你的训练数据集上进行此操作,以便你可以与真实的图像进行对比

i = random.choice(train.index)
img_name = train.ID[i]
img = imread(os.path.join(data_dir, 'Train', img_name)).astype('float32')
imshow(imresize(img, (128, 128)))
pred = model.predict_classes(train_x)
print('Original:', train.Class[i], 'Predicted:', lb.inverse_transform(pred[i]))
Original: MIDDLE Predicted: MIDDLE

f6937bf4541f94e5dd00b3b7cea18dd15f2734d5

下一步是什么?

我们已经建立了一个具有简单模型的基准解决方案。我们还能做些什么?

这里是我的一些建议:

  • 一个好的神经网络模型可以帮你取得更大的进步。你可以尝试使用更适合图像相关问题的卷积神经网络。这是一个简单的CNN供你参考
6945335e226494408bb02066318439bb3d972974

希望这个简单的年龄检测实践问题能够帮助到你!

本文由北邮@爱可可-爱生活老师推荐,阿里云云栖社区组织翻译。

文章原标题《Hands on with Deep Learning -Solution for Age Detection Practice Problem》,

作者:Faizan Shaikh,数据科学爱好者,深度学习的新秀 译者:袁虎 审阅:

文章为简译,更为详细的内容,请查看原文

项目地址

相关实践学习
SLB负载均衡实践
本场景通过使用阿里云负载均衡 SLB 以及对负载均衡 SLB 后端服务器 ECS 的权重进行修改,快速解决服务器响应速度慢的问题
负载均衡入门与产品使用指南
负载均衡(Server Load Balancer)是对多台云服务器进行流量分发的负载均衡服务,可以通过流量分发扩展应用系统对外的服务能力,通过消除单点故障提升应用系统的可用性。 本课程主要介绍负载均衡的相关技术以及阿里云负载均衡产品的使用方法。
相关文章
|
6月前
|
机器学习/深度学习 存储 Serverless
【动手学深度学习】深入浅出深度学习之利用神经网络识别螺旋状数据集
【动手学深度学习】深入浅出深度学习之利用神经网络识别螺旋状数据集
102 27
|
1月前
|
机器学习/深度学习 PyTorch 算法框架/工具
深度学习入门案例:运用神经网络实现价格分类
深度学习入门案例:运用神经网络实现价格分类
|
2月前
|
人工智能 数据处理 计算机视觉
AI计算机视觉笔记十六:yolov5训练自己的数据集
本文介绍了一种利用云服务器AutoDL训练疲劳驾驶行为检测模型的方法。由于使用本地CPU训练效率低下,作者选择了性价比高的AutoDL云服务器。首先,从网络获取了2000多张疲劳驾驶行为图片并使用labelimg软件进行标注。接着,详细介绍了在云服务器上创建实例、上传数据集和YOLOv5模型、修改配置文件以及开始训练的具体步骤。整个训练过程耗时约3小时,最终生成了可用于检测的模型文件。
|
5月前
|
机器学习/深度学习 人工智能 TensorFlow
机器学习项目实战:使用Python实现图像识别
在AI时代,Python借助TensorFlow和Keras实现图像识别,尤其在监控、驾驶、医疗等领域有广泛应用。本文通过构建CNN模型识别MNIST手写数字,展示图像识别流程:安装库→加载预处理数据→构建模型→训练→评估。简单项目为深度学习入门提供基础,为进一步探索复杂场景打下基础。
476 5
|
机器学习/深度学习 决策智能 计算机视觉
计算机视觉实战(五)图像梯度计算
计算机视觉实战(五)图像梯度计算
116 0
|
机器学习/深度学习 数据挖掘 PyTorch
PyTorch深度学习实战 | 预测工资——线性回归
通过员工工作年限与工资的对应关系表,找出二者之间的关系,并预测在指定的年限时,工资会有多少。
956 0
PyTorch深度学习实战 | 预测工资——线性回归
|
机器学习/深度学习 算法 计算机视觉
机器学习深度学习面试题(指标类)
机器学习深度学习面试题(指标类)
142 0
|
机器学习/深度学习 监控 算法
【机器学习算法】11、高斯混合模型算法+语音识别项目实战(一)
【机器学习算法】11、高斯混合模型算法+语音识别项目实战(一)
348 0
|
机器学习/深度学习 算法 语音技术
【机器学习算法】11、高斯混合模型算法+语音识别项目实战(二)
【机器学习算法】11、高斯混合模型算法+语音识别项目实战(二)
98 0
|
机器学习/深度学习
【阿旭机器学习实战】【26】逻辑斯蒂回归----糖尿病预测实战
【阿旭机器学习实战】【26】逻辑斯蒂回归----糖尿病预测实战
【阿旭机器学习实战】【26】逻辑斯蒂回归----糖尿病预测实战
下一篇
无影云桌面