机器学习系列5 利用Scikit-learn构建回归模型:准备和可视化数据(保姆级教程)

简介: 在本文中,我们以美国南瓜数据为例,观察并整理了需要的数据,挑选及提取了特征变量:如月份,平均价格。并对其进行了数据可视化,我们发现,9月和10月份是南瓜的平均价格最高。

 本文所用数据免费下载:数据科学机器学习系列5利用Scikit-learn构建回归模型:准备和可视化数据.ipynb-机器学习文档类资源-CSDN文库

前文提要:在上一篇文章中我们在本地搭建了机器学习环境,本文中我将使用Scikit-learn详细实现南瓜价格的回归模型,由于篇幅较长,我将分成三篇文章详细讲述,记得在阅读的时候要保持思考。在处理数据和应用机器学习解决方案时,学习如何提出正确的问题以挖掘数据集的潜力非常重要。

图1 数据整理及可视化

image.gif编辑

在本文中,你将学习:

0 如何为模型构建准备数据

1 如何使用Matplotlib进行数据可视化

       你需要解决的问题将决定你将利用哪种类型的机器学习算法。我们得到的预测成果的质量将在很大程度上取决于数据的质量与性质。

目录

一、数据介绍

二、数据检查并整理

1.数据检查

①缺失值检查

②数据一致性检查

③无效值检查

2.数据整理

①数据过滤

②数据提取    

三、数据可视化

1.散点图

2.柱状图

四、总结


一、数据介绍

       本文提供的数据属于公共数据。这是从美国农业部分发的特种作物终端市场标准报告中提取的原始数据;它来源于美国农业部网站,可以单独下载每个城市的数据。为了方便起见,我们下载的数据已经是多个城市拼接好的数据。

       让我们使用Pythonpandas库,来分析和准备此南瓜数据。

       请点击下载本文提供的数据,它以csv格式存储。我们可以在jupyter notebook中打开 .ipynb 文件,然后使用pandas库的read_csv()函数打开此csv文件。并使用info()函数查看数据的基本组织信息。代码如下:

import pandas as pd #调用pandas库 
pumpkins = pd.read_csv('US-pumpkins.csv') #读取csv文件数据存储到pumpkins 
pumpkins.head() #查看数据的前5行,括号中参数代表查看前n行,默认为5 
pumpkins.tail() #查看数据的后5行,括号中参数代表查看后n行,默认为5

image.gif

图2 南瓜数据

image.gif编辑

pumpkins.info() #查看数据的组织结构

image.gif

图3 数据组织结构

image.gif编辑

通过观察,我们可以发现:

0 红框1是特征变量名,红框2是非空值的数量,红框3是数据类型;

1 数据共有1757行,代表1757个样本,按城市分组;

2 数据很混乱,其中大量数据有缺失值,这对数据分析没有益处;

       事实上,直接就可以拿来训练模型的数据集并不常见。大多数数据都需要我们做清洗,这也是机器学习流程中最麻烦的一个环节。

二、数据检查并整理

       查看这些数据,你注意到了什么?你或许对各种数据类型的混合感到迷茫,但是请放心,数据科学是逻辑清晰的,你需要保持冷静的状态,抓住表象本质,将繁琐的逻辑理清。我会带你慢慢解决它。

       思考机器学习的流程,第一步是什么?是提出问题,我们可以对这个数据提出什么问题呢?使用回归技术试一试,例如“预测给定月份内待售南瓜的平均价格”。再次查看数据,我们需要对原始数据pumpkins进行一些更改才能创建任务所需的数据结构。

1.数据检查

根据我们提出的问题,我们需要价格、月份数据以及南瓜称量数据;

0 平均价格数据可由'Low Price', 'High Price'两列数据计算得到

1 月份数据可从'date'列中提取得到

2 南瓜数据可以从'Packge'列中提取得到

在进行数据整理之前,我们需要对数据进行检查。

①缺失值检查

首先,我们需要检查缺失数据。输入以下代码:

pumpkins.isnull().sum() #检查每列数据中的缺失值的数量

image.gif

图4 缺失值

image.gif编辑

       根据打印出来的结果可以看出,日期'date'数据的缺失值为0,并无缺失值,同理,其余需要的数据也没有缺失值。因此,缺失值检测通过。

②数据一致性检查

       接着我们检查每列数据中的数据一致性。四列数据中,'Package'列中的数据是南瓜的称量单位,称量单位应保持一致,它决定着价格一致性。因此只对此列数据做一致性检验。输入以下代码:

pumpkins["Package"].is_unique

image.gif

       这行代码用于检验数据的值是否唯一,True代表唯一,False表示不唯一。输出结果为:

False

image.gif

       输出结果表明数据不唯一,稍后我们将对其进行处理。

③无效值检查

       本数据因为是通过官方渠道获取,方便初学者入门,因此数据已经剔除无效值,之后的文章中我会详细讲解无效值检查,感兴趣的同学可提前去学习相关知识。

2.数据整理

       现在,我们经过数据检查,整理了以下问题:

Package列数据未通过数据一致性检验

①数据过滤

       我们通过输入以下代码统计"Package"列不同数据出现的频数以选择合适的数据:

pumpkins["Package"].value_counts() #统计"Package"列不同值出现的次数

image.gif

       打印结果如下,结果似乎很混乱,统计的称量方式多种多样。

图5 Package频数统计

image.gif编辑

       经过深入研究原始数据后,我们发现,其中包含“每英寸”、“每箱”甚至“每个”的称重类型,这不是重量单位,它的价格是无意义的。南瓜似乎很难保持一致的重量,所以让我们通过只选择列中有字符串“'bushel”的南瓜来过滤它们,虽然缺失了很多数据,但它们对分析无用。

       输入以下代码用于筛选只包含字符串“bushel”的数据:

pumpkins = pumpkins[pumpkins['Package'].str.contains('bushel', case=True, regex=True)]

image.gif

②数据提取    

       经过数据过滤,现在我们的整理工作只剩下两个:

0 提取月份数据

   0.0 将日期数据转换为月份格式(这些日期数据是美国日期,因此格式为MM/DD/YYYY)

   0.1 将月份提取到新列

1 提取平均值数据

   1.0 计算平均价格并提取至新列

(1)提取月份数据与价格数据

       思考一下如何确定南瓜在给定月份的平均价格。在这里每月平均价格的计算公式为:

(Low Price+High Price)/2

price = (pumpkins['Low Price'] + pumpkins['High Price']) / 2 #price是平均价格 
month = pd.DatetimeIndex(pumpkins['Date']).month #将日期列转换为日期并提取出月份数据

image.gif

       我们需要创建一个“month”列,从“date”列中提取出月份,并赋值给“month”列。

(2)提取数据至新列

       将需要的数据提取出来放置新文件,并查看其结构。输入以下代码:

new_pumpkins=pd.DataFrame({'Month':month,'Package':pumpkins['Package'],'LowPrice':pumpkins['Low Price'],'High Price': pumpkins['High Price'], 'Price': price}) 
new_pumpkins.info()

image.gif

输出结果为:

图6 新数据

image.gif编辑

       我们可以看到,我们分析需要的数据已经基本整理完成。那你是否注意到南瓜单位的量因每行而异呢,你需要规范定价,以便显示每pushel的定价,因此请进行一些数学运算以对其进行标准化。

       在创建new_pumpkins数据之后添加以下代码:

new_pumpkins.loc[new_pumpkins['Package'].str.contains('1 1/9'), 'Price'] = price/(1 + 1/9) # loc()函数通过索引行标签索引行数据,即包含1 1/9的行,price = price/(1 + 1/9) 
new_pumpkins.loc[new_pumpkins['Package'].str.contains('1/2'), 'Price'] = price/(1/2) #同上

image.gif

       根据The Spruce Eats的说法,bushel的重量取决于农产品的类型,因为它是体积测量。“例如,1 bushel西红柿应该重达56磅......叶子和绿色蔬菜以更轻的重量占用更多的空间,所以1 bushel菠菜只有20磅。

       这一切都非常复杂!让我们不要费心进行bushel(单位)到磅的转换,而是按bushel(单位)定价。这一切都表明了解数据的性质是多么重要!

       现在,我们可以根据测量值分析每单位的定价。

Tip:你有没有注意到半bushel出售的南瓜非常昂贵?你能弄清楚为什么吗?因为小南瓜比大南瓜贵得多,可能是因为每bushel的南瓜数量更多,因为一个大空心馅饼南瓜占用了未使用的空间。

三、数据可视化

       数据科学工作者为了体现数据的质量和性质,通常会创建有趣的可视化效果,以显示数据的不同特点。通过这种方式,他们能够直观地显示难以发现的联系和误差。

       可视化还可以帮助确定最适合数据的机器学习技术。例如,散点图中的一条直线表示数据是线性回归练习的典型案例。

       在 Jupyter notebook中入门常用的数据可视化库是matplotlib,虽然有更好的可视化库,但是大多都是基于Matplotlib封装的,学好Matplotlib,走遍天下可视化😁。

       尝试创建一些基本图表来可视化刚刚构建的新数据。

1.散点图

       将平均价格与月份数据并以散点图的形式可视化

import matplotlib.pyplot as plt 
price = new_pumpkins.Price 
month = new_pumpkins.Month 
plt.scatter(price, month) 
plt.show()

image.gif

图4 散点图

image.gif编辑

2.柱状图

       要使图表显示有用的数据,通常需要以某种方式对数据进行分组。让我们尝试创建一个柱状图,其中 y 轴显示月份。这一步我们常称之为“分组聚合

分组聚合的方式创建分组直方图:

new_pumpkins.groupby(['Month'])['Price'].mean().plot(kind='bar')#按月份分组并统计出每个月的平均价格,绘制柱状图 
plt.ylabel("Pumpkin Price") #横轴为月份,纵轴为平均价格

image.gif

图5 直方图

image.gif编辑

       直方图可视化效果很直观!这似乎表明南瓜的最高价格出现在9月和10月。这符合您的期望吗?为什么呢?

   

四、总结

       在本文中,我们以美国南瓜数据为例,观察并整理了需要的数据,挑选及提取了特征变量:如月份,平均价格。并对其进行了数据可视化,我们发现,9月和10月份是南瓜的平均价格最高。下一篇文章中,我将基于本文成果数据构建线性和多项式回归模型。

      课后题:请读者探索Matplotlib绘图类型 — Matplotlib 3.5.1 文档库提供的不同类型的可视化案例。哪些适合回归?哪些又适合分类?

       学习资源

image.gif编辑


如果觉得我的文章对您有帮助,三连+关注便是对我创作的最大鼓励!

“本站所有文章均为原创,欢迎转载,请注明文章出处:https://blog.csdn.net/qq_45590504/category_11752103.html?spm=1001.2014.3001.5482百度和各类采集站皆不可信,搜索请谨慎鉴别。技术类文章一般都有时效性,本人习惯不定期对自己的博文进行修正和更新,因此请访问出处以查看本文的最新版本。”

目录
相关文章
|
25天前
|
机器学习/深度学习 人工智能 自然语言处理
PAI Model Gallery 支持云上一键部署 DeepSeek-V3、DeepSeek-R1 系列模型
DeepSeek 系列模型以其卓越性能在全球范围内备受瞩目,多次评测中表现优异,性能接近甚至超越国际顶尖闭源模型(如OpenAI的GPT-4、Claude-3.5-Sonnet等)。企业用户和开发者可使用 PAI 平台一键部署 DeepSeek 系列模型,实现 DeepSeek 系列模型与现有业务的高效融合。
|
4天前
|
人工智能 自然语言处理 物联网
阿里万相重磅开源,人工智能平台PAI一键部署教程来啦
阿里云视频生成大模型万相2.1(Wan)重磅开源!Wan2.1 在处理复杂运动、还原真实物理规律、提升影视质感以及优化指令遵循方面具有显著的优势,轻松实现高质量的视频生成。同时,万相还支持业内领先的中英文文字特效生成,满足广告、短视频等领域的创意需求。阿里云人工智能平台 PAI-Model Gallery 现已经支持一键部署阿里万相重磅开源的4个模型,可获得您的专属阿里万相服务。
|
2月前
|
机器学习/深度学习 安全 PyTorch
FastAPI + ONNX 部署机器学习模型最佳实践
本文介绍了如何结合FastAPI和ONNX实现机器学习模型的高效部署。面对模型兼容性、性能瓶颈、服务稳定性和安全性等挑战,FastAPI与ONNX提供了高性能、易于开发维护、跨框架支持和活跃社区的优势。通过将模型转换为ONNX格式、构建FastAPI应用、进行性能优化及考虑安全性,可以简化部署流程,提升推理性能,确保服务的可靠性与安全性。最后,以手写数字识别模型为例,展示了完整的部署过程,帮助读者更好地理解和应用这些技术。
114 20
|
12天前
|
人工智能 自然语言处理 搜索推荐
全网首发 | PAI Model Gallery一键部署阶跃星辰Step-Video-T2V、Step-Audio-Chat模型
Step-Video-T2V 是一个最先进的 (SoTA) 文本转视频预训练模型,具有 300 亿个参数,能够生成高达 204 帧的视频;Step-Audio 则是行业内首个产品级的开源语音交互模型,通过结合 130B 参数的大语言模型,语音识别模型与语音合成模型,实现了端到端的文本、语音对话生成,能和用户自然地进行高质量对话。PAI Model Gallery 已支持阶跃星辰最新发布的 Step-Video-T2V 文生视频模型与 Step-Audio-Chat 大语言模型的一键部署,本文将详细介绍具体操作步骤。
|
13天前
|
机器学习/深度学习 数据挖掘 定位技术
多元线性回归:机器学习中的经典模型探讨
多元线性回归是统计学和机器学习中广泛应用的回归分析方法,通过分析多个自变量与因变量之间的关系,帮助理解和预测数据行为。本文深入探讨其理论背景、数学原理、模型构建及实际应用,涵盖房价预测、销售预测和医疗研究等领域。文章还讨论了多重共线性、过拟合等挑战,并展望了未来发展方向,如模型压缩与高效推理、跨模态学习和自监督学习。通过理解这些内容,读者可以更好地运用多元线性回归解决实际问题。
|
2月前
如何看PAI产品下训练(train)模型任务的费用细节
PAI产品下训练(train)模型任务的费用细节
96 6
|
4月前
|
机器学习/深度学习 算法 数据挖掘
K-means聚类算法是机器学习中常用的一种聚类方法,通过将数据集划分为K个簇来简化数据结构
K-means聚类算法是机器学习中常用的一种聚类方法,通过将数据集划分为K个簇来简化数据结构。本文介绍了K-means算法的基本原理,包括初始化、数据点分配与簇中心更新等步骤,以及如何在Python中实现该算法,最后讨论了其优缺点及应用场景。
212 6
|
6天前
|
机器学习/深度学习 算法 数据安全/隐私保护
基于机器学习的人脸识别算法matlab仿真,对比GRNN,PNN,DNN以及BP四种网络
本项目展示了人脸识别算法的运行效果(无水印),基于MATLAB2022A开发。核心程序包含详细中文注释及操作视频。理论部分介绍了广义回归神经网络(GRNN)、概率神经网络(PNN)、深度神经网络(DNN)和反向传播(BP)神经网络在人脸识别中的应用,涵盖各算法的结构特点与性能比较。
|
2天前
|
人工智能 编解码 算法
使用 PAI-DSW x Free Prompt Editing图像编辑算法,开发个人AIGC绘图小助理
使用 PAI-DSW x Free Prompt Editing图像编辑算法,开发个人AIGC绘图小助理
|
2月前
|
机器学习/深度学习 人工智能 算法
机器学习算法的优化与改进:提升模型性能的策略与方法
机器学习算法的优化与改进:提升模型性能的策略与方法
363 13
机器学习算法的优化与改进:提升模型性能的策略与方法

热门文章

最新文章