数据分析 常见技巧和经验总结

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
云数据库 RDS MySQL,高可用系列 2核4GB
简介: Pandas中有很多数据类型,其中有一种是datetime,即日期时间,如Timestamp(‘2020-09-22 20:43:00’),表示其是一个时间戳类型,很多时候需要将其转化为字符串,以便获取到其中的日期或时间,此时可以对其调用strftime()方法,如strftime('%Y-%m-%d')就可以获取到字符串2020-09-22。

1.Pandas将dateime类型格式化为字符串

Pandas中有很多数据类型,其中有一种是datetime,即日期时间,如Timestamp(‘2020-09-22 20:43:00’),表示其是一个时间戳类型,很多时候需要将其转化为字符串,以便获取到其中的日期或时间,此时可以对其调用strftime()方法,如strftime('%Y-%m-%d')就可以获取到字符串2020-09-22。

在pandas中的DataFrame中,一般是整列替换,此时需要用到lambda表达式和apply方法,如下:

order_detail['date'] = order_detail['date'].apply(lambda x:x.strftime('%Y-%m-%d'))

即可完成将datetime类型转化为指定格式的字符串。

2.Pandas读取.sql文件

pandas读取数据的方式和支持的格式有很多,包括读取数据库数据,但是一般不能直接读取.sql文件,而是一般先执行.sql文件中的SQL语句将数据导入到MySQL数据库中,再使用pandas从数据库中读取数据。

执行.sql文件中的SQL语句一般可以使用数据库可视化工具,如Navicat和SQLYog等,这里以Navicat为例导入.sql文件数据如下:

image.jpeg

然后再使用Python从数据库中读取数据,如下:

import pandas as pd
import pymysql
sql = 'select * from table_name' # 换成自己的表名
con = pymysql.connect(host='127.0.0.1', port=3306,user='root',password='root',database='python_da',charset='gbk') # 换成自己的数据库
order_detail = pd.read_sql(sql,con)

如果没有mymysql库,可以执行pip install pymysql或者conda install pymysql进行安装。

相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
4月前
|
机器学习/深度学习 数据可视化 数据挖掘
Python技术应用:数据分析与可视化的利器
【2月更文挑战第7天】在当今信息爆炸的时代,数据分析和可视化已经成为各行业的核心竞争力。Python作为一种简洁、高效的编程语言,为数据分析带来了全新的可能性。本文将介绍Python在数据分析和可视化领域的应用,探讨其在实际工作中的重要性和价值。
53 2
|
4月前
|
搜索推荐 小程序 数据挖掘
数据分析思维导图
数据分析思维导图
数据分析思维导图
|
4月前
|
机器学习/深度学习 算法 数据挖掘
数据分析入门系列教程-股票走势预测分析
数据分析入门系列教程-股票走势预测分析
数据分析入门系列教程-股票走势预测分析
|
数据挖掘
分享五个常用的数据分析方法论,让你的数据分析报告更上一层楼~
如果你在做数据分析的时候,发现自己常常不知道从哪些维度去开展分析或者分析出来的报告总感觉逻辑上不连贯,内容上不完整,那么你一定是缺乏一个合适的数据分析方法论来指导你进行数据分析。
779 0
分享五个常用的数据分析方法论,让你的数据分析报告更上一层楼~
|
SQL 数据可视化 数据挖掘
深度讲述6款 “数据分析” 工具,告诉你数据分析应该学这个!
深度讲述6款 “数据分析” 工具,告诉你数据分析应该学这个!
深度讲述6款 “数据分析” 工具,告诉你数据分析应该学这个!
|
自然语言处理 算法 数据挖掘
实战案例解读:数据分析,如何更进一步?
本文从一个具体的评价分析场景切入,按步分析,力求还原分析的每个环节。
224 0
实战案例解读:数据分析,如何更进一步?
|
SQL 机器学习/深度学习 数据可视化
一套为你【量身定制】的数据分析学习路线
博主根据自己的真实学习经历列出了一个学习计划,拟定在星球中按照以下这个计划进行一步步的分享和讲解。
一套为你【量身定制】的数据分析学习路线
|
机器学习/深度学习 SQL 人工智能
如何入门数据分析?
如何入门数据分析?
162 0
|
数据采集 数据挖掘 数据中心
如何自己找数据分析项目来做?
想要分析的时候,没有数据,就是巧妇难为无米之炊。以前想找一个数据需要费尽心思在网上去搜,最终还找不到自己想要的数据。通过编程爬虫数据,学习成本又太高,毕竟你的目标不是想要成为爬虫工程师,只是想要拿到数据来分析。那有没有傻瓜式的获取数据方法呢?
如何自己找数据分析项目来做?
|
存储 SQL 机器学习/深度学习
收藏!一文掌握数据分析知识体系
什么是数据分析?需要掌握哪些技能?如何进行数据分析?本文全面梳理了数据分析知识体系,从数据分析的定义讲起,详细介绍了分析思维模型和经典分析模型及指标体系。
2375 0
收藏!一文掌握数据分析知识体系