Pandas之五数据操作

简介: pandas进行数据分析的常用功能:系统函数统计、自定义函数统计、数值计数、字符串函数。

Pandas之五数据操作

前面我们聊过了对象创建、数据查看、数据选择的相关操作,现在就要进入到数据分析阶段了。使用pandas主要原因就是其提供的数据分析功能,能实现大部分的数据统计分析工作。对数据进行操作主要有四种类型:

  1. 数据统计:常用的就是计数、平均值、最大值、最小值、标准差、分位数等等
  2. 函数应用:依次对dataframe每行执行某个函数
  3. 数值计数:统计每个值出现的次数,在制作直方图时可能会用到
  4. 字符串函数:pandas支持字符串,自然地支持对字符串进行各种操作

下面我们以图中的数据来演示上述各项功能。

1. 数据统计

使用pandas经常会要用到数据统计功能,常用的有计数count、平均值mean、最大值max、最小值min、标准差std、分位数quantile等,其使用方法基本一致,此处以均值和标准差为例进行演示。

注:默认情况在统计时会忽略缺失值np.nan

1.1 平均值(mean)

计算平均值时可以按行计算或者按列计算,通过设置方法参数axis控制。

  1. 按列计算(默认情况下就是按列计算)

  1. 按行计算

1.2 标准差(std)

和计算平均值时一样,可以按行计算或者按列计算,通过设置方法参数axis控制。

  1. 按列计算(默认情况下按列计算)

  1. 按行计算

2. 函数应用

可以对dataframe应用某个函数,也可以对指定的行或列应用,以累计和函数np.cumsum为例。

2.1 全局应用

对整个df按列逐行计算累加和值,axis默认为0

在这里插入图片描述

2.2 对某行应用

从df中截取某行,设置axis=1计算各列的累加和值,

2.3 对某列应用

从df中截取某列,计算各行的累加和值

3. 数值计数

有时需要统计某些值出现的次数来绘制直方图,可以使用value_count实现。value_counts有点类似于sql中的group by ... count。默认情况下做统计会忽略np.nan值,可以使用dropna=False统计np.nan值。

3.1 对所有列统计

下图表示每行数据都不相同,只出现1次。

3.2 对某列做统计

同时统计E列中的数字和缺失值。

4. 字符串函数

pandas为series提供了针对字符串的操作方法.str,其包括诸如大小写转换lower,upper、字符串替换replace等各种常用的字符串操作函数。以replace为例:

目录
相关文章
|
2月前
|
Serverless 数据处理 索引
Pandas中的shift函数:轻松实现数据的前后移动
Pandas中的shift函数:轻松实现数据的前后移动
164 0
|
4天前
|
Python
|
4天前
|
Python
|
3天前
|
Python
Pandas 常用函数-数据合并
Pandas 常用函数-数据合并
11 1
|
4天前
|
索引 Python
Pandas 常用函数-数据排序
10月更文挑战第28天
6 1
|
4天前
|
Python
Pandas 常用函数-查看数据
Pandas 常用函数-查看数据
8 2
|
4天前
|
SQL JSON 数据库
Pandas 常用函数-读取数据
Pandas 常用函数-读取数据
10 2
|
8天前
|
Python
通过Pandas库处理股票收盘价数据,识别最近一次死叉后未出现金叉的具体位置的方法
在金融分析领域,"死叉"指的是短期移动平均线(如MA5)下穿长期移动平均线(如MA10),而"金叉"则相反。本文介绍了一种利用Python编程语言,通过Pandas库处理股票收盘价数据,识别最近一次死叉后未出现金叉的具体位置的方法。该方法首先计算两种移动平均线,接着确定它们的交叉点,最后检查并输出最近一次死叉及其后是否形成了金叉。此技术广泛应用于股市趋势分析。
22 2
|
3天前
|
Python
Pandas 常用函数-数据选择和过滤
Pandas 常用函数-数据选择和过滤
5 0
|
27天前
|
数据可视化 数据挖掘 数据处理
模型预测笔记(四):pandas_profiling生成数据报告
本文介绍了pandas_profiling库,它是一个Python工具,用于自动生成包含多种统计指标和可视化的详细HTML数据报告,支持大型数据集并允许自定义配置。安装命令为`pip install pandas_profiling`,使用示例代码`pfr = pandas_profiling.ProfileReport(data_train); pfr.to_file("./example.html")`。
38 1
下一篇
无影云桌面