在数据科学和数据分析领域，Python的Pandas库因其强大的数据处理能力而广受欢迎。然而，随着数据集的规模日益增大，Pandas在处理大型数据集时的性能瓶颈逐渐显现。为了解决这一问题，Polars应运而生，它是一个旨在提供更快数据处理速度的库，特别适合处理大型数据集。Polars提供了两种不同的API：急性API（Eager API）和惰性API（Lazy API），它们在执行方式和性能上各有特点。
一、急性API（Eager API）
急性API类似于Pandas的执行方式，它在代码执行时立即运行并返回结果。这意味着每当你调用一个函数或方法时，Polars都会立即执行相应的操作并返回结果。急性API的执行是即时的，因此，它适合于需要快速查看结果的场景，例如：数据探索和交互式分析。
急性API的特点：
- 即时执行：代码执行后立即返回结果。
- 易于理解：与Pandas的执行方式相似，易于上手。
- 交互式分析：适合于需要快速反馈的场景。
急性API的使用示例：
import polars as pl # 读取数据 df = pl.read_csv('example.csv') df
我们首先读入一个csv文件，包含'col1'、'col2'、'col3'、'group'四列，如下图：
我们用急性API来处理一下这个csv文件，
# 选择和过滤数据 df_filtered = df.filter(pl.col('col1') > 5)# 创建新列 df_with_new_column = df_filtered.with_columns([(pl.col('col1') * 10).alias('new_col') ]) # 分组和聚合 df_aggregated = df_with_new_column.groupby('group').agg([ pl.col('new_col').mean() ]) # 显示结果 df_aggregated
创建一个新列'new_col'并对新列进行平均。
二、惰性API（Lazy API）
惰性API是Polars中一个更为高效的选择，它允许用户构建一个查询计划而不立即执行。只有当用户调用.collect()方法时，Polars才会执行整个查询计划。这种延迟执行的方式可以显著提高性能，因为它允许Polars在执行前进行优化，例如：通过谓词下推（Predicate Pushdown）和投影下推（Projection Pushdown）等技术来减少数据的加载和处理量。
惰性API的特点：
- 延迟执行：构建查询计划后，只有在调用.collect()时才执行。
- 性能优化：执行前进行优化，减少不必要的数据处理。
- 内存和CPU效率：由于延迟执行，可以处理更大的数据集。
惰性API的使用示例：
import polars as pl # 使用惰性API构建查询计划 q = ( pl.scan_csv('example.csv') .filter(pl.col('col1')> 5).with_columns([(pl.col('col1') * 10).alias('new_col')]) .group_by('group').agg(pl.col('new_col').mean())) # 执行查询计划并显示结果 df1=q.collect() df1
三、性能对比
在性能方面，惰性API通常优于急性API。由于惰性API在执行前进行了优化，它可以减少不必要的数据加载和处理，从而在处理大型数据集时提供更快的速度。此外，惰性API还可以更好地利用多核处理器，因为它可以并行执行多个操作。
四、结论
Polars的急性API和惰性API各有其适用场景。急性API适合于需要快速查看结果的场景，而惰性API则在处理大型数据集时提供了更高的性能和效率。在实际应用中，开发者可以根据具体需求选择合适的API。对于那些需要处理大量数据并追求性能优化的项目，惰性API无疑是一个更好的选择。
