关于数据分析之滚动窗口pandas.DataFrame.rolling方法
作者:Efred.D
Pandas库中的rolling方法是数据处理中常用的功能,它允许用户对数据进行滚动窗口(滑动窗口)操作,通过指定窗口大小,可以使用不同的聚合函数对窗口内的数据进行计算,例如最大值、最小值、平均值、中位数等,此外,rolling方法还可以计算方差、标准差、偏度、峰度
本文使用pandas 1.3.5 , python 3, numpy 1.22.0库
前言
pandas.DataFrame.rolling方法就是SQL中的 group by方法
唯一一点区别就是rolling方法的分组不是一成不变的
而是随着窗口的移动而不停更新新的分组
rolling使用公式
pandas.DataFrame.rolling(window = ).聚合函数
【注:rolling方法是向前取数据!!!】
聚合函数总结如下:
max
最大值min
最小值mean
平均值median
中位数sum
求和var
方差std
标准差skew
三阶矩(又叫偏度,用于描述一组数据分布的对称性)kurt
四截距 (又叫峰度, 用于描述一组数据在均值附近分布的集中度)cov
协方差corr
相关系数(对不同单位敏感性强;通常使用pearson相关系数,该系数对不同单位脱敏)quantile
百分数
【注:scipy.stats的skew和kurtosis方法和 pandas中的skew和kurt方法计算算法不同】
python实现
比如,我想分别以2和4为滑动窗口,计算dataFrame格式数据“C”列的和,并分别以“D”和 “E”命名
代码如下,
import pandas as pd import numpy as np np.random.seed(0) date_DataFrame1 = pd.DataFrame(np.random.randn(10,3), index = pd.date_range("2020-05-01", periods = 10), columns = ["A","B","C"]) date_DataFrame1["D"] = date_DataFrame1["C"].rolling(window = 2).sum() date_DataFrame1["E"] = date_DataFrame1["C"].rolling(window = 4).sum()
结果如下,
总结
以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。