pandas教程：Date Ranges, Frequencies, and Shifting 日期范围，频度，和位移
文章目录
- 11.3 Date Ranges, Frequencies, and Shifting（日期范围，频度，和位移）
- 1 Generating Date Ranges（生成日期范围）
- 2 Frequencies and Date Offsets（频度和日期偏移）
- Week of month dates（月中的第几周日期）
- 3 Shifting (Leading and Lagging) Data （偏移（提前与推后）数据）
- Shifting dates with offsets（用偏移量来移动日期）
11.3 Date Ranges, Frequencies, and Shifting（日期范围，频度，和位移）
普通的时间序列通常是不规律的，但我们希望能有一个固定的频度，比如每天，每月，或没15分钟，即使有一些缺失值也没关系。幸运的是，pandas中有一套方法和工具来进行重采样，推断频度，并生成固定频度的日期范围。例如，我们可以把样本时间序列变为固定按日的频度，需要调用resample：
import pandas as pd
import numpy as np
from datetime import datetimedates = [datetime(2011, 1, 2), datetime(2011, 1, 5),datetime(2011, 1, 7), datetime(2011, 1, 8), datetime(2011, 1, 10), datetime(2011, 1, 12)]ts = pd.Series(np.random.randn(6), index=dates)
ts
2011-01-02 2.005739
2011-01-05 -0.265967
2011-01-07 -0.353966
2011-01-08 -0.646626
2011-01-10 1.599440
2011-01-12 -0.407854
dtype: float64
resampler = ts.resample('D')
这里的’D’表示按日的频度（daily frequency）。
关于频度（frequency）和重采样（resampling）的转换，会在11.6进行具体介绍，这里我们展示一些基本的用法。
1 Generating Date Ranges（生成日期范围）
之前虽然用过，但没有做解释，其实pandas.date_range是用来生成DatetimeIndex的，使用时要根据频度来指明长度：
index = pd.date_range('2012-04-01', '2012-06-01')
index
DatetimeIndex(['2012-04-01', '2012-04-02', '2012-04-03', '2012-04-04','2012-04-05', '2012-04-06', '2012-04-07', '2012-04-08','2012-04-09', '2012-04-10', '2012-04-11', '2012-04-12','2012-04-13', '2012-04-14', '2012-04-15', '2012-04-16','2012-04-17', '2012-04-18', '2012-04-19', '2012-04-20','2012-04-21', '2012-04-22', '2012-04-23', '2012-04-24','2012-04-25', '2012-04-26', '2012-04-27', '2012-04-28','2012-04-29', '2012-04-30', '2012-05-01', '2012-05-02','2012-05-03', '2012-05-04', '2012-05-05', '2012-05-06','2012-05-07', '2012-05-08', '2012-05-09', '2012-05-10','2012-05-11', '2012-05-12', '2012-05-13', '2012-05-14','2012-05-15', '2012-05-16', '2012-05-17', '2012-05-18','2012-05-19', '2012-05-20', '2012-05-21', '2012-05-22','2012-05-23', '2012-05-24', '2012-05-25', '2012-05-26','2012-05-27', '2012-05-28', '2012-05-29', '2012-05-30','2012-05-31', '2012-06-01'],dtype='datetime64[ns]', freq='D')
默认，date_range会生成按日频度的时间戳。如果我们只传入一个开始或一个结束时间，还必须传入一个数字来表示时期：
pd.date_range(start='2012-04-01', periods=20)
DatetimeIndex(['2012-04-01', '2012-04-02', '2012-04-03', '2012-04-04','2012-04-05', '2012-04-06', '2012-04-07', '2012-04-08','2012-04-09', '2012-04-10', '2012-04-11', '2012-04-12','2012-04-13', '2012-04-14', '2012-04-15', '2012-04-16','2012-04-17', '2012-04-18', '2012-04-19', '2012-04-20'],dtype='datetime64[ns]', freq='D')
pd.date_range(end='2012-06-01', periods=20)
DatetimeIndex(['2012-05-13', '2012-05-14', '2012-05-15', '2012-05-16','2012-05-17', '2012-05-18', '2012-05-19', '2012-05-20','2012-05-21', '2012-05-22', '2012-05-23', '2012-05-24','2012-05-25', '2012-05-26', '2012-05-27', '2012-05-28','2012-05-29', '2012-05-30', '2012-05-31', '2012-06-01'],dtype='datetime64[ns]', freq='D')
开始和结束的日期，严格指定了用于生成日期索引（date index）的边界。例如，如果我们希望日期索引包含每个月的最后一个工作日，我们要设定频度为’BM’(business end of month，每个月的最后一个工作日，更多频度可以看下面的表格)，而且只有在这个日期范围内的日期会被包含进去：
pd.date_range('2000-01-01', '2000-12-01', freq='BM')
DatetimeIndex(['2000-01-31', '2000-02-29', '2000-03-31', '2000-04-28','2000-05-31', '2000-06-30', '2000-07-31', '2000-08-31','2000-09-29', '2000-10-31', '2000-11-30'],dtype='datetime64[ns]', freq='BM')
date_range会默认保留开始或结束的时间戳：
pd.date_range('2012-05-02 12:56:31', periods=5)
DatetimeIndex(['2012-05-02 12:56:31', '2012-05-03 12:56:31','2012-05-04 12:56:31', '2012-05-05 12:56:31','2012-05-06 12:56:31'],dtype='datetime64[ns]', freq='D')
有些时候我们的时间序列数据带有小时，分，秒这样的信息，但我们想要让这些时间戳全部归一化到午夜（normalized to midnight, 即晚上0点），这个时候要用到normalize选项：
nor_date = pd.date_range('2012-05-02 12:56:31', periods=5, normalize=True)
nor_date
DatetimeIndex(['2012-05-02', '2012-05-03', '2012-05-04', '2012-05-05','2012-05-06'],dtype='datetime64[ns]', freq='D')
nor_date[0]
Timestamp('2012-05-02 00:00:00', offset='D')
可以看到小时，分，秒全部变为0
2 Frequencies and Date Offsets（频度和日期偏移）
pandas中的频度由一个基本频度（base frequency）和一个乘法器（multiplier）组成。基本频度通常用一个字符串别名（string alias）来代表，比如’M’表示月，'H’表示小时。对每一个基本频度，还有一个被称之为日期偏移（date offset）的对象。例如，小时频度能用Hour类来表示：
from pandas.tseries.offsets import Hour, Minute
hour = Hour()
hour
<Hour>
通过传入一个整数，我们可以定义一个乘以偏移的乘法（a multiple of an offset）：
four_hours = Hour(4)
four_hours
<4 * Hours>
在很多情况下，我们不需要创建这些对象，而是使用字符串别名，比如’H’或’4H’。在频度前加一个整数，就能作为一个乘法器：
pd.date_range('2000-01-01', '2000-01-03 23:59', freq='4H')
DatetimeIndex(['2000-01-01 00:00:00', '2000-01-01 04:00:00','2000-01-01 08:00:00', '2000-01-01 12:00:00','2000-01-01 16:00:00', '2000-01-01 20:00:00','2000-01-02 00:00:00', '2000-01-02 04:00:00','2000-01-02 08:00:00', '2000-01-02 12:00:00','2000-01-02 16:00:00', '2000-01-02 20:00:00','2000-01-03 00:00:00', '2000-01-03 04:00:00','2000-01-03 08:00:00', '2000-01-03 12:00:00','2000-01-03 16:00:00', '2000-01-03 20:00:00'],dtype='datetime64[ns]', freq='4H')
很多偏移(offset)还能和加法结合：
Hour(2) + Minute(30)
<150 * Minutes>
同样的，我们可以传入频度字符串，比如’1h30min’，这种表达也能被解析：
pd.date_range('2000-01-01', periods=10, freq='1h30min')
DatetimeIndex(['2000-01-01 00:00:00', '2000-01-01 01:30:00','2000-01-01 03:00:00', '2000-01-01 04:30:00','2000-01-01 06:00:00', '2000-01-01 07:30:00','2000-01-01 09:00:00', '2000-01-01 10:30:00','2000-01-01 12:00:00', '2000-01-01 13:30:00'],dtype='datetime64[ns]', freq='90T')
Week of month dates（月中的第几周日期）
一个有用的类（class）是月中的第几周（Week of month），用WOM表示。丽日我们想得到每个月的第三个星期五：
rng = pd.date_range('2012-01-01', '2012-09-01', freq='WOM-3FRI')
rng
DatetimeIndex(['2012-01-20', '2012-02-17', '2012-03-16', '2012-04-20','2012-05-18', '2012-06-15', '2012-07-20', '2012-08-17'],dtype='datetime64[ns]', freq='WOM-3FRI')
list(rng)
[Timestamp('2012-01-20 00:00:00', offset='WOM-3FRI'),Timestamp('2012-02-17 00:00:00', offset='WOM-3FRI'),Timestamp('2012-03-16 00:00:00', offset='WOM-3FRI'),Timestamp('2012-04-20 00:00:00', offset='WOM-3FRI'),Timestamp('2012-05-18 00:00:00', offset='WOM-3FRI'),Timestamp('2012-06-15 00:00:00', offset='WOM-3FRI'),Timestamp('2012-07-20 00:00:00', offset='WOM-3FRI'),Timestamp('2012-08-17 00:00:00', offset='WOM-3FRI')]
3 Shifting (Leading and Lagging) Data （偏移（提前与推后）数据）
偏移（shifting）表示按照时间把数据向前或向后推移。Series和DataFrame都有一个shift方法实现偏移，索引（index）不会被更改：
ts = pd.Series(np.random.randn(4),index=pd.date_range('1/1/2000', periods=4, freq='M'))
ts
2000-01-31 -0.050276
2000-02-29 0.080201
2000-03-31 1.548324
2000-04-30 0.510664
Freq: M, dtype: float64
ts.shift(2)
2000-01-31 NaN
2000-02-29 NaN
2000-03-31 -0.050276
2000-04-30 0.080201
Freq: M, dtype: float64
ts.shift(-2)
2000-01-31 1.548324
2000-02-29 0.510664
2000-03-31 NaN
2000-04-30 NaN
Freq: M, dtype: float64
当我们进行位移的时候，就像上面这样会引入缺失值。
shift的一个普通的用法是计算时间序列的百分比变化，可以表示为：
ts / ts.shift(1) - 1
2000-01-31 NaN
2000-02-29 -2.595227
2000-03-31 18.305554
2000-04-30 -0.670183
Freq: M, dtype: float64
因为普通的shift不会对index进行修改，一些数据会被丢弃。因此如果频度是已知的，可以把频度传递给shift，这样的话时间戳会自动变化：
ts
2000-01-31 -0.050276
2000-02-29 0.080201
2000-03-31 1.548324
2000-04-30 0.510664
Freq: M, dtype: float64
ts.shift(2)
2000-01-31 NaN
2000-02-29 NaN
2000-03-31 -0.050276
2000-04-30 0.080201
Freq: M, dtype: float64
ts.shift(2, freq='M')
2000-03-31 -0.050276
2000-04-30 0.080201
2000-05-31 1.548324
2000-06-30 0.510664
Freq: M, dtype: float64
其他一些频度也可以导入，能让我们前后移动数据：
ts.shift(3, freq='D')
2000-02-03 -0.050276
2000-03-03 0.080201
2000-04-03 1.548324
2000-05-03 0.510664
dtype: float64
ts.shift(1, freq='90T')
2000-01-31 01:30:00 -0.050276
2000-02-29 01:30:00 0.080201
2000-03-31 01:30:00 1.548324
2000-04-30 01:30:00 0.510664
Freq: M, dtype: float64
T表示分钟。
Shifting dates with offsets（用偏移量来移动日期）
pandas的日期偏移（date offset）能被用于datetime或Timestamp对象：
from pandas.tseries.offsets import Day, MonthEnd
now = datetime(2011, 11, 17)
now + 3 * Day()
Timestamp('2011-11-20 00:00:00')
如果我们添加一个像MonthEnd这样的anchored offset(依附偏移；锚点位置)，日期会根据频度规则进行递增：
now + MonthEnd()
Timestamp('2011-11-30 00:00:00')
now + MonthEnd(2)
Timestamp('2011-12-31 00:00:00')
依附偏移可以让日期向前或向后滚动，利用rollforward和rollback方法：
offset = MonthEnd()
offset.rollforward(now)
Timestamp('2011-11-30 00:00:00')
offset.rollback(now)
Timestamp('2011-10-31 00:00:00')
一个比较创造性的日期偏移（date offset）用法是配合groupby一起用：
ts = pd.Series(np.random.randn(20),index=pd.date_range('1/15/2000', periods=20, freq='4d'))
ts
2000-01-15 0.362927
2000-01-19 -1.107020
2000-01-23 -0.629370
2000-01-27 -0.730651
2000-01-31 0.251607
2000-02-04 0.002611
2000-02-08 -0.049611
2000-02-12 -0.170408
2000-02-16 -1.512385
2000-02-20 1.335117
2000-02-24 -0.393943
2000-02-28 0.087478
2000-03-03 0.441593
2000-03-07 -0.940983
2000-03-11 -1.399163
2000-03-15 0.901478
2000-03-19 0.392408
2000-03-23 -0.512613
2000-03-27 0.026952
2000-03-31 1.200684
Freq: 4D, dtype: float64
ts.groupby(offset.rollforward).mean()
2000-01-31 -0.370501
2000-02-29 -0.100163
2000-03-31 0.013794
dtype: float64
一个简单且快捷的方式是用resample(11.6会进行更详细的介绍)：
ts.resample('M').mean()
2000-01-31 -0.370501
2000-02-29 -0.100163
2000-03-31 0.013794
Freq: M, dtype: float64
相关文章：
pandas教程：Date Ranges, Frequencies, and Shifting 日期范围，频度，和位移
文章目录 11.3 Date Ranges, Frequencies, and Shifting（日期范围，频度，和位移）1 Generating Date Ranges（生成日期范围）2 Frequencies and Date Offsets（频度和日期偏移）Week of mo…...
设计模式 - 概览
一、概念 分为三大类、23中具体设计模式。 类型原理具体模式创建型封装了具体类的信息，隐藏了类的实例化过程。 单例模式（Singleton） 工厂方法模式（Factory Method） 抽象工厂模式（Abstract Factory…...
【Linux】Makefile
一、gcc 的缺点 gcc -o test a.c b.c我们具体分析：gcc -o test a.c b.c这条命令 它们要经过下面几个步骤： 1）对于a.c：执行：预处理 编译 汇编 的过程，a.c >xxx.s >xxx.o 文件。2）对于b.c…...
TS的函数如何定义类型
如何接受arguments参数 function add(...args: string[]) {let list4: IArguments arguments;}add(1, 2) 自定义一个args interface A1 {callee: Function,length: number,[index: number]: any}function adds(...args: string[]) {let list4: A1 arguments;}adds(1, 2) …...
xstream实现xml和java bean 互相转换
目录 pom引用java bean 类XML 转换工具类测试类执行结果注意问题 JAXB方式见： JAXB实现XML和Bean相互转换 Java中实现XML和Bean的转换的方式或插件有以下几种： JAXB（Java Architecture for XML Binding）：JAXB是Java …...
斯坦福机器学习 Lecture1 （机器学习，监督学习、回归问题、分类问题定义）
https://www.bilibili.com/video/BV1JE411w7Ub?p1&vd_source7a1a0bc74158c6993c7355c5490fc600 笔记如下 机器学习的定义：不需要明确编程就能让计算机去学习做某件事情 另一个定义 什么是监督学习？ 给定一组 (x,y) 样本，学习一个 x-&g…...
五、Linux目录结构
1.基本介绍 1.Linux的文件系统是采用级层式的树状目录结构，在此结构中的最上层是根目录"r/"，然后在此目录下再创建其他的目录。 2.深刻理解linux树状文件目录是非常重要的 3.记住一句经典的话：在Linux世界里，一切皆文件…...
C/C++数据结构之中缀表达式转换为后缀表达式，删除堆栈元素
在这篇博客中，我们将深入分析一个使用C编写的栈和表达式计算程序。该程序不仅实现了基本的栈操作，还提供了中缀表达式转后缀表达式和删除堆栈中的元素等实用功能。通过逐一讲解每个函数的功能，我们将更全面地理解这个程序的实现。 资源获取&a…...
uni-app下，页面跳转后wacth持续监听的问题处理
uni-app下，页面跳转后wacth持续监听的问题处理 好久没写博客了，最近碰到了一个uni-app（vue2）开发小程序的问题，个人觉得很典型，所以拿出来给各位做个参考。 需求场景： 全局轮询用户权限。简单…...
Python技术栈 —— 语言基础
Python基础 语法拾遗List与Tuple的区别yield关键字for in enumeratefor in zip 精彩片段测量程序用时 语法拾遗 List与Tuple的区别 ListTuple建立后是否可变可变不可变建立后是否可添加元素可添加不可添加 # list and tuple List [1, 2, 3, 4, 5] Tuple (1, 2, 3, 4, 5) p…...
redis cluster搭建
k8s部署 Redis Insight k8s部署redis集群_mob6454cc6c6291的技术博客_51CTO博客 占用的内存竟然这么小，才200M左右 随便选个节点进去，看能否连接上其他节点 redis-cli -h redis-cluster-v1-0.redis-cluster.project-gulimall.svc.cluster.local 再创建个…...
windows 11 本地运行ER-NeRF及pytorch3D安装
ER-NeRF本地运行只要梳理好依赖版本，运行起来就很顺畅 conda create -n ernerf python3.10 创建本项目虚拟环境conda install pytorch1.12.1 torchvision0.13.1 cudatoolkit11.3 -c pytorch 若windows有多个版本的cuda，需要在环境变量中切换至cuda 11.3&…...
mysql客户端navicat的一些错误合集
关于mysql的客户端的使用的一些问题 问题描述： 在使用navicat prenium客户端的时候，连接数据库出现 Table ‘performance_schema.session_variables’ doesn’t exist 错误 解决方案： 首先找到mysql的bin目录 然后winR 进入到cmd界面 输入…...
【力扣面试经典150题】（链表）K 个一组翻转链表
题目描述 力扣原文链接 给你链表的头节点 head ，每 k 个节点一组进行翻转，请你返回修改后的链表。 k 是一个正整数，它的值小于或等于链表的长度。如果节点总数不是 k 的整数倍，那么请将最后剩余的节点保持原有顺序。 你不能只…...
数据结构刷题
空间复杂度：临时开辟的空间、空间是可以重复利用的 递归为O(n) 时间复杂度：程序执行次数 消失的数字 力扣（LeetCode）官网 - 全球极客挚爱的技术成长平台 思路1：利用连续的特点求等差和然后减去所有元素得到的就是消…...
【Android】设置全局标题栏
序言 在做项目的时候，有时候需要一个全局统一的标题栏，保证项目风格的统一，但是如果在每个activity上面都写一遍这个标题栏就很麻烦了，我们经常用的方法就是写个基类Activity，然后当某个Activity需要这个统一的标题栏…...
R语言的入门学习
目录 准备工作导入csv数据集选择前200行作为数据集展示数据集的前/后几N行宏观分析删除缺失值构建直方图导出为图片 R语言常见图像类型例1：散点图例2：散点矩阵图 准备工作 安装教程： R语言和RStudio的下载安装（非常简便舒适&…...
【开源】基于Vue和SpringBoot的民宿预定管理系统
项目编号： S 058 ，文末获取源码。 \color{red}{项目编号：S058，文末获取源码。} 项目编号：S058，文末获取源码。 目录 一、摘要1.1 项目介绍1.2 项目录屏 二、功能模块2.1 用例设计2.2 功能设计2.2.1 租客角色…...
nacos集群部署
GitHub - nacos-group/nacos-k8s: This project contains a Nacos Docker image meant to facilitate the deployment of Nacos on Kubernetes using StatefulSets. 需要修改两个文件 --- apiVersion: v1 kind: Service metadata:name: nacos-headlessnamespace: project-guli…...
9、传统计算机视觉 —— 边缘检测
本节介绍一种利用传统计算机视觉方法来实现图片边缘检测的方法。 什么是边缘检测？ 边缘检测是通过一些算法来识别图像中物体之间，或者物体与背景之间的边界，也就是边缘。 边缘通常是图像中灰度变化显著的地方，标志着不同区域的分界线。 在一张图像中，边缘可以是物体的…...
Linux tc 使用
tc模拟延时丢包等网络故障依赖的内核驱动 /lib/modules/5.15.0-52-generic/kernel/net/sched/sch_netem.ko有些系统并不是默认就安装上该驱动的，如果没有安装该驱动，构造网络故障时会报错。 root:curtis# tc qdisc change dev enp4s0 root netem delay…...
从0开始学习JavaScript--JavaScript 数字与日期
JavaScript中的数字和日期是处理数值计算和时间相关任务的核心。本文将深入研究JavaScript中数字的表示、常见运算，以及日期对象的创建、格式化等操作，并通过丰富的示例代码，可以更全面地了解和应用这些概念。 JavaScript数字基础 JavaScri…...
从关键新闻和最新技术看AI行业发展（2023.11.6-11.19第十期） |【WeThinkIn老实人报】
Rocky Ding 公众号：WeThinkIn 写在前面 【WeThinkIn老实人报】旨在整理&挖掘AI行业的关键新闻和最新技术，同时Rocky会对这些关键信息进行解读，力求让读者们能从容跟随AI科技潮流。也欢迎大家提出宝贵的优化建议，一起交流学习&…...
计算机硬件的基本组成
一、冯诺依曼结构 存储程序： “存储程序”的概念是指将指令以二进制代码的形式事先输入计算机的主存储器，然后按其在存储器中的首地址执行程序的第一条指令，以后就按该程序的规定顺序执行其他指令，直至程序执行结束。 冯诺依曼计…...
【算法-哈希表3】四数相加2 和 赎金信
今天，带来哈希表相关算法的讲解。文中不足错漏之处望请斧正！ 理论基础点这里 1. 四数相加2 分析题意 求符合条件的四元组的出现次数，条件： nums1nums2nums3nums4 从四个数组中的每一个数组取一个数 num1, num2, num3, num4&am…...
wpf devexpress自定义编辑器
打开前一个例子 步骤1-自定义FirstName和LastName编辑器字段 如果运行程序，会通知编辑器是空。对于例子，这两个未命名编辑器在第一个LayoutItem(Name)。和最终用户有一个访客左右编辑器查阅到First Name和Last Name字段，分别。如果你看到Go…...
文档向量化工具（一）：Apache Tika介绍
Apache Tika是什么？能干什么？ Apache Tika是一个内容分析工具包。 该工具包可以从一千多种不同的文件类型（如PPT、XLS和PDF）中检测并提取元数据和文本。 所有这些文件类型都可以通过同一个接口进行解析，这使得Tika在…...
学习c#的第二十一天
目录 C# 泛型（Generic） 泛型类型参数 类型参数的约束 约束多个参数 未绑定的类型参数 类型参数作为约束 notnull 约束 class 约束 default 约束 非托管约束 委托约束 枚举约束 类型参数实现声明的接口 泛型类 泛型方法 泛型和数组 泛型…...
Michael Jordan最新报告：去中心化机器学习中的契约、不确定性和激励
导读 11月3日，智源研究院学术顾问委员会委员、机器学习泰斗Michael Jordan在以“新一代人工智能前沿”为主题的2023北京论坛 新工科专题论坛上，发表了题为Contracts, Uncertainty, and Incentives in Decentralized Machine Learning（去…...
3ds Max渲染用专业显卡还是游戏显卡？
使用3dsmax建模时，会面临诸多选择，除了用vr还是cr的决策，硬件选择上也存在着疑问，比如用专业显卡还是消费级游戏显卡？一般来说，除非是特别专业的大型项目和软件，且预算在5位数以上，常…...