pandas-基础(数据结构及文件访问)

1 Pandas的数据结构

1.1 Series

特点：一维的数据型对象，包含一个值序列和数据标签(即索引）

创建Series：

pandas.Series(data=None, index=None, dtype=None, name=None, copy=False, fastpath=False)

参数说明：

• data：Series 的数据部分，可以是列表、数组、字典、标量值等。如果不提供此参数，则创建一个空的 Series。
• index：Series 的索引部分，用于对数据进行标记。可以是列表、数组、索引对象等。如果不提供此参数，则创建一个默认的整数索引。
• dtype：指定 Series 的数据类型。可以是 NumPy 的数据类型，例如 np.int64、np.float64 等。如果不提供此参数，则根据数据自动推断数据类型。
• name：Series 的名称，用于标识 Series 对象。如果提供了此参数，则创建的 Series 对象将具有指定的名称。
• copy：是否复制数据。默认为 False，表示不复制数据。如果设置为 True，则复制输入的数据。
• fastpath：是否启用快速路径。默认为 False。启用快速路径可能会在某些情况下提高性能。

常用方法：

Series 方法

下面是 Series 中一些常用的方法：

方法名称	功能描述
index	获取 Series 的索引
values	获取 Series 的数据部分（返回 NumPy 数组）
head(n)	返回 Series 的前 n 行（默认为 5）
tail(n)	返回 Series 的后 n 行（默认为 5）
dtype	返回 Series 中数据的类型
shape	返回 Series 的形状（行数）
describe()	返回 Series 的统计描述（如均值、标准差、最小值等）
isnull()	返回一个布尔 Series，表示每个元素是否为 NaN
notnull()	返回一个布尔 Series，表示每个元素是否不是 NaN
unique()	返回 Series 中的唯一值（去重）
value_counts()	返回 Series 中每个唯一值的出现次数
map(func)	将指定函数应用于 Series 中的每个元素
apply(func)	将指定函数应用于 Series 中的每个元素，常用于自定义操作
astype(dtype)	将 Series 转换为指定的类型
sort_values()	对 Series 中的元素进行排序（按值排序）
sort_index()	对 Series 的索引进行排序
dropna()	删除 Series 中的缺失值（NaN）
fillna(value)	填充 Series 中的缺失值（NaN）
replace(to_replace, value)	替换 Series 中指定的值
cumsum()	返回 Series 的累计求和
cumprod()	返回 Series 的累计乘积
shift(periods)	将 Series 中的元素按指定的步数进行位移
rank()	返回 Series 中元素的排名
corr(other)	计算 Series 与另一个 Series 的相关性（皮尔逊相关系数）
cov(other)	计算 Series 与另一个 Series 的协方差
to_list()	将 Series 转换为 Python 列表
to_frame()	将 Series 转换为 DataFrame
iloc[]	通过位置索引来选择数据
loc[]	通过标签索引来选择数据

1.2 DataFrame

构造方法:

pandas.DataFrame(data=None, index=None, columns=None, dtype=None, copy=False)

参数说明：

• data：DataFrame 的数据部分，可以是字典、二维数组、Series、DataFrame 或其他可转换为 DataFrame 的对象。如果不提供此参数，则创建一个空的 DataFrame。
• index：DataFrame 的行索引，用于标识每行数据。可以是列表、数组、索引对象等。如果不提供此参数，则创建一个默认的整数索引。
• columns：DataFrame 的列索引，用于标识每列数据。可以是列表、数组、索引对象等。如果不提供此参数，则创建一个默认的整数索引。
• dtype：指定 DataFrame 的数据类型。可以是 NumPy 的数据类型，例如 np.int64、np.float64 等。如果不提供此参数，则根据数据自动推断数据类型。
• copy：是否复制数据。默认为 False，表示不复制数据。如果设置为 True，则复制输入的数据。

DataFrame 方法

DataFrame 的常用操作和方法如下表所示：

方法名称	功能描述
head(n)	返回 DataFrame 的前 n 行数据（默认前 5 行）
tail(n)	返回 DataFrame 的后 n 行数据（默认后 5 行）
info()	显示 DataFrame 的简要信息，包括列名、数据类型、非空值数量等
describe()	返回 DataFrame 数值列的统计信息，如均值、标准差、最小值等
shape	返回 DataFrame 的行数和列数（行数, 列数）
columns	返回 DataFrame 的所有列名
index	返回 DataFrame 的行索引
dtypes	返回每一列的数值数据类型
sort_values(by)	按照指定列排序
sort_index()	按行索引排序
dropna()	删除含有缺失值（NaN）的行或列
fillna(value)	用指定的值填充缺失值
isnull()	判断缺失值，返回一个布尔值 DataFrame
notnull()	判断非缺失值，返回一个布尔值 DataFrame
loc[]	按标签索引选择数据
iloc[]	按位置索引选择数据
at[]	访问 DataFrame 中单个元素（比 loc[] 更高效）
iat[]	访问 DataFrame 中单个元素（比 iloc[] 更高效）
apply(func)	对 DataFrame 或 Series 应用一个函数
applymap(func)	对 DataFrame 的每个元素应用函数（仅对 DataFrame）
groupby(by)	分组操作，用于按某一列分组进行汇总统计
pivot_table()	创建透视表
merge()	合并多个 DataFrame（类似 SQL 的 JOIN 操作）
concat()	按行或按列连接多个 DataFrame
to_csv()	将 DataFrame 导出为 CSV 文件
to_excel()	将 DataFrame 导出为 Excel 文件
to_json()	将 DataFrame 导出为 JSON 格式
to_sql()	将 DataFrame 导出为 SQL 数据库
query()	使用 SQL 风格的语法查询 DataFrame
duplicated()	返回布尔值 DataFrame，指示每行是否是重复的
drop_duplicates()	删除重复的行
set_index()	设置 DataFrame 的索引
reset_index()	重置 DataFrame 的索引
transpose()	转置 DataFrame（行列交换）

数据选择和切片

函数	说明
df[column_name]	选择指定的列；
df.loc[row_index, column_name]	通过标签选择数据；
df.iloc[row_index, column_index]	通过位置选择数据；
df.ix[row_index, column_name]	通过标签或位置选择数据；
df.filter(items=[column_name1, column_name2])	选择指定的列；
df.filter(regex='regex')	选择列名匹配正则表达式的列；
df.sample(n)	随机选择 n 行数据。

索引设置

将索引重置成自然数-reset_index()

pandas中将索引重置成自然数的方法,不会改变原始数据的内容和排列顺序。

import pandas as pd
import numpy as npprint("\n")
print("reset_index")
df = pd.DataFrame({'Col-1': [1, 3, 5], 'Col-2': [5, 7, 9]}, index=['A', 'B', 'C'])
print("df:\n",df)
df1 = df.reset_index()
print("df1:\n",df1)print("drop=True:\n",df.reset_index(drop=True))'''
输出结果：
reset_index
df:Col-1  Col-2
A      1      5
B      3      7
C      5      9
df1:index  Col-1  Col-2
0     A      1      5
1     B      3      7
2     C      5      9
drop=True:Col-1  Col-2
0      1      5
1      3      7
2      5      9
'''

按照指定索引对齐当前数据-reindex()

reindex()是pandas中实现数据对齐的基本方法,对齐是指沿着指定轴,让数据与给定的一组标签(行列索引)进行匹配。

import pd as pandasprint("\n")
df = pd.DataFrame({'Col-1': [1, 3, 5], 'Col-2': [5, 7, 9]}, index=['A', 'B', 'C'])
print("df:\n",df)
# 默认传给labels参数
df2 = df.reindex(['C', 'B', 'A'])
print("df2:\n",df2)'''
输出结果:
df:Col-1  Col-2
A      1      5
B      3      7
C      5      9
df2:Col-1  Col-2
C      5      9
B      3      7
A      1      5
'''print("axis='columns'")
# 指定重设的是行索引还是列索引，默认是行索引
df3 = df.reindex(['Col-2', 'c3', 'Col-1'], axis='columns')
print("df3:\n",df3)
# 同时调整行和列
df4 = df.reindex(index=['C', 'B', 'A'], columns=['Col-2', 'c3', 'Col-1'])
print("df4:\n",df4)'''
输出结果:
axis='columns'
df3:Col-2  c3  Col-1
A      5 NaN      1
B      7 NaN      3
C      9 NaN      5
df4:Col-2  c3  Col-1
C    9.0 NaN    5.0
B    7.0 NaN    3.0
A    5.0 NaN    1.0
'''

用另一个DataFrame的索引来更新当前DataFrame的索引-reindex_like()

如果是原数据中不存在的索引值，则默认填充空值NaN，也可以使用method参数设置向前填充还是向后填充。
注意：reindex_like()中没有fill_value参数，不支持用指定值填充。

import pd as pandasdfa = pd.DataFrame({'Col-1': [1, 3, 5], 'Col-2': [5, 7, 9]}, index=['A', 'B', 'C'])
print("dfa:\n",dfa)
dfb = pd.DataFrame({'Col-1': [1, 3, 5, 7, 9], 'Col-2': [2, 4, 6, 8, 10]},index=['A', 'B', 'C', 'D', 'E'])
print("dfb:\n" ,dfb, '\n', end='*'*30+'\n')
dfc = dfa.reindex_like(dfb)
print("dfc:\n",dfc)'''
输出结果:
dfa:Col-1  Col-2
A      1      5
B      3      7
C      5      9
dfb:Col-1  Col-2
A      1      2
B      3      4
C      5      6
D      7      8
E      9     10 
******************************
dfc:Col-1  Col-2
A    1.0    5.0
B    3.0    7.0
C    5.0    9.0
D    NaN    NaN
E    NaN    NaN
'''

2 文件访问

2.1 csv文件

Pandas 可以很方便的处理 CSV 文件，常用方法有：

方法名称	功能描述	常用参数
pd.read_csv()	从 CSV 文件读取数据并加载为 DataFrame	filepath_or_buffer (路径或文件对象)，sep (分隔符)，header (行标题)，names (自定义列名)，dtype (数据类型)，index_col (索引列)
DataFrame.to_csv()	将 DataFrame 写入到 CSV 文件	path_or_buffer (目标路径或文件对象)，sep (分隔符)，index (是否写入索引)，columns (指定列)，header (是否写入列名)，mode (写入模式)

pd.read_csv() - 读取 CSV 文件

read_csv() 是从 CSV 文件中读取数据的主要方法，将数据加载为一个 DataFrame。

import pandas as pd# 读取 CSV 文件，并自定义列名和分隔符
df = pd.read_csv('data.csv', sep=';', header=0, names=['A', 'B', 'C'], dtype={'A': int, 'B': float})
print(df)

read_csv 常用参数:

参数	说明	默认值
filepath_or_buffer	CSV 文件的路径或文件对象（支持 URL、文件路径、文件对象等）	必需参数
sep	定义字段分隔符，默认是逗号（,），可以改为其他字符，如制表符（\t）	','
header	指定行号作为列标题，默认为 0（表示第一行），或者设置为 None 没有标题	0
names	自定义列名，传入列名列表	None
index_col	用作行索引的列的列号或列名	None
usecols	读取指定的列，可以是列的名称或列的索引	None
dtype	强制将列转换为指定的数据类型	None
skiprows	跳过文件开头的指定行数，或者传入一个行号的列表	None
nrows	读取前 N 行数据	None
na_values	指定哪些值应视为缺失值（NaN）	None
skipfooter	跳过文件结尾的指定行数	0
encoding	文件的编码格式（如 utf-8，latin1 等）	None

df.to_csv() - 将 DataFrame 写入 CSV 文件

to_csv() 是将 DataFrame 写入 CSV 文件的方法，支持自定义分隔符、列名、是否包含索引等设置。import pandas as pd# 假设 df 是一个已有的 DataFrame
df.to_csv('output.csv', index=False, header=True, columns=['A', 'B'])

to_csv 常用参数:

参数	说明	默认值
path_or_buffer	CSV 文件的路径或文件对象（支持文件路径、文件对象）	必需参数
sep	定义字段分隔符，默认是逗号（,），可以改为其他字符，如制表符（\t）	','
index	是否写入行索引，默认 True 表示写入索引	True
columns	指定写入的列，可以是列的名称列表	None
header	是否写入列名，默认 True 表示写入列名，设置为 False 表示不写列名	True
mode	写入文件的模式，默认是 w（写模式），可以设置为 a（追加模式）	'w'
encoding	文件的编码格式，如 utf-8，latin1 等	None
line_terminator	定义行结束符，默认为 \n	None
quoting	设置如何对文件中的数据进行引号处理（0-3，具体引用方式可查文档）	None
quotechar	设置用于引用的字符，默认为双引号 "	'"'
date_format	自定义日期格式，如果列包含日期数据，则可以使用此参数指定日期格式	None
doublequote	如果为 True，则在写入时会将包含引号的文本使用双引号括起来	True

2.2 Excel 文件

Pandas 提供了丰富的 Excel 文件操作功能，帮助我们方便地读取和写入 .xls 和 .xlsx 文件，支持多表单、索引、列选择等复杂操作，是数据分析中必备的工具。

操作	方法	说明
读取 Excel 文件	pd.read_excel()	读取 Excel 文件，返回 DataFrame
将 DataFrame 写入 Excel	DataFrame.to_excel()	将 DataFrame 写入 Excel 文件
加载 Excel 文件	pd.ExcelFile()	加载 Excel 文件并访问多个表单
使用 ExcelWriter 写多个表单	pd.ExcelWriter()	写入多个 DataFrame 到同一 Excel 文件的不同表单

pd.read_excel() - 读取 Excel 文件

pd.read_excel() 方法用于从 Excel 文件中读取数据并加载为 DataFrame。它支持读取 .xls 和 .xlsx 格式的文件。

语法格式如下：

pandas.read_excel(io, sheet_name=0, *, header=0, names=None, index_col=None, usecols=None, dtype=None, engine=None, converters=None, true_values=None, false_values=None, skiprows=None, nrows=None, na_values=None, keep_default_na=True, na_filter=True, verbose=False, parse_dates=False, date_parser=<no_default>, date_format=None, thousands=None, decimal='.', comment=None, skipfooter=0, storage_options=None, dtype_backend=<no_default>, engine_kwargs=None)

参数说明：

• io：这是必需的参数，指定了要读取的 Excel 文件的路径或文件对象。

• sheet_name=0：指定要读取的工作表名称或索引。默认为0，即第一个工作表。

• header=0：指定用作列名的行。默认为0，即第一行。

• names=None：用于指定列名的列表。如果提供，将覆盖文件中的列名。

• index_col=None：指定用作行索引的列。可以是列的名称或数字。

• usecols=None：指定要读取的列。可以是列名的列表或列索引的列表。

• dtype=None：指定列的数据类型。可以是字典格式，键为列名，值为数据类型。

• engine=None：指定解析引擎。默认为None，pandas 会自动选择。

• converters=None：用于转换数据的函数字典。

• true_values=None：指定应该被视为布尔值True的值。

• false_values=None：指定应该被视为布尔值False的值。

• skiprows=None：指定要跳过的行数或要跳过的行的列表。

• nrows=None：指定要读取的行数。

• na_values=None：指定应该被视为缺失值的值。

• keep_default_na=True：指定是否要将默认的缺失值（例如NaN）解析为NA。

• na_filter=True：指定是否要将数据转换为NA。

• verbose=False：指定是否要输出详细的进度信息。

• parse_dates=False：指定是否要解析日期。

• date_parser=<no_default>：用于解析日期的函数。

• date_format=None：指定日期的格式。

• thousands=None：指定千位分隔符。

• decimal='.'：指定小数点字符。

• comment=None：指定注释字符。

• skipfooter=0：指定要跳过的文件末尾的行数。

• storage_options=None：用于云存储的参数字典。

• dtype_backend=<no_default>：指定数据类型后端。

• engine_kwargs=None：传递给引擎的额外参数字典。

DataFrame.to_excel() - 将 DataFrame 写入 Excel 文件

to_excel() 方法用于将 DataFrame 写入 Excel 文件，支持 .xls 和 .xlsx 格式。

语法格式如下：

DataFrame.to_excel(excel_writer, *, sheet_name='Sheet1', na_rep='', float_format=None, columns=None, header=True, index=True, index_label=None, startrow=0, startcol=0, engine=None, merge_cells=True, inf_rep='inf',freeze_panes=None, storage_options=None, engine_kwargs=None)

参数说明：

• excel_writer：这是必需的参数，指定了要写入的 Excel 文件路径或文件对象。

• sheet_name='Sheet1'：指定写入的工作表名称，默认为 'Sheet1'。

• na_rep=''：指定在 Excel 文件中表示缺失值（NaN）的字符串，默认为空字符串。

• float_format=None：指定浮点数的格式。如果为 None，则使用 Excel 的默认格式。

• columns=None：指定要写入的列。如果为 None，则写入所有列。

• header=True：指定是否写入列名作为第一行。如果为 False，则不写入列名。

• index=True：指定是否写入索引作为第一列。如果为 False，则不写入索引。

• index_label=None：指定索引列的标签。如果为 None，则不写入索引标签。

• startrow=0：指定开始写入的行号，默认从第0行开始。

• startcol=0：指定开始写入的列号，默认从第0列开始。

• engine=None：指定写入 Excel 文件时使用的引擎，默认为 None，pandas 会自动选择。

• merge_cells=True：指定是否合并单元格。如果为 True，则合并具有相同值的单元格。

• inf_rep='inf'：指定在 Excel 文件中表示无穷大值的字符串，默认为 'inf'。

• freeze_panes=None：指定冻结窗格的位置。如果为 None，则不冻结窗格。

• storage_options=None：用于云存储的参数字典。

• engine_kwargs=None：传递给引擎的额外参数字典。

ExcelFile - 加载 Excel 文件

ExcelFile 是一个用于读取 Excel 文件的类，它可以处理多个表单，并在不重新打开文件的情况下访问其中的数据。

语法格式如下：

excel_file = pd.ExcelFile('data.xlsx')

常用方法：

方法	功能描述
sheet_names	返回文件中所有表单的名称列表
parse(sheet_name)	解析指定表单并返回一个 DataFrame
close()	关闭文件，以释放资源

ExcelWriter - 写入 Excel 文件

ExcelWriter 是 pandas 提供的一个类，用于将 DataFrame 或 Series 对象写入 Excel 文件。使用 ExcelWriter，你可以在一个 Excel 文件中写入多个工作表，并且可以更灵活地控制写入过程。

语法格式如下：

pandas.ExcelWriter(path, engine=None, date_format=None, datetime_format=None, mode='w', storage_options=None, if_sheet_exists=None, engine_kwargs=None)

参数说明：

• path：这是必需的参数，指定了要写入的 Excel 文件的路径、URL 或文件对象。可以是本地文件路径、远程存储路径（如 S3）、URL 链接或已打开的文件对象。

• engine：这是一个可选参数，用于指定写入 Excel 文件的引擎。如果为 None，则 pandas 会自动选择一个可用的引擎（默认优先选择 openpyxl，如果不可用则选择其他可用引擎）。常见的引擎包括 'openpyxl'（用于 .xlsx 文件）、'xlsxwriter'（提供高级格式化和图表功能）、'odf'（用于 OpenDocument 格式如 .ods）等。

• date_format：这是一个可选参数，指定写入 Excel 文件中日期的格式字符串，例如 "YYYY-MM-DD"。

• datetime_format：这是一个可选参数，指定写入 Excel 文件中日期时间对象的格式字符串，例如 "YYYY-MM-DD HH:MM:SS"。

• mode：这是一个可选参数，默认为 'w'，表示写入模式。如果设置为 'a'，则表示追加模式，向现有文件中添加数据（仅支持部分引擎，如 openpyxl）。

• storage_options：这是一个可选参数，用于指定与存储后端连接的额外选项，例如认证信息、访问权限等，适用于写入远程存储（如 S3、GCS）。

• if_sheet_exists：这是一个可选参数，默认为 'error'，指定如果工作表已经存在时的行为。选项包括 'error'（抛出错误）、'new'（创建一个新工作表）、'replace'（替换现有工作表的内容）、'overlay'（在现有工作表上覆盖写入）。

• engine_kwargs：这是一个可选参数，用于传递给引擎的其他关键字参数。这些参数会传递给相应引擎的函数，例如 xlsxwriter.Workbook(file, **engine_kwargs) 或 openpyxl.Workbook(**engine_kwargs) 等。