pandas 数据分析实战

一、pandas常用数据类型

· series，带标签的一维数组。类似于字典，但是键作为索引。

· datatimeindex，时间序列。

· dataframe，带标签且大小可变的二维表格结构。

· panel，带标签且大小可变的三维数组。

1.一维数组与操作 Series

s = pd.Series(range())

s = pd.Series(dict{ })

abs(s)

s + 5

s.add_prefix(x)：在每个索引前面加上x

s.add_suffix(x)：在每个索引后面加上x

#画出数据直方图

s.hist()

plt.show()

#最大索引

s.idxmax()

#查看值是否在指定区间内

s.between(a,b)

#查看满足某一条件的值

s[s>s.median()]

2.时间序列与操作

主要包括data_range函数和Timestamp类。

pd.data_range(start=None, end=None, periods=None, freq='D', tz=None, normalize=False, name=None, closed=None, **kwargs)

其中：

· start和end指定起止日期。

· periods指定生成的数据数量。

· freq指定时间间隔，默认是D，表示相邻两个日期相差多少。还有W 周、H 小时、M 月末最后一天、MS 月初第一天、T 分钟、Y 年末最后一天、YS 年初第一天。

pd.Timestamp('20241013'.day_name()) # 查看这天周几

pd.Timestamp('20241013'.is_leap_year) # 查看是否是闰年

pd.Timestamp('20241013'.quarter) # 查看季度

pd.Timestamp('20241013'.month) # 查看月份

3.二维数组DataFrame

可以看作一个二维表格(excel)，由索引、列名、值组成。

pandas支持多种方式创建DF，如readcsv、readexcel等。

#生成5行6列1-20的随机数，自定义索引，自定义列。

df = pd.DataFrame(np.random.randint(1, 20, (5, 6)), index = range(5), columns = [])

#使用字典，作为值和索引

df = pd.DataFrame(dict{}, index=)

4.DF数据处理

# excel读取

pandas.read_excel(

        io,

        sheet_name=0,

        header=0,

        names=None,

        index_col=None,

        usecols=None,

        squeeze=False,

        dtype=None,

        engine=None,

        converters=None,

        true_values=None,

        false_values=None,

        skiprows=None,

        nrows=None,

        na_values=None,

        keep_default_na=True,

        verbose=False,

        parse_dates=False,

        date_parser=None,

        thousands=None,

        comment=None,

        skipfooter=0,

        convert_float=True,

        mangle_dupe_cols=True,

        **kwds

)

其中：

· io指定文件路径、对象。

· sheet_name：指定读取的worksheet，可以是sheet序号或是名字，或者是一个列表。如果值指定为None，则表示读取所有worksheet，并返回多个DF构成的字典。

· header指定worksheet中表示表头的行索引，默认为0。如果没有作为表头的行，必须明确写出header = None。

· skiprows：指定要跳过的行索引组成的列表。

· index_col：指定作为索引的列下标。

· names：指定读取数据后使用的列名。

· usecols：指定要读取的列的索引或名字。

· na_values：指定哪些值被解释为缺失值。

# 条件筛选

df[a: b]

df.iloc[index行, index列]：通过索引访问某行某列。

df.loc[index行，列名]：通过列名访问。

df.at[index行，列名]：同上。

df[行][列]：可以是列表可以是索引。

df[列名].sum()/max()/min()

df.列名

df[df[列名].isin([, , , ,])][列名].sum()：找出满足条件的行。

#查看数据特征

df.describe()：查看统计信息。包括总数 平均数 方差 最大最小等。

df.median()

df.nsmallest()

df.nlargest()

df[列名].idxmax()/idxmin()：某列最小值/最大值，对应的行下标。

#对数据排序

sort_index(axis=0, ascending=True, inplace=False, kind='quicksort', na_position='last', sort_remaining=True)：沿某个方向

其中：

· axis=0是按照行索引，axis=1是按照列索引。

· ascending默认表示升序，flase表示降序。

· inplace默认表示返回新的排序后的DF，True表示原地排序。

· na_position指定把缺失值放在哪里。last/first。

sort_values(by, 同上)

其中：

· by指定依据哪个列进行排序，支持列名/列表。

#分组和聚合

重点

groupby(by=None, axis=0, level=None, as_index=True, sort=True, group_keys=True, squeeze=False, **kwargs)

其中：

· by指定作用于index的函数、字典（根据键进行分组、值作为分组后的index），或指定列名作为分组依据。

· squeeze会在可能的情况下降低结果对象的维度。

#处理异常值 噪声

df[df[""]>x] = a，直接替换掉。

#处理缺失值

dropna(axis=0, how=any, thresh=None, subset=None, inplace=False)

其中：

· how=any表示某行只要存在缺失值就删掉这行，how=all表示某行全是缺失值才删除。

· thresh表示保留包含几个非缺失值数据的行。

· subset指定在判断缺失值的时候考虑哪些列。

fillna(value=None, method=None, axis=0, inplace=False, limit=None, downcast=None)

其中：

· value指定要替换的值。

· method指定填充值的方式，包括pad ffill，backfill bfill。

· limit指定设置method时最多填充多少个连续的缺失值。

# 处理重复值

duplicated(subset=None, keep='first') 检测重复值

其中：

· subset指定依据哪一列/多列判断重复。默认使用每行的所有列。

· keep=first表示将重读数据的第一次出现标记为false，keep=last表示重复数据最后一次出现标记为false，keep=false表示所有重复数据都是true。

df[df.duplicated()]

drop_duplicates(subset=None, keep='first', inplace=False) 删除重复值

#数据差分

可以看出来每行/每列的差距。

diff(periods=1, axis=0)

其中：

· axis=0表示纵向差分，axis=1表示横向差分。

· period指定差分的跨度，period=x表示每一行减去上面第x行的数据。

# 重采样

如果DF中索引是日期时间，可以使用resample()重采样，按照时间段统计。

resample(rule, how=None, axis=0, label=None, on=None)

其中：

· rule指定重采样的时间间隔，同时间序列的freq参数。

· on指定根据哪一列进行重采样，要求必须是日期时间类型。

· label=right指定使用采样时间的结束时间作为DF的index，label=left指定。。开始时间。。

# 多索引

DF支持多个索引，在groupby()和sort_index()方法中用level可以指定按照哪一级索引进行排序或分组。

# pandas属性接口

Series对象和DF的列数据，提供了dt、str的属性接口，分别对应日期和字符串。通过接口可以快速实现特定功能。

dt接口：

· dayofweek, dayofyear, is_leap_year, quarter, day_name()等。

str接口：

· center, contains, count, endswith, find, extract, lower, split等。

# 数据拆分与合并

可以对DF进行切片 或者 loc按行按列运算进行拆分

可以用concat(objs, axis=0, join='outer')合并

其中：

· objs包含多个series DF panel对象 [序列]。

· axis默认为0，表示纵向合并。

可以用append(other, ignore_index=False)合并

可以忽略原来的索引。