【pandas百炼成钢】数据预览与预处理

前言

• 为什么需要数据预览与预处理？

在真实世界中，数据通常是不完整的（缺少某些感兴趣的属性值）、不一致的（包含代码或者名称的差异）、极易受到噪声（错误或异常值）的侵扰的。

就像一个大厨现在要做美味的蒸鱼，如果不将鱼进行去鳞等处理，一定做不成我们口中美味的鱼。

在拿到数据第一步当然是对数据做一个大概的浏览，以及对缺失值重复值进行相关处理。本小节就将练习这部分的基本操作。

注意：

• 1.每一种操作都可能对应一种或多种解法，文章里的不一定是最优的。

• 2.为了尽可能多的介绍不同方法，因此文章中部分操作不是必须的。

一、数据查看

首先进行导入必要的包，然后加载数据文件。（数据文件获取链接：「movie_top_250.xlsx」）

import numpy as np
import pandas as pd

df = pd.read_excel("./data/movie_top_250.xlsx")

1 - 查看数据维度

查看数据行列，对数据量进行初步掌握

df.shape

2 - 随机查看5条数据

法一：使用 take() 函数结合 random 库

# 生成从0-262之间的5个不重复随机数，replace=False是关键
n = np.random.choice(262,5,replace=False)
# 使用 take 函数实现
df.take(n)

法二：使用 sample() 函数实现随机抽样

df.sample(5)

补充：三种抽样方式

有放回抽样

df.take(np.random.randint(0,4,size=5))

无放回抽样

df.take(np.random.permutation([0,1,2,3,4])) # 随机交换

随机抽样

df.sample(n) # n是抽样数量

3 - 查看数据前后5行

# 查看数据前5行
df.head()

# 查看数据后5行
df.tail()

4 - 查看数据基本信息

看看数据列名，非空行数，数据类型，内存使用情况等

df.info()

5 - 查看数据统计信息｜数值

查看 数值型 列的统计信息，计数、均值、最值、方差等

# describe() 函数默认对数值型列进行计算统计信息、均值、最值和百分值。
df.describe()

更直观的查看，保留两位小数，然后转置：

df.describe().round(2).T

6 - 查看数据统计信息｜非数值

查看 非数值型 列的出现个数，多少种不同值，出现次数最高的值，出现频次

df.describe(include=['O'])

7 - 查看数据统计信息｜整体

查看 全部 列的统计信息

df.describe(include='all')

查看指定列的统计信息

df['上映年份'].describe()

二、缺失值处理

8 - 计算缺失值｜总计

查看总共有多少个缺失值

df.isnull().sum().sum()

9 - 计算缺失值｜分列

查看每列有多少缺失值

df.isnull().sum()

10 - 查看缺失值

为了后面更方便的处理缺失值，现在先看看全部缺失值所在的行

法一：使用 isnull() 函数

cond = df.isnull().any(axis = 1)
df[cond]

法二：使用 notnull() 函数

cond = df.notnull().all(axis = 1)
df[~cond]

11- 高亮缺失值

很明显，虽然上一题找到了全部缺失值所在的行，但是看起来不太直观，

现在，将缺失值进行高亮进一步查看

# 高亮显示null
df[cond].style.highlight_null()

# 高亮显示null，并且设置颜色
df[cond].style.highlight_null(null_color='#E36C07')

12 - 删除缺失值

处理缺失值最简单的方式，当然是将缺失值出现的行全部删掉 ～

现在，将缺失值出现的行全部删掉

df.dropna(inplace=False)

13 - 缺失值补全｜整体填充

除了删除缺失值最省事之外，也可以将全部缺失值替换为一个 固定的值/文本 。

现在，将全部缺失值替换为 #

df = df.fillna('#')

14 - 缺失值补全｜向上填充

从上一小节的查看数据中，不难发现整理数据是按照评分进行降序排列的，

因此对于评分列的缺失值处理，我们可以用上一个电影的评分进行填充。

现在将评分列的缺失值，替换为上一个电影的评分

df['评分'] = df['评分'].fillna(method='ffill')

15 - 缺失值补全｜整体均值填充

对于评价人数列的缺失值处理，我们可以使用整列的均值进行填充

现在，将评价人数列的缺失值，用整列的均值进行填充

df['评分'] = df['评分'].mean()

df['评分'] = df['评分'].fillna(df['评分'].mean())

16 - 缺失值补全｜上下均值填充

除了可以使用整列的均值进行填充，也可以使用缺失值位置的上下均值进行填充、

现在，将评价人数列的缺失值，用上下数字的均值进行填充

df['评价人数'] = df['评价人数'].fillna(df['评价人数'].interpolate())

17 - 缺失值补全｜匹配填充

除了利用均值填充，有时还需要根据另一列的值进行匹配填充。

现在填充 “语言” 列的缺失值，要求根据 “国家/地区” 列的值进行填充。

例如 《海上钢琴师》国家/地区为 意大利，根据其他意大利国家对应的语言来看，应填充为 意大利语。

# 根据国家/地区分组，然后用后面的值填充
df['语言'] = df.groupby('国家/地区')['语言'].bfill()

三、重复值处理

18 - 查找重复值

将全部重复值所在的行筛选出来

df[df.duplicated(keep='first')]

19 - 查找重复值｜根据某列

上面是所有列完全重复的情况，但有时我们只需要根据某列查找重复值

df[df['片名'].duplicated()]

20 - 删除重复值

删除全部的重复值，但保留第一次出现的值

法一

df = df[~df.duplicated()]

法二

df = df.drop_duplicates()

删除全部的重复值，但保留最后一次出现的值

df = df[~df.duplicated(keep='last')]

结语

以上就是本期要分享的全部内容了！我们下期再见 ~ ✨

⭐️如果有不懂的地方，欢迎大家和我一起探讨 ~

我是向阳花花花花，数据科学路上，与你同行 ⭐️