Python NumPy 数据分析：处理复杂数据的高效方法

Python NumPy 数据分析：处理复杂数据的高效方法

本文详细介绍了如何使用 Python 和 NumPy 对复杂数据进行高效的数据分析。通过从 Kaggle 获取的公开数据集，演示了如何读取 CSV 文件、提取特定日期和字段的数据，并进行数据的统计与分析。本文展示了使用 NumPy 进行数据操作的便捷方式，如通过索引获取指定行列数据，计算累计数值和新增长的总数，还讲解了如何计算比率、平均值、标准差等关键统计数据。文章还包括完整的代码示例，帮助读者轻松上手进行复杂数据的分析任务。

导入 NumPy

import numpy as np

一 数据来源

数据来源：Kaggle 上的公开数据集 ，读取数据如下：

def get_result():with open("csv/your_data.csv", "r", encoding="utf-8") as f:data = f.readlines()your_data = {"date": [],"data": [],"header": [h for h in data[0].strip().split(",")[1:]]}for row in data[1:]:split_row = row.strip().split(",")your_data["date"].append(split_row[0])your_data["data"].append([float(n) for n in split_row[1:]])return your_data

数据太多可以先看少部分数据，如下：

    # 获取少数行数据print(your_data["data"][:2])print(your_data["date"][:5])

二 获取指定日期数据

date_idx = your_data["date"].index("2020-02-03")
print("日期->索引转换：", date_idx)data = np.array(your_data["data"])for header, number in zip(your_data["header"], data[date_idx]):print(header, ":", number)

三 获取指定行列数据

# 获取指定行列数据
row_idx = your_data["date"].index("2020-01-24")  # 获取日期索引
column_idx = your_data["header"].index("Confirmed")  # 获取标题的索引
confirmed0124 = data[row_idx, column_idx]
print("截止 2020-01-24 的累积数：", confirmed0124)row_idx = your_data["date"].index("2020-07-23")  # 获取日期索引
column_idx = your_data["header"].index("New deaths")  # 获取标题的索引
result = data[row_idx, column_idx]
print("截止 2020-07-23 的数：", result)

四 求和计算

# 总增长数
row1_idx = your_data["date"].index("2020-01-25")
row2_idx = your_data["date"].index("2020-07-22")
new_cases_idx = your_data["header"].index("New cases")# 注意要 row1_idx + 1 得到从 01-25 这一天的新增
# row2_idx + 1 来包含 7 月 22 的结果
new_cases = data[row1_idx + 1: row2_idx + 1, new_cases_idx]
# print(new_cases)
overall = new_cases.sum()
print("总共：", overall)

五 比例计算

# 比例计算
new_cases_idx = your_data["header"].index("New cases")
new_recovered_idx = your_data["header"].index("New recovered")not_zero_mask = data[:, new_recovered_idx] != 0
ratio = data[not_zero_mask, new_cases_idx] / data[not_zero_mask, new_recovered_idx]

代码中出现 nan，nan 在 numpy 中表示的是 Not a Number，说明计算有问题，代码 not_zero_mask = data[:, new_recovered_idx] != 0 避免除数为 0 的情况。

六 平均值和标准差

# 平均值, 标准差
ratio_mean = ratio.mean()
ratio_std = ratio.std()
print("平均比例：", ratio_mean, "；标准差：", ratio_std)

平均比例 和 标准差计算。

七 完整代码示例

# This is a sample Python script.# Press ⌃R to execute it or replace it with your code.
# Press Double ⇧ to search everywhere for classes, files, tool windows, actions, and settings.
import numpy as np# 读取数据
def get_result():with open("csv/your_data.csv", "r", encoding="utf-8") as f:data = f.readlines()your_data = {"date": [],"data": [],"header": [h for h in data[0].strip().split(",")[1:]]}for row in data[1:]:split_row = row.strip().split(",")your_data["date"].append(split_row[0])your_data["data"].append([float(n) for n in split_row[1:]])return your_datadef print_hi(name):# Use a breakpoint in the code line below to debug your script.print(f'Hi, {name}')  # Press ⌘F8 to toggle the breakpoint.your_data = get_result()# 获取少数行数据print(your_data["data"][:2])print(your_data["date"][:5])# 获取指定日期数据date_idx = your_data["date"].index("2020-02-03")print("2020-02-03 日期->索引转换：", date_idx)data = np.array(your_data["data"])for header, number in zip(your_data["header"], data[date_idx]):print(header, ":", number)# 获取指定行列数据row_idx = your_data["date"].index("2020-01-24")  # 获取日期索引column_idx = your_data["header"].index("Confirmed")  # 获取标题的索引confirmed0124 = data[row_idx, column_idx]print("截止 2020-01-24 的累积数：", confirmed0124)row_idx = your_data["date"].index("2020-07-23")  # 获取日期索引column_idx = your_data["header"].index("New deaths")  # 获取标题的索引result = data[row_idx, column_idx]print("截止 2020-07-23 的数：", result)# 求和计算row1_idx = your_data["date"].index("2020-01-25")row2_idx = your_data["date"].index("2020-07-22")new_cases_idx = your_data["header"].index("New cases")# 注意要 row1_idx + 1 得到从 01-25 这一天的新增# row2_idx + 1 来包含 7 月 22 的结果new_cases = data[row1_idx + 1: row2_idx + 1, new_cases_idx]# print(new_cases)overall = new_cases.sum()print("总共：", overall)# 比例计算new_cases_idx = your_data["header"].index("New cases")new_recovered_idx = your_data["header"].index("New recovered")not_zero_mask = data[:, new_recovered_idx] != 0ratio = data[not_zero_mask, new_cases_idx] / data[not_zero_mask, new_recovered_idx]# 平均值, 标准差ratio_mean = ratio.mean()ratio_std = ratio.std()print("平均比例：", ratio_mean, "；标准差：", ratio_std)if __name__ == '__main__':print_hi('数据分析')# See PyCharm help at https://www.jetbrains.com/help/pycharm/

复制粘贴并覆盖到你的 main.py 中运行，运行结果如下。

Hi, 数据分析
[[555.0, 17.0, 28.0, 510.0, 0.0, 0.0, 0.0, 3.06, 5.05, 60.71, 6.0], [654.0, 18.0, 30.0, 606.0, 99.0, 1.0, 2.0, 2.75, 4.59, 60.0, 8.0]]
['2020-01-22', '2020-01-23', '2020-01-24', '2020-01-25', '2020-01-26']
2020-02-03 日期->索引转换： 12
Confirmed : 19887.0
Deaths : 426.0
Recovered : 604.0
Active : 18857.0
New cases : 3100.0
New deaths : 64.0
New recovered : 145.0
Deaths / 100 Cases : 2.14
Recovered / 100 Cases : 3.04
Deaths / 100 Recovered : 70.53
No. of countries : 25.0
截止 2020-01-24 的累积数： 941.0
截止 2020-07-23 的数： 9966.0
总共： 15247309.0
平均比例： 7.049556348053241 ；标准差： 19.094025710450307

八 源码地址

代码地址：

国内看 Gitee 之 numpy/数据分析.py

国外看 GitHub 之 numpy/数据分析.py

引用 莫烦 Python