数据分析_Python

1 分析内容

1.1 数据的整体概述

        提供数据集的基本信息,包括数据量、时间跨度、地理范围和主要字段.

import pandas as pd# 创建示例数据
data = {'姓名': ['张三', '李四', '王五', '赵六', '钱七', '孙八', '周九', '吴十'],'年龄': [25, 30, 35, 40, 45, 50, 55, 60],'性别': ['男', '男', '女', '女', '男', '女', '男', '女'],'收入': [5000, 6000, 7500, 8000, 9000, 10000, None, 12000],'工作年限': [2, 3, 5, 7, 10, 12, 15, 18],'部门': ['销售', '销售', '研发', '研发', '市场', '市场', '财务', '财务']
}
df = pd.DataFrame(data)print("原始数据:")
print(df.head(3).to_string())# 1. 筛选年龄大于30且部门为研发的数据
print("\n1. 筛选结果:")
filtered = df[(df['年龄'] > 30) & (df['部门'] == '研发')]
print(filtered.to_string())# 2. 按收入降序排序
print("\n2. 排序结果:")
sorted_data = df.sort_values('收入', ascending=False)
print(sorted_data.to_string())# 3. 计算月收入
print("\n3. 计算新列结果:")
df['月收入'] = df['收入'] / 12
print(df[['姓名', '收入', '月收入']].to_string())# 4. 合并姓名和部门列
print("\n4. 合并列结果:")
df['信息'] = df['姓名'] + ' - ' + df['部门']
print(df[['信息', '姓名', '部门']].to_string())# 5. 转换年龄列为浮点数类型
print("\n5. 数据类型转换结果:")
df['年龄'] = df['年龄'].astype(float)
print(f"年龄列类型: {df['年龄'].dtype}")

1.2 数据的基本统计信息

        计算数据的核心统计指标和分布特征,以便理解数据的整体特征.分析方法有集中趋势分析、离散程度分析、分布分析.

(1) 集中趋势分析

import pandas as pddata = {'年龄': [25, 30, 30, 40, 45],'工资': [5000, 6000, 7000, 8000, 9000]
}
df = pd.DataFrame(data)# 通用描述性统计
summary = df.describe()
print("通用描述性统计:\n", summary)
# 统计单列的描述性信息
print("Age statistics:\n", df['年龄'].describe())# 特定统计量计算
sum_age = df['年龄'].sum()
print("\n年龄总和:", sum_age)count_age = df['年龄'].count()
print("年龄计数:", count_age)min_age = df['年龄'].min()
print("年龄最小值:", min_age)max_age = df['年龄'].max()
print("年龄最大值:", max_age)average_age = df['年龄'].mean()
print("平均年龄:", average_age)median_salary = df['工资'].median()
print("工资中位数:", median_salary)mode_age = df['年龄'].mode()
print("年龄众数:\n", mode_age)std_salary = df['工资'].std()
print("工资标准差:", std_salary)var_salary = df['工资'].var()
print("工资方差:", var_salary)q25_salary = df['工资'].quantile(0.25)
print("工资列的25%分位数:", q25_salary)

(2) 分布分析

import pandas as pd# 创建示例数据
data = {'姓名': ['张三', '李四', '王五', '赵六', '钱七', '孙八', '周九', '吴十'],'年龄': [25, 30, 35, 40, 45, 50, 55, 60],'性别': ['男', '男', '女', '女', '男', '女', '男', '女'],'收入': [5000, 6000, 7500, 8000, 9000, 10000, None, 12000],'工作年限': [2, 3, 5, 7, 10, 12, 15, 18],'部门': ['销售', '销售', '研发', '研发', '市场', '市场', '财务', '财务']
}
df = pd.DataFrame(data)# 统计每个部门的频数（返回Series）
department_counts = df['部门'].value_counts(dropna=False)# 输出结果（按频数降序排列）
print(department_counts)    

1.3 数据的分组与汇总

        根据时间或业务维度对数据进行分组,并计算汇总指标,以揭示不同维度的表现分析方法有分组分析、汇总统计.

import pandas as pd# 使用你最初的数据源
data = {'姓名': ['张三', '李四', '王五', '赵六', '钱七', '孙八', '周九', '吴十'],'年龄': [25, 30, 35, 40, 45, 50, 55, 60],'性别': ['男', '男', '女', '女', '男', '女', '男', '女'],'收入': [5000, 6000, 7500, 8000, 9000, 10000, None, 12000],'工作年限': [2, 3, 5, 7, 10, 12, 15, 18],'部门': ['销售', '销售', '研发', '研发', '市场', '市场', '财务', '财务']
}
df = pd.DataFrame(data)# 输出原始数据
print("=== 原始数据 ===")
print(df.to_string())# 1. 按性别分组统计人数和平均年龄（使用agg）
print("\n=== 按性别分组的统计信息 ===")
gender_stats = df.groupby('性别').agg(人数=('姓名', 'count'),平均年龄=('年龄', 'mean'),平均收入=('收入', 'mean')
).reset_index()
print(gender_stats)# 2. 按收入区间分组（自定义分组，使用agg）
print("\n=== 按收入区间分组的统计 ===")
def income_category(x):if x < 6000:return '低收入'elif x < 9000:return '中等收入'else:return '高收入'df['收入等级'] = df['收入'].apply(income_category)
income_stats = df.groupby('收入等级').agg(人数=('姓名', 'count')
).reset_index()
print(income_stats)    

1.4 数据的趋势与变化

        分析数据随时间的变化趋势和周期性波动,以识别增长、下降或稳定的模式.分析方法有时间序列分析、周期性分析.

import pandas as pddata = {'date': ['2023-01-01', '2023-01-02', '2023-01-03', '2023-01-04', '2023-01-05'],'sales': [1000, 1200, 900, 1500, 1300]
}
df = pd.DataFrame(data)# 确保日期字段是日期时间格式
df['date'] = pd.to_datetime(df['date'])
# 按日期排序（确保时间序列的顺序正确）
df = df.sort_values('date')
# 设置日期为索引（方便时间序列分析）
df.set_index('date', inplace=True)# 输出处理后的数据
print("处理后的时间序列数据:\n",df)

1.5 数据的对比与差异

        通过同比、环比和分类对比分析,识别不同时间段或类别之间的差异.分析方法有同环比分析,分类对比分析.

1.5.1 同环比分析

import pandas as pd# 使用简单的示例数据
data = {'日期': ['2023-01-01', '2023-02-01', '2023-03-01', '2023-04-01', '2022-01-01', '2022-02-01', '2022-03-01', '2022-04-01'],'产品': ['A', 'A', 'B', 'B', 'A', 'A', 'B', 'B'],'销售额': [12000, 15000, 8000, 9500, 10000, 14000, 7000, 9000],'利润': [2000, 3000, 1500, 2000, 1800, 2500, 1200, 1800]
}
df = pd.DataFrame(data)# 将日期列转换为datetime类型
df['日期'] = pd.to_datetime(df['日期'])# 打印原始数据
print("\n=== 原始数据 ===")
print(df.to_string())# 按月聚合销售额
monthly_data = df.groupby(df['日期'].dt.to_period('M'))['销售额'].sum().reset_index()
monthly_data.columns = ['月份', '销售额']# 1. 同比分析 (YoY - Year over Year)
year_month_sales = monthly_data.copy()
year_month_sales['年月'] = year_month_sales['月份'].astype(str)  # 转为字符串格式
year_month_sales['月份'] = year_month_sales['月份'].dt.month  # 提取月份数字# 计算同比增长率及同期数
year_month_sales['同期销售额'] = year_month_sales.groupby('月份')['销售额'].shift(1)
year_month_sales['同比增长率(%)'] = year_month_sales.groupby('月份')['销售额'].pct_change(1) * 100print("\n=== 同比分析 ===")
print(year_month_sales[['年月', '销售额', '同期销售额', '同比增长率(%)']].to_string(index=False))# 2. 环比分析 (MoM - Month over Month)
# 计算环比增长率及环期数
monthly_data['环期销售额'] = monthly_data['销售额'].shift(1)
monthly_data['环比增长率(%)'] = monthly_data['销售额'].pct_change() * 100print("\n=== 环比分析 ===")
print(monthly_data.to_string(index=False))

1.5.2 分类对比分析

import pandas as pd# 使用简单的示例数据
data = {'日期': ['2023-01-01', '2023-02-01', '2023-03-01', '2023-04-01', '2022-01-01', '2022-02-01', '2022-03-01', '2022-04-01'],'产品': ['A', 'A', 'B', 'B', 'A', 'A', 'B', 'B'],'销售额': [12000, 15000, 8000, 9500, 10000, 14000, 7000, 9000],'利润': [2000, 3000, 1500, 2000, 1800, 2500, 1200, 1800]
}
df = pd.DataFrame(data)# 按产品分类对比
product_comparison = df.groupby('产品').agg(销售额总和=('销售额', 'sum'),销售额均值=('销售额', 'mean'),利润总和=('利润', 'sum'),利润均值=('利润', 'mean')
).reset_index()  # 恢复产品列为普通列# 计算销售额占比
total_sales = df['销售额'].sum()
product_comparison['销售额占比(%)'] = (product_comparison['销售额总和'] / total_sales) * 100# 计算利润率
product_comparison['利润率(%)'] = (product_comparison['利润总和'] / product_comparison['销售额总和']) * 100print("\n=== 产品分类对比（方法一）===")
print(product_comparison.to_string(index=False))

1.6 异常值与关键点

        识别数据中的异常值和关键点,以便关注显著变化或重要数据点.