PEMS交通数据分析实战：如何用Python从海量5分钟速度数据中挖掘拥堵规律？

PEMS交通数据分析实战如何用Python从海量5分钟速度数据中挖掘拥堵规律在智能交通系统快速发展的今天PEMSPerformance Measurement System提供的5分钟级交通流数据已成为城市拥堵分析和路网优化的黄金标准。这些看似简单的速度、流量和占有率数据实则隐藏着城市交通脉搏的深层规律。本文将带您超越基础数据处理探索如何通过Python将原始数据转化为具有决策价值的拥堵洞察。1. 数据准备与清洗构建分析基石1.1 高效加载与合并数据集面对PEMS提供的分站5分钟数据如d04_text_station_5min_2023_01_02.txt和元数据文件如d04_text_meta_2022_12_13.txt我们需要建立数据管道确保分析效率。以下是优化后的数据加载方案import pandas as pd from pathlib import Path # 定义动态列名生成函数 def generate_headers(columns_count): base_headers [Timestamp, Station, District, Freeway, Direction, Lane Type, Station Length, Samples, %Observed, Total Flow, Avg Occupancy, Avg Speed] lane_metrics [Samples, Flow, Avg Occ, Avg Speed, Observed] for lane in range(1, (columns_count - len(base_headers)) // len(lane_metrics) 1): base_headers.extend([fLane {lane} {metric} for metric in lane_metrics]) return base_headers # 智能加载数据文件 data_dir Path(./pems_data) raw_data pd.read_csv( data_dir / d04_text_station_5min_2023_01_02.txt, namesgenerate_headers(len(pd.read_csv(data_dir / d04_text_station_5min_2023_01_02.txt, nrows1).columns)) ) meta_data pd.read_csv( data_dir / d04_text_meta_2022_12_13.txt, delimiter\t, usecols[ID, Freeway, Direction, Latitude, Longitude, Type, Lanes] ).rename(columns{ID: Station})1.2 数据质量诊断与修复交通数据常见问题包括传感器故障导致的异常值和缺失记录。我们需要建立系统化的数据质量评估体系缺失值分析检查各字段的完整率特别是关键指标如Avg Speed异常值检测通过统计学方法识别不合理速度值如120mph或5mph时间连续性验证确保5分钟间隔无断裂# 数据质量诊断报告 def data_quality_report(df): import numpy as np # 缺失值分析 missing_stats df.isnull().mean().sort_values(ascendingFalse) # 速度异常值检测 speed_stats df[Avg Speed].describe(percentiles[0.01, 0.99]) iqr speed_stats[75%] - speed_stats[25%] lower_bound speed_stats[25%] - 1.5*iqr upper_bound speed_stats[75%] 1.5*iqr # 时间连续性检查 time_gaps pd.to_datetime(df[Timestamp]).diff().value_counts() return { missing_values: missing_stats[missing_stats 0], speed_outliers: f{((df[Avg Speed] lower_bound) | (df[Avg Speed] upper_bound)).mean():.2%}, time_continuity: time_gaps.head() } quality_report data_quality_report(raw_data)2. 时空特征工程解锁数据潜能2.1 时间维度特征构建交通流具有显著的周期性特征我们需要从时间戳中提取多层次时间特征# 时间特征扩展函数 def enrich_time_features(df, time_colTimestamp): df[time_col] pd.to_datetime(df[time_col]) time_features { hour: df[time_col].dt.hour, day_of_week: df[time_col].dt.dayofweek, is_weekend: df[time_col].dt.dayofweek 5, time_of_day: (df[time_col].dt.hour * 60 df[time_col].dt.minute) / 1440, period: pd.cut(df[time_col].dt.hour, bins[0,6,10,15,19,24], labels[深夜,早高峰,日间,晚高峰,夜间], rightFalse) } return df.assign(**time_features) raw_data enrich_time_features(raw_data)2.2 空间关联与路网特征通过合并元数据我们可以构建空间分析基础# 空间特征合并与增强 def merge_spatial_features(traffic_df, meta_df): merged pd.merge(traffic_df, meta_df, on[Station, Freeway, Direction], howleft) # 车道类型特征增强 lane_type_map { ML: 主线, HV: 高占用车道, FR: 下匝道, OR: 上匝道, CD: 集散道, CH: 常规公路, FF: 高速连接线 } merged[Lane Type CN] merged[Type].map(lane_type_map) merged[Is_Ramp] merged[Type].isin([FR, OR]) return merged full_data merge_spatial_features(raw_data, meta_data)3. 拥堵模式识别多维分析方法3.1 时间序列拥堵热点检测通过滑动窗口分析识别周期性拥堵模式# 拥堵时段分析函数 def analyze_congestion_patterns(df, station_idNone, freewayNone): import matplotlib.pyplot as plt from scipy.signal import find_peaks # 数据筛选 query_conditions [] if station_id: query_conditions.append(fStation {station_id}) if freeway: query_conditions.append(fFreeway {freeway}) filtered df.query( and .join(query_conditions)) if query_conditions else df # 按小时聚合 hourly_speed filtered.groupby([hour, period])[Avg Speed].agg([mean, count]) # 拥堵峰值检测 speeds hourly_speed[mean].values peaks, _ find_peaks(-speeds, prominence5) # 寻找速度低谷 # 可视化 plt.figure(figsize(12, 6)) plt.plot(hourly_speed.index.get_level_values(hour), speeds, label平均速度) plt.scatter(peaks, speeds[peaks], colorred, label拥堵时段) plt.title(日速度变化与拥堵热点检测) plt.xlabel(小时) plt.ylabel(平均速度(mph)) plt.legend() plt.grid() return { congestion_hours: hourly_speed.index[peaks], plot: plt } congestion_analysis analyze_congestion_patterns(full_data, freeway80)3.2 空间瓶颈路段识别结合地理信息识别常发拥堵路段# 空间热点分析 def identify_spatial_hotspots(df, districtNone): from sklearn.cluster import DBSCAN import numpy as np # 数据准备 spatial_data df.groupby([Station, Latitude, Longitude, Lane Type CN]).agg({ Avg Speed: median, Avg Occupancy: median }).reset_index() # 低速路段聚类 slow_spots spatial_data[spatial_data[Avg Speed] spatial_data[Avg Speed].quantile(0.25)] coords slow_spots[[Latitude, Longitude]].values # 空间聚类 clustering DBSCAN(eps0.01, min_samples3).fit(coords) slow_spots[cluster] clustering.labels_ # 热点统计 hotspots slow_spots[slow_spots[cluster] ! -1].groupby(cluster).agg({ Latitude: mean, Longitude: mean, Station: count, Avg Speed: mean }).rename(columns{Station: Hotspot_Size}) return { hotspots: hotspots.sort_values(Hotspot_Size, ascendingFalse), raw_data: slow_spots } hotspot_results identify_spatial_hotspots(full_data)4. 高级分析车道类型与拥堵关联4.1 车道类型速度差异分析不同车道类型在拥堵形成中扮演不同角色# 车道类型对比分析 def lane_type_analysis(df): import seaborn as sns # 按车道类型和时间段分析 lane_performance df.groupby([Lane Type CN, period]).agg({ Avg Speed: [mean, std], Avg Occupancy: mean, Total Flow: sum }).reset_index() # 可视化 plt.figure(figsize(14, 8)) sns.boxplot(datadf, xperiod, yAvg Speed, hueLane Type CN) plt.title(不同车道类型在各时段的速分布) plt.ylabel(速度(mph)) plt.xlabel(时段) return { stats: lane_performance, plot: plt } lane_results lane_type_analysis(full_data)4.2 匝道与主线交互影响上下匝道对主线交通流的影响模式# 匝道影响范围分析 def ramp_impact_analysis(df, window_size5): # 识别匝道相邻站点 df df.sort_values([Freeway, Direction, Station]) df[Is_Ramp_Neighbor] ( df.groupby([Freeway, Direction])[Is_Ramp] .transform(lambda x: x.rolling(window_size, centerTrue).max()) ) # 影响分析 impact_stats df.groupby([Is_Ramp, Is_Ramp_Neighbor, period]).agg({ Avg Speed: mean, Avg Occupancy: mean }).unstack([Is_Ramp, Is_Ramp_Neighbor]) # 可视化 impact_stats[Avg Speed].plot( kindline, figsize(12, 6), title匝道与相邻主线速度对比, ylabel平均速度(mph), gridTrue ) return { impact_stats: impact_stats, plot: plt } ramp_impact ramp_impact_analysis(full_data)5. 分析成果可视化与报告生成5.1 交互式时空可视化使用Plotly创建动态可视化# 交互式地图可视化 def create_interactive_map(analysis_data): import plotly.express as px fig px.scatter_mapbox( analysis_data, latLatitude, lonLongitude, colorAvg Speed, sizeHotspot_Size, hover_namecluster, hover_data[Avg Speed], color_continuous_scalepx.colors.sequential.Viridis_r, zoom10, height600 ) fig.update_layout( mapbox_styleopen-street-map, title拥堵热点空间分布 ) return fig map_viz create_interactive_map(hotspot_results[hotspots].reset_index())5.2 自动化分析报告生成将关键发现整理为结构化报告# 自动化报告生成 def generate_analysis_report(analysis_results): from datetime import datetime report { metadata: { generated_at: datetime.now().strftime(%Y-%m-%d %H:%M:%S), data_range: f{full_data[Timestamp].min()} 至 {full_data[Timestamp].max()} }, key_findings: { top_congestion_hours: analysis_results[congestion_analysis][congestion_hours].tolist(), major_hotspots: analysis_results[hotspot_results][hotspots].head(3).to_dict(), lane_performance: analysis_results[lane_results][stats].query(period 晚高峰).to_dict() }, recommendations: [ f建议在{hour}时加强交通疏导 for hour in analysis_results[congestion_analysis][congestion_hours] ] } return report final_report generate_analysis_report({ congestion_analysis: congestion_analysis, hotspot_results: hotspot_results, lane_results: lane_results })