用Python+SPSS搞定数学建模A题：从问卷数据清洗到慢性病影响因素分析全流程

PythonSPSS数学建模实战慢性病影响因素分析与可视化全流程数学建模竞赛中数据处理与分析能力往往决定了作品的深度与竞争力。面对慢性病影响因素分析这类典型的社会医学问题如何高效完成从原始问卷到可视化报告的全流程本文将手把手带你用Python和SPSS构建完整分析链路涵盖数据清洗、特征工程、统计建模到结果解读的每个技术细节。1. 数据预处理从原始问卷到分析数据集拿到原始问卷数据如Excel格式的A2附件时首先需要建立标准化的预处理流程。我们使用pandas进行高效清洗import pandas as pd import numpy as np # 读取原始数据 raw_data pd.read_excel(chronic_disease_survey.xlsx, header1) # 基础清洗步骤 def basic_cleaning(df): # 删除空行 df df.dropna(howall) # 填充缺失ID df[ID] df[ID].fillna(pd.Series(range(1, len(df)1))) # 统一缺失值标记 df.replace([-99, NA, ], np.nan, inplaceTrue) # 类型转换 for col in df.select_dtypes(include[object]): try: df[col] pd.to_numeric(df[col]) except: pass return df cleaned_data basic_cleaning(raw_data)针对问卷数据的特殊处理技巧多选题拆分使用str.get_dummies()处理选择所有适用项类问题量表题标准化对Likert量表题进行Z-score标准化异常值检测通过IQR方法识别极端值# 多选题处理示例 diet_habits cleaned_data[Q15].str.get_dummies(sep,) cleaned_data pd.concat([cleaned_data, diet_habits.add_prefix(Q15_)], axis1) # 量表题标准化 from sklearn.preprocessing import StandardScaler scale_cols [Q23, Q24, Q25] scaler StandardScaler() cleaned_data[scale_cols] scaler.fit_transform(cleaned_data[scale_cols])2. 膳食合理性评估基于指南的量化分析参考《中国居民膳食指南》A3附件我们需要构建可量化的评估体系。以下是核心评估维度评估维度对应问卷条目评分规则食物多样性Q5-Q14每周摄入≥12种食物得1分谷类摄入Q15_1-Q15_3每日全谷物占比≥1/3得0.5分蔬果摄入Q16-Q18每日≥500g得1分奶制品摄入Q19每日300-500ml得0.5分盐油控制Q20-Q22食盐≤5g/日得0.5分Python实现自动评分def calculate_diet_score(row): score 0 # 食物多样性 food_variety row[[Q5,Q6,Q7,Q8,Q9,Q10,Q11,Q12,Q13,Q14]].notna().sum() score 1 if food_variety 12 else 0 # 全谷物占比 if row[Q15_1] 1 and row[Q15_2] 3: score 0.5 # 蔬果摄入 veg_fruit row[Q16] row[Q17] score 1 if veg_fruit 500 else 0 return score cleaned_data[diet_score] cleaned_data.apply(calculate_diet_score, axis1)使用SPSS进行可视化验证将Python处理后的数据导出为CSV在SPSS中执行GRAPHS → BOXPLOT → 选择diet_score作为变量添加分组变量如年龄段进行对比分析注意实际评分应根据具体问卷结构调整这里展示的是核心逻辑框架3. 影响因素相关性分析多方法组合策略面对年龄、职业等不同变量类型需要采用混合分析方法3.1 连续变量 vs 连续变量Pearson相关系数线性关系检验Spearman秩相关单调关系检验# Python实现 corr_matrix cleaned_data[[age, BMI, diet_score]].corr(methodpearson) # 热力图可视化 import seaborn as sns sns.heatmap(corr_matrix, annotTrue, cmapcoolwarm)3.2 分类变量 vs 分类变量卡方检验检验变量独立性Cramers V衡量关联强度SPSS操作路径Analyze → Descriptive Statistics → Crosstabs → 选择行变量和列变量 → Statistics中勾选Chi-square和Phi/Cramers V3.3 连续变量 vs 分类变量ANOVA正态分布Kruskal-Wallis检验非正态分布Python代码示例from scipy import stats # 按职业分组分析饮食得分 groups [group[diet_score] for name, group in cleaned_data.groupby(occupation)] f_val, p_val stats.f_oneway(*groups) print(fANOVA结果: F{f_val:.2f}, p{p_val:.4f})4. 慢性病预测模型机器学习实战针对问题3的慢性病预测我们构建特征工程与模型训练流程4.1 特征构建从原始问卷中提取关键特征features { smoking: cleaned_data[Q30].map({从不:0, 偶尔:1, 经常:2}), alcohol: cleaned_data[Q31].apply(lambda x: 1 if x2 else 0), exercise_freq: cleaned_data[Q26], work_stress: cleaned_data[Q27], sleep_quality: cleaned_data[Q28], diet_score: cleaned_data[diet_score] } X pd.DataFrame(features) y cleaned_data[hypertension] # 目标变量4.2 神经网络建模使用scikit-learn实现简易BP神经网络from sklearn.neural_network import MLPClassifier from sklearn.model_selection import train_test_split # 数据拆分 X_train, X_test, y_train, y_test train_test_split(X, y, test_size0.2) # 模型训练 model MLPClassifier(hidden_layer_sizes(10,5), activationrelu, max_iter1000) model.fit(X_train, y_train) # 特征重要性分析 perm PermutationImportance(model, random_state1).fit(X_test, y_test) eli5.show_weights(perm, feature_namesX.columns.tolist())4.3 模型解释技巧SHAP值分析解释特征贡献度部分依赖图展示特征边际效应import shap # SHAP分析 explainer shap.DeepExplainer(model, X_train[:100]) shap_values explainer.shap_values(X_test[:10]) shap.summary_plot(shap_values, X_test)5. 人群分类与健康建议聚类分析应用基于因子分析和K-means聚类实现人群细分5.1 SPSS因子分析步骤选择菜单Analyze → Dimension Reduction → Factor将饮食、运动、生活习惯等变量放入分析框设置提取方法为主成分分析保留特征值1的因子使用Varimax旋转提高解释性5.2 Python聚类实现from sklearn.cluster import KMeans from sklearn.preprocessing import StandardScaler # 使用因子得分作为输入 factor_scores pd.read_csv(spss_factor_scores.csv) scaler StandardScaler() scaled_data scaler.fit_transform(factor_scores) # 肘部法则确定K值 inertia [] for k in range(1, 10): kmeans KMeans(n_clustersk, random_state42) kmeans.fit(scaled_data) inertia.append(kmeans.inertia_) # 可视化确定最佳聚类数 plt.plot(range(1,10), inertia, markero) plt.xlabel(Number of clusters) plt.ylabel(Inertia)5.3 人群特征画像与建议通过聚类中心解读人群特征人群类型饮食特征运动特征健康建议类型1高盐高油久坐少动控制外卖频率设置站立办公时间类型2蔬果不足偶尔运动增加彩虹蔬果摄入培养晨练习惯类型3结构合理规律运动保持现有习惯注意睡眠质量在SPSS中可通过以下路径生成人群分布图Graphs → Chart Builder → 选择散点图 → 设置因子得分为坐标轴 → 以聚类结果为分组变量6. 分析报告整合技巧将Python与SPSS优势结合打造专业级报告数据架构Python数据清洗 → SPSS高级统计 → Python机器学习 → SPSS可视化自动化衔接使用pyreadstat库直接读写SPSS格式文件通过Python调用SPSS语法文件执行批量分析import pyreadstat # 将Python数据保存为SPSS格式 pyreadstat.write_sav(cleaned_data, cleaned_data.sav) # 调用SPSS执行语法文件 import subprocess subprocess.run([pspp, analysis_script.sps])可视化组合方案使用Python的Matplotlib/Seaborn制作复杂图表利用SPSS的交互式图表功能快速探索数据最终用Tableau或Power BI整合所有可视化成果在数学建模竞赛中这种技术组合既能保证分析深度又能提升工作效率。记得保存每个步骤的代码和输出结果形成完整的分析溯源链条。