避开B题大坑！华中杯数学建模中‘文本转数据’的3个实用技巧与相似度计算实战

华中杯数学建模B题突围指南文本特征工程与相似度计算实战解析面对华中杯数学建模竞赛B题小学数学应用题相似性度量及难度评估许多参赛团队在文本定量化这一关键环节陷入困境。本文将打破常规解题框架从特征工程构建、轻量级NLP技术应用和相似度算法选型三个维度提供一套可落地的解决方案。1. 文本特征工程的黄金法则小学数学应用题的文字描述看似杂乱无章实则隐藏着可量化的结构特征。我们首先需要建立特征提取的标准化流程数字实体捕获识别题目中的所有数值及其单位示例题目小明买了3个苹果和5个橘子每个苹果2元每个橘子1.5元提取结果[3, 5, 2, 1.5]单位[个, 个, 元/个, 元/个]运算关系映射将文字描述的数学关系转化为运算符# 建立关键词到运算符的映射字典 operator_map { 一共: , 总共: , 比...多: -, 剩余: -, 每...: * }问题类型分类根据解题方法建立题型标签题型特征词类别标签示例题目片段速度、时间行程问题汽车以60km/h行驶...百分比、折扣比例问题商品打八折后价格...年龄差、几年后年龄问题妈妈比小红大25岁...提示特征提取时需保留原始文本的位置信息这对后续相似度计算至关重要。例如买3个苹果和5个橘子与买5个苹果和3个橘子应视为不同特征。2. NLP技术在数学题分析中的巧用传统数学建模很少涉及自然语言处理但适当引入NLP技术能显著提升文本量化效果2.1 基于TF-IDF的关键词加权from sklearn.feature_extraction.text import TfidfVectorizer corpus [ 小明买3个苹果和5个橘子, 小红有8块糖吃掉3块, 汽车以60km/h行驶2小时 ] vectorizer TfidfVectorizer(token_patternr(?u)\b\w\b) X vectorizer.fit_transform(corpus) print(vectorizer.get_feature_names_out()) # 输出[60km, 8, 小时, 小明, 汽车, 苹果, 行驶, 橘子, 糖, 红有, 吃掉]2.2 词向量空间中的语义度量使用预训练的中文词向量计算题目关键词的语义相似度import gensim.downloader as api model api.load(word2vec-google-news-300) print(model.similarity(苹果, 橘子)) # 水果类相似度 print(model.similarity(汽车, 火车)) # 交通工具相似度2.3 句法结构分析通过依存句法分析提取题目主干关系小明买了3个苹果的依存分析结果 买(ROOT) ├─ 小明(主谓关系) └─ 苹果(动宾关系) └─ 3个(数量关系)3. 相似度算法的场景化选择不同相似度度量方法适用于不同特征组合以下是四种典型场景的算法选型指南3.1 数值特征对比当题目主要差异体现在数字大小时推荐使用改进的余弦相似度from sklearn.metrics.pairwise import cosine_similarity import numpy as np # 考虑数值大小和单位权重 def enhanced_cosine(vec1, vec2, unit_weights): weighted_vec1 vec1 * unit_weights weighted_vec2 vec2 * unit_weights return cosine_similarity([weighted_vec1], [weighted_vec2])[0][0]3.2 结构相似性计算对于解题步骤相似性的评估图编辑距离更为合适题目A结构图与题目B结构图的比对 节点匹配度 相同运算符数量 / 总运算符数量 边相似度 1 - (需要调整的关系边数 / 总关系边数)3.3 综合相似度评估建立多维度相似度融合模型特征维度权重系数适用算法归一化方法数值特征0.4改进余弦相似度Min-Max Scaling语义特征0.3Word2Vec相似度Z-Score结构特征0.2图编辑距离倒数转换题型分类0.1分类匹配度布尔值(0/1)# 综合相似度计算示例 def integrated_similarity(q1, q2): num_sim enhanced_cosine(q1[numeric], q2[numeric], units_weight) sem_sim semantic_similarity(q1[text], q2[text]) struct_sim graph_edit_distance(q1[graph], q2[graph]) type_sim 1 if q1[type] q2[type] else 0 total 0.4*num_sim 0.3*sem_sim 0.2*(1-struct_sim) 0.1*type_sim return total / (0.4 0.3 0.2 0.1) # 加权平均4. 实战案例应用题相似度评估系统我们以具体案例演示完整处理流程题目A商店有8箱苹果每箱12个卖出35个后还剩多少题目B仓库库存60个橘子运走25箱每箱2个还剩多少特征提取阶段{ numeric: [8, 12, 35, 60, 25, 2], units: [箱, 个/箱, 个, 个, 箱, 个/箱], operators: [*, -, *, -], structure: [库存, 销售, 剩余] }相似度计算过程数值特征相似度0.18差异较大语义相似度0.65都是水果销售场景结构相似度0.92相同的解题逻辑题型分类1同属剩余量计算类最终相似度得分0.4*0.18 0.3*0.65 0.2*0.92 0.1*1 0.547注意实际应用中需根据题目库调整权重参数可通过网格搜索确定最优组合。建议保留20%的题目作为验证集用Spearman相关系数评估相似度计算结果与人工评判的一致性。在具体实现时建议采用模块化设计class ProblemSimilarity: def __init__(self): self.feature_extractor FeatureEngineer() self.sim_calculator SimilarityCalculator() def pipeline(self, text1, text2): feat1 self.feature_extractor.transform(text1) feat2 self.feature_extractor.transform(text2) return self.sim_calculator.compare(feat1, feat2)处理边界情况时需特别注意单位换算问题如米与厘米同义词替换购买与买入多解题题型可能有多种正确解法隐含条件如两人同时出发暗示时间相同