使用distilabel和Prometheus 2构建高质量语言模型数据集

1. 从零构建高质量语言模型数据集基于distilabel和Prometheus 2的完整实践指南在语言模型微调领域数据质量往往比数据数量更重要。过去我们依赖GPT-4等闭源模型进行数据质量评估成本高昂且过程不透明。现在有了Prometheus 2这个开源的评估模型配合distilabel数据处理框架我们可以构建完全开源的高质量数据集生成流水线。本文将手把手带你完成两个核心场景从原始数据蒸馏SFT监督微调数据集以及将SFT数据集扩展为DPO直接偏好优化数据集。2. 核心工具与技术选型解析2.1 Prometheus 2评估模型深度剖析Prometheus 2是当前最先进的开放评估模型其核心优势在于双模式评估支持绝对评分对单个回答打分和相对评分对回答对排序多维度评估提供事实准确性、指令遵循、帮助性等多个评估维度成本效益相比GPT-4评估使用Prometheus 2可降低90%以上的成本技术实现上Prometheus 2通过收集GPT-4生成的评估数据作为训练集采用LoRA等参数高效微调方法使用模型融合技术提升稳定性2.2 distilabel数据处理框架distilabel是一个专为AI数据处理的Python库提供模块化设计每个数据处理步骤可单独配置和组合自动化流水线支持复杂数据处理流程的编排多后端支持兼容Hugging Face、vLLM等多种推理后端典型工作流程from distilabel.pipeline import Pipeline from distilabel.steps import LoadDataset, ProcessData with Pipeline(data-pipeline) as pipeline: load LoadDataset(...) process ProcessData(...) load.connect(process)3. SFT数据集蒸馏实战3.1 数据准备与质量评估我们从OpenBMB的UltraInteract_sft数据集开始from distilabel.steps import LoadHubDataset load_dataset LoadHubDataset( nameload_dataset, repo_idopenbmb/UltraInteract_sft, splittrain, batch_size5, num_examples100 )关键参数说明batch_size控制每次处理的样本数建议从小批量开始测试num_examples限制总样本数用于快速验证流程3.2 使用Prometheus 2进行质量过滤配置评估步骤from distilabel.steps.tasks import PrometheusEval from distilabel.llms import vLLM prometheus PrometheusEval( nameprometheus, llmvLLM( modelprometheus-eval/prometheus-7b-v2.0, chat_template[INST] {{ messages[0][content] }}\n{{ messages[1][content] }}[/INST], ), modeabsolute, rubricfactual-validity, referenceFalse )评估维度选择建议事实准确性factual-validity对知识密集型任务最关键指令遵循instruction-following对复杂指令任务重要帮助性helpfulness对对话系统很关键3.3 结果过滤与数据集保存保留高质量样本from distilabel.steps import KeepColumns keep_columns KeepColumns( namekeep_columns, columns[instruction, generation, result, model_name, feedback] )质量阈值设置经验一般保留评分≥4的样本Prometheus 2使用5分制对关键任务可提高到≥4.5保留评估原始记录供后续分析4. 从SFT到DPO数据集构建4.1 数据增强与多响应生成使用不同规模的模型生成对比响应from distilabel.steps.tasks import TextGeneration from distilabel.llms import InferenceEndpointsLLM generate_with_llama3_70B TextGeneration( namegenerate_with_llama3_70B, llmInferenceEndpointsLLM( model_idmeta-llama/Meta-Llama-3-70B-Instruct, tokenizer_idmeta-llama/Meta-Llama-3-70B-Instruct ) ) generate_with_llama3_8B TextGeneration( namegenerate_with_llama3_8B, llmInferenceEndpointsLLM( model_idmeta-llama/Meta-Llama-3-8B-Instruct, tokenizer_idmeta-llama/Meta-Llama-3-8B-Instruct ) )生成策略建议温度参数建议0.7-1.0以获得多样性最大长度根据任务需求调整一般256-512 tokens核采样top_p0.9平衡质量与多样性4.2 响应对比评估配置相对评估模式prometheus PrometheusEval( nameprometheus, llmvLLM( modelprometheus-eval/prometheus-7b-v2.0, chat_template[INST] {{ messages[0][content] }}\n{{ messages[1][content] }}[/INST], ), moderelative, rubricfactual-validity )评估结果解读胜率win rate高质量模型响应应显著优于基线平局ties可能表明prompt需要优化评估一致性可通过多次评估检查稳定性4.3 DPO数据集格式转换最终数据集应包含instruction原始指令chosen优选响应rejected劣选响应score质量差异分数示例转换代码from datasets import Dataset import pandas as pd def create_dpo_dataset(eval_results): records [] for item in eval_results: if item[result] model1: chosen, rejected item[generations][0], item[generations][1] else: chosen, rejected item[generations][1], item[generations][0] records.append({ instruction: item[instruction], chosen: chosen, rejected: rejected, score: item[feedback][score] }) return Dataset.from_pandas(pd.DataFrame(records))5. 生产环境优化与问题排查5.1 性能优化技巧批量处理优化理想batch_size8-16需平衡内存和吞吐量启用连续批处理continuous batching使用TensorRT等推理优化后端缓存策略from diskcache import Cache cache Cache(evaluation_cache) cache.memoize() def evaluate_with_prometheus(prompt, response): # 评估实现 return score5.2 常见问题解决方案评估不一致问题检查prompt模板是否符合Prometheus 2要求验证评估维度rubric是否适合当前任务增加评估次数取平均分流水线错误处理from distilabel.steps import Step class RobustTextGeneration(Step): def process(self, inputs): try: # 正常处理逻辑 except Exception as e: self.logger.error(f处理失败: {e}) # 实现重试或跳过逻辑5.3 质量验证方法人工评估方案随机采样100-200个评估结果设计评估表格质量、相关性、流畅度等维度计算人工评估与自动评估的一致性Cohens kappa自动验证指标胜率与评估分数的相关性不同评估维度间的一致性模型置信度与人工评分的一致性6. 完整流水线示例6.1 SFT蒸馏流水线from distilabel.pipeline import Pipeline from distilabel.steps import KeepColumns, LoadHubDataset from distilabel.steps.tasks import PrometheusEval from distilabel.llms import vLLM with Pipeline(namesft-refinement) as pipeline: # 数据加载 load_data LoadHubDataset( nameload_data, repo_idopenbmb/UltraInteract_sft, splittrain, batch_size8, num_examples500 ) # 质量评估 evaluator PrometheusEval( nameevaluator, llmvLLM( modelprometheus-eval/prometheus-7b-v2.0, chat_templateprometheus_template ), modeabsolute, rubricfactual-validity ) # 结果过滤 filter_results KeepColumns( namefilter_results, columns[instruction, generation, score], score_threshold4.0 ) # 构建流水线 load_data.connect(evaluator) evaluator.connect(filter_results)6.2 DPO生成流水线with Pipeline(namedpo-generation) as pipeline: # 数据加载 load_data LoadHubDataset( nameload_data, repo_idopenbmb/UltraInteract_sft, splittrain, batch_size4 ) # 多模型生成 gen_70b TextGeneration( namegen_70b, llmInferenceEndpointsLLM( model_idmeta-llama/Meta-Llama-3-70B-Instruct ) ) gen_8b TextGeneration( namegen_8b, llmInferenceEndpointsLLM( model_idmeta-llama/Meta-Llama-3-8B-Instruct ) ) # 响应组合 combine CombineColumns( namecombine, columns[generation, model_name], output_columns[responses, models] ) # 对比评估 compare PrometheusEval( namecompare, llmvLLM(modelprometheus-7b-v2.0), moderelative ) # 流水线连接 load_data.connect(gen_70b) load_data.connect(gen_8b) gen_70b.connect(combine) gen_8b.connect(combine) combine.connect(compare)在实际部署中发现使用70B和8B模型的组合能产生最明显的质量对比而两个相近规模的模型如13B和7B生成的响应差异较小不利于DPO训练。对于关键任务建议增加人类验证环节可使用Argilla等工具构建人工审核流程。