大模型评测、质量保证、datasets数据集等

文章目录示例代码datasetsdatasets和自建考题哪个好?常见的数据集有哪些数据集-1. 数学与逻辑推理类 (你的主战场)数据集-2. 综合知识与学术能力类 (全能学霸)数据集-3. 编程与代码能力类 (程序员助手)数据集-4. 语言理解与指令遵循类 (听话程度)self-refine和self-consistence的区别?又一课题必须要有套路以及能举例。思路理解1、定义一个测评类ModelEvaluator。2、在该配里面配置基座模型、分词器、量化配置、run_dataset()方法是自定义的评测方法3、运行时传入数据集名称gsm8k任务类型math表示测评这个维度的这类题目示例代码importtorchimportrefromtqdmimporttqdmfromdatasetsimportload_datasetfromtransformersimportAutoTokenizer,AutoModelForCausalLM,BitsAndBytesConfigfrompeftimportPeftModelclassModelEvaluator:def__init__(self,model_path,adapter_pathNone,use_4bitTrue):self.devicecudaiftorch.cuda.is_available()elsecpuprint(f 正在加载模型:{model_path}...)# 1. 量化配置bnb_configNoneifuse_4bitandself.devicecuda:bnb_configBitsAndBytesConfig(load_in_4bitTrue,bnb_4bit_compute_dtypetorch.float16,bnb_4bit_use_double_quantTrue,bnb_4bit_quant_typenf4)# 2. 加载 Tokenizerself.tokenizerAutoTokenizer.from_pretrained(model_path,trust_remote_codeTrue)# 【关键修复 1】设置 pad_token防止 Attention Mask 报错self.tokenizer.pad_tokenself.tokenizer.eos_token self.tokenizer.pad_token_idself.tokenizer.eos_token_id# 3. 加载基座模型self.base_modelAutoModelForCausalLM.from_pretrained(model_path,quantization_configbnb_config,device_mapauto,torch_dtypetorch.float16,trust_remote_codeTrue,# 【关键修复 2】显式传入 pad_token_id彻底解决 mask 问题pad_token_idself.tokenizer.pad_token_id)# 4. 加载 LoRA 适配器ifadapter_path:print(f 正在加载 LoRA 适配器:{adapter_path}...)self.modelPeftModel.from_pretrained(self.base_model,adapter_path)else:self.modelself.base_model self.model.eval()defgenerate(self,prompt:str,max_new_tokens512)-str:# 【关键修复 3】消除警告强制覆盖模型配置中的采样参数self.model.generation_config.do_sampleFalseself.model.generation_config.top_pNoneself.model.generation_config.top_k0inputsself.tokenizer(prompt,return_tensorspt).to(self.device)withtorch.no_grad():generate_idsself.model.generate(inputs.input_ids,max_new_tokensmax_new_tokens,do_sampleFalse,pad_token_idself.tokenizer.eos_token_id)# 解码并去除输入部分outputself.tokenizer.batch_decode(generate_ids,skip_special_tokensTrue)[0]returnoutput.replace(prompt,).strip()defrun_dataset(self,dataset_name,task_typemath):print(f 正在加载数据集:{dataset_name}...)# 加载数据集指定 main 配置datasetload_dataset(dataset_name,main,splittest)results[]score0# 限制数量用于测试实际评测可去掉 .select(range(10))foritemintqdm(dataset.select(range(10)),desc评测中):# 构造 Prompt强制要求模型输出特定格式promptf请回答下面的数学问题并在最后一行输出“答案是 [数字]”。\n\n问题{item[question]}\n# 推理raw_outputself.generate(prompt)# 阅卷is_correctFalseground_truthitem[answer]# GSM8K 的正确答案在 answer 字段iftask_typemath:# 提取模型回答中的数字predself.parse_math_answer(raw_output)# 提取标准答案中的数字labelself.parse_math_answer(ground_truth)# 比对数字ifpredandlabelandpredlabel:is_correctTrueresults.append({question:item[question],prediction:raw_output,ground_truth:ground_truth,correct:is_correct})ifis_correct:score1# 统计结果accuracyscore/len(results)print(f✅ 评测完成。准确率:{accuracy:.2%})returnresults,accuracydefparse_math_answer(self,text):# 针对数学题的正则提取 答案是 后面的数字# 支持整数和小数matchre.search(r答案是\s*([-]?\d\.?\d*),text)ifmatch:returnmatch.group(1)# 兜底策略尝试提取最后一个出现的数字numbersre.findall(r[-]?\d\.?\d*,text)ifnumbers:returnnumbers[-1]returnNone# --- 使用示例 ---if__name____main__:# 配置模型路径MODEL_PATHQwen/Qwen2.5-0.5B-InstructADAPTER_PATHNone# 初始化评测器evaluatorModelEvaluator(MODEL_PATH,adapter_pathADAPTER_PATH,use_4bitTrue)# 运行评测try:results,accevaluator.run_dataset(gsm8k,task_typemath)exceptExceptionase:print(f评测出错:{e})importtraceback traceback.print_exc()输出结果 正在加载模型:Qwen/Qwen2.5-0.5B-Instruct... 正在加载数据集:gsm8k...评测中:0%||0/10[00:00?,?it/s]D:\PycharmProjects\transformer_demo\.venv\Lib\site-packages\transformers\generation\configuration_utils.py:590:UserWarning:do_sampleissetto False.However,temperatureissetto 0.7--this flagisonly usedinsample-based generation modes.You shouldsetdo_sampleTrueorunset temperature.warnings.warn(D:\PycharmProjects\transformer_demo\.venv\Lib\site-packages\transformers\generation\configuration_utils.py:612:UserWarning:do_sampleissetto False.However,top_kissetto 0--this flagisonly usedinsample-based generation modes.You shouldsetdo_sampleTrueorunset top_k.warnings.warn(The attention maskisnotsetandcannot be inferredfrominputbecause pad tokenissameaseos token.As a consequence,you may observe unexpected behavior.Pleasepassyourinputs attention_mask to obtain reliable results.评测中:100%|██████████|10/10[04:1600:00,25.65s/it]✅ 评测完成。准确率:0.00%解读准确率是0.00%这大概率和模型是千问0.5b有关先不管它了这里主要看思路。datasetsdatasets和自建考题哪个好?一个天上一个地下datasets完胜。除非极个别情况而且要基于你对场景边界极其了解的情况下自建考题可能会在某方面有优势。所以一般来说datasets是不二之选。常见的数据集有哪些需要先按照大类分一下。然后每个大类下有几种不同的产品。数据集-1. 数学与逻辑推理类 (你的主战场)这类数据集主要考察模型的“智商”看它能不能像人一样进行多步思考Chain-of-Thought。数据集难度/特点适用场景GSM8K入门级 (小学水平)必测基准。考察多步推理能力。如果模型连这个都做不好说明逻辑能力很差。MATH进阶级 (竞赛级)高难度挑战。包含代数、几何、微积分等。用于测试顶尖模型如 GPT-4, Qwen-72B的极限推理能力。BBH逻辑类包含逻辑谜题、常识推理等。考察模型在复杂语境下的逻辑一致性。数据集-2. 综合知识与学术能力类 (全能学霸)这类数据集考察模型的“知识储备”和“全科能力”通常包含历史、物理、法律、医学等题目。数据集难度/特点适用场景MMLU黄金标准 (全学科)最权威榜单。涵盖57个学科从小学到研究生水平。如果你想知道一个模型“聪不聪明”、“懂不懂行”看 MMLU 分数最准。CMMLU中文全能中文语境必测。类似于 MMLU但专门针对中国文化和教育体系设计。评测中文大模型如 Qwen, ChatGLM时必跑。ARC科学问答包含小学科学题。分为“挑战版”和“简单版”用于测试基础科学常识。数据集-3. 编程与代码能力类 (程序员助手)数据集难度/特点适用场景HumanEval代码入门行业标准。包含164道编程题。主要看模型能不能根据注释写出正确的 Python 函数。MBPP工程实战题目更贴近实际工程场景由程序员编写。用于测试模型解决实际代码问题的能力。数据集-4. 语言理解与指令遵循类 (听话程度)数据集难度/特点适用场景IFEval指令遵循测试“听话”程度。比如“请写一段话且不能用字母 e”。专门测试模型能不能严格遵守格式限制。GLUE / SuperGLUE传统NLP老牌的阅读理解、情感分析测试。现在主要用于测试基座模型的语言基本功。self-refine和self-consistence的区别?最大的区别对象的数量。self-refine(自我优化)对当前的结果打分看是否通过如果不通过重新生成。这是对一个结果来说的。self-consistence(自我一致性)从多个结果中选出最合适的记录。这是对多个结果来说的。