peft＋llama3训练自定义数据

要微调自己的模型训练 LLaMA 3，则需要准备一个 JSON 格式的数据集，其中每个条目包含输入文本和相应的标签（如果有的话）。以下是一个 JSON 数据集的示例格式：

[{"input": "这是一个输入样本。","label": "这是一个标签样本。"},{"input": "这是另一个输入样本。","label": "这是另一个标签样本。"},// 更多样本...
]

在这个格式中，每个 JSON 对象包含一个 “input” 字段和一个 “label” 字段。输入字段包含你的模型需要预测的文本，而标签字段包含相应的目标输出。如果你的任务是语言建模，那么 “label” 字段通常是 “input” 字段的延续。
以下是一个使用 JSON 数据集微调 LLaMA 3 的代码案例：

import torch
from peft import LoraConfig, TaskType, get_peft_model
from transformers import LlamaForCausalLM, LlamaTokenizer, DataCollatorForLanguageModeling
from transformers import Trainer, TrainingArguments
from datasets import load_dataset
# 加载 LLaMA 3 模型和分词器
model = LlamaForCausalLM.from_pretrained("path/to/llama3/model")
tokenizer = LlamaTokenizer.from_pretrained("path/to/llama3/tokenizer")
# 设置 PEFT 的 LoraConfig
lora_config = LoraConfig(r=8,lora_alpha=32,target_modules=["q_proj", "v_proj"],task_type=TaskType.CAUSAL_LM
)
# 使用 PEFT 装饰模型
model = get_peft_model(model, lora_config)
# 加载 JSON 数据集
dataset = load_dataset('json', data_files={'train': 'path/to/train.json', 'validation': 'path/to/valid.json'})
# 准备数据集
def preprocess_data(examples):inputs = examples['input']labels = examples['label']tokenized_inputs = tokenizer(inputs, truncation=True, padding='max_length')tokenized_labels = tokenizer(labels, truncation=True, padding='max_length')tokenized_inputs['labels'] = tokenized_labels['input_ids']return tokenized_inputs
tokenized_dataset = dataset.map(preprocess_data, batched=True)
# 设置数据集格式
tokenized_dataset.set_format(type='torch', columns=['input_ids', 'attention_mask', 'labels'])
# 设置训练参数
training_args = TrainingArguments(output_dir="path/to/output/directory",per_device_train_batch_size=4,per_device_eval_batch_size=4,eval_steps=400,logging_steps=100,gradient_accumulation_steps=32,num_train_epochs=3,warmup_steps=500,learning_rate=2e-4,weight_decay=0.01,save_total_limit=3,fp16=True,
)
# 创建 Trainer
trainer = Trainer(model=model,args=training_args,data_collator=DataCollatorForLanguageModeling(tokenizer=tokenizer, mlm=False),train_dataset=tokenized_dataset['train'],eval_dataset=tokenized_dataset['validation'],
)
# 开始训练
trainer.train()
# 保存模型
model.save_pretrained("path/to/output/directory")

在这个代码案例中，我们首先加载了 LLaMA 3 模型和分词器，并设置了 PEFT 的 LoraConfig。然后，我们加载了 JSON 格式的数据集，并使用 preprocess_data 函数对其进行预处理。接着，我们设置了训练参数并创建了 Trainer 实例，最后开始训练模型并保存。