手把手教你将自定义视频问答JSON转成EasyR1可用的Parquet数据集

手把手教你将自定义视频问答JSON转成EasyR1可用的Parquet数据集当你在构建视频问答模型时可能已经收集了大量结构化的JSON格式数据但如何将这些数据适配到EasyR1框架中却成了一个技术难题。本文将为你提供一个从零开始的完整解决方案解决数据格式转换过程中的各种痛点。1. 理解EasyR1的数据需求EasyR1框架对输入数据有特定要求我们需要先明确这些规范Parquet格式EasyR1仅支持这种列式存储格式字段结构必须包含prompt、answer和videos三个核心字段路径处理视频路径需要特殊处理以适应框架加载机制# EasyR1核心数据加载逻辑示例 if os.path.isdir(data_path): self.dataset load_dataset(parquet, data_dirdata_path, splittrain) elif os.path.isfile(data_path): self.dataset load_dataset(parquet, data_filesdata_path, splittrain)2. 原始JSON数据结构解析典型的视频问答JSON数据通常包含以下字段{ video_id: video_9431, videos: [./videos/video_9431.mp4], messages: [ { content: video问题描述..., role: user }, { content: 0, role: assistant } ], q_id: 3 }注意不同数据集的具体字段可能有所差异但核心结构通常包含视频路径、问题描述和答案3. 数据转换完整流程3.1 环境准备首先安装必要的Python包pip install datasets pyarrow pandas pillow3.2 JSON到Dataset对象转换使用Hugging Face Datasets库进行转换import json from datasets import Dataset, DatasetDict, Value def generate_data(data_path: str): with open(data_path, r) as f: datas json.load(f) for data in datas: yield { videos: data[videos][0], # 取第一个视频路径 problem: data[messages][0][content], answer: data[q_id] }3.3 保存为Parquet格式将Dataset对象转换为Parquet文件def save_to_parquet(dataset, output_dir): dataset.set_format(pandas) dataframe dataset[:] dataframe.to_parquet(output_dir)4. 特殊处理与常见问题4.1 符号的特殊含义EasyR1使用符号来分割文件路径和数据集分割# config.yaml示例 train_files: ./data/train.parquettrain val_files: ./data/valid.parquetvalidation4.2 视频路径处理技巧绝对路径 vs 相对路径多视频处理策略路径存在性验证# 路径验证示例 import os if not os.path.exists(video_path): raise ValueError(f视频文件不存在: {video_path})5. 完整代码实现以下是整合所有步骤的完整脚本import json import os from datasets import Dataset, DatasetDict def convert_json_to_parquet(input_json, output_parquet): # 1. 加载JSON数据 with open(input_json) as f: raw_data json.load(f) # 2. 创建Dataset对象 dataset Dataset.from_dict({ videos: [x[videos][0] for x in raw_data], problem: [x[messages][0][content] for x in raw_data], answer: [x[q_id] for x in raw_data] }) # 3. 保存为Parquet dataset.to_parquet(output_parquet) if __name__ __main__: convert_json_to_parquet(input.json, output.parquet)6. 验证与调试转换完成后建议进行以下验证检查Parquet文件是否可以正常加载验证字段类型是否符合预期测试视频路径是否能正确解析# 验证代码示例 from datasets import load_dataset dataset load_dataset(parquet, data_filesoutput.parquet) print(dataset[train][0]) # 查看第一条数据在实际项目中我发现最容易出错的是视频路径处理。建议在转换前先统一处理所有路径确保它们相对于Parquet文件位置的正确性。