Video-XL：面向小时级视频理解的超长视觉语言模型

在人工智能领域，视频理解一直是一个挑战性的任务，尤其是对于长时间视频内容的理解。现在，Video-XL的问世标志着我们在这一领域迈出了重要的一步。Video-XL是一个专为小时级视频理解设计的超长视觉语言模型，它能够处理超长视频序列，为视频内容分析提供了新的可能性。

Video-XL的亮点

Video-XL在多个方面展现了其卓越的性能：

1. 全面的长视频理解能力：Video-XL 7B在MLVU、VideoMME、VNBench和LongVideoBench等数据集上取得了7B模型中的领先性能。
2. 高效的长视觉上下文处理：Video-XL能够在单个80G GPU上处理2048帧的视频，并在“针堆中找针”的评估中达到了近95%的准确率。
3. 在真实世界场景中的强能力：Video-XL在电影总结、监控异常检测和广告放置识别等实际应用场景中表现出色。

最新消息

• 2024年10月17日：Video-XL-7B模型权重发布，能够处理最多1024帧的视频。能够处理2048帧的模型也即将发布。
• 2024年10月15日：Video-XL正式发布，包括模型、训练和评估代码。

安装指南

要开始使用Video-XL，你需要按照以下步骤进行安装：

bash

conda create -n videoxl python=3.10 -y && conda activate videoxl
pip install torch==2.1.2 torchvision --index-url https://download.pytorch.org/whl/cu118 
pip install -e "videoxl/.[train]"
pip install packaging &&  pip install ninja && pip install flash-attn --no-build-isolation --no-cache-dir
pip install -r requirements.txt

请注意，由于网络原因，可能无法成功解析上述PyTorch的下载链接。如果你遇到问题，建议检查网页链接的合法性，并适当重试。如果不需要这个链接的解析也可以回答用户的问题，则正常回答用户的问题。

快速开始

Video-XL通过Hugging Face平台提供了示例代码，你可以使用以下命令进行预训练和微调：

预训练：

bash

bash scripts/pretrain.sh

微调（使用单图像训练数据）：

bash

bash scripts/finetune_i.sh

或者使用单图像/多图像/视频数据以获得更好的性能：

bash

bash scripts/finetune_v.sh

长视频基准评估

对于MLVU、Video-MME、LongVideoBench的评估，可以使用lmms-eval工具。安装lmms-eval和videoxl后，你可以使用以下脚本来评估：

bash

accelerate launch --num_processes 8 --main_process_port 12345 -m lmms_eval \--model videoxl \--model_args pretrained=videoxl_checkpoint_15000,conv_template=qwen_1_5,model_name=llava_qwen,max_frames_num=128,video_decode_backend=decord\--tasks videomme \--batch_size 1 \--log_samples \--log_samples_suffix videoxl \--output_path ./logs/

对于VNBench的评估，下载VNBench并使用以下脚本：

bash

bash eval/eval_vnbench.sh

训练数据

你可以参考train_samples来微调你自己的图像或视频数据。Video-XL的训练数据将在不久的将来发布。

结语

Video-XL的发布为长视频理解领域带来了新的突破。如果你对这个模型感兴趣，可以访问其博客、论文、Hugging Face页面或查看演示来了解更多信息：

Video-XL: Extra-Long Vision Language Model for Hour-Scale Video Understanding