上海AI Lab视频生成大模型书生.筑梦环境搭建推理测试
引子
最近视频生成大模型层出不穷，上海AI Lab推出新一代视频生成大模型 “书生・筑梦 2.0”(Vchitect 2.0)。根据官方介绍，书生・筑梦 2.0 是集文生视频、图生视频、插帧超分、训练系统一体化的视频生成大模型。OK，那就让我们开始吧。
一、模型介绍
筑梦 2.0 支持 5s-20s 长视频生成，超过其他开源模型的生成时长。同时支持高达 720x480 分辨率的生成。该模型还能够处理多种视频格式，包括横屏、竖屏、4:3、9:16 和 16:9 等比例，极大地扩展了其应用场景。与其他开源模型不同，筑梦 2.0 同步开源了用于视频增强的生成式模型 ——VEnhancer，集成了插帧、超分辨率和修复功能。该增强算法可在 2K 分辨率、24fps 的情况下生成更加清晰、流畅的视频，解决了视频抖动等常见问题，显著提升了视频的稳定性。
二、环境搭建
1、模型下载
https://huggingface.co/Vchitect/Vchitect-2.0-2B/tree/main
2、环境安装
docker run -it --rm --gpus=all -v /datas/work/zzq:/workspace pytorch/pytorch:2.2.2-cuda12.1-cudnn8-devel bash
git clone GitHub - Vchitect/Vchitect-2.0: Vchitect-2.0: Parallel Transformer for Scaling Up Video Diffusion Models
cd /workspace/Vchitect/Vchitect-2.0-master
pip install -r requirements.txt -i Simple Index
pip install protobuf -i Simple Index
三、推理测试
1、修改代码
python inference.py --test_file assets/test.txt --save_dir output --ckpt_path models
相关文章：
上海AI Lab视频生成大模型书生.筑梦环境搭建推理测试
引子 最近视频生成大模型层出不穷，上海AI Lab推出新一代视频生成大模型 “书生・筑梦 2.0”(Vchitect 2.0)。根据官方介绍，书生・筑梦 2.0 是集文生视频、图生视频、插帧超分、训练系统一体化的视频生成大模型。OK，那就让我们开始吧。 一、模…...
3D看车如何实现？有哪些功能特点和优势？
3D看车是一种创新的汽车展示方式，它利用三维建模和虚拟现实技术，将汽车以更真实、更立体的形式呈现在消费者面前。 一、3D看车的实现方式 1、三维建模： 通过三维建模技术，按照1:1的比例还原汽车外观，包括车身线条、细…...
Pytorch中不会自动传播梯度的操作有哪些？
在 PyTorch 中，某些生成张量的操作本身不会创建与计算图相关联的梯度信息。这些操作通常用于初始化张量，并且默认情况下不需要进行梯度计算。以下是一些常见的不会自动传播梯度的张量生成操作： 数值初始化操作： torch.linspace():…...
【设计模式】软件设计原则——开闭原则里氏替换单一职责
开闭原则内容引出 开闭原则 定义：一个软件实体，类，函数，模块；对扩展开放，对修改关闭。用抽象构建框架，用实现扩展细节。可以提高软件的可复用性和可维护性。 开发新功能时，尽量不修…...
项目完整开发的流程
流程 1.设计产品 2.写需求文档 2.1需求分析，后端设计数据库，建表，客户沟通，说完签字，留证据，防止后面扯皮，和防止后续变需求重新写业务 3.画原型图，也就是草图，初始的…...
性能测试学习6：jmeter安装与基本配置/元件/线程组介绍
一.JDK安装 官网：https://www.oracle.com/ 二.Jmeter安装 官网：http://jmeter.apache.org/download_jmeter.cgi 下载zip包，zip后缀那个才是Windows系统的jmeter 三.Jmeter工作目录介绍 四.Jmeter功能 1）修改默认配置-汉化 2&am…...
大数据ETL数据提取转换和加载处理
什么是 ETL？ 提取转换加载（英语：Extract, transform, load，简称ETL），用来描述将资料从来源端经过抽取、转置、加载至目的端的过程。ETL一词较常用在数据仓库，但其对象并不限于数据仓库。 ETL&…...
物理与环境安全技术
目录 物理安全 环境安全 物理安全 物理安全是指通过实施一系列的防护措施，以保护人员、设备、设施和信息资源免受物理上的威胁、损坏或非法入侵。 访问控制：限制对数据中心、机房等关键设施的物理访问。通常采用的措施有门禁系统（使用门禁…...
手把手教你如何配置好VS Code的WEB基础开发环境（保姆级）
1. VS Code介绍 微软旗下的多场景开发环境软件，支持JAVA、C、C#、C、WEB、VUE、CSS、HTML、Python等等等 如果你刚刚开始编程或者准备学习WEB，那么我强烈建议你使用这款软件 缺点：（针对初学者） 需要安装各种各样的插…...
高性能、编译器编写语言、编程语言的高低贵贱
高性能 高性能是一个通用名词，可在服务器、客户端甚至浏览器实现高性能。对于大型网站、服务器后端、游戏后端，高性能是一个不可绕过的槛。 高性能技术 池机制 静态分配：就像编译型语言对代码的预处理，不像解释型语言动态解析。可…...
Python安装库时使用国内源pip install -i
普通 安装方式会从国外站点下载， 首先是慢，再有可能会下载失败 所以一般指定国内源 示例 正常情况下，安装pandas这个模块 pip install pandas指定源命令如下： pip install -i https://pypi.tuna.tsinghua.edu.cn/simple/ pan…...
Linux 再入门整理：详解 /etc/fstab 文件
目录 1. 什么是 /etc/fstab2. /etc/fstab 文件的格式2.1 设备文件 (Device)2.2 挂载点 (Mount Point)2.3 文件系统类型 (File System Type)2.4 挂载选项 (Mount Options)2.5 Backup Operation（dump 参数）2.6 Pass Order (fsck 参数)2.6.1 参数设置2.6.2 …...
2.8 双绞线、同轴电缆、光纤与无线传输介质
传输介质及分类 传输介质也称为传输媒体，它是发送设备和接收设备之间的物理通路。 传输介质可分为导向传输介质和非导向传输介质。在导向传输介质中，电磁波被导向沿着固体媒介（铜线或光纤）传播，而非导向传输介质可以…...
OBOO鸥柏：布局于为无人机展厅行产业提供LCD液晶显示终端
新华网快讯，于10月9日消息，有投资者在互动平台向OBOO鸥柏公司提问：您好！目前有哪些工业/商用显示产品应用于无人机展厅展馆场景？能否着重介绍下贵司屏幕主要应用哪些品牌无人机数字化展厅展馆做保障？ 鸥柏…...
win10状态栏中 “音量” 符号丢失，而在“打开或关闭系统图标”中音量开关无法调节的解决方法
最近在使用电脑需要调节音量时，突然发现电脑右下角的音量图标不见了，在网上搜索了，测试了许多种方法，都没有解决这个问题。 后面想想，使用其他途径，或许可以解决了我的这个问题，终于功夫不负有心…...
Mysql 学习——项目实战
MySQL 学习——项目实战 项目出处 博主：Asmywishi Linux-Ubuntu启动Mysql sudo mysqlData preparation Create Database and Table Create database : create database mysql_example1;Start database : use mysql_example1;Create Student table : # 学生表…...
Springboot 整合 logback 日志框架
文章目录 整合 Logback 日志框架第一步：导入依赖第二步：导入配置（logback.xml）详解 使用（记录日志） 遇到问题一解决方案 整合 Logback 日志框架 第一步：导入依赖 （Springboot 会自己…...
Hugging face简要介绍
1.注册使用huggingface 2.在Datasets下可以查看数据集 3.在Models下可以查看模型，左侧是对模型的分类 4.官方文档查看https://huggingface.co/docs 5.主要模型： 自回归：GPT、Transformer-XL、XLNet 自编码：BERT、ALBERT、RoBERT…...
A股知识答题pk小程序怎么做？
A股知识答题pk小程序怎么做？以下是制作A股知识答题PK小程序的一般步骤： 一、 需求分析与规划： 明确目标：确定小程序的主要目标，比如是为了帮助用户学习A股知识、进行趣味竞赛，还是作为金融教育工具等。 …...
单细胞转录组 —— kb-python 原始数据处理
单细胞转录组 —— kb-python 原始数据处理 前言 kallisto|bustools 是一种用于预处理 scRNA-seq 数据的工作流程。 数据预处理步骤包括： 将 reads 与其来源细胞关联起来；根据唯一分子标识符（UMI）对 reads 进行去重࿱…...
【大模型RAG】拍照搜题技术架构速览：三层管道、两级检索、兜底大模型
摘要 拍照搜题系统采用“三层管道（多模态 OCR → 语义检索 → 答案渲染）、两级检索（倒排 BM25 向量 HNSW）并以大语言模型兜底”的整体框架： 多模态 OCR 层 将题目图片经过超分、去噪、倾斜校正后，分别用…...
DAY 47
三、通道注意力 3.1 通道注意力的定义 # 新增：通道注意力模块（SE模块） class ChannelAttention(nn.Module):"""通道注意力模块(Squeeze-and-Excitation)"""def __init__(self, in_channels, reduction_rat…...
YSYX学习记录（八）
C语言，练习0： 先创建一个文件夹，我用的是物理机： 安装build-essential 练习1： 我注释掉了 #include <stdio.h> 出现下面错误 在你的文本编辑器中打开ex1文件，随机修改或删除一部分，之后…...
《用户共鸣指数（E）驱动品牌大模型种草：如何抢占大模型搜索结果情感高地》
在注意力分散、内容高度同质化的时代，情感连接已成为品牌破圈的关键通道。我们在服务大量品牌客户的过程中发现，消费者对内容的“有感”程度，正日益成为影响品牌传播效率与转化率的核心变量。在生成式AI驱动的内容生成与推荐环境中࿰…...
论文浅尝 | 基于判别指令微调生成式大语言模型的知识图谱补全方法（ISWC2024）
笔记整理：刘治强，浙江大学硕士生，研究方向为知识图谱表示学习，大语言模型 论文链接：http://arxiv.org/abs/2407.16127 发表会议：ISWC 2024 1. 动机 传统的知识图谱补全（KGC）模型通过…...
unix/linux，sudo，其发展历程详细时间线、由来、历史背景
sudo 的诞生和演化，本身就是一部 Unix/Linux 系统管理哲学变迁的微缩史。来，让我们拨开时间的迷雾，一同探寻 sudo 那波澜壮阔（也颇为实用主义）的发展历程。 历史背景：su的时代与困境 ( 20 世纪 70 年代 - 80 年代初) 在 sudo 出现之前，Unix 系统管理员和需要特权操作的…...
数据库分批入库
今天在工作中，遇到一个问题，就是分批查询的时候，由于批次过大导致出现了一些问题，一下是问题描述和解决方案： 示例： // 假设已有数据列表 dataList 和 PreparedStatement pstmt int batchSize 1000; // …...
Rapidio门铃消息FIFO溢出机制
关于RapidIO门铃消息FIFO的溢出机制及其与中断抖动的关系，以下是深入解析： 门铃FIFO溢出的本质 在RapidIO系统中，门铃消息FIFO是硬件控制器内部的缓冲区，用于临时存储接收到的门铃消息（Doorbell Message）。…...
Springboot社区养老保险系统小程序
一、前言 随着我国经济迅速发展，人们对手机的需求越来越大，各种手机软件也都在被广泛应用，但是对于手机进行数据信息管理，对于手机的各种软件也是备受用户的喜爱，社区养老保险系统小程序被用户普遍使用，为方…...
听写流程自动化实践，轻量级教育辅助
随着智能教育工具的发展，越来越多的传统学习方式正在被数字化、自动化所优化。听写作为语文、英语等学科中重要的基础训练形式，也迎来了更高效的解决方案。 这是一款轻量但功能强大的听写辅助工具。它是基于本地词库与可选在线语音引擎构建，…...