本地部署推理TextDiffuser-2：释放语言模型用于文本渲染的力量

系列文章目录

---

一、模型下载和环境配置

1. 将textdiffuser-2模型仓库克隆到本地

git clone https://github.com/microsoft/unilm/
cd unilm/textdiffuser-2

2. 创建并激活虚拟环境，在textdiffuser-2目录下安装需要的软件包

conda create -n textdiffuser2 python=3.8
conda activate textdiffuser2
pip install -r requirements.txt

3. 安装与系统版本和cuda版本相匹配的torch、torchvision、xformers （我的环境下cuda是12.2的，其他版本需要自己去官网查询）
   

conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple xformers

4. 如果想用FastChat训练布局规划器，还需要安装flash-attention：

先将flash-attention模型仓库克隆下来

git clone https://github.com/Dao-AILab/flash-attention.git

然后安装对应的软件包

pip install packaging
pip uninstall -y ninja && pip install ninja
conda install -c nvidia cuda
pip install flash-attn --no-build-isolation

5. 为了训练文本修复任务，还需要安装 differs 包

pip install https://github.com/JingyeChen/diffusers_td2.git

二、模型训练

（一）训练布局规划器

1. 需要先下载lmsys/vicuna-7b-v1.5模型和FastChat模型。

模型下载方式： 采用git远程clone下来，具体方式可以参考之前的内容：huggingface学习 | 云服务器使用git-lfs下载huggingface上的模型文件；

2. 进行训练

CUDA_VISIBLE_DEVICES=4,5 torchrun --nproc_per_node=2 --master_port=50008 FastChat-main/fastchat/train/train_mem.py \--model_name_or_path vicuna-7b-v1.5  \--data_path data/layout_planner_data_5k.json \--bf16 True \--output_dir experiment_result \--num_train_epochs 6 \--per_device_train_batch_size 2 \--per_device_eval_batch_size 2 \--gradient_accumulation_steps 16 \--evaluation_strategy "no" \--save_strategy "steps" \--save_steps 500 \--save_total_limit 5 \--learning_rate 2e-5 \--weight_decay 0. \--warmup_ratio 0.03 \--lr_scheduler_type "cosine" \--logging_steps 1 \--fsdp "full_shard auto_wrap" \--fsdp_transformer_layer_cls_to_wrap 'LlamaDecoderLayer' \--tf32 True \--model_max_length 2048 \--gradient_checkpointing True \--lazy_preprocess True

（二）训练扩散模型

1. 需要先准备需要训练的扩散模型：stable-diffusion-v1-5模型
2. 对于全参数训练：

accelerate launch train_textdiffuser2_t2i_full.py \--pretrained_model_name_or_path="runwayml/stable-diffusion-v1-5" \--train_batch_size=18 \--gradient_accumulation_steps=4 \--gradient_checkpointing \--mixed_precision="fp16" \--num_train_epochs=6 \--learning_rate=1e-5 \--max_grad_norm=1 \--lr_scheduler="constant" \--lr_warmup_steps=0 \--output_dir="diffusion_experiment_result" \--enable_xformers_memory_efficient_attention \--dataloader_num_workers=8 \--index_file_path='/path/to/train_dataset_index.txt' \--dataset_path='/path/to/laion-ocr-select/' \--granularity=128 \--coord_mode="ltrb" \--max_length=77 \--resume_from_checkpoint="latest"

2. 对于 LoRA 训练：

accelerate launch train_textdiffuser2_t2i_lora.py \--pretrained_model_name_or_path="runwayml/stable-diffusion-v1-5" \--train_batch_size=18 \--gradient_accumulation_steps=4 \--gradient_checkpointing \--mixed_precision="fp16" \--num_train_epochs=6 \--learning_rate=1e-4 \--text_encoder_learning_rate=1e-5 \--lr_scheduler="constant" \--output_dir="diffusion_experiment_result" \--enable_xformers_memory_efficient_attention \--dataloader_num_workers=8 \--index_file_path='/path/to/train_dataset_index.txt' \--dataset_path='/path/to/laion-ocr-select/' \--granularity=128 \--coord_mode="ltrb" \--max_length=77 \--resume_from_checkpoint="latest"

三、模型推理

（一）准备训练好的模型checkpoint

1. 下载官网提供的模型checkpoint：layout planner、diffusion model (full parameter fine-tuning) 和diffusion model (lora fine-tuning)

2. 准备stable-diffusion-v1-5模型

（二）全参数推理

CUDA_VISIBLE_DEVICES=4 accelerate launch inference_textdiffuser2_t2i_full.py \--pretrained_model_name_or_path="./stable-diffusion-v1-5" \--mixed_precision="fp16" \--output_dir="inference_results_1" \--enable_xformers_memory_efficient_attention \--resume_from_checkpoint="./textdiffuser2-full-ft" \--granularity=128 \--max_length=77 \--coord_mode="ltrb" \--cfg=7.5 \--sample_steps=20 \--seed=43555 \--m1_model_path="./textdiffuser2_layout_planner" \--input_format='prompt' \--input_prompt='a hotdog with mustard and other toppings on it'

推理结果：

（三）LoRA微调推理

CUDA_VISIBLE_DEVICES=4 accelerate launch inference_textdiffuser2_t2i_lora.py \--pretrained_model_name_or_path="./stable-diffusion-v1-5" \--gradient_accumulation_steps=4 \--gradient_checkpointing \--mixed_precision="fp16" \--output_dir="inference_results_2" \--enable_xformers_memory_efficient_attention \--resume_from_checkpoint="./textdiffuser2-lora-ft" \--granularity=128 \--coord_mode="ltrb" \--cfg=7.5 \--sample_steps=50 \--seed=43555 \--m1_model_path="./textdiffuser2_layout_planner" \--input_format='prompt' \--input_prompt='a stamp of u.s.a'

运行结果：

四、遇到的错误

（一）importerror，缺少某些库

在运行过程中出现了各种各样的importerror，于是就是缺少哪个库就下载那个库：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple opencv-python

pip install protobuf

（二）报错：libGL.so.1: cannot open shared object file: No such file or directory

pip uninstall opencv-python
pip install opencv-python-headless

（三）各种奇奇怪怪的错误（本质上是diffusers版本不对）

• RuntimeError: expected mat1 and mat2 to have the same dtype, but got: float != c10::Half
• The deprecation tuple (‘LoRAXFormersAttnProcessor’, ‘0.26.0’, 'Make sure use XFormersAttnProcessor instead by settingLoRA layers to `self.

pip install diffusers==0.24.0 -i https://pypi.mirrors.ustc.edu.cn/simple/

（四）各种库的版本不兼容

由于作者在官网上提供了实验中使用的软件包列表可供参考，所以我直接将textdiffuser-2的assets文件夹下的refere_requirements.txt文件中的库一次性安装下来：

cd assets
pip install -r reference_requirements.txt -i https://pypi.mirrors.ustc.edu.cn/simple/

（五）RuntimeError: expected scalar type float Float bu found Half

这个错误是因为安装的diffusers包里有个文件需要用官网提供的新文件进行替换
可以先根据错误提示找到diffusers库包中attention_processor.py所在的位置，然后用assets文件夹下attention_processor.py进行替换即可解决问题。

参考：libGL.so.1: cannot open shared object file: No such file or directory