Stable Diffusion 动画animatediff-cli-prompt-travel

基于 `sd-webui-animatediff` 生成动画或者动态图的基础功能，`animatediff-cli-prompt-travel`突破了部分限制，能让视频生成的时间更长，并且能加入controlnet和提示词信息控制每个片段，并不像之前 `sd-webui-animatediff` 的一套关键词控制全部画面。

动图太大传不上来，凑合看每一帧的图片吧。  
![在这里插入图片描述](http://yg9538.kmgy.top/img/2023/11/16/2023-11-16_200557_3070650.8155435188282057.png)

目前该方法没有Web UI界面，全部都是由命令行完成，因此需要一些编程基础，如果觉得自己能力有限的话建议等Web UI版本出来之后再删除。

-   [环境搭建](#_11)
-   [使用方法](#_69)
-   [参数说明](#_112)
-   -   [推荐配置](#_210)
    -   [方法1 参考图生成视频](#1__215)
    -   [方法2 视频风格转换](#2__256)
    -   [方法3 带有MASK的视频风格化](#3_MASK_281)
-   [错误总结](#_338)

## 环境搭建

默认的已经安装好了python310环境，如果使用的Anaconda的话可以使用虚拟环境，目前我的环境是Anaconda的最新版本，python解释器是310，因此直接使用即可。

如果没有python310环境，可以使用下面的命令创建虚拟环境并进入。

```python
conda create --name python=3.10
conda activate myenv
```

进入任意文件夹下在虚拟环境执行项目克隆。

```bash
git clone https://github.com/s9roll7/animatediff-cli-prompt-travel.git
```

进入目录安装。

下载triton
https://hf-mirror.com/r4ziel/xformers_pre_built/tree/main

```bash
python -m pip install --upgrade pip
python -m pip install torch==2.1.0 torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
python -m pip install -e .
python -m pip install xformers
python -m pip install pandas
python -m pip install triton-2.0.0-cp310-cp310-win_amd64.whl
```

如果需要视频转换和对应的蒙版操作请安装`stylize`。

```python
python -m pip install -e .[stylize]
python -m pip install -e .[stylize_mask]
```

如果需要openpose复杂动作安装`DWPose`。

```python
python -m pip install -e .[DWPose]
```

克隆和环境依赖完成之后进入[https://huggingface.co/guoyww/animatediff/tree/main](https://huggingface.co/guoyww/animatediff/tree/main) 下载模型，如下图所示。

![在这里插入图片描述](http://yg9538.kmgy.top/img/2023/11/16/2023-11-16_200557_1525990.2067145778197954.png)

将`mm_sd_v14.ckpt`，`mm_sd_v15.ckpt`，`mm_sd_v15_v2.ckpt` 放置`extensions\animatediff-cli-prompt-travel\data\models` 目录下。

![在这里插入图片描述](http://yg9538.kmgy.top/img/2023/11/16/2023-11-16_200557_0449240.30201358263760014.png)

将其他的lora文件复制到`animatediff-cli-prompt-travel\data\models\motion_lora`目录下这个要自己创建这个目录。

![在这里插入图片描述](http://yg9538.kmgy.top/img/2023/11/16/2023-11-16_200557_0473060.01728514774954204.png)

复制生产需要的SD模型和LoRA模型到`extensions\animatediff-cli-prompt-travel\data\models\sd`目录下。

![在这里插入图片描述](http://yg9538.kmgy.top/img/2023/11/16/2023-11-16_200557_0841620.7924124180870081.png)  
启动项目时时，目录中会自动下载或者更新一些内容，网络不好的可以从网盘下载，网络好的小伙伴可以无视。

![在这里插入图片描述](http://yg9538.kmgy.top/img/2023/11/16/2023-11-16_200557_1887620.6837916968201198.png)

## 使用方法

文件配置，打开`extensions\animatediff-cli-prompt-travel\config\prompts`中的`prompt_travel.json`文件。

![在这里插入图片描述](http://yg9538.kmgy.top/img/2023/11/16/2023-11-16_200557_2001510.3564791653131044.png)

参数基础解释说明，请根据自己的情况进行修改。

**基础配置**

| 参数 | 解释 | 类型 | 默认值 |
| --- | --- | --- | --- |
| `name` | 样本名称，用于标识输出。 | 字符串 | 无 |
| `path` | 指定 Checkpoint 的路径，相对于 `/animatediff-cli/data` | 字符串 | 无 |
| `vae_path` | 指定 VAE（变分自编码器）的路径，相对于 `/animatediff-cli/data` | 字符串 | 无 |
| `motion_module` | 指定运动模块的路径，相对于 `/animatediff-cli/data` | 字符串 | 无 |

![在这里插入图片描述](http://yg9538.kmgy.top/img/2023/11/16/2023-11-16_200557_1950050.9530672979293227.png)  
**SD绘画基本参数**

| 参数 | 解释 | 类型 | 默认值 |
| --- | --- | --- | --- |
| `compile` | 是否编译模型。通常用于优化模型性能。 | 布尔值 | 无 |
| `seed` | 随机种子数组，用于生成图像。如果是 -1，则表示随机生成。 | 数组 | 无 |
| `scheduler` | 调度器类型，用于指定优化算法。 | 字符串 | 无 |
| `steps` | 优化步数，即模型运行的迭代次数。 | 整数 | 无 |
| `guidance_scale` | 引导缩放因子，用于控制引导图像的强度。 | 整数 | 无 |
| `clip_skip` | 跳过的帧数，在生成动画时使用。 | 整数 | 无 |
| `prompt_fixed_ratio` | 定义固定比例的提示，通常用于控制生成图像的风格或主题。 | 浮点数 | 无 |
| `head_prompt` | 头部提示，用于定义生成图像的主要特点和风格。 | 字符串 | 无 |
| `prompt_map` | 提示映射，用于在特定帧上添加额外的提示。键是帧数，值是对应的提示。 | 对象 | 无 |
| `tail_prompt` | 尾部提示，用于添加到生成图像的末尾的额外特点和风格。 | 字符串 | 无 |
| `n_prompt` | 一个包含多个元素的数组，每个元素都是一个字符串，用于添加到生成图像的负提示（即不希望出现的特点）。 | 数组 | 无 |

![在这里插入图片描述](http://yg9538.kmgy.top/img/2023/11/16/2023-11-16_200557_0628220.6436622069348539.png)

**LoRA和Contronet配置**

这部分内容需要一些开发基础，如果不太懂的话就吧lora路径配置好了就行了其他不要动，很可能改错一个地方就启动不起来了。

![在这里插入图片描述](http://yg9538.kmgy.top/img/2023/11/16/2023-11-16_200557_0769580.5068273104648829.png)

## 参数说明

`civitai2config`，从 \*.civitai.info 文件生成配置文件。

| 参数 | 解释 | 类型 | 默认值 |
| --- | --- | --- | --- |
| `--config-org` | 原始配置文件的路径 | 文件路径 | `config\prompts\prompt_travel.json` |
| `--out-dir` | 生成配置文件的目标目录 | 目录 | `config\prompts\converted` |
| `--lora_weight` | Lora权重，范围在0.0到3.0之间 | 浮点数（0.0<=x<=3.0） | 0.75 |

`convert`，将 StableDiffusion 检查点转换为 Diffusers 流水线。

| 参数 | 解释 | 类型 | 默认值 |
| --- | --- | --- | --- |
| `--checkpoint`  
`-i` | 路径到模型检查点文件，该参数是必需的。 | 文件路径 | None |
| `--out-dir`  
`-o` | 转换模型的目标目录。 | 目录路径 | None |

`fix-checkpoint` 修复在加载时出现 “AttributeError: ‘Attention’ object has no attribute ‘to\_to\_k’” 的检查点。

| 标题 | 解释 |
| --- | --- |
| `checkpoint` | 模型检查点文件的路径。此参数是必需的，默认值为 `None`。 |

`generate`， 执行操作，生成动画。

| 参数 | 解释 | 类型 | 默认值 |
| --- | --- | --- | --- |
| `--model-path -m` | 基础模型的路径或HF仓库ID。大多数情况下无需更改。 | 路径/字符串 | `runwayml\stable-diffusion-v1-5` |
| `--config-path -c` | 提示配置的JSON文件路径。 | 文件路径 | `config\prompts\01-ToonYou.json` |
| `--version -v` | 显示版本号。 | 无 | 无 |
| `--help -h` | 显示帮助信息并退出。 | 无 | 无 |
| `--width -W` | 生成帧的宽度。范围在64到3840之间。 | 整数范围 | `512` |
| `--height -H` | 生成帧的高度。范围在64到2160之间。 | 整数范围 | `512` |
| `--length -L` | 要生成的帧数。范围在1到9999之间。 | 整数范围 | `16` |
| `--context -C` | 要用于条件的帧数。默认值是`<length>`或32中的最大值。对于动作模块v1，最大值是24。 | 整数范围 | 由`<length>`或`32`决定 |
| `--overlap -O` | 上下文中要重叠的帧数。默认值是`context//4`。 | 整数范围 | `context//4` |
| `--stride -S` | 作为2的幂的最大动作步幅。默认值是0。 | 整数范围 | `0` |
| `--repeats -r` | 重复提示的次数。默认值是1。 | 整数范围 | `1` |
| `--device -d` | 要运行的设备（cpu、cuda、cuda:id）。 | 文本 | `cuda` |
| `--xformers -x` | 使用XFormers而不是SDP Attention。 | 无 | 无 |
| `--half-vae` | 强制VAE使用fp16（不推荐）。 | 无 | 无 |
| `--out-dir -o` | 输出文件夹的目录（用于保存帧、GIF等）。 | 目录 | `output` |
| `--no-frames -N` | 不保存帧，只保存动画。 | 无 | 无 |
| `--save-merged -m` | 保存所有提示的合并动画。 | 无 | 无 |
| `merge`，将 StableDiffusion 检查点转换为 AnimationPipeline。 |  |  |  |

| 参数 | 解释 |
| --- | --- |
| `--checkpoint` `-i` | 指向模型检查点文件的路径。这是必需的参数。默认值为 None。 |
| `--out-dir` `-o` | 用于存放转换后模型的目标目录。默认值为 None。 |

`refine`， 使用预生成的帧创建放大或改进的视频。

| 标题 | 解释 | 类型 | 默认值 |
| --- | --- | --- | --- |
| `frames_dir` | 源帧目录的路径。 | 目录 | None (必需) |
| `--config-path, -c` | 提示配置JSON文件的路径。默认是 `frames_dir/../prompt.json`。 | 文件 | None |
| `--help, -h` | 显示此消息并退出。 |  |  |
| `--interpolation-multiplier, -M` | 在生成之前使用RIFE进行插值。(建议在生成后插值) | 整数范围 \[1<=x<=10\] | 1 |
| `--tile, -t` | `controlnet_tile`调节比例。 | 浮点数范围 \[0<=x<=1.0\] | 0.75 |
| `--width, -W` | 生成帧的宽度。 | 整数范围 \[-1<=x<=3840\] | \-1 |
| `--height, -H` | 生成帧的高度。 | 整数范围 \[-1<=x<=2160\] | \-1 |
| `--length, -L` | 要生成的帧数。-1表示使用`frames_dir`中的所有帧。 | 整数范围 \[-1<=x<=9999\] | \-1 |
| `--context, -C` | 要条件化的帧数（默认为或32的最大值）。对于运动模块v1，最大值是24。 | 整数范围 \[1<=x<=32\] |  |
| `--overlap, -O` | 在上下文中重叠的帧数（默认为`context//4`）。 | 整数范围 \[1<=x<=12\] |  |
| `--stride, -S` | 作为2的幂的最大运动步幅（默认值：0） | 整数范围 \[0<=x<=8\] | 0 |
| `--repeats, -r` | 重复精炼的次数（默认值：1） | 整数范围 \[1<=x<=99\] | 1 |
| `--device, -d` | 运行的设备（cpu、cuda、cuda:id） | 文本 | cuda |
| `--xformers, -x` | 使用XFormers而非SDP注意力 |  |  |
| `--half-vae` | 强制VAE使用fp16（不推荐） |  |  |
| `--out-dir, -o` | 输出文件夹（帧、gifs等）的目录。 | 目录 | refine |

`rife`， RIFE 动作流插值，增加更多的帧。

`stylize`，对视频进行风格化。

| 标题 | 解释 |
| --- | --- |
| `composite` | 合成前景（FG）和背景（BG）。 |
| `create-config` | 为视频风格化创建配置文件。 |
| `create-mask` | 从提示（prompt）创建遮罩。 |
| `generate` | 运行视频风格化。 |
| `interpolate` | 与原始帧进行插值。如果主体的形状从原始视频中改变，这个功能可能不会工作得很好。大的动作也可能破坏图片。由于这个命令是实验性的，大多数情况下最好使用其他插值方法。 |

`tile-upscale`， 使用 controlnet tile 放大帧。

| 标题 | 解释 |
| --- | --- |
| `frames_dir` | 源帧的目录路径。这是必需的，默认值为None。 |
| `--model-path` | 使用的基础模型的路径或HF仓库ID。通常不需要更改这个选项。默认值为 `runwayml\stable-diffusion-v1-5`。 |
| `--config-path` | 提示配置的JSON文件路径。默认是 `frames_dir/../prompt.json`。 |
| `--help` | 显示帮助消息并退出。 |
| `--width` | 生成帧的宽度。整数范围是-1<=x<=3840，默认值是-1。 |
| `--height` | 生成帧的高度。整数范围是-1<=x<=2160，默认值是-1。 |
| `--device` | 运行的设备（cpu, cuda, cuda:id）。默认值是 `cuda`。 |
| `--xformers` | 使用XFormers代替SDP Attention。 |
| `--half-vae` | 强制VAE使用fp16（不推荐）。 |
| `--out-dir` | 输出文件夹（帧、GIF等）的目录。默认值是 `upscaled`。 |
| `--no-frames` | 只保存动画，不保存帧。 |

### 推荐配置

### 方法1 参考图生成视频

```python
animatediff generate -c config/prompts/prompt_travel.json -W 256 -H 384 -L 128 -C16
```

第一次执行的时候还需要下载一些东西。

![在这里插入图片描述](https://img-blog.csdnimg.cn/5456e1697a1b4a8ba517ba05fd80585a.png)  
一些常用的命令行和说明。

-   生成 256x384 帧，128 帧长度，16 帧的视频，在这种设置下，我的环境（RTX4090）大约需要一分钟来生成动画帧。VRAM使用量为6-7GB。

```bash
animatediff generate -c config/prompts/prompt_travel.json -W 256 -H 384 -L 128 -C 16
```

-   生成 512x768 帧，128 帧长度，16 帧的视频，这个设置需要大约5分钟，并且VRAM使用量为9-10GB。

```bash
animatediff generate -c config/prompts/prompt_travel.json -W 512 -H 768 -L 128 -C 16
```

-   使用 `controlnet` 的`tile-upscale`上采样，虽然指定了宽度为512，但即使原始尺寸为512，这也有助于增加细节。

```bash
animatediff tile-upscale PATH_TO_TARGET_FRAME_DIRECTORY -c config/prompts/prompt_travel.json -W 512
```

-   使用 refine 选项进行更平滑的上采样，将宽度上采样到 768（比`tile-upscale`上采样更平滑）。

```bash
animatediff refine PATH_TO_TARGET_FRAME_DIRECTORY -W 768
```

```bash
animatediff refine PATH_TO_TARGET_FRAME_DIRECTORY -W 1024 -C 6
```

-   通过改变 lora 和 prompt 以对视频进行微小更改

```bash
animatediff refine PATH_TO_TARGET_FRAME_DIRECTORY -c config/prompts/some_minor_changed.json
```

### 方法2 视频风格转换

-   从源视频文件创建一个配置文件。配置文件用于指定动画风格化的各种参数。

```bash
animatediff stylize create-config YOUR_SRC_MOVIE_FILE.mp4
```

命令执行完毕后，日志中会显示一些提示，可参考这些提示来编辑配置文件。建议在测试运行中指定一个较短的长度。

这个命令用于生成动画。`-L 16`表示生成16帧。

```bash
animatediff stylize generate STYLYZE_DIR -L 16
```

这个命令与上一个类似，但是会从第200帧开始生成16帧。

```bash
animatediff stylize generate STYLYZE_DIR -L 16 -FO 200
```

如果生成过程异常地慢，可能是因为显存（VRAM）不足。此时可以放弃大尺寸或减小上下文尺寸。

这个命令用于正式生成动画。不指定帧数和起始帧，将使用配置文件中的设置。

```bash
animatediff stylize generate STYLYZE_DIR
```

### 方法3 带有MASK的视频风格化

从源视频文件创建配置文件，这个命令用于从提供的源视频文件（`YOUR_SRC_MOVIE_FILE.mp4`）创建一个配置文件。配置文件通常包含了各种参数和设置，这些参数和设置会影响到后续的视频处理。

```bash
animatediff stylize create-config YOUR_SRC_MOVIE_FILE.mp4
```

需要在配置文件中增加例如

```json
 "stylize_config": { "create_mask": [ "boy", "girl" ], "composite": { ...... }
```

此命令用于生成一个遮罩，该遮罩用于区分图像的前景和背景。

```bash
animatediff stylize create-mask STYLYZE_DIR
```

对于显存少于12GB的情况，请使用低显存模式，如果显存少于12GB，可以通过添加 `-lo` 选项来使用低显存模式。

```bash
animatediff stylize create-mask STYLYZE_DIR -lo
```

前景会输出到以下目录（假定为 `FG_STYLYZE_DIR`）：

```json
STYLYZE_DIR/fg_00_timestamp_str
```

背景会输出到以下目录（假定为 `BG_STYLYZE_DIR`）：

```json
STYLYZE_DIR/bg_timestamp_str
```

这个命令用于生成图像,和普通的生成命令是相同的。默认使用的是 `controlnet_tile`，所以如果你想进行大的样式更改，比如更换角色需要切换到其他模式，如 `openpose`。

```bash
animatediff stylize generate FG_STYLYZE_DIR
```

最后执行下面的命令通过蒙版生成视频。

```bash
animatediff stylize composite STYLYZE_DIR
```

## 错误总结

`RuntimeError: Numpy is not available`，因为numpy版本太低了，需要升级。

```bash
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple numpy --upgrade
```