ControlNet 基础概念

ControlNet 是 Stable Diffusion 的扩展插件，通过输入额外控制条件（如线稿、深度图、人体姿态等），实现图像生成的精确控制。核心原理是在扩散模型中注入特定约束，平衡创意与可控性。

安装与配置

1. 插件安装：通过 Stable Diffusion WebUI 的“Extensions”选项卡安装 ControlNet，或手动将插件代码克隆到 extensions 文件夹。
2. 模型下载：从 Hugging Face 下载预训练模型（如 control_v11p_sd15_canny.pth），放入 models/ControlNet 目录。
3. 重启 WebUI：确保插件和模型加载成功。

常用控制类型与参数

操作流程示例（以线稿上色为例）

输入准备：上传线稿图至 WebUI，选择 ControlNet 的“Canny”或“Lineart”模型。
参数设置：勾选“Enable”，预处理选择“invert（白底黑线）”，控制权重建议 0.6-1.0。
提示词优化：加入风格关键词如“anime coloring, vibrant colors”，配合负面提示“blurry, low detail”。
生成调试：若色彩溢出线稿，降低控制权重或增加“edge preservation”类提示词。

常见问题解决方案

• 控制失效：检查模型与预处理是否匹配，如深度图需选“depth_zoe”而非“canny”。
• 图像畸变：调整“Starting Control Step”（建议 0.2-0.4）和“Ending Control Step”（0.8-1.0）。
• 显存不足：启用“Low VRAM”模式或缩小分辨率至 512x768。

进阶技巧

• 多 ControlNet 叠加：同时启用“Depth”和“Pose”实现复杂场景控制。
• 动态权重：使用脚本动态调整控制强度，如前期强约束构图，后期释放细节生成。

注：实验时建议固定随机种子（Seed），便于对比参数调整效果。