ControlNet 基础概念

ControlNet 是 Stable Diffusion 的扩展模型，通过输入额外控制条件（如边缘图、深度图、人体姿态等）实现图像生成的高精度可控。其核心原理是将控制条件编码为中间特征，与扩散模型的 UNet 结构融合，引导生成过程。

环境配置与安装

安装 Stable Diffusion WebUI（如 Automatic1111 或 ComfyUI），在扩展模块中搜索并安装 ControlNet 插件。下载预训练的 ControlNet 模型（如 control_v11p_sd15_canny.pth），放入 stable-diffusion-webui/models/ControlNet 目录。

使用边缘检测生成图像（Canny 示例）

上传一张参考图，在 ControlNet 单元中启用 Canny 预处理器，生成边缘图。调整边缘阈值（如 100-200）控制细节保留程度。在提示词中描述目标内容（如 "a cyberpunk cityscape, neon lights"），设置生成参数（采样步数 20-30，CFG 7-10）。

其他常用控制类型

深度图（Depth）：保留场景空间结构，适合建筑或室内设计。
姿态估计（OpenPose）：精确生成人物动作，需输入骨骼图。
涂鸦控制（Scribble）：手绘草图转化为写实图像，自由度较高。

参数优化技巧

控制权重（0.5-1.5）决定条件的影响强度，过低会导致偏离控制图，过高可能限制创意。结合多 ControlNet 单元叠加（如深度+边缘），但需注意显存占用。使用低分辨率控制图生成基础构图后，通过高清修复（Hires.fix）提升细节。

常见问题解决

生成结果与控制图偏差大时，检查预处理器是否匹配模型类型（如 canny 需对应 control_v11p_sd15_canny）。显存不足可降低分辨率或启用 --medvram 参数。色彩异常可尝试在提示词中添加 "vibrant colors" 或调整 CLIP 终止层数。

进阶应用案例

角色一致性：结合 OpenPose 和文本反转（Textual Inversion）固定人物特征。
风格迁移：使用 Canny 控制构图，在提示词中指定目标风格（如 "Van Gogh style"）。
商业设计：通过 Segmentation 控制区域生成，实现广告图的快速原型设计。