SDXL Turbo 本地部署简易教程

在11月28日，开源大模型公司 Stability AI 发布了名为 SDXL Turbo 的新开源文生图模型，并已在 Hugging Face 平台上公开发布。该工具允许用户输入提示词后几乎即时生成图像。尽管目前的测试结果显示图像生成质量有时不尽人意，但其生成速度超越了市场上的其他产品，为创造更多想象空间带来了新的可能性。

SDXL Turbo 采用了一种名为对抗扩散蒸馏（Adversarial Diffusion Distillation，ADD）的新技术，使得模型可以一步合成图像输出并实时生成文本到图像输出，同时保持高采样保真度。

论文地址：https://stability.ai/research/adversarial-diffusion-distillation

体验链接：http://clipdrop.co/stable-diffusion-turbo

模型下载：https://huggingface.co/stabilityai/sdxl-turbo

基础准备

本教程在 Windows 11 环境下，使用 Anaconda 部署 Python 基本环境，显卡配置是 NVIDIA GeForce RTX 3080。其他环境条件大同小异，可能需要稍微修改一些细节

操作系统：Windows 11；

管理工具（可以自行搜索安装）：

Anaconda，用于管理 Python 环境和依赖包；

Git，用于拉取 github 仓库；

环境搭建

在 Anaconda 命令行中创建名为comfy_ui的 Python 3.11 环境，使用以下命令：

1# 新建名为 comfy_ui 的 python 环境
2conda create -n comfy_ui python=3.11
3
4# 启动新环境，此时命令行的环境由 (base) -> (comfy_ui)
5conda activate comfy_ui

安装 Pytorch

1# NVIDIA 用户 使用此命令安装
2pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu121
3
4# AMD 用户（仅限 linux 环境） 使用此命令安装
5pip install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/nightly/rocm5.7

搭建 ComfyUI 工作流

下载 ComfyUI

1 git clone https://github.com/comfyanonymous/ComfyUI.git

安装依赖包

1# 进入 ComfyUI 的下载目录
2cd your_path_to_ComfyUI/
3pip install -r requirements.txt

安装 ComfyUI manager

1cd custom_nodes
2git clone https://github.com/ltdrdata/ComfyUI-Manager

下载 SDXL Turbo 模型

 1# 直接在网页端下载
 2# 地址：https://huggingface.co/stabilityai/sdxl-turbo/tree/main
 3
 4# 下载根目录下的模型文件
 5# 选择 sd_xl_turbo_1.0.safetensors 
 6# 或者 sd_xl_turbo_1.0_fp16.safetensors 任选其一
 7# 其中 sd_xl_turbo_1.0_fp16 16位浮点精度版本，容量小，推理速度更快
 8
 9# 再下载 vae 目录下对应的文件
10# 比如之前下载了 sd_xl_turbo_1.0_fp16.safetensors 模型
11# 就下载对应的 diffusion_pytorch_model.fp16.safetensors VAE模型
12
13######################################
14
15# 如果网页下载较慢，可以安装 hugginface 工具
16pip install -U huggingface_hub
17
18# 然后在命令行中下载模型
19# sdxl-turbo 模型
20huggingface-cli download --resume-download stabilityai/sdxl-turbo --local-dir sdxl-turbo
21
22######################################
23
24# 下载工作流 json 文件
25wget https://github.com/hylarucoder/comfyui-workflow/blob/main/sdxl_turbo/lab-sdxl-turbo.json

下载完模型后，将模型文件复制到 ComfyUI 的models/checkpoints目录下；

再将 VAE 模型复制到 ComfyUI 的models/vae目录下；

工作流 json 文件位置随意，可以与模型放在一起。

启动ComfyUI

1# 进入 ComfyUI 根目录
2# 使用强制 16 位浮点精度启动
3python main.py --force-fp16

此时打开浏览器，进入 http://127.0.0.1:8188 即可看到 ComfyUI 的页面；

点击 Load 加载工作流，选择之前下载的 json 文件；

加载之前下载的 SDXL Turbo 模型，就可以在本地生成图了；

第一次加载模型可能会稍微慢一点，后续实测平均 0.3 秒一张图，还是非常快的。