百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术教程 > 正文

将ComfyUI工作流部署为API服务

csdh11 2024-12-14 10:39 5 浏览

ComfyUI 是一种流行的 GUI,用于支持 Stable Diffusion 工作流程。ComfyUI 为你提供了一个简单的用户界面来运行 Stable Diffusion,而无需了解diffusers的代码。

对于大多数使用 ComfyUI 的工作流程而言,运行自定义节点的能力已变得至关重要。这就是我们构建新 build_commands 功能的原因:你现在可以轻松打包 ComfyUI 工作流程以使用 Baseten 上的任何自定义节点或模型检查点!

让我们一起来看一个例子。

1、自定义 ComfyUI 工作流

风格转换如今风靡一时,因此让我们在 Baseten 上部署一个风格转换工作流,将宠物图片转换为动漫风格。我们将使用的工作流可在此处找到。

首先,让我们从 Truss 示例 Github 存储库中获取 ComfyUI Truss:

git clone https://github.com/basetenlabs/truss-examples.git
cd truss-examples/comfyui-truss

此存储库已包含部署 ComfyUI 工作流所需的所有文件。我们只需要修改两个文件: config.yaml 和 data/comfy_ui_workflow.json。让我们从 config.yaml 开始。

2、在 config.yaml 中添加 build_commands

在 config.yaml 文件中,我们可以指定一个名为 build_commands 的键,它们是将在我们的容器构建过程中运行的 shell 命令。以下是一个例子:

build_commands:
- git clone https://github.com/comfyanonymous/ComfyUI.git
- cd ComfyUI && git checkout b1fd26fe9e55163f780bf9e5f56bf9bf5f035c93 && pip install -r requirements.txt
- cd ComfyUI/custom_nodes && git clone https://github.com/LykosAI/ComfyUI-Inference-Core-Nodes --recursive && cd ComfyUI-Inference-Core-Nodes && pip install -e .[cuda12]
- cd ComfyUI/custom_nodes && git clone https://github.com/ZHO-ZHO-ZHO/ComfyUI-Gemini --recursive && cd ComfyUI-Gemini && pip install -r requirements.txt
- cd ComfyUI/custom_nodes && git clone https://github.com/kijai/ComfyUI-Marigold --recursive && cd ComfyUI-Marigold && pip install -r requirements.txt
- cd ComfyUI/custom_nodes && git clone https://github.com/omar92/ComfyUI-QualityOfLifeSuit_Omar92 --recursive
- cd ComfyUI/custom_nodes && git clone https://github.com/Fannovel16/comfyui_controlnet_aux --recursive && cd comfyui_controlnet_aux && pip install -r requirements.txt
- cd ComfyUI/models/controlnet && wget -O control-lora-canny-rank256.safetensors https://huggingface.co/stabilityai/control-lora/resolve/main/control-LoRAs-rank256/control-lora-canny-rank256.safetensors
- cd ComfyUI/models/controlnet && wget -O control-lora-depth-rank256.safetensors https://huggingface.co/stabilityai/control-lora/resolve/main/control-LoRAs-rank256/control-lora-depth-rank256.safetensors
- cd ComfyUI/models/checkpoints && wget -O dreamshaperXL_v21TurboDPMSDE.safetensors https://civitai.com/api/download/models/351306
- cd ComfyUI/models/loras && wget -O StudioGhibli.Redmond-StdGBRRedmAF-StudioGhibli.safetensors https://huggingface.co/artificialguybr/StudioGhibli.Redmond-V2/resolve/main/StudioGhibli.Redmond-StdGBRRedmAF-StudioGhibli.safetensors

ComfyUI 管理器允许你轻松安装自定义节点。在后台,管理器只需克隆存储库并安装 Python 依赖项。我们可以使用 git clone ... && pip install -r requirements 之类的命令来模拟该行为。

在 build_commands 下,你可以运行任意 shell 命令,例如 git clone、 cd 或 wget。这样,你可以安装任何检查点、LoRA 和 ControlNet,并将它们放在 ComfyUI 内的相应文件夹中。你甚至可以创建新目录,例如 ipadapter。

build_commands 下的每一行都执行 Docker RUN 命令;由于这些命令是在映像构建步骤期间运行的,因此它们会缓存到 Docker 映像中。这样,当你的容器启动时,所有自定义节点和模型都已下载,这大大减少了冷启动的时间。

这是我们将用于示例的完整 config.yaml 文件:

build_commands:
- git clone https://github.com/comfyanonymous/ComfyUI.git
- cd ComfyUI && git checkout b1fd26fe9e55163f780bf9e5f56bf9bf5f035c93 && pip install -r requirements.txt
- cd ComfyUI/custom_nodes && git clone https://github.com/LykosAI/ComfyUI-Inference-Core-Nodes --recursive && cd ComfyUI-Inference-Core-Nodes && pip install -e .[cuda12]
- cd ComfyUI/custom_nodes && git clone https://github.com/ZHO-ZHO-ZHO/ComfyUI-Gemini --recursive && cd ComfyUI-Gemini && pip install -r requirements.txt
- cd ComfyUI/custom_nodes && git clone https://github.com/kijai/ComfyUI-Marigold --recursive && cd ComfyUI-Marigold && pip install -r requirements.txt
- cd ComfyUI/custom_nodes && git clone https://github.com/omar92/ComfyUI-QualityOfLifeSuit_Omar92 --recursive
- cd ComfyUI/custom_nodes && git clone https://github.com/Fannovel16/comfyui_controlnet_aux --recursive && cd comfyui_controlnet_aux && pip install -r requirements.txt
- cd ComfyUI/models/controlnet && wget -O control-lora-canny-rank256.safetensors https://huggingface.co/stabilityai/control-lora/resolve/main/control-LoRAs-rank256/control-lora-canny-rank256.safetensors
- cd ComfyUI/models/controlnet && wget -O control-lora-depth-rank256.safetensors https://huggingface.co/stabilityai/control-lora/resolve/main/control-LoRAs-rank256/control-lora-depth-rank256.safetensors
- cd ComfyUI/models/checkpoints && wget -O dreamshaperXL_v21TurboDPMSDE.safetensors https://civitai.com/api/download/models/351306
- cd ComfyUI/models/loras && wget -O StudioGhibli.Redmond-StdGBRRedmAF-StudioGhibli.safetensors https://huggingface.co/artificialguybr/StudioGhibli.Redmond-V2/resolve/main/StudioGhibli.Redmond-StdGBRRedmAF-StudioGhibli.safetensors
environment_variables: {}
external_package_dirs: []
model_metadata: {}
model_name: ComfyUI Anime Pet Style Transfer
python_version: py310
requirements:
 - websocket-client==1.6.4
 - accelerate==0.23.0
 - opencv-python
resources:
 accelerator: A100
 use_gpu: true
secrets: {}
system_packages:
 - wget
 - ffmpeg
 - libgl1-mesa-glx

3、将 ComfyUI 工作流修改为与 API 兼容的格式

ComfyUI 工作流可以通过以 API 格式导出在 Baseten 上运行。如果你需要帮助相应地转换工作流,请查看我们的博客,了解如何在 API 端点后面提供 ComfyUI 模型。

对于本教程,可以从此处复制工作流文件。此工作流有两个输入:提示和图像。我们可以使用 handlebars 模板 {{prompt}} 和 {{input_image}} 在我们的工作流 JSON 文件中指定这些变量。

就是这样!我们现在可以将我们的 ComfyUI 工作流部署到 Baseten!

4、将ComfyUI 工作流部署到 ??Baseten

要将我们的工作流部署到 ??Baseten,请确保你已安装 truss Python 包。

pip install truss --upgrade

使用 truss_examples/comfyui_truss 作为根目录,我们可以运行以下命令来部署到 Baseten:

truss push --publish

如果出现提示,请粘贴你的 Baseten API 密钥。此命令将打包你的 Truss 并将其部署到 Baseten 的云上。Docker 容器将被构建,然后作为 API 端点部署。

现在我们将运行我们的第一个推理!

5、在ComfyUI API 端点上运行推理

一旦你的模型已部署并处于活动状态,就可以像这样调用 API 端点:

import requests
import os
import base64
from PIL import Image
from io import BytesIO

# Replace the empty string with your model id below
model_id = ""
baseten_api_key = os.environ["BASETEN_API_KEY"]
BASE64_PREAMBLE = "data:image/png;base64,"

def pil_to_b64(pil_img):
   buffered = BytesIO()
   pil_img.save(buffered, format="PNG")
   img_str = base64.b64encode(buffered.getvalue()).decode("utf-8")
   return img_str

def b64_to_pil(b64_str):
   return Image.open(BytesIO(base64.b64decode(b64_str.replace(BASE64_PREAMBLE, ""))))

values = {
 "prompt": "american Shorthair",
 "input_image": {"type": "image", "data": pil_to_b64(Image.open("/path/to/cat.png"))}
}

resp = requests.post(
   f"https://model-{model_id}.api.baseten.co/production/predict",
   headers={"Authorization": f"Api-Key {baseten_api_key}"},
   json={"workflow_values": values}
)

res = resp.json()
results = res.get("result")

for item in results:
   if item.get("format") == "png":
       data = item.get("data")
       img = b64_to_pil(data)
       img.save(f"pet-style-transfer-1.png")

API 调用返回 result,即模型返回的图像列表。 result中每一项的 data是输出图像的 base64 字符串表示。我们将此 base64 字符串转换为 PIL 对象并将其保存为图像。

以下是一些示例输入及其对应的动漫风格化输出:

这就是在 Baseten 上将 ComfyUI 工作流作为 API 端点运行所需的全部内容。现在,借助新的 build_commands 功能,添加你自己的自定义节点和模型检查点变得更加容易。


原文链接:将ComfyUI工作流部署为API服务 - 汇智网

相关推荐

如何开发视频会议App? 视频会议 开发

过去两年多时间里,视频会议成为职场工作乃至社会常态,在各类场景中得到广泛应用。例如企业会议、培训赋能、远程咨询、产品发布、远程面试等。本案例中的视频会议app来自开发者实战,采用YonBuilder移...

GB28181学习笔记6 解析invite命令

一、信令流程1.实时信令流程点播流程:上级平台向下级发送INVITE请求,请求实时视频下级平台回复200OK上级平台回复ACK确认关闭视频,上级向下级平台发送BYE请求,请求关闭视频下级平台回复20...

音视频基础(网络传输): RTMP封包 mp4封装是什么意思

RTMP概念与HTTP(超文本传输协议)同样是一个基于TCP的RealTimeMessagingProtocol(实时消息传输协议)。由AdobeSystems公司为Flash...

python爬取B站视频弹幕分析并制作词云

1.分析网页视频地址:www.bilibili.com/video/BV19E…本身博主同时也是一名up主,虽然已经断更好久了,但是不妨碍我爬取弹幕信息来分析呀。这次我选取的是自己唯一的爆款视...

IMX8基于FlexSPI、PCIe与FPGA的高速通信开发详解

前言...

实时音视频入门学习:开源工程WebRTC的技术原理和使用浅析

本文由ELab技术团队分享,原题“浅谈WebRTC技术原理与应用”,有修订和改动。1、基本介绍...

当YOLOv5遇见OpenVINO yolov5 opencv

...

写了一个下载图片和视频的python小工具

?谁先掌握了AI,谁就掌握了未来的“权杖”。...

用Python爬取B站、腾讯视频、爱奇艺和芒果TV视频弹幕

众所周知,弹幕,即在网络上观看视频时弹出的评论性字幕。不知道大家看视频的时候会不会点开弹幕,于我而言,弹幕是视频内容的良好补充,是一个组织良好的评论序列。通过分析弹幕,我们可以快速洞察广大观众对于视频...

「视频参数信息检测」如何用代码实现Mediainfo的视频检测功能

说明:mediainfo是一款专业的视频参数信息检测工具,软件能够检测视频文件的格式、画面比例、码率、音频流、声道等一系列视频参数信息。若使用代码检测更灵活,扩展性更强,本文介绍使用python+py...

Python爬虫大佬的万字长文总结,requests与selenium操作合集

requests模块前言:通常我们利用Python写一些WEB程序、webAPI部署在服务端,让客户端request,我们作为服务器端response数据;但也可以反主为客利用Python的reque...

RTC业务中的视频编解码引擎构建 视频编解码简介

文/何鸣...

深入剖析ffplay.c(14) 深入剖析案例,促进以案为鉴

#ifCONFIG_AVFILTERstaticintconfigure_filtergraph(AVFilterGraph*graph,constchar*filtergraph,...

一篇文章教会你利用Python网络爬虫抓取百度贴吧评论区图片和视频

【一、项目背景】百度贴吧是全球最大的中文交流平台,你是否跟我一样,有时候看到评论区的图片想下载呢?或者看到一段视频想进行下载呢?今天,小编带大家通过搜索关键字来获取评论区的图片和视频。【二、项目目...

程序员用 Python 爬取抖音高颜值美女

图书+视频+源代码+答疑群,一本书带你入Python作者|星安果本文经授权转载自AirPython(ID:AirPython)目标场景相信大家平时刷抖音短视频的时候,看到颜值高的小姐姐,都有...