概要
先日、Stability Matrix と ComfyUI を用いて Stable Diffusion 3.5 を利用した際の記事を記載しました。その際は、チェックポイントファイルとテキストエンコーダは別のファイルで用意した形でしたが、今回は オールインワンチェックポイントファイル (all in one checkpoint file) を用いた方法を記載します。
環境の用意
環境は、先日用意したのと同じ Stability Matrix + ComfyUI の環境を用います。準備方法については過去の記事をご確認ください。
オールインワンチェックポイントファイルとサンプルワークフローのダウンロード
次に チェックポイントファイルの準備です。
オールインワンチェックポイントファイルは、以下のサイトの真ん中くらいで言及されています。
https://comfyanonymous.github.io/ComfyUI_examples/sd3
For convenience there is an easy to use all in one checkpoint file sd3.5_large_fp8_scaled.safetensors (put it in your ComfyUI/models/checkpoints/ directory) that can be used in the default workflow like any other checkpoint files. There is also one for SD3.5 medium: sd3.5_medium_incl_clips_t5xxlfp8scaled.safetensors
https://comfyanonymous.github.io/ComfyUI_examples/sd3/
リンクされている sd3.5_large_fp8_scaled.safetensors や sd3.5_medium_incl_clips_t5xxlfp8scaled.safetensors のチェックポンとファイルがオールインワンチェックポイントファイルです。これらのファイルを Hugging Face のサイトからダウンロードします。
また、オールインワンチェックポイントファイル用のワークフローを入手するため、この記述の下にあるワインボトルの画像(sd3.5_simple_example.png) を右クリックして保存します。
まとめると、用意するファイルは以下です。
- sd3.5_large_fp8_scaled.safetensors
- sd3.5_medium_incl_clips_t5xxlfp8scaled.safetensors
- sd3.5_simple_example.png
ダウンロードした sd3.5_large_fp8_scaled.safetensors や sd3.5_medium_incl_clips_t5xxlfp8scaled.safetensors は、Stability Matrix の モデル用のフォルダに置きます。
- StabilityMatrixのインストールフォルダ\Data\Models\StableDiffusion
例) C:\StabilityMatrix にインストールした場合
C:\StabilityMatrix\Data\Models\StableDiffusion
画像生成してみる
(1) Stability Matrix を起動し、パッケージから ComfyUI も起動させます。
(2) ブラウザで ComfyUI の画面を開いた後、ダウンロードしていた sd3.5_simple_example.png をドラックアンドドロップします。
以下のようにサンプルのワークフローが表示されます。
前のワークフローと比較するとわかりますが、テキストエンコードがありません。
(3) チェックポイントファイルを用意していたモデルにします。
まずは、sd3.5_large_fp8_scaled.safetensors を選択し、他は変えずに画像生成します。
生成された画像は以下です。
(以前も記載しましたが、私のテスト環境は NVIDIA GeForce RTX 3050 (VRAM : 6GB / LowProfile 版) なので Largeモデルだと時間がかかります。)
sd3.5_medium_incl_clips_t5xxlfp8scaled.safetensors だと以下のような画像になります。
Stability Matrix の Inference も使ってみる。
Stability Matrix には組み込みの GUI (Inference) もあります。
Inference は内部的には ComfyUI を利用するようで、前もって ComfyUI を開始しておく必要がありますが、ComfyUI のワークフロー自体を操作する必要はありません。
そのため、シンプルな GUI で手軽に画像生成が試せるといえます。
逆に テキストエンコーダなどは指定できないので、all in one ではない Stable Diffusion 3.5 のモデル (sd3.5_large.safetensors, sd3.5_large_turbo.safetensors, sd3.5_medium.safetensors) を指定して画像生成を試みるとエラーとなってしまいます。
※ 本稿更新時点 Stability Matrix v2.13.2 の場合
Stable Diffusion 3.5 のオールインワンチェックポンとファイルだとエラーにならずに画像が生成できます。
Inference で画像生成
(1) Stability Matrix を起動します。
(2) 左側 – Inference をクリックします。
(3) ComfyUI を起動していないのであれば、右上の [Launch] をクリックし、ComfyUI を起動します。
(4) ComfyUI が起動したら、左上 Model で sd3.5_medium_incl_clips_t5xxlfp8scaled.safetensor を指定します。
ほかのパラメータは、上記の ComfyUI で sd3.5_simple_example.png のワークフロー で生成したのと同じものと手動で設定します。
- Sampler : euler
- Scheduler : sgm_uniform
- Step : 20
- CFG Scale : 4.0
- 幅 : 1024
- 高さ : 1024
- Seed : 585483408983215 (右側のランダムアイコンをクリックして、ロック表示になるようにしておく)
- Prompt : a bottle with a pink and red galaxy inside it on top of a wooden table on a table in the middle of a modern kitchen with a window to the outdoors mountain range bright sun clouds forest
(5) Generate Image をクリックし、生成を待ちます。
ComfyUI で作成したのと同じものができました。
(8) 同様に sd3.5_large_fp8_scaled.safetensors で生成した場合も、ComfyUI で作成したものと同じものが作成できました。
オールインワンチェックポイントファイルだと、細かい調整はできなくなるかもしれませんが手軽に画像生成が試せます。
参考となれば幸いです。