少しComfy使っているので備忘録的に記録していこうかと思います。
Comfyとは
ComfyUI（または Comfy）とは、Stable Diffusionを使用した画像生成のための、強力かつ柔軟な GUI（グラフィカルユーザーインターフェース）ツールです。
主な特徴としては以下の通り。
・ノードベースのワークフロー: 画像生成のプロセスを、各ステップを表すノードを繋ぎ合わせることで構築します。これにより、複雑な処理を視覚的に理解し、自由自在にカスタマイズできます。
・高いカスタマイズ性: プロンプト、モデル、各種パラメータ、画像処理など、あらゆる要素をノードとして扱い、組み合わせることで、独自の画像生成パイプラインを構築できます。
・多様な拡張性: 多くのカスタムノードが開発されており、機能を追加したり、特殊な効果を実現したりできます。
・バッチ処理: 複数の画像をまとめて生成したり、異なるパラメータで連続生成したりできます。
・軽量性: Webブラウザ上で動作するため、比較的軽量で、ローカルPCの負荷を軽減できます。
ComfyUIの環境構築、インストール
こちらでStability Matrix経由でComfyをインストールする手順を解説しています。
Comfy UI Managerはこちら。機能を追加するときに必要になる場合があります。
Comfyで画像生成
Stability Matrixのパッケージで、Launchをクリックします。
（もしComfyのインストールがまだであれば、パッケージの追加から行えます）
（もしComfyのインストールがまだであれば、パッケージの追加から行えます）
Comfyの起動が始まります。読み込みが終わったらWebUIを開くをクリックします。
起動中は何もしてなくてもずっとメモリを圧迫するので注意。使わない時はストップで使用終了したほうが無難です。
起動中は何もしてなくてもずっとメモリを圧迫するので注意。使わない時はストップで使用終了したほうが無難です。
初期状態はこんな感じの画面になるはずです（右のメニューは旧UIのみ）。
この状態で既に画像生成することが可能です。
この状態で既に画像生成することが可能です。
デフォルト画面の読み込み
この画面およびプロンプトは、Load Defaultを押すことで何度でも戻ることができます（旧UIのみ）。
新UIであれば左上メニューからワークフロー、
テンプレートを参照、
画像生成をクリックで上記デフォルト画面になります。
入ってない場合、デフォルトのワークフローで使ってるモデルをDLするよう促されます。DLしてもいいですし、
しなくてもチェックポイントを読み込むで持ってるモデルを指定すれば動きます。
左右をクリックすると持ってるモデルが表示されるはずです。
左右をクリックすると持ってるモデルが表示されるはずです。
画像生成実行
デフォルト画面で設定を変更せずに実行をクリックすると、
（旧UIではQueue Prompt）
キューが1増えます。これが実行中の処理の数です。実行を押した数×指定したバッチ数だけこの数字が増え、処理が繰り返されます。
旧UIではQueue sizeが増えます。
一番左の枠（ノード）に緑がつきましたが、これが現在実行中の処理となります。
一番左の枠（ノード）に緑がつきましたが、これが現在実行中の処理となります。
最初のノードの処理が終わると次のノードへ処理が映り、
最後のノードまで処理が終わるとキュー/Queue sizeが1減り、今回の設定では画像が一枚出力されます。
画像は（インストールしたディレクトリ）\stable diffusion\stabilitymatrix\Data\Packages\ComfyUI\outputに保存されます。
Stability Matrixであれば、Output browserタブから作った画像を参照できるので、
画像を右クリック→エクスプローラで開くで保存フォルダを直接開くことができます。
画像のサイズ変更
空の潜在画像（Empty Latent Image）の幅（width）、高さ（height）で出力する画像サイズを設定できます。
クリック→数値を入力ですが、Enterを押さないと反映されないので注意。
プロンプト
ふたつあるクリップテキストエンコード（CLIP Text Encode）の上側に英語で入力した内容が画像で出力されます。
下はネガティブプロンプトといって、して欲しくないことを記述する欄になります。一旦無視してもかまいません。
下はネガティブプロンプトといって、して欲しくないことを記述する欄になります。一旦無視してもかまいません。
ネガティブプロンプトについてはこちらで解説しています。
とりあえずこれだけ知ってれば画像生成ができます。
追加でできること
画風、絵柄等変更
画風を指定するには、モデル（Checkpoint）をDLする必要があります。
デフォルト画面でDLを促されたSafetensorsもモデルです。
デフォルト画面でDLを促されたSafetensorsもモデルです。
LoRAは軽量版のモデルで、モデルを下敷きに絵柄を変更したり、難しいポーズなどをとらせやすくしたりすることができます。
画像を元に画像を作る（Image2Image）
画像を読み込んで、それを参照しつつ画像を作る方法・基礎編。
画像の一部だけマスクをかけて修正する方法。
コントロールネット
落書きやスケッチを参照して画像生成するScribbleの使い方、およびコントロールネットの配線について。
tileでは、画像を再描写してアップスケールしたり、解像度を上げたりすることが可能です。
カスタムUI
※Comfy UI Managerインストール前提
同じ顔のキャラクターで画像を作れるReference Onlyについて。
紹介したアプリ、Webサービス、AI一覧
紹介したサービス等のまとめです。有料のサービスでも無料で試せることがほとんどなので、気になったものがあったらどうぞ。
sunagitsune.com
2023.02.21
コメント