Comfyで画風を変更する方法、Load Checkpointについて

ComfyではCheckpointと呼ばれる学習データを読み込むことで、作成する画像の画風を変更することができます。
※モデルのDLには権利者とのトラブル、ウィルス感染などのリスクが存在します。アダルト画像や有名人に対するセーフガードもStable Diffusionにはありません。ご利用は自己責任でお願い致します。

Checkpointの変更
Checkpointの追加
Load CheckpointのMODEL、CLIP、VAE
ComfyUIへのLoad Checkpointの追加
バージョンについて（SD1.5、SDXLなど）
LoRA（軽量model）の追加

Checkpointの変更

Comfyの使い方、Text2Imageで画像生成する方法

少しComfy使っているので備忘録的に記録していこうかと思います。

Comfy初期画面の、デフォルトの画像生成画面に移動します。

一番左のLoad Checkpointが今回使用するノードです。
ckpt_nameが読み込むmodel files(Checkpoint)の名前となり、

登録されているmodel filesの中から、左右で使用するものを選択できます。
Checkpointを変えたら、あとは同じように画像を生成するだけです。

実際に同じプロンプト（girl）で出力しても、

このように、

選択したmodel filesによって全くちがう画風で画像が生成されます。

Checkpointの追加

Stability Matrixの場合

Stability Matrixならアプリ左のModel Brouserから、

モデルタイプをCheckpointにすることで、

多様なmodel filesが直接DLできます。

Checkpointをクリック→（バージョン選択）→インポートでファイルがDLされます。
バージョン選ぶとサンプル画像も変わります。

DL完了後Comfyを立ち上げるか、既にComfyを起動してる場合はRefreshを押すと、

追加したCheckpointがLoad Checkpointで選択できるようになっているはずです。

Checkpointの確認、保管場所

Stability MatrixのCheckpointから、DLしたmodel filesが一覧で確認できます。

Stable Diffusionのとこにあるのがmodel filesです。
Checkpointの拡張子には、.ckptと.safetensorsの二種類があります。

Checkpointを右クリックして削除が可能、

直接model filesをドラッグして、Stability Matrixに取り込むこともできます。

どこかからDLしたファイルを直接フォルダに追加したり、削除してもOKです。
保管場所は私の環境では(インストール先)\stable diffusion\stabilitymatrix\Data\Modelsでした。
(インストール先)\stable diffusion\stabilitymatrix\Data\Packages\ComfyUI\models\checkpointsにファイル入れても認識されるっぽいですが、こっちだと他のパッケージとモデル共有できないと思われます。
GUIによって構成は変わるはずですが、大体似たような場所にあると思われます。

CivitAI

Civitai: The Home of Open-Source Generative AI

Explore thousands of high-quality Stable Diffusion & Flux models, share your AI-generated art, and engage with a vibrant community of creators

どこかとはどこかというと、主にCivitAIです。
Hugging faceというのもありますが一旦スルーします。

Stability MatrixでDLできるCheckpointもCivitAIから持ってきているもののようで、右クリックからCivitAIの直接該当ページを開くことができます。

開くとこんな感じ（初回はユーザ登録必要）。
バージョンを選んでDLすればいいのは同様ですが、直接落とした場合は自分でCheckpointフォルダに入れるなり、Stability Matrixにドラッグ＆ドロップするなりしてインポートする必要があります。

CivitAIでは、モデルごとの利用規約を確認することができます（そもそもCivitAIが無法地帯なのに、遵守する意味があるのかはさておき）。
ここでは規約の詳細については割愛。

高評価のCheckpointを探すには、メニューのModelsに入り、

絞り込むならFiltersでCheckpointにチェック。

使い切れないほどCheckpointが表示されます。

AIモデルの実行を通してウイルスに感染する可能性をセキュリティ企業が警告

セキュリティ企業のJFrogが、機械学習モデルの配布に使用されているAI開発プラットフォーム「Hugging Face」でホストされているモデルを調査した結果を公表しました。

スキャンは行われていますが、ウィルス仕込まれてる可能性がゼロではないので、あまり無作為にDLしないのをおすすめします。
あと、Checkpointはひとつあたり数GB容量食います。

Load CheckpointのMODEL、CLIP、VAE

Web UIに話を戻しますが、model filesを読み取るLoad CheckpointにはMODEL、CLIP、VAEのみっつの出口があります。
要はmodel filesにはこの三種類のデータが内包されており、それを別々の処理に投げています。

前提として、MODELが処理を行う空間を潜在空間（Latent space）と呼びます。画像を圧縮して効率よく処理できる状態を仮想的に空間と呼んでいます。
MODELは潜在空間で①入力された画像（なければ空白の画像）をノイズにする②ノイズにプロンプトを加えて逆方向にノイズを除去し、画像を生成する　というような働きをします。MODELを使用してこのノイズ/デノイズを行うのがKSamplerというノードなので、デフォルト設定ではKSamplerに直接送られます。

CLIPはネガティブ/ポジティブプロンプトに送られ、文章をMODELが理解できる形式に変換（エンコード）します。人間後→機械語の翻訳です。このためCLIPはtext encoderとも呼ばれます。

ComfyUIのプロンプト（ポジティブ・ネガティブ）の使い方、CLIP Text Encodeについて

ComfyUIのプロンプト、及びそれを記述するCLIP Text Encodeについての解説です。

VAE（Variational Autoencoder）デコーダは潜在空間のデータをイメージローダが理解できる状態（Pixel space）の画像に再構成し、VAEエンコーダはPixel spaceの画像を潜在空間に落とし込みます。
基本的な構成では、デコード処理を行うVAE DecodeにモデルのVAEは直接つながれます。

まとめると、普通の画像をVAEが潜在空間に落とし、潜在空間の画像がMODELによってぐちゃぐちゃにされ、そこにCLIPの指示が足され、MODELによって潜在空間に画像が再構成され、VAEがそれを普通の画像に戻します。

ComfyUIへのLoad Checkpointの追加

Comfy web UIにLoad Checkpointを追加するには、何もない場所で右クリック→Add Node→Loaders→Load Checkpointとクリックするか、

またはダブルクリックしてノードを検索します。

バージョンについて（SD1.5、SDXLなど）

Stable Diffusionのモデルには大別されるバージョンがあります。
SD1.5用のコントロールネットなどはSDXLのcheckpointでは使えず、別にDLする必要があります。

SD1.5

SDはStable Diffusionのイニシャルです。
最初期バージョンとしてv1.4が2022年8月、10月に改良版としてv1.5が発表され、1.x系の標準モデルとなりました。
動作が軽量かつ、比較的高品質な画像の生成が可能です。現状最も広く使われるモデルです。

SD2.1

SD2.x系では解像度やテキスト理解力を強化し、よりフォトリアリスティックな表現が強化されました。反面、イラスト系はやや苦手です。
NSFW系のイラストも出にくくなっています。2.0が2022年11月、2.1が12月に発表されました。

SDXL

1→2→3とは異なる設計でトレーニングされたバージョンです。
SD1.5が苦手とする複雑な構図、細部（指など）の描写に対応し、解像度も改善されています。2023年6月にベータ版、7月に正式公開されました。
Pony、Animagine XL、illustriousや、SDXL Lightning、Hyper-SDXLなどの派生モデルがあります。