ComfyではCheckpointと呼ばれる学習データを読み込むことで、作成する画像の画風を変更することができます。
※モデルのDLには権利者とのトラブル、ウィルス感染などのリスクが存在します。アダルト画像や有名人に対するセーフガードもStable Diffusionにはありません。ご利用は自己責任でお願い致します。
Checkpointの変更
Comfy初期画面の、デフォルトの画像生成画面に移動します。
一番左のLoad Checkpointが今回使用するノードです。
ckpt_nameが読み込むmodel files(Checkpoint)の名前となり、
ckpt_nameが読み込むmodel files(Checkpoint)の名前となり、
登録されているmodel filesの中から、左右で使用するものを選択できます。
Checkpointを変えたら、あとは同じように画像を生成するだけです。
Checkpointを変えたら、あとは同じように画像を生成するだけです。
実際に同じプロンプト（girl）で出力しても、
このように、
選択したmodel filesによって全くちがう画風で画像が生成されます。
Checkpointの追加
Stability Matrixの場合
Stability Matrixならアプリ左のModel Brouserから、
モデルタイプをCheckpointにすることで、
多様なmodel filesが直接DLできます。
Checkpointをクリック→（バージョン選択）→インポートでファイルがDLされます。
バージョン選ぶとサンプル画像も変わります。
バージョン選ぶとサンプル画像も変わります。
DL完了後Comfyを立ち上げるか、既にComfyを起動してる場合はRefreshを押すと、
追加したCheckpointがLoad Checkpointで選択できるようになっているはずです。
Checkpointの確認、保管場所
Stability MatrixのCheckpointから、DLしたmodel filesが一覧で確認できます。
Stable Diffusionのとこにあるのがmodel filesです。
Checkpointの拡張子には、.ckptと.safetensorsの二種類があります。
Checkpointの拡張子には、.ckptと.safetensorsの二種類があります。
Checkpointを右クリックして削除が可能、
直接model filesをドラッグして、Stability Matrixに取り込むこともできます。
どこかからDLしたファイルを直接フォルダに追加したり、削除してもOKです。
保管場所は私の環境では(インストール先)\stable diffusion\stabilitymatrix\Data\Modelsでした。
(インストール先)\stable diffusion\stabilitymatrix\Data\Packages\ComfyUI\models\checkpointsにファイル入れても認識されるっぽいです。
GUIによって構成は変わるはずですが、大体似たような場所にあると思われます。
保管場所は私の環境では(インストール先)\stable diffusion\stabilitymatrix\Data\Modelsでした。
(インストール先)\stable diffusion\stabilitymatrix\Data\Packages\ComfyUI\models\checkpointsにファイル入れても認識されるっぽいです。
GUIによって構成は変わるはずですが、大体似たような場所にあると思われます。
CivitAI
どこかとはどこかというと、主にCivitAIです。
Hugging faceというのもありますが一旦スルーします。
Hugging faceというのもありますが一旦スルーします。
Stability MatrixでDLできるCheckpointもCivitAIから持ってきているもののようで、右クリックからCivitAIの直接該当ページを開くことができます。
開くとこんな感じ（初回はユーザ登録必要）。
バージョンを選んでDLすればいいのは同様ですが、直接落とした場合は自分でCheckpointフォルダに入れるなり、Stability Matrixにドラッグ＆ドロップするなりしてインポートする必要があります。
バージョンを選んでDLすればいいのは同様ですが、直接落とした場合は自分でCheckpointフォルダに入れるなり、Stability Matrixにドラッグ＆ドロップするなりしてインポートする必要があります。
CivitAIでは、モデルごとの利用規約を確認することができます（そもそもCivitAIが無法地帯なのに、遵守する意味があるのかはさておき）。
ここでは規約の詳細については割愛。
ここでは規約の詳細については割愛。
高評価のCheckpointを探すには、メニューのModelsに入り、
絞り込むならFiltersでCheckpointにチェック。
使い切れないほどCheckpointが表示されます。
スキャンは行われていますが、ウィルス仕込まれてる可能性がゼロではないので、あまり無作為にDLしないのをおすすめします。
あと、Checkpointはひとつあたり数GB容量食います。
あと、Checkpointはひとつあたり数GB容量食います。
Load CheckpointのMODEL、CLIP、VAE
Web UIに話を戻しますが、model filesを読み取るLoad CheckpointにはMODEL、CLIP、VAEのみっつの出口があります。
要はmodel filesにはこの三種類のデータが内包されており、それを別々の処理に投げています。
要はmodel filesにはこの三種類のデータが内包されており、それを別々の処理に投げています。
前提として、MODELが処理を行う空間を潜在空間（Latent space）と呼びます。画像を圧縮して効率よく処理できる状態を仮想的に空間と呼んでいます。
MODELは潜在空間で①入力された画像（なければ空白の画像）をノイズにする②ノイズにプロンプトを加えて逆方向にノイズを除去し、画像を生成する というような働きをします。MODELを使用してこのノイズ/デノイズを行うのがKSamplerというノードなので、デフォルト設定ではKSamplerに直接送られます。
MODELは潜在空間で①入力された画像（なければ空白の画像）をノイズにする②ノイズにプロンプトを加えて逆方向にノイズを除去し、画像を生成する というような働きをします。MODELを使用してこのノイズ/デノイズを行うのがKSamplerというノードなので、デフォルト設定ではKSamplerに直接送られます。
CLIPはネガティブ/ポジティブプロンプトに送られ、文章をMODELが理解できる形式に変換（エンコード）します。人間後→機械語の翻訳です。このためCLIPはtext encoderとも呼ばれます。
ComfyUIのプロンプト（ポジティブ・ネガティブ）の使い方、CLIP Text Encodeについて
ComfyUIのプロンプト、及びそれを記述するCLIP Text Encodeについての解説です。
sunagitsune.com
2025.02.10
VAE（Variational Autoencoder）は潜在空間のデータをイメージローダが理解できる状態（Pixel space）の画像に再構成する/またはその逆の役割を果たします。デコード処理を行うVAE DecodeにVAEは直接送られます。
ComfyUIへのLoad Checkpointの追加
Comfy web UIにLoad Checkpointを追加するには、何もない場所で右クリック→Add Node→Loaders→Load Checkpointとクリックするか、
またはダブルクリックしてノードを検索します。
LoRA（軽量model）の追加
ComfyUIでLoRAを追加する方法/Load LoRAの使い方
LoRA（Low Rank Adaptation）は、特定キャラクターやアートスタイル、ポーズなどを再現する軽量モデルです。根幹となるmodelに比べて学習データが少なく、容量も少ないですが、単体では使えません。通常のmodelに追加するこ...
sunagitsune.com
2025.02.15
LoRAを使用すると、さらに画風やポーズを特化させていくことが可能です。
紹介したアプリ、Webサービス、AI一覧
紹介したサービス等のまとめです。有料のサービスでも無料で試せることがほとんどなので、気になったものがあったらどうぞ。
sunagitsune.com
2023.02.21
コメント