Platform For AI:PAI ArtLab Stable Diffusion Web UI のチュートリアルと実践

背景情報

Stable Diffusion は、Stability AI によって開発されたテキストから画像への AI モデルであり、テキストプロンプトに基づいて画像を生成および変更できます。 AUTOMATIC1111 によって開発された Stable Diffusion Web UI は、Stable Diffusion モデルの開発のための視覚化されたブラウザインターフェイスを提供します。プログラミングの知識がなくても、Stable Diffusion Web UI を使用すると、直感的な操作で Stable Diffusion を簡単に使用できます。

Web UI は直感的な操作エクスペリエンスを提供し、さまざまなプラグインやモデルを使用することでカスタマイズをサポートします。 Web UI を使用して、より制御可能なビジュアル作品を作成できます。

モデル選択

モデルを Object Storage Service (OSS) のディレクトリにアップロードし、Web UI を更新します。その後、このセクションで使用するモデルを選択できます。 Civitai からモデルをダウンロードすることをお勧めします。

txt2img

プロンプト構文

• 一般的なヒント

  プロンプトには、一般的に、プレフィックス（画質、絵画スタイル、レンズ効果、照明効果）、被写体（人物またはオブジェクト、姿勢、服装、要素）、シーン（環境と詳細）などの種類のキーワードが含まれます。

  • キーワードの重みを増減する場合は、キーワードを括弧 (()、{}、[]) で囲み、その後にコロン (:) と重み値を続けます。例: (beautiful:1.3)。重み値は 0.4 ～ 1.6 の範囲を使用することをお勧めします。重みが低いキーワードは無視される可能性が高く、重みが高いキーワードは過学習のために変形しやすいです。また、複数の括弧 (()、{}、[]) を使用して、キーワードの重みを重ねることもできます。括弧の追加ペアは、重みが 1.1、1.05、または 0.952 倍に増減されることを示します。例: (((cute)))。

  • 重みの計算ルール:

    (PromptA:重み値): この形式を使用して、キーワードの重みを増減できます。重み値が 1 より大きい場合は、重みが増加します。重み値が 1 未満の場合は、重みが減少します。

    (PromptB) は、PromptB の重みが 1.1 倍に増加することを示し、(PromptB:1.1) と同等です。

    {PromptC} は、PromptC の重みが 1.05 倍に増加することを意味し、これは (PromptC:1.05) と同等です。

    [PromptD] は、PromptD の重みが 0.952 倍に減少することを示し、(PromptD:0.952) と同等です。

    ((PromptE)) は、(PromptE:1.1*1.1) と同等です。

    {{PromptF}} は、(PromptF:1.05*1.05) と同等です。

    [[PromptG]] は、(PromptG:0.952*0.952) と同等です。

  • 山括弧 (<>) を使用して、Low-Rank Adaptation (LoRA) モデルと Hypernetwork モデルを呼び出すことができます。形式: <lora:ファイル名:乗数> および <hypernet:ファイル名:乗数>。

  • プロンプトハイブリッドスケジューリング:

    [promptA:promptB:係数] では、係数は promptA から promptB への遷移パーセンテージを示し、0 ～ 1 の範囲です。たとえば、プロンプト a girl holding an [apple :peach:0.9] と a girl holding an [apple :peach:0.2 では、同じシード値が使用されますが、異なる係数値が指定されています。これらのプロンプトに基づいて画像を生成すると、システムは特定の要素が微調整された非常によく似た画像を生成します。この例では、少女が持っているオブジェクトがリンゴから桃に変更されています。

• 一般的なプロンプト

  ポジティブプロンプト		ネガティブプロンプト
  ポジティブプロンプト	説明	ネガティブプロンプト	説明
  HDR, UHD, 8K, 4K	画質を向上させます。	mutated hands and fingers	変形した手や指を防ぎます。
  best quality	画像を鮮やかにします。	deformed	変形を防ぎます。
  masterpiece	画像を傑作のように見せます。	bad anatomy	不自然な解剖学的構造を防ぎます。
  Highly detailed	画像に詳細を追加します。	disfigured	外観の損傷を防ぎます。
  Studio lighting	スタジオ照明を適用して、画像にテクスチャを付けます。	poorly drawn face	下手な顔の描写を防ぎます。
  ultra-fine painting	超精細な絵画を適用します。	mutated	突然変異を防ぎます。
  sharp focus	画像をシャープにフォーカスします。	extra limb	余分な手足を防ぎます。
  physically-based rendering	物理レンダリングを採用します。	ugly	醜い要素を防ぎます。
  extreme detail description	詳細に焦点を当てます。	poorly drawn hands	下手な手の描写を防ぎます。
  Vivid Colors	画像を鮮やかな色にします。	missing limb	手足の欠落を回避します。
  (EOS R8, 50mm, F1.2, 8K, RAW photo:1.2)	プロの写真スタイルを取り入れます。	floating limbs	宙に浮いた手足を防ぎます。
  Boken	背景をぼかして被写体を強調します。	disconnected limbs	切断された手足を防ぎます。
  Sketch	スケッチを描画方法として使用します。	malformed hands	奇形の手を防ぎます。
  Painting	絵画を描画方法として使用します。	variant	ピンぼけを防ぎます。
  -	-	long neck	長い首を防ぎます。
  -	-	long body	長い胴体を防ぎます。

txt2img ショーケース

• シンプルなプロンプト: 関連セクションにポジティブプロンプトとネガティブプロンプトを入力します。ポジティブプロンプトは、生成された画像に表示したい要素を定義し、ネガティブプロンプトは、生成された画像に表示したくない要素を定義します。キーワードを多く提供するほど、生成される画像は期待に近くなります。

• 複雑なプロンプト:

  • ポジティブプロンプト: 8k の縦、茶色の髪の美しいサイボーグ、緻密、優雅、高精細、荘厳、デジタル写真、artgerm、ruan jia、greg rutkowski によるアート、シュールな絵画、金色の蝶のフィリグリー、割れたガラス、(傑作、サイドライト、精巧で美しい目: 1.2)、hdr

  • ネガティブプロンプト: キャンバスフレーム, カートゥーン, 3D, ((奇形の)), ((下手な絵)), ((変形した)), ((余分な四肢)), ((クローズアップ)), ((白黒)), 奇妙な色, ぼやけた, (((重複))), ((病的な)), ((切断された)), [フレームアウト], 余分な指, 突然変異した手, ((下手な手)), ((下手な顔)), (((突然変異))), (((変形した))), ((醜い)), ぼやけた, ((下手なアナトミー)), (((悪いプロポーション))), ((余分な四肢)), クローン化された顔, (((奇形の))), フレームアウト, 醜い, 余分な四肢, (下手なアナトミー), 気持ち悪いプロポーション, (奇形の四肢), ((腕の欠損)), ((脚の欠損)), (((余分な腕))), (((余分な脚))), 突然変異した手, (癒合した指), (指が多すぎる), (((長い首))), Photoshop, ビデオゲーム, 醜い, タイリング, 下手な手, 下手な足, 下手な顔, フレームアウト, 突然変異, 突然変異した, 余分な四肢, 余分な脚, 余分な腕, 奇形の, 変形した, 斜視, 体がフレームアウト, ぼやけた, 下手な絵, 下手なアナトミー, 3D レンダリング

  • プロンプトソース: Civitai

    説明

    上記のリンクにアクセスできない場合は、プロキシを設定してからもう一度お試しください。

• キーワードのランクが高いほど、キーワードの重みが高くなります。 必要に応じてキーワードの順序を調整できます。たとえば、被写体、媒体、スタイル、アーティスト、Web サイト、解像度、追加の詳細、色、照明の順にキーワードを配置できます。実際に使用する場合は、上記のキーワードのすべての種類を指定する必要はありません。必要に応じてキーワードを選択して配置します。基本モデルとは異なり、トレーニングされたモデルには、いくつかの固定スタイルを使用したり、プロンプト内のいくつかのキーワードを破棄したりするための隠れた設定があることがよくあります。

  パラメータ

  • ①[サンプリング手法]

    拡散ノイズ除去アルゴリズムのサンプリングモード。サンプリング手法が異なると、効果も異なります。必要に応じて適切なサンプリング手法を選択してください。

    Euler a、DPM++ 2s a、DPM++ 2s a Karras は、画像の全体的な構成が似ています。 Euler、DPM++ 2m、DPM++ 2m Karras は、画像の全体的な構成が似ています。 DDIM は、画像の全体的な構成が他のサンプリング手法とは異なります。

    

  • ②サンプリングステップ

    生成される画像のサンプリングステップ。このパラメータは、AI の最適化効果を決定します。反復ごとに、システムはプロンプトと現在の画像を比較し、それに応じて微調整を行います。

    サンプリングステップの値を大きくすると、より多くの時間と計算リソースが消費されますが、より良い結果が保証されるわけではありません。

    実際に使用する場合、サンプリングステップの値を大きくすると、生成される画像に表示される詳細が増えることを示しますが、これはサンプリング手法にも密接に関連しています。たとえば、Euler a のサンプリングステップは 30 ～ 40 です。Euler a を使用して生成された画像は安定する傾向があり、サンプリングステップの値を大きくしても詳細は追加されません。

    

    

  • ③[Hires. Fix]

    このパラメータは、生成される画像の解像度に影響します。システムは低解像度で画像を作成し、画像の構成を変更せずに画像の詳細を向上させます。このオプションを選択する場合は、Hires ステップやノイズ除去強度などのパラメータを設定する必要があります。

    画像をアップスケールする方法については、「PAI ArtLab を使用して画像をアップスケールする 3 つの方法」をご参照ください。

  • ④[幅] と [高さ]: 生成される画像のサイズと解像度。解像度が高いほど、画像は詳細になりますが、ビデオメモリがより多く消費されます。過度に高い解像度に設定しないことをお勧めします。デフォルト値の 512 × 512 を使用してください。

  • ⑤[バッチ数]

    バッチの総数。異なるバッチで生成された画像の詳細は異なる場合があります。値が大きいほど、計算に時間がかかります。

  • ⑥[バッチサイズ]

    一度に各バッチで生成される画像の数。値が大きいほど、ビデオメモリの消費量が増加します。

  • ⑦[CFG スケール]

    値が大きいほど、AI 生成は指定したプロンプトにより準拠します。値が小さいほど、AI 生成はより創造的になります。

  • ⑧[シード]

    値 -1 は、各生成がランダムであることを示します。 -1 以外の値を設定した場合（負の数値と小数を入力できます）、シード値、モデル、GPU、およびその他のパラメータを変更しないと、毎回同じ画像が生成されます。

  • ⑨このアイコンをクリックすると、プロンプトまたは以前に生成された画像から生成パラメータを読み取ることができます。

  • ⑩このアイコンをクリックすると、プロンプトの内容をクリアできます。

img2img

img2img 機能を使用すると、指定したプロンプトに基づいて既存の画像から新しい画像を生成できます。たとえば、この機能を使用して、実在の人物の写真をアニメーション画像に変換できます。スケッチ図に色を付けることもできます。 img2img 機能では、パラメータを変更したり、特定の部分を変更または再描画したりすることもできます。

生成された画像は、次の画像から画像への作成または部分的な再編集に使用したり、他の機能で使用したりできます。システムは、CLIP モデルと DeepBooru モデルに基づく質問を使用して、入力画像のキーワードを自動的に生成できます。 CLIP はリアルな画像に適しており、DeepBooru は漫画画像に適しています。

以下のセクションでは、img2img 機能を使用する手順について説明します。

ControlNet プラグイン

パラメータ

ControlNet ショーケース