ControlNetとimg2imgで画像を自在に操る

ControlNet / img2img マスター——構図と構造を完全制御する

Stable Diffusionの進化を一段階引き上げたのがControlNetとimg2imgの二大機能です。通常の画像生成（txt2img）はプロンプトだけで構図を制御しますが、ControlNetを使えば「このポーズで」「この構図で」「この輪郭で」という精密な制御が可能になります。img2imgは既存の画像を「種」として新しい画像を生成する技術です。この2つをマスターすることで、AI画像生成はアイデア出しツールから本格的な制作ツールへと変わります。

---

img2img（画像から画像）の基本原理

ControlNet / img2img 機能マップ

img2imgは既存の画像にノイズを加えてからそれを再度「デノイズ（ノイズ除去）」する過程で新しい画像を作る手法です。元画像の構造的な情報を保持しながら、スタイルや色・テクスチャを変換することができます。

Denoising Strength——変化量の制御キー

img2imgで最重要なパラメータが Denoising Strength（ノイズ強度）です。この値が変化量を決定します。

💡 推奨スタート値は0.55: 初めてimg2imgを使う場合は 0.55 から試してください。元画像の構図・ポーズを維持しつつ、スタイルを大きく変えられるバランスの良い値です。

img2imgの実践手順（AUTOMATIC1111）

1. WebUIのタブから「img2img」を選択
2. 変換元の画像をドロップまたはアップロード
3. 変換後のスタイルをプロンプトに記述
   例: anime style, Studio Ghibli, soft watercolor
4. Denoising Strength を設定（0.5〜0.65 推奨）
5. CFG Scale: 7〜9（プロンプト忠実度）
6. Steps: 20〜30（生成ステップ数）
7. Generateで生成

CFG Scale の調整

CFG Scale（Classifier Free Guidance）はプロンプトへの忠実度を制御します。

---

ControlNet——精密な構図・姿勢制御

ControlNetはStable Diffusionに追加するExtensionで、参照画像から特定の情報（輪郭・ポーズ・奥行き等）を抽出し、その情報を新しい画像生成に活用します。

ControlNet の導入手順

AUTOMATIC1111でのインストール手順:
1. WebUIの「Extensions」タブを開く
2. 「Available」タブ →「Load from:」ボタンをクリック
3. 検索欄に「controlnet」と入力
4. 「sd-webui-controlnet」をインストール
5. WebUIを再起動
6. ControlNetモデルをダウンロードして配置:
   extensions/sd-webui-controlnet/models/

ControlNet 主要プリプロセッサと用途

Canny（エッジ検出）

元画像の輪郭線を抽出し、その輪郭を維持した別スタイルの画像を生成します。

使用場面: 実写写真をアニメや油絵に変換しつつ、
         元の形・構図を維持したい時

設定のコツ:
・Low Threshold: 50〜100（輪郭の検出感度低め）
・High Threshold: 100〜200（輪郭の検出感度高め）
・Control Weight: 0.8〜1.0（影響の強さ）

OpenPose（骨格・ポーズ推定）

人体の関節位置を検出し、同じポーズを別のキャラクターや別のスタイルで再現します。

使用場面: 特定のポーズを持つ人物写真を参照に、
         別のキャラクターで同じポーズを生成する

設定のコツ:
・手と顔も検出するには「openpose_full」を選択
・Control Weight: 0.7〜0.9
・Start Control Step: 0 / End Control Step: 1

Depth（奥行きマップ）

使用場面: 3D空間の奥行き構造を維持したまま
         スタイルやシーンを大きく変換する

特徴: 建築・インテリア・風景の変換に特に有効

Lineart / Scribble

使用場面:
・Lineart: アニメの線画を入力して自動着色
・Scribble: ラフなスケッチから完成イラストを生成

デジタル絵師やマンガ家の下書きを仕上げるのに最適

IP-Adapter（スタイル転送）

使用場面: 参照画像のスタイル・雰囲気・色調を
         別の被写体や別のシーンに移植する

特徴: プロンプトで説明しにくい「あの画像の感じ」を
      別の画像に反映させる最強機能

---

ControlNet Weight と Step の調整

ControlNetには生成への影響度を調整するパラメータがあります。

⚠️ Weight を上げすぎると: Control Weight を1.0より上にしたり、構造情報が強すぎると、元の骨格が透けて見えるような不自然な画像になることがあります。0.7〜0.9 の範囲で試すのが安全です。

---

実践ユースケース詳細解説

ユースケース1: 人物写真からアニメ変換

1. img2imgに人物写真をアップロード
2. ControlNet Canny を有効化（元の輪郭を維持）
3. プロンプト:
   anime style, Studio Ghibli, soft watercolor, 
   detailed face, beautiful, high quality
4. ネガティブ:
   photorealistic, photo, 3D, ugly, deformed
5. Denoising Strength: 0.55
6. CFG Scale: 7
7. Steps: 25

結果: 元の顔・構図を保持したGhibli風アニメ変換

ユースケース2: 商品写真の背景置換

1. 商品写真をimg2imgにアップロード
2. Inpaint機能で背景部分をマスク
3. プロンプト（背景のみ変換）:
   marble surface, luxury studio backdrop, 
   soft gradient, professional product shot
4. ネガティブ: cluttered, messy, dark
5. Denoising Strength: 0.85（マスク内のみ変換）
6. Inpaint: Only masked padding: 32px

結果: 商品を維持したまま背景を高級スタジオ風に変換

ユースケース3: スケッチから着色

1. ControlNet Lineart を有効化
2. 自作の線画またはスキャン画像をアップロード
3. プロンプト:
   colorful digital illustration, vibrant colors,
   smooth shading, high quality anime coloring
4. Denoising Strength: 0.75
5. Control Weight: 0.9

結果: 線画の構造を完全に維持した自動着色

---

複数ControlNetの同時使用

AUTOMATIC1111では複数のControlNetユニットを同時に有効化できます。

組み合わせ例:
Unit 0: OpenPose（ポーズを固定） Weight: 0.8
Unit 1: Canny（輪郭を維持） Weight: 0.6

効果: 特定のポーズを維持しつつ、
     キャラクターの輪郭・衣装も元画像に近い形で生成

💡 複数ControlNetのバランス: 複数使用時は各Weightを下げる（それぞれ0.5〜0.7程度）ことで、競合を避けてバランスの取れた出力になります。

---

Hires.fix——高解像度化を同時に行う

AUTOMATIC1111の「Hires.fix」オプションを使うと、生成と同時にアップスケールが行えます。

Hires.fix 設定例:
・Upscaler: R-ESRGAN 4x+ Anime6B（アニメ）/ R-ESRGAN 4x+（実写）
・Hires steps: 15〜20
・Denoising Strength: 0.3〜0.5（上げすぎると別物になる）
・Upscale by: 2.0（2倍解像度）

注意: VRAM消費が大幅に増えるため、8GB以上推奨

---

🏋️実践ワーク

1. ◆img2img基礎体験: 自分の写真または素材写真をアップロードし、Denoising Strengthを 0.3・0.55・0.8 の3段階で変換してみる。変化量の違いを確認する
2. ◆Cannyで輪郭保持変換: 実写写真にControlNet Cannyを適用し、アニメ風または油絵風に変換する。Control Weightを 0.5・0.8・1.0 で比較する
3. ◆OpenPoseのポーズ固定: ポーズ参照写真を使ってOpenPoseで骨格を抽出し、別のキャラクター設定のプロンプトで同じポーズの画像を生成する
4. ◆商品写真の背景置換: シンプルな商品写真にInpaint機能を使い、背景だけを3種類の異なる背景に置換する（スタジオ・自然・抽象的）

📝まとめ

img2imgとControlNetはStable Diffusionを「プロの制作ツール」に変える二大機能です。img2imgのDenoising Strengthは変化量の制御キーであり、0.5〜0.65 がほとんどの変換タスクで最適なスタート値です。ControlNetのCannyは構図維持変換、OpenPoseはポーズ固定生成、Lineartはスケッチ着色に最適化されています。この2つの機能を組み合わせることで、単なるプロンプト生成では不可能だった「特定の構図・ポーズで特定のスタイルを生成する」精密制御が実現します。実務では商品写真の背景置換・既存キャラクターのスタイル変換・線画の自動着色など、実際のデザインワークフローに直接組み込める技術です。