ControlNetとimg2imgで画像を自在に操る

ControlNet / img2img マスター——構図と構造を完全制御する

Stable Diffusionの進化を一段階引き上げたのがControlNetとimg2imgの二大機能です。通常の画像生成（txt2img）はプロンプトだけで構図を制御しますが、ControlNetを使えば「このポーズで」「この構図で」「この輪郭で」という精密な制御が可能になります。img2imgは既存の画像を「種」として新しい画像を生成する技術です。この2つをマスターすることで、AI画像生成はアイデア出しツールから本格的な制作ツールへと変わります。

---

img2img（画像から画像）の基本原理

ControlNet / img2img 機能マップ

img2imgは既存の画像にノイズを加えてからそれを再度「デノイズ（ノイズ除去）」する過程で新しい画像を作る手法です。元画像の構造的な情報を保持しながら、スタイルや色・テクスチャを変換することができます。

Denoising Strength——変化量の制御キー

img2imgで最重要なパラメータが Denoising Strength（ノイズ強度）です。この値が変化量を決定します。

💡 推奨スタート値は0.55: 初めてimg2imgを使う場合は 0.55 から試してください。元画像の構図・ポーズを維持しつつ、スタイルを大きく変えられるバランスの良い値です。

img2imgの実践手順（AUTOMATIC1111）

1. WebUIのタブから「img2img」を選択
2. 変換元の画像をドロップまたはアップロード
3. 変換後のスタイルをプロンプトに記述
   例: anime style, Studio Ghibli, soft watercolor
4. Denoising Strength を設定（0.5〜0.65 推奨）
5. CFG Scale: 7〜9（プロンプト忠実度）
6. Steps: 20〜30（生成ステップ数）
7. Generateで生成

CFG Scale の調整

CFG Scale（Classifier Free Guidance）はプロンプトへの忠実度を制御します。

---

ControlNet——精密な構図・姿勢制御

ControlNetはStable Diffusionに追加するExtensionで、参照画像から特定の情報（輪郭・ポーズ・奥行き等）を抽出し、その情報を新しい画像生成に活用します。

ControlNet の導入手順

AUTOMATIC1111でのインストール手順:
1. WebUIの「Extensions」タブを開く
2. 「Available」タブ →「Load from:」ボタンをクリック
3. 検索欄に「controlnet」と入力
4. 「sd-webui-controlnet」をインストール
5. WebUIを再起動
6. ControlNetモデルをダウンロードして配置:
   extensions/sd-webui-controlnet/models/

ControlNet 主要プリプロセッサと用途

Canny（エッジ検出）

元画像の輪郭線を抽出し、その輪郭を維持した別スタイルの画像を生成します。

使用場面: 実写写真をアニメや油絵に変換しつつ、
         元の形・構図を維持したい時

設定のコツ:
・Low Threshold: 50〜100（輪郭の検出感度低め）
・High Threshold: 100〜200（輪郭の検出感度高め）
・Control Weight: 0.8〜1.0（影響の強さ）

OpenPose（骨格・ポーズ推定）

人体の関節位置を検出し、同じポーズを別のキャラクターや別のスタイルで再現します。

使用場面: 特定のポーズを持つ人物写真を参照に、
         別のキャラクターで同じポーズを生成する

設定のコツ:
・手と顔も検出するには「openpose_full」を選択
・Control Weight: 0.7〜0.9
・Start Control Step: 0 / End Control Step: 1

Depth（奥行きマップ）

使用場面: 3D空間の奥行き構造を維持したまま
         スタイルやシーンを大きく変換する

特徴: 建築・インテリア・風景の変換に特に有効

Lineart / Scribble

使用場面:
・Lineart: アニメの線画を入力して自動着色
・Scribble: ラフなスケッチから完成イラストを生成

デジタル絵師やマンガ家の下書きを仕上げるのに最適

IP-Adapter（スタイル転送）

使用場面: 参照画像のスタイル・雰囲気・色調を
         別の被写体や別のシーンに移植する

特徴: プロンプトで説明しにくい「あの画像の感じ」を
      別の画像に反映させる最強機能

---

ControlNet Weight と Step の調整

ControlNetには生成への影響度を調整するパラメータがあります。

⚠️ Weight を上げすぎると: Control Weight を1.0より上にしたり、構造情報が強すぎると、元の骨格が透けて見えるような不自然な画像になることがあります。0.7〜0.9 の範囲で試すのが安全です。

---

実践ユースケース詳細解説

ユースケース1: 人物写真からアニメ変換

1. img2imgに人物写真をアップロード
2. ControlNet Canny を有効化（元の輪郭を維持）
3. プロンプト:
   anime style, Studio Ghibli, soft watercolor, 
   detailed face, beautiful, high quality
4. ネガティブ:
   photorealistic, photo, 3D, ugly, deformed
5. Denoising Strength: 0.55
6. CFG Scale: 7
7. Steps: 25

結果: 元の顔・構図を保持したGhibli風アニメ変換

ユースケース2: 商品写真の背景置換

1. 商品写真をimg2imgにアップロード
2. Inpaint機能で背景部分をマスク
3. プロンプト（背景のみ変換）:
   marble surface, luxury studio backdrop, 
   soft gradient, professional product shot
4. ネガティブ: cluttered, messy, dark
5. Denoising Strength: 0.85（マスク内のみ変換）
6. Inpaint: Only masked padding: 32px

結果: 商品を維持したまま背景を高級スタジオ風に変換

ユースケース3: スケッチから着色

1. ControlNet Lineart を有効化
2. 自作の線画またはスキャン画像をアップロード
3. プロンプト:
   colorful digital illustration, vibrant colors,
   smooth shading, high quality anime coloring
4. Denoising Strength: 0.75
5. Control Weight: 0.9

結果: 線画の構造を完全に維持した自動着色

---

複数ControlNetの同時使用

AUTOMATIC1111では複数のControlNetユニットを同時に有効化できます。

組み合わせ例:
Unit 0: OpenPose（ポーズを固定） Weight: 0.8
Unit 1: Canny（輪郭を維持） Weight: 0.6

効果: 特定のポーズを維持しつつ、
     キャラクターの輪郭・衣装も元画像に近い形で生成

💡 複数ControlNetのバランス: 複数使用時は各Weightを下げる（それぞれ0.5〜0.7程度）ことで、競合を避けてバランスの取れた出力になります。

---

img2imgで「ポーズだけ」変える方法

検索でいちばん多い悩みが「キャラクターや服装はそのままで、ポーズだけ変えたい」です。ここはimg2img単体ではうまくいきません。理由は、img2imgが元画像の形をどれだけ残すかを Denoising Strength 1本で決めているからです。

「残したいもの（キャラクター）」と「変えたいもの（ポーズ）」を別々に指定する必要があり、その役割分担を ControlNet で行います。

手順: img2img＋OpenPose でポーズを差し替える

1. img2imgタブに「元のキャラクター画像」を入れる
   → 色・服装・画風の手がかりになる
2. ControlNet Unit 0 を有効化し、「新しいポーズの参照画像」を入れる
   ・Preprocessor: openpose_full（手と顔も拾う）
   ・Model: 使っているベースモデルに合ったOpenPoseモデル
   ・Pixel Perfect: ON
3. プロンプトに元画像のキャラクターの特徴を書く
   例: 1girl, short black hair, red jacket, white t-shirt
4. Denoising Strength: 0.65〜0.75
   （0.6未満だと元のポーズが勝ちやすい）
5. Control Weight: 0.8〜1.0
6. 生成 → 顔や服が崩れたら Denoising を0.05ずつ下げる

💡 ポーズの参照画像が無いとき: OpenPoseの棒人間（骨格画像）を直接編集できる拡張機能（例: sd-webui-openpose-editor）を使うと、関節をドラッグして好きなポーズを作れます。作った骨格画像をControlNetに入れる場合、Preprocessorは「none」にします（すでに骨格なので再検出しない）。

顔・服装をもっと残したいとき

ポーズを大きく変えるほど、キャラクターの再現度は下がります。次の順に試してください。

1. ◆ControlNetを2つ使う: Unit 0 = OpenPose（新しいポーズ）、Unit 1 = reference_only または IP-Adapter（元のキャラクター画像）。Weight はそれぞれ0.6〜0.8に下げる
2. ◆Control Mode を変える: 「ControlNet is more important」にするとポーズが優先され、「My prompt is more important」にするとプロンプトの特徴が優先される
3. ◆腕だけ・手だけを変える: 全体を作り直さず、Inpaintで変えたい部分だけをマスクし、OpenPoseと組み合わせる。マスク外はそのまま残る

うまくいかないときのチェック表

---

手描きスケッチから広告用の画像を作る（Scribble）

広告バナーやSNS画像のラフを紙やタブレットに描いて、そこから完成イメージを作る使い方です。デザイナーへの指示書や、撮影前の構図案づくりに向いています。

1. txt2imgタブで生成する（img2imgではなくてよい）
2. ControlNet Unit 0 にスケッチ画像を入れる
   ・白い紙に黒い線で描いた場合
     Preprocessor: invert（白背景・黒線を反転して読み取る）
   ・写真に撮ったラフや線が太い場合
     Preprocessor: scribble_pidinet などscribble系
   ・Model: scribble系モデル
3. プロンプトに完成形を書く
   例: product advertisement banner, a coffee cup on a wooden table,
       morning light, clean minimal background, high quality photo
4. Control Weight: 0.6〜0.8
   （ラフは線が不正確なので、強すぎると下手な線まで再現される）

⚠️ 広告に使う前に: 生成した画像を広告・商品ページに使う場合は、商用利用できるモデルか、実在の商品・ロゴ・人物に似ていないかを確認してください。詳しくは同じコースのレッスン「商用利用の注意点と著作権・ライセンス」で扱います。

---

Hires.fix——高解像度化を同時に行う

AUTOMATIC1111の「Hires.fix」オプションを使うと、生成と同時にアップスケールが行えます。

Hires.fix 設定例:
・Upscaler: R-ESRGAN 4x+ Anime6B（アニメ）/ R-ESRGAN 4x+（実写）
・Hires steps: 15〜20
・Denoising Strength: 0.3〜0.5（上げすぎると別物になる）
・Upscale by: 2.0（2倍解像度）

注意: VRAM消費が大幅に増えるため、8GB以上推奨（VRAMの目安とGPUの選び方は[Stable DiffusionのPCスペック目安](/blog/stable-diffusion-pc-spec)を参照）

---

🏋️実践ワーク

1. ◆img2img基礎体験: 自分の写真または素材写真をアップロードし、Denoising Strengthを 0.3・0.55・0.8 の3段階で変換してみる。変化量の違いを確認する
2. ◆Cannyで輪郭保持変換: 実写写真にControlNet Cannyを適用し、アニメ風または油絵風に変換する。Control Weightを 0.5・0.8・1.0 で比較する
3. ◆OpenPoseのポーズ固定: ポーズ参照写真を使ってOpenPoseで骨格を抽出し、別のキャラクター設定のプロンプトで同じポーズの画像を生成する
4. ◆商品写真の背景置換: シンプルな商品写真にInpaint機能を使い、背景だけを3種類の異なる背景に置換する（スタジオ・自然・抽象的）

📝まとめ

img2imgとControlNetはStable Diffusionを「プロの制作ツール」に変える二大機能です。img2imgのDenoising Strengthは変化量の制御キーであり、0.5〜0.65 がほとんどの変換タスクで最適なスタート値です。ControlNetのCannyは構図維持変換、OpenPoseはポーズ固定生成、Lineartはスケッチ着色に最適化されています。この2つの機能を組み合わせることで、単なるプロンプト生成では不可能だった「特定の構図・ポーズで特定のスタイルを生成する」精密制御が実現します。実務では商品写真の背景置換・既存キャラクターのスタイル変換・線画の自動着色など、実際のデザインワークフローに直接組み込める技術です。

---

よくある質問

img2imgだけでポーズを変えることはできますか？

小さな変化（首の角度や表情程度）なら Denoising Strength を上げるだけでも変わりますが、腕や脚の位置を変えるような大きな変更では、キャラクターも一緒に崩れます。ポーズを変えたい場合は、img2imgに元のキャラクター画像、ControlNet（OpenPose）に新しいポーズの参照画像を入れて、役割を分けるのが確実です。

OpenPoseが人物を検出してくれません。

参照画像の人物が小さい、手足が重なっている、体の一部が画面外に出ている場合に起きやすくなります。全身がはっきり写った画像に替えるか、骨格を直接作れるOpenPoseエディタの拡張機能を使ってください。プレビュー表示（Allow Preview）で検出結果の骨格を確認してから生成すると、無駄な生成を減らせます。

SDXLのモデルでもControlNetは使えますか？

使えます。ただしControlNetのモデルはベースモデルの系統ごとに分かれており、SD1.5用のControlNetモデルはSDXLでは働きません。ベースモデルと同じ系統のControlNetモデルを選んでください。

生成した画像を広告に使っても問題ありませんか？

使うモデルの利用規約で商用利用が認められていること、実在の人物・キャラクター・ロゴに似せていないことを確認してください。参照画像に他人の写真やイラストを使う場合は、その素材の権利にも注意が必要です。