# 1枚の立ち絵を「Live2D風」に動かす手順書（AI読み込み用）

作成：Room_25（25号室）／2026-11-18時点の実践記録
対象：アニメ調の立ち絵（1枚絵のPNG）を、Live2D Cubismを使わずに、ブラウザで動くキャラにしたい人と、その人を手伝うAI

---

## 0. このファイルを読んだAIへ

- これは、実際に2体（同じキャラの衣装違い）を動かしたときの手順と数値の記録です。ユーザーの環境（OS・GPUの有無・素材の規約）を最初に確認してから、該当する手順だけを案内してください。
- **最初に必ず素材の権利を確認させてください**（3章）。ここを飛ばすと、作ったものを公開できません。
- 「8. 動かすエンジンの設計」のコードの構成と数値は、記録者が使ったものです。そのまま使うコードではなく、出発点として扱ってください。
- See-throughはGPUが必要です。ユーザーがGPU付きのWindows／Linux機を持っていなければ、クラウドGPU（5章）を案内してください。

---

## 1. 完成するもの

- 1枚の立ち絵から、次の動きをするキャラ（HTML1ファイル、WebGL描画）
  - まばたき・口パク（表情差分の顔を差し替え）
  - 指／マウスの方を見る（顔の向き＋黒目の移動）
  - 呼吸・首の傾き（画像をメッシュに分けて変形）
  - 前髪・後ろ髪の揺れ（少し遅れて追従）
  - 腕振り・重心移動・ジャンプ（パーツ単位の回転と移動）
  - タップで表情が変わる（にっこり・照れ・困り・ジト目・びっくりなど）
- 本物のLive2D（.moc3）は作りません。Cubism SDKも使いません。

### 本物のLive2Dとの違い
| | この方式 | 本物のLive2D |
|---|---|---|
| 費用 | 1体あたり、素材代＋クラウドGPU代 約50〜150円 | 依頼すると1体 約5万〜10万円 |
| 動きの細かさ | 顔の向きや髪の動きは控えめ | 顔の立体的な回転・細かい表情まで |
| 必要な技術 | Python／JavaScript（AIに書かせられる） | Cubism Editorの操作技術 |
| 向いている使い方 | キャラが何十人もいるアプリの全員分 | 看板キャラの数人 |

記録者の方針：全キャラはこの方式、看板の1〜3人だけ本物のLive2D。

---

## 2. 全体の流れ

```
① 素材の用意と権利の確認
② See-through（AI）で立ち絵をパーツに分解 → PSD／パーツ別PNG
③ パーツの点検と手直し（AIが補完した部分・拾えなかったパーツ）
④ 表情差分から、まばたき・口パク用の顔を用意
⑤ キャラごとの設定（支点・パーツ名・表情の割り当て）を書く
⑥ 共通エンジン（WebGL）で動かす
⑦ 「AIっぽさ」を抑える見た目に調整
⑧ 縦動画に書き出してSNSへ
```

---

## 3. 素材の用意と権利の確認（最重要）

### 素材に必要な条件
- **背景が透明なPNG**の全身または腰上の立ち絵
- 髪・顔・服の境目がはっきりした絵ほど、パーツ分けがうまくいく
- **表情差分（目閉じ・口開け・笑顔など）が付いている素材**だと、まばたきと口パクがきれいにできる（差分なしだと目と口を自作することになる）
- 記録者が使った絵：約570×1300px。これくらいで十分動く

### 規約で確かめること
一般的な立ち絵素材の規約は「商用OK・加筆OK」までしか書いていないことが多いです。次の2点は**書かれていなければ作者に問い合わせる**。
1. Live2D化（動くように加工すること）をしてよいか
2. AIツールで描き足してよいか（See-throughは隠れた部分をAIで描き足すため）

そのほか：アプリへの組み込み、課金・ガチャでの使用、素材の再配布にならない形か、クレジットの書き方。

### 問い合わせ文の例
```
はじめまして。〇〇（作品名）を個人で開発している〇〇です。
立ち絵素材〇〇を購入しました。この素材について、次の2点が可能か教えてください。
1. パーツに分けて、Live2Dのように動かす加工をすること
2. AIツールで、髪に隠れた部分などを描き足すこと
用途は〇〇（アプリ／動画）で、素材そのものを配布・販売することはありません。
よろしくお願いいたします。
```

### 記録者の場合
- BOOTH「立ち絵素材SHOP」（LiL様）の立ち絵素材55（衣装A・B、表情差分つき、450円）を使用
- 規約：アプリでの利用・商用・加筆やアレンジは可、素材そのままの販売と自作発言は不可
- BOOTHのメッセージで問い合わせ → 「Live2Dなどへの加工やAIツールを使った描き足しは問題ない」と返信をもらってから公開した
- 返信の画面は記録として保存しておく
- 確認が取れていない素材で作った試作は、公開しない

---

## 4. See-throughとは

- 論文：See-through: Single-image Layer Decomposition for Anime Characters（arXiv:2602.03749、SIGGRAPH 2026）
- リポジトリ：https://github.com/shitagaki-lab/see-through（Apache-2.0）
- 中身：1枚のアニメ絵を、前髪・後ろ髪・顔・目まわり・服・装飾などの**最大23レイヤー**に分け、隠れていた部分（髪の下の頭、服の下の体など）をAIで描き足し、前後関係（深度）も推定してPSDで書き出す
- **見えている部分は元の絵の画素、隠れていた部分だけAI生成**。なので重ねると元の絵とほぼ同じになる
- 作者自身「1枚絵からLive2Dが完成するツールではない」としている。「PSDのたたき台を自動で作る道具」として使う
- お試し：Hugging Faceにデモがある（無料枠は768pxがおすすめ。高解像度は時間切れになりやすい）

---

## 5. See-throughを動かす環境

### 必要なもの
- NVIDIAのGPU（CUDA 12.8）。12GBのGPUなら `--group_offload` でVRAMを約10GBに抑えられる。さらに少ないVRAM向けに量子化版スクリプト（`inference_psd_quantized.py`）もある
- MacではGPUの関係で動かない（記録者は2019年製Intel MacBook Airで不可だった）

### 手元にGPUがない場合：クラウドGPU
記録者が使ったもの：
- **airgpu**（東京リージョンあり、時間課金、Windowsに好きなソフトを入れられる）
  - 使用GPU：NVIDIA L4、Windows Server 2025、1時間 2.35ドル
  - T4なら0.65ドル/時〜。ストレージは最低100GB（月7ドル）
  - 無料体験なし。L4は満席で起動に失敗することがある → 時間をおいて再挑戦
- 接続：**Moonlight**（オープンソース）。Parsecの無料版は個人の非商用利用のみなので、アプリ開発には使わない
- 回線の目安：下り10Mbps・上り2Mbps以上
- 無料の代わり：Kaggle（GPU、週約30時間、携帯電話の認証が必要）

### かかった時間と費用（実測）
- 初回：環境構築＋モデルのダウンロード込みで約10分で最初の1体が完了
- 2回目以降：1体約8分。2体を並行で回して、起動から停止まで約50分
- パーツの取り出しまで含めた1回の費用：約1ドル（約150円）。手順に慣れれば1回0.6ドル前後の見込み
- **使い終わったら必ずマシンを停止**（止め忘れると課金が続く）

---

## 6. See-throughの実行手順（Windowsのクラウド機の場合）

```powershell
# 1. PythonとGitを入れる
winget install Python.Python.3.12
winget install Git.Git

# 2. リポジトリを取得（作業場所の例：C:\see-through）
cd C:\
git clone https://github.com/shitagaki-lab/see-through
cd see-through

# 3. 仮想環境とライブラリ
py -3.12 -m venv .venv
.\.venv\Scripts\activate
pip install torch==2.8.0 torchvision --index-url https://download.pytorch.org/whl/cu128
pip install -r requirements.txt   # ファイル名はリポジトリのREADMEで確認

# 4. 実行（必ずリポジトリの一番上のフォルダから）
python inference/scripts/inference_psd.py --srcp C:\input\chara.png --save_to_psd

# フォルダ内の画像をまとめて処理
python inference/scripts/inference_psd.py --srcp C:\input\ --save_to_psd

# VRAMが12GB程度のとき
python inference/scripts/inference_psd.py --srcp C:\input\chara.png --save_to_psd --group_offload
```

- 出力先：`workspace\layerdiff_output\`
  - `in.psd`（約8MB、レイヤー分け済み）
  - `in_depth.psd`（深度）
  - パーツ別PNG 約25種（前髪・後ろ髪・眉・まつ毛・白目・瞳・顔・口・首・服など）
- 左右の手足がくっついて出たとき：分けた後のPSDを `inference/scripts/heuristic_partseg.py` で深度や左右で分け直せる
- ライブラリの組み合わせ（Detectron2・SAM2・mmcvなど）はWindowsの素の環境だと詰まりやすい。エラーが出たら、READMEの手順とバージョンに合わせ直す

### ハマりどころ
- **MacからWindowsのクラウド機に接続すると、記号（`\` `|` `:` など）が化ける**：Macの日本語キーボード配列が原因。Windowsのスクリーンキーボードで記号を入力して回避した
- 最初から本番の絵を入れない。髪・顔・服がはっきり分かれた絵で動作確認してから
- 出力ファイルの手元への移し方：素材の規約上、外部の共有サイトにアップロードしたくない場合は、自分のクラウドストレージ（Googleドライブなど）を使うか、画面経由で取り出す。素材はクラウド機で販売サイトに自分でログインして直接ダウンロードし、作業後にログアウトする

---

## 7. パーツの点検と手直し

### 記録者が実際に使ったパーツ
後ろ髪／前髪／顔／白目／黒目／まつ毛／左腕（袖）／右腕（袖）／胴体／左脚／右脚（＋小物：バッグなど）

### よくある問題と対処
| 問題 | 対処 |
|---|---|
| 顔のパーツに髪の影が残る | 画像編集ソフト（GIMPなど）で消す |
| パーツを拾えない（例：シスター服のベール） | 元の絵から切り抜いてパーツを作り直す。隠れる部分は周りの色で補う |
| 組んだ手など、分けにくいポーズ | 1つのパーツとしてまとめ、動きを控えめにする |
| 腕や脚の裏の、隠れていた部分 | See-throughが描き足した絵をそのまま使う（動いたときだけ見える） |

---

## 8. 動かすエンジンの設計

### 考え方
- **エンジンは1つ、キャラごとの違いは設定ファイルだけ**にする。新しいキャラは設定を書くだけで動く
- 描画はWebGL（Canvas 2Dより軽い。記録者はv2→v3でWebGLにして軽くなった）
- 出力はHTML1ファイル（画像は同じフォルダかdata URL）

### キャラ設定の例（構成の参考）
```js
const character = {
  name: "キャラ名",
  size: { w: 570, h: 1300 },          // 元の立ち絵のサイズ
  parts: [                             // 奥から手前の順（描画順）
    { id: "hair_back",  src: "hair_back.png",  sway: { delay: 0.25, amount: 1.0 } },
    { id: "leg_l",      src: "leg_l.png",      pivot: [250, 820] },  // 腰の付け根
    { id: "leg_r",      src: "leg_r.png",      pivot: [320, 820] },
    { id: "body",       src: "body.png" },
    { id: "arm_l",      src: "arm_l.png",      pivot: [200, 430] },  // 肩
    { id: "arm_r",      src: "arm_r.png",      pivot: [370, 430] },
    { id: "face",       src: "face.png",       pivot: [285, 380] },  // 首の付け根
    { id: "eye_white",  src: "eye_white.png",  follow: "face" },
    { id: "eye_iris",   src: "eye_iris.png",   follow: "face", look: { maxX: 6, maxY: 3 } },
    { id: "lashes",     src: "lashes.png",     follow: "face" },
    { id: "hair_front", src: "hair_front.png", follow: "face", sway: { delay: 0.12, amount: 0.6 } },
    { id: "bag",        src: "bag.png",        pivot: [330, 600], sway: { delay: 0.3, amount: 1.5 } },
  ],
  faces: {                             // 表情差分（顔の部分だけを差し替える）
    normal: "face_c.png",
    blink:  "face_h.png",              // 目閉じ
    talk:   "face_e.png",              // 口開け
    smile:  "face_f.png",
    shy: "…", troubled: "…", jito: "…", surprised: "…",
  },
  faceRect: [200, 250, 170, 200],      // 顔を差し替える範囲 [x, y, w, h]
};
```
- `pivot`（支点）の座標は、キャラごとに元の絵を見て決める。肩・首の付け根・腰の位置
- 表情差分が10種あれば、5種程度をボタンやタップに割り当てる

### 各動きの作り方
| 動き | 方法 | ポイント |
|---|---|---|
| まばたき | 通常の顔 → 目閉じの顔に一瞬差し替え。2〜6秒おきにランダム | **半透明で混ぜない**。2枚を重ねると残像が出る。くっきり切り替える |
| 口パク | 通常の顔と口開けの顔を交互に。セリフの文字送り中だけ | 音声を付けるなら、VOICEVOXの `audio_query` が返す母音ごとの長さで、あいうえおの口の形を合わせられる |
| 呼吸・首の傾き | 画像を細かいメッシュ（記録者は横18×縦44の格子）に分け、頂点を少しずつずらす | 上に行くほど大きく動かす。メッシュ表示ボタンを作ると調整しやすい |
| 視線 | 指／マウスの位置に向けて、顔パーツを少し回転・移動、黒目をさらに少し移動 | 黒目は白目の範囲からはみ出さないよう上限を付ける |
| 髪の揺れ | 顔の動きに、前髪・後ろ髪を少し遅れて追従させる | 後ろ髪の方を遅く・大きく。小物（バッグ）も同じ仕組み |
| 腕 | 肩を支点に振り子のように回転 | 角度は小さく |
| 脚・重心 | 足を地面に固定したまま腰を左右に動かす。力を抜いた側の脚はひざを曲げ、かかとを浮かせる | 足先が滑らないように |
| ジャンプ | ひざを曲げてしゃがむ → 腕を上げて跳ぶ → 着地で少し沈む | タップで発動 |
| タップ | 体をタップ → ジャンプ、顔をタップ → 照れ | 当たり判定は顔の範囲とそれ以外で分ける |

### 確認
- スマホ（記録者はiPhone）で重さを確認する。キャラを何人も出すアプリでは、画面に出す人数を絞り、メモリを測りながら作る

---

## 9. 「AIっぽさ」を抑える見た目

### 発見
AIで描き足した立ち絵が**なめらかに動くほど、かなりAIっぽく見える**。

### 比べた項目（切り替えボタンを作って比較した）
| 項目 | 選択肢 |
|---|---|
| 動き | なめらか／12コマ／8コマ（コマ打ち）、揺れ控えめ |
| 縁取り | なし／白／黒＋ライム色のずらし |
| 塗り・質感 | セル塗り、トーン（網点）、くすみ色、紙の質感 |
| 見せ方 | 全身／マンガ風の斜めのコマ枠／手描き風の線／ステッカー |

### 記録者の採用
**セル塗り＋トーン＋くすみ色＋紙の質感**、動きはなめらか、縁取りなし、全身表示。
（WebGLのシェーダーで、色の段階化＝セル塗り、網点の重ね、彩度を少し下げる、紙のテクスチャを乗算、で作れる）

---

## 10. SNS用の動画にする

- 縦1080×1920、30fps、15秒前後
- 流れの例：アプリ風のホーム画面 → セリフの文字送り＋口パク → 指の方を見る → 体をタップしてジャンプ → 顔をタップして照れる
- 画面と投稿文に素材のクレジットを入れる（例：「立ち絵：〇〇様」）
- 「試作」の表記を残さない

---

## 11. 費用のまとめ（記録者の実例）

| 項目 | 金額 |
|---|---|
| 立ち絵素材（衣装2種・表情差分つき） | 450円 |
| クラウドGPU（L4、2体分） | 約1ドル（約150円） |
| See-through・エンジン（自作） | 0円 |
| 合計（2体） | 約600円 |

参考：素材65点をこの方式で動かす試算で約2.5万円。同じ数をプロに依頼すると数百万円以上。

---

## 12. チェックリスト

- [ ] 素材は背景透明のPNGか、表情差分はあるか
- [ ] 規約でLive2D化とAIでの描き足しがOKか（書いていなければ問い合わせ、返信を保存）
- [ ] GPUの環境はあるか（なければクラウドGPU、Kaggle）
- [ ] 接続ソフトは商用OKか（Parsec無料版は不可、Moonlightは可）
- [ ] See-throughの出力を点検し、影の残り・拾えなかったパーツを手直ししたか
- [ ] まばたきは半透明で混ぜていないか
- [ ] スマホで重さを確認したか
- [ ] クラウド機を停止したか、販売サイトからログアウトしたか
- [ ] 公開物にクレジットを入れたか

---

## 13. 参考
- See-through（GitHub）：https://github.com/shitagaki-lab/see-through
- 論文：https://arxiv.org/abs/2602.03749
- 解説記事（日本語）：https://lilting.ch/articles/see-through-anime-layer-decomposition
- Moonlight：https://moonlight-stream.org/
