いま決めておくべき“核”は１つだけ

観客がノブをひねると，あらかじめ用意したメタローグ詩 × 声 × 映像 × 音のパラメータが同時に揺れて「対話」を感じられること。

リアルタイム生成は封印するので、準備フェーズと再⽣フェーズをきっちり分ければ仕込みも当日の運⽤もシンプルになります。以下、**「24 h で動く最小構成 → 考査３以降で拡張」**という２段ロケットで整理しました。

1️⃣ 仕込みフェーズ（オフラインで完結）

ステップ やること コツ・ツール例
1. メタローグ詩を決める 詩 A/B/C… 各 8 – 12 行（短句）を TXT で用意 ChatGPT＋あなたの推敲 → “揺れ”が出る言い回しを複数
2. 行ごとに ID を振る A01, A02 … B01 … 後で JSON 紐付け用
3. 声素材を作る - あなた：スマホ録音- oupe ec：TTS or RVC で別声色 行ごとに WAV 名＝ID.wav に揃える
4. 映像シードを生成 ComfyUI 廻し：prompt＝行テキスト 生成サイズ 1280×720 / 3 s ループで軽量化
5. 映像・声・メタ情報を 1 枚 JSON に json { "id":"A01", "txt":"青い輪郭…", "wav_human":"A01_h.wav", "wav_ai":"A01_o.wav", "mov":"A01.mp4" } Excel → csv → python で変換すると速い
6. BGM パッチ雛形を作る Pure Data で・Pad・Perc・Noise の３レイヤ それぞれ OSC で volume / FX / speed を受け取るだけ

2️⃣ 再生フェーズ（当日の仕掛け）

[MIDI ノブ] ─▶ python
                ├─ 行ID をインデックスシフト
                ├─ OSC  /voice/human  <file>
                │                     /ai     <file>
                ├─ OSC  /video        <file>
                └─ OSC  /bgm/volPad   0-1
                         /bgm/pitch    −12-+12
コンポーネント 役割 推奨ソフト
python プレイヤー ・JSON を読み込み・ノブ値→行ID, パラメータ計算・OSC発射 python-osc, pygame.mixer(クリック音も可)
TouchDesigner MOV 読み込み & シーン合成（Hue / Zoom / Blend を CHOP で） Text TOP で行テキストも重ねると判読可
Pure Data BGM パッチ再生＋FX (reverb/delay)声 WAV もこちらでトリガ readsf~ → dac~ 繋ぎ替えだけなら10分

ノブ割り当て例（観客が迷わない 4 パラ）

ノブ 変わるもの
K1 行 ID（±1 ずつ）
K2 映像 Hue シフト
K3 BGM Pad Volume
K4 BGM Pitch (-4 ~ +4 半音)

1 行・1 ループが滑らかに切り替わるだけで「いじる前→後」の差異が体感できる。

3️⃣ ３分ピッチでの見せ方（ライブでも動画でも同じ順序）

  1. タイトル & 狙い（10 s）
  2. 操作デモ（60 s × 2 アクション）
  3. 裏側 1 スライド（20 s）
  4. 今後（20 s）