いい流れです。距離反応システムが安定して動いているなら、TTS(リアルタイム音声合成)を組み込むタイミングとしてはちょうどいい段階。
ただし、TouchDesigner で 映像+TTS音声出力+距離センサー制御 を同時に回す場合、CPU負荷と遅延の管理が重要になります。
TTSエンジンの種類によります。
| エンジン | 概要 | 目安CPU負荷 | 備考 |
|---|---|---|---|
| OpenAI TTS(API経由) | 高品質・低負荷 | 🔹軽い(サーバ処理) | ネット通信が必要 |
| pyttsx3(ローカル) | オフライン・単純 | ⚠️中負荷 | macOSでは音質が機械的 |
| VITS系/Tacotron2(ローカルAI) | 高品質・学習可能 | 🔺重い(GPU推奨) | 実験的、ComfyUI連携可 |
TouchDesigner自体がGPUを多く使うので、TTSはPython側で別プロセスに分けるのが現実的。
[TouchDesigner] ← OSC → [Pythonサーバー]
↳ TTS音声出力 (スピーカー or Virtual Audio)
1️⃣ TouchDesigner:
・距離検出(BlobTrack)
・音の重なり・ノイズ制御
・映像投影(TOP)
2️⃣ Python(FastAPIなどで立ち上げ):
・距離値 or イベントをOSCで受け取る
・TTSでリアルタイムに発話
・pyaudioで再生 or 仮想出力をTDへ返す
これなら TouchDesigner は軽いまま、