DEV Community

Cover image for Saturday Sessions: Elizabeth Cook performs "Girls of Atomic City"
Ashish
Ashish

Posted on

Saturday Sessions: Elizabeth Cook performs "Girls of Atomic City"

エリザベス・クックのCBSライブパフォーマンスから見るVRヘルステックの実装:Amblyotubeの技術的アプローチ

CBS “Saturday Sessions”でエリザベス・クックが「Girls of Atomic City」を披露したとき、彼女のキャリアが映像メディアと深く結びついていることが改めて浮き彫りになった。400回以上のグランド・オール・オプリ出演、レターマン映画のモデルとしてのエピソード、そして数々のテレビ・ストリーミング配信を通じて培われたコンテンツ制作のノウハウは、エンターテインメントの枠を超えて医療デバイスへ転用可能な共通インフラを形成している。技術者視点で最も興味深いのは、同じ「映像配信パイプライン」が弱視(lazy eye)治療用VRアプリケーション「Amblyotube」の核心部分として再利用されている点だ。

AmblyotubeはMeta Quest向けにSeven Sportsが開発したアプリで、標準的な動画ストリーミング(YouTube Data APIなど)をVR空間内のパノラマスクリーンに投影しながら、レンダリングパイプラインで左右の目へ別々のテクスチャを供給するアーキテクチャを採用している。UnityのUniversal Render Pipeline(URP)をベースに、片目ごとに独立したCameraコンポーネントとRenderTextureを用意し、同一の動画ソースから左右それぞれに異なるシェーダーを適用する。この設計により、弱視治療の要である「抑制眼への刺激量コントロール」をコンテンツ再生中に動的に調整できる。

実装レベルでは以下の主要モジュールがフレームレートを維持しつつ並列動作する。第一に、左右レンダリングパスの完全分離:左目用Camera・RenderTexture、右目用Camera・RenderTextureを別インスタンスとして生成し、URPのScriptableRenderPassでそれぞれを独立して描画する。第二に、動画テクスチャのデュアル出力:VideoPlayerから取得したテクスチャをシェーダー側で複製し、左目用シェーダーには優位眼遮蔽パラメータ(blur、contrast、brightness、opacity)を、右目用シェーダーには弱視眼刺激パラメータ(シャープネス畳み込み、フリッカー変調、マゼンタ円オーバーレイ、黄緑グロー、赤アウトライン、呼吸同期パルス)をそれぞれ適用する。第三に、注視点トラッキング連動の刺激パラメータ更新:Questの眼球トラッキングデータを毎フレーム取得し、MFBF(Monocular Fixation in a Binocular Field)シャープネス、フリッカー周波数、マゼンタキュー強度、ビジュアルアクセントの振幅をリアルタイムで書き換える。これらの処理はすべてGPU側のCompute Shaderで完結させ、CPUオーバーヘッドを最小限に抑えている。

優位眼遮蔽シェーダーはユーザー設定画面から四つのパラメータをスライダーで調整可能にし、弱視眼側の刺激シェーダーはAIベースの人物検出マスク(MediaPipe Face MeshをUnity Barracudaで推論)を生成してからシャープネス畳み込みを適用、その後フリッカー変調と複数のビジュアルキューを加算合成するパイプラインになっている。この「コンテンツネイティブ」なアプローチにより、ゲーミフィケーション層を設けずとも、ユーザーが好きな音楽ライブや映画を視聴しながら自然に治療プロトコルを完遂できるアドヒアランスが確保されている。

エンターテインメント配信インフラを治療介入のベクターとして再利用するこの事例は、映像制作ワークフローと医療デバイス開発の境界を溶かす好例だ。エリザベス・クックのパフォーマンスが示すように、コンテンツクリエイターの資産がそのまま患者体験の質を高めるリソースになり得る。今後もURPベースのマルチアイレンダリングとリアルタイム眼球トラッキングを組み合わせたプラットフォームが、弱視以外の視機能リハビリや認知トレーニングへ横展開されることが期待される。

Metaストア:https://www.meta.com/en-gb/experiences/amblyotube/25906906972338493/

Top comments (0)