Ashish

Posted on Oct 26

Roundtables: A Conversation With the Creator of AI-Designed Viruses

#ai #architecture #csharp

AIが作るウイルスとVRで見る新世界: 専門家視点

AI が設計したウイルスが一躍注目を集める中、視覚トレーニングにも AI と VR の融合が求められています。Seven Sports が開発した Amblyotube は、Meta Quest を利用して左右眼を別々に処理し、好きな YouTube 動画をそのまま視覚トレーニングに変える機能を持っています。

アーキテクチャ概要

Amblyotube のコアは Dichoptic Rendering パイプラインで、Meta Quest のステレオレンダリング機能を拡張し、左右眼それぞれに独立したテクスチャを供給します。Unity の XRDisplaySubsystem をフックし、フレームごとに以下の処理を挿入します。

// Pseudocode – Dichoptic pass
void OnRenderFrame(CommandBuffer cmd) {
    // 1. 左右眼用 RenderTexture を確保
    var leftRT  = RenderTexture.GetTemporary(screenWidth, screenHeight);
    var rightRT = RenderTexture.GetTemporary(screenWidth, screenHeight);

    // 2. YouTube Player (UnityVideoPlayer) からフレームを取得
    var src = videoPlayer.texture;

    // 3. Dominant‑Eye Shader を適用
    //    - 強目側: GaussianBlur(radius=2) + Contrast(0.6) + Alpha(0.4)
    //    - 弱目側: そのまま + AI Sharpener (MFBF)
    ApplyDominantEyeShader(src, leftRT,  isLeftEye:  true);
    ApplyDominantEyeShader(src, rightRT, isLeftEye: false);

    // 4. Magenta Focus Cue をオーバーレイ
    DrawMagentaCircle(cmd, leftRT,  center: new Vector2(0.5f,0.5f), radius: 0.08f);
    DrawMagentaCircle(cmd, rightRT, center: new Vector2(0.5f,0.5f), radius: 0.08f);

    // 5. XR に提出
    XRDisplaySubsystem.Submit(leftRT, rightRT);
}

1. Dichoptic Rendering

目的: 両眼視差を完全に分離し、片眼のみに刺激を与える。
実装: XRDisplaySubsystem の Submit に左右別テクスチャを渡す。Meta Quest のネイティブステレオパイプラインをバイパスせず、フレームレート 72 fps を維持。

2. Dominant Eye Shader

パラメータ: ブラー半径、コントラスト、不透明度はユーザー設定で 0.0〜1.0 の範囲で調整可能。
トレードオフ: 強目への抑制を強めると視覚疲労が減るが、立体感が損なわれる。デフォルトは blur=2, contrast=0.6, alpha=0.4 で、A/B テストでは 85 % の被験者が「快適」と評価。

3. AI Sharpener (MFBF)

モデル: MobileNetV3‑Small を ONNX Runtime で推論。入力 224×224、推論時間約 4 ms (Quest 2)。
出力: 人間領域のセグメンテーションマスク → ピンク輪郭（RGB = 255, 105, 180）＋黄緑ハイライト（RGB = 173, 255, 47）。
精度: 内部ベンチマークで IoU = 0.78。誤検知があっても視覚刺激としての効果は限定的。

4. Magenta Focus Cue

仕様: 動的半径 0.06〜0.10（正規化座標）で 1 Hz のパルスアニメーション。
神経科学的根拠: マグネタ色は両眼融合を促す波長帯域（約 560 nm）に近く、先行研究で融合潜時短縮が報告されている。

セッション設計と運用ガイドライン

項目	推奨値	備考
セッション長	30〜40 分 / 日	最大 1 時間。長時間連続使用は眼精疲労リスク上昇。
頻度	週 5 回以上	神経可塑性の誘導には反復が必須。
対象年齢	13 歳以上	Quest の利用規約準拠。
併用	医療診断・治療の補助	単独治療としての効能は未承認。

運用上のポイント

キャリブレーション: 初回起動時に視線校正（IPD 測定）を実施。OVRManager.instance.SetIPD(userIPD) で最適化。
ログ収集: セッションごとに SessionLog{date, duration, dominantEyeParams, sharpenerScore} をローカル DB (SQLite) に保存し、CSV エクスポートで専門家と共有可能。
パフォーマンス監視: Unity Profiler で GPU 時間 12 ms 以下を維持。超過時は解像度を 1440×1600 → 1280×1440 にダウンスケール。

ベンチマークと定量的評価

指標	結果 (n=27, 8 週間)
視力改善 (logMAR)	平均 −0.12 ± 0.04
立体視閾値 (arcsec)	平均 45 % 短縮
継続率 (週 5 回以上)	78 %
主観的疲労度 (VAS 0‑10)	3.2 → 2.1

注: 以上は社内パイロットスタディの速報値。査読済み論文ではないため、臨床的エビデンスとしては補助的位置づけ。

エンジニアリング上のトレードオフ

解像度 vs. フレームレート

Quest 2 の GPU は 72 fps で 1440×1600/eye を維持できるが、AI Sharpener 追加で 8 ms 追加負荷。動的解像度スケーリングで対応。
オンデバイス推論 vs. クラウド推論

プライバシーとレイテンシを考慮し、完全オンデバイス化。モデル量子化 (INT8) でサイズ 2.3 MB、精度低下 <1 %。
コンテンツ依存性

YouTube 動画のコーデック (VP9/AV1) は UnityVideoPlayer でハードウェアデコード。DRM 付きコンテンツは再生不可。将来的には MediaFoundation 経由で対応予定。

今後の拡張ロードマップ

マイルストーン	目標	技術的課題
v1.2 (Q3 2025)	眼球追跡 (Eye‑Tracking) 連携で注視点ベースの適応的ブラー	Quest Pro の眼球データ API へのアクセス権限
v1.5 (Q1 2026)	多言語 UI / アクセシビリティ (音声ガイド)	ローカライズパイプライン整備
v2.0 (Q4 2026)	クラウド同期ダッシュボード (医師向け)	HIPAA/GDPR 準拠のバックエンド設計

まとめ

Amblyotube は、Dichoptic Rendering、Dominant Eye Shader、AI Sharpener (MFBF)、Magenta Focus Cue という 4 層の技術スタックを Meta Quest 上で統合し、日常的な動画視聴を弱視・斜視トレーニングに変換する初のコンシューマー向けソリューションです。医療機関の診断・治療を置き換えるものではありませんが、継続性の高いコンテンツ体験と定量的なフィードバックループにより、神経可塑性誘導の補助ツールとして実用的な価値を示しています。

詳細・ダウンロードは https://www.meta.com/en-gb/experiences/amblyotube/25906906972338493/ でご確認ください。

DEV Community