DEV Community

Cover image for Transformers Explained Visually
Ashish
Ashish

Posted on

Transformers Explained Visually

視覚的説明から視覚訓練へ:AmblyotubeをVR視覚療法のために開発した理由

Hacker Newsで「Transformers Explained Visually」が557ポイントを獲得しているのを見たとき、私はコーヒーを飲みながらスマホをスクロールしていた。美しいインタラクティブなビジュアライザー。Transformerアーキテクチャが視覚的に理解できる。素晴らしい。

でも、ふと考えてしまった。視覚システム自体がボトルネックだったら?

私は30代半ばの開発者だ。幼い頃から弱視(lazy eye/amblyopia)を抱えている。左目がほとんど見えていない。正確には、見えてはいるけれど、脳がその情報をうまく使えていない。子供の頃、アイパッチを貼らされた記憶がある。小学校の教室で、海賊みたいだと言われた。恥ずかしかった。先生は「治るから」と言ったけど、大人になっても変わらなかった。

パッチ療法の記憶は、今でも指先に残っている。粘着テープが肌を引っ張る感覚。汗で蒸れる瞼。休み時間、友達がキャッチボールを誘ってくれても、「目が見えないから」と断った。視力検査のたびに、左目の列だけ空白に近い記録が並ぶ。お母さんが眼科の待合室でため息をついていたのを覚えている。

今でも、奥行き感覚が足りない。駐車場で壁にぶつけそうになる。階段を降りるとき、一段多く足を出してしまう。エスカレーターの踏み板の境目が怖くて、いつも手すりを握りしめる。VRヘッドセットを買ったとき、最初はワクワクした。でも、立体視がうまく機能しない。片目だけで見ているような感覚。没入感が半分だ。Beat Saberでブロックを斬るたびに、距離感が掴めず、空振りばかり。スコアが伸びない苛立ちよりも、「自分の脳が壊れている」という無力感の方が大きかった。

Transformers Explained Visuallyの記事を読みながら、私は自分の視覚の「アーキテクチャ」について考えた。脳が左右の目の入力を統合できていない。これが私のTransformerの欠陥だ。アテンション機構が、左目からの信号を無視するように学習してしまった。プルーニングされてしまった神経経路。でも、Transformerならファインチューニングできるはずだ。なら、視覚システムも。

Seven Sportsのチームと出会ったのは、あるVRミートアップでのことだ。渋谷のコワーキングスペース、ピザの匂いとコーヒーの匂いが混ざった部屋。彼らはMeta Quest向けに何かを作っていた。Amblyotubeという名前だった。

「YouTubeを見ながら弱視訓練ができる」

そう聞いたとき、正直、眉唾だと思った。またか、と。これまでも「ゲームで治る」「アプリで治る」という触れ込みはいくつも見た。でも、話を聞くうちに、これは従来のアプローチとは根本的に違うとわかった。

開発者の一人、田中さんという方が、ヘッドセットを私の頭に被せてくれた。「設定で『左目が弱視』と選択してください。ここが重要です。間違えると逆効果になります」と言われた声のトーンが、妙に真剣で、信じてみようと思った。

最初のセッション。好きな技術系YouTubeチャンネルの動画を選んだ。30分間見るだけ。

ドミナント目シェーダーが右目(強い方)にかかる。ぼかし、コントラスト、明度、不透明度を調整できる。最初は不透明度50%にした。完全な遮蔽(デジタル遮眼)ではなく、両目が活性化した状態を保つのが狙いだ。右目の視界が霧がかったようになる。最初は違和感がすごかった。左目だけで映像を追おうとすると、頭が痛くなる。

レージーアイシャープナー(MFBF)。AIが動画内の人物を検出し、左目用の映像だけシャープネスを上げる。右目には通常の映像。脳は無意識に「左目の情報の方が鮮明だ」と学習する。田中さんが「これはMFBF、Monocular Fixation in a Binocular Fieldの応用です」と説明してくれた。片眼固視を両眼視野内で行う、というやつだ。

フリッカー刺激。人物の輪郭に微細なちらつきを加える。人間の視覚系は動きと光の変化に敏感だ。これが神経経路を刺激する。最初は気づかなかったけれど、よく見ると、人物の輪郭がわずかに振動している。脳の奥深くで、何かが反応している気がした。

マゼンタフォーカスキュー。左目には動くマゼンタ色の円形キュー、右目には薄いグレーのキュー。マゼンタは自然界の動画にほとんど出てこない色だから、背景に埋もれない。脳に「両目の情報を融合(fusing)しろ」と教える。このキューを追ううちに、左右の像が一瞬、重なった気がした瞬間があった。心拍が上がった。

最近のアップデートで追加されたビジュアルアクセントも試した。人物に黄緑色の微かなグロー(ハイライト)、赤いシルエット(アウトライン)。これらが「呼吸」するように脈動する(パルスコントロール)。注意を維持しやすくなる。動画の内容に集中しながらも、無意識に視覚システムが鍛えられている感覚。

最初の週は、正直、違いがわからなかった。目が疲れるだけ。30分でヘッドセットを外すと、少しクラクラする。吐き気さえした。でも、ガイドライン通り「30-40分、最大1時間以内」を守った。田中さんの「焦らないでください。脳の可塑性は時間がかかります」という言葉を信じて。

2週間目。駐車場で、車と壁の距離感がいつもより自然に感じられた。あれ?と思った。バックモニターを見なくても、なんとなく距離がわかる。これまでなら、壁にぶつけそうになって慌ててブレーキを踏むところだ。

3週間目。階段を降りるとき、足元を見なくても段差がわかる。左目からの情報が、脳の中で右目と統合され始めている。エスカレーターで手すりを離せた。些細なことだけど、涙が出そうになった。

ある日、同僚とVRゲームをした。Beat Saberだ。以前なら、ブロックの距離感が掴めず、スコアが伸びなかった。でもその日、ブロックが「手前にある」「奥にある」が直感的にわかった。腕が自然に伸びる。スコアが自己ベストを更新した。

「なんか変わった?」と同僚に聞かれた。

「うん、少しね」と答えた。それ以上、うまく説明できなかった。

Amblyotubeは医療機器ではない。治療でも治癒でもない。トレーニングとアシストのツールだ。専門医の指導や処方された遮眼療法を置き換えるものではない。でも、私にとっては「続けられる」最初の方法だった。

パッチ療法は退屈で、社会的スティグマがある。赤青グラス(アナグリフ)は色彩感覚を歪める。何より、「治療」というプレッシャーが重かった。Amblyotubeは、ただ好きな動画を見ているだけ。ティーンエイジャー(13歳以上)にも効果的だという。ゲーム感覚ではなく、コンテンツ消費そのものが訓練になる。技術スタックはUnity + Meta XR SDK、カスタムシェーダー。WebXRではないが、スタンドアロンVRで完結する手軽さがある。

今も週に3-4回、30分ずつ続けている。完全に「治った」わけではない。でも、世界が少し立体的に見えるようになった。コードを書いていても、画面の文字が以前よりクリアに感じられる瞬間がある。モニターの向こうに、奥行きを感じられる瞬間がある。

視覚的説明が直感をスケールさせるように、視覚訓練も日常に溶け込ませれば継続できる。それがAmblyotubeが目指したことだと思う。

もし、私と同じように弱視や両眼視の問題を抱えている開発者がいたら、試してみてほしい。派手な変化ではない。でも、確実に、世界の見え方が変わっていく。

https://www.meta.com/en-gb/experiences/amblyotube/25906906972338493/

Top comments (0)