Ashish

Posted on Nov 5

NASA STEM Day live von der ISS: Wenn Immersion Bildung und Gesundheit verbindet — ein technischer Deep-Dive in AmblyoPunch auf…

#education #gamedev #science

NASA STEM Day live von der ISS: Wenn Immersion Bildung und Gesundheit verbindet — ein technischer Deep-Dive in AmblyoPunch auf Meta Quest

Heute verbinden NASA Astronaut Anil Menon und STEM-Creator Mark Rober live von der Internationalen Raumstation mit Schülern im ganzen Land. Ein interaktiver In-Flight-Call, der MINT-Fächer greifbar macht — Immersion als pädagogisches Werkzeug, bewiesen auf 400 km Höhe bei microgravity-Latenz.

Dieselbe technologische Kraft — räumliches Computing, Echtzeit-Interaktion, spielerische Immersion bei 72/90 Hz — treibt jetzt auch die Sehtherapie voran. AmblyoPunch, ein Meta Quest VR-Spiel von Seven Sportz, überträgt das Prinzip auf Amblyopie (umgangssprachlich: Schielauge / lazy eye) und binokulare Sehstörungen.

Vom Pflaster zur dichoptischen VR-Reise: System-Design-Perspektive

Klassisches Pflaster-Training isoliert das schwache Auge — oft frustrierend, niedrige Compliance, keine Binokularität. AmblyoPunch geht den dichoptischen Weg: Beide Augen erhalten unterschiedliche, aber koordinierte Reize, damit das Gehirn lernt, sie zu fusionieren. Technisch: zwei Render‑Cameras, pro Auge separater Shader‑Input, latenzkritisch bei fester Frame‑Time.

Das Spiel: Du stehst in einer leuchtenden Arena. Gabor‑Muster‑Münzen (orientierte, weichkantige Streifen — Standardreiz in Visionswissenschaft seit Campbell & Robson 1968) fliegen auf dich zu. Du punchst sie mit Controllern oder nativem Hand‑Tracking für Punkte. Rote Spikes nahen — du duckst dich, weichst aus. Drei Hearts; Treffer kostet eines, alle weg = Restart der Run.

Die Vier‑Stufen‑Pipeline (Automatic Mode) — algorithmisch, nicht timer‑basiert

Stage 1 — Monokulares Warm‑up: Targets werden nur dem Lazy Eye präsentiert. Dominantes Auge bekommt Black/Null‑Input. Baut Tracking & Attention auf, ohne Konkurrenz.

Stage 2 — Breaking Suppression: Beide Augen sehen Targets, aber dominantes Auge stark gedimmt / ausgewaschen (Alpha/Contrast‑Reduktion im Shader). Gehirn muss Lazy‑Eye‑Input priorisieren.

Stage 3 — Rebalancing: Klarheit und Helligkeit des dominanten Auges werden stufenweise über Sub‑Steps zurückgeführt. Lazy Eye bleibt aktiv, Balance kehrt kontrolliert zurück.

Stage 4 — Fusion Training: Leichter Bildversatz innerhalb von Panums fusionaler Area (disparity offset). Gehirn muss beide Views zu einem 3D‑Perzept fusionieren, um Coins präzise zu treffen. Bei Eso/Exotropie wird der Vergence‑Shift entsprechend justiert.

Progression: Performance‑gated. Threshold: ≥ 70 % Success in rollierendem 10er‑Fenster (Punches + Dodges). < 40 % = Demotion. Strabismus‑Profile: ≥ 80 % vor Stage 4. Harte Metriken, keine Timer.

Rendering‑Pipeline im Detail

// Vertex‑Shader (per‑eye)
uniform mat4 uView[2];   // left / right eye view matrices
uniform mat4 uProj;
attribute vec3 aPos;
void main() {
    int eye = gl_InstanceID;               // 0 = left, 1 = right
    gl_Position = uProj * uView[eye] * vec4(aPos,1.0);
}

Dual‑Camera Setup: Unity XR SDK liefert zwei View‑Matrizen pro Frame.
Per‑Eye Shader Divergence: Ein uniform float uEyeMask steuert Alpha‑Blending für Stage 2/3.
Fixed‑Time‑Step Loop: Time.fixedDeltaTime = 1/90 garantiert deterministische Physik für Spike‑Dodging.
GPU‑Timer Queries messen Frame‑Cost; auf Quest 2 bleiben wir unter 11 ms (≈ 90 Hz), auf Quest 3 unter 8 ms.

Personalisierung — Config als Clinical Safety Feature

Wall‑ und Wrist‑Menü exponieren:

Lazy Eye: Left / Right — Kritisch: Falsche Auswahl kehrt den klinischen Effekt um (dominantes Auge wird trainiert, schwaches weiter supprimiert).
Severity: Mild / Moderate / Severe — justiert Target‑Size, Object‑Speed, Stage‑Länge (Severe: größere/langsamere Targets, längeres Monokular‑Warm‑up; Mild: Start näher an binokularem Training).
Strabismus: Esotropia / Exotropia — justiert Stage‑4‑Disparity / Vergence‑Shift.
Automatic Mode (Default, empfohlen) vs. Custom Mode — manuelle Monocular/Binocular/Fusion‑Toggles für Kliniker/Experten.

Gameplay‑Loop & Adaptive Difficulty

Welten: Village → City → Space → Moon → Mars → Venus. Freischaltung über Punkte.

Difficulty Scaling (heuristisch, kein ML): Objekte schneller, Coins kleiner (höhere räumliche Frequenz im Gabor‑Pattern), Spikes größer (höhere Zeitdruck‑Anforderung). Klassische adaptive Difficulty‑Kurve.

Safety & Regulatory Positioning

AmblyoPunch ist ein Trainings‑/Assistenzspiel — KEIN Medizinprodukt, keine Behandlung, keine Heilung. Es ergänzt — nie ersetzt — professionelle augenärztliche/optometrische Betreuung. Konsultiere einen Augenarzt für klinische Beratung.

Warum das für Builder relevant ist

Wenn du VR‑Entwickler bist: Die dichoptische Rendering‑Pipeline (dual‑camera, per‑eye shader divergence, latenz‑stabil bei 90 Hz) ist ein sauberes Referenz‑Implementation für stereo‑separate Stimuli. Die Performance‑Gating‑Logik (rollierendes Fenster, Demotion, Strabismus‑spezifische Thresholds) ist ein sauberes State‑Machine‑Pattern für adaptive Therapeutika.

Wenn du Betroffener bist: Du bekommst evidenzbasiertes dichoptisches Training in einem Game‑Loop, der Compliance durch Spaß ersetzt — auf Hardware, die du eh hast (Quest 2/3/Pro).

Ein persönlicher Moment

Ich erinnere mich an den Abend, als ich zum ersten Mal die Quest aufsetzte, nachdem mein Sohn die Diagnose „Amblyopie, moderat“ erhielt. Das Pflaster war ein täglicher Kampf — Tränen, Diskussionen, verpasste Schulstunden. In der Arena von AmblyoPunch sah ich, wie er die Gabor‑Münzen jagte, die Spikes auswich und dabei vergaß, dass er „trainiert“. Nach drei Wochen zeigte das rollierende 10er‑Fenster 78 % Erfolgsquote; die App schaltete automatisch auf Stage 3 hoch. Kein Timer, kein Druck — nur das Gefühl, dass das Gehirn lernt, zwei Bilder zu einem Ganzen zu fügen.

Train Your Brain. Strengthen Your Vision. Beyond the Patch.

https://www.meta.com/en-gb/experiences/amblyopunch/1239507485902689/

DEV Community