Quand une puce cérébrale rencontre la VR : mon retour d'expérience sur l'entraînement dichoptique pour l'amblyopie | Dev Blog
L'architecture repose sur un SoC neuromorphique basse consommation (≈15 mW) qui encode les signaux visuels en spikes asynchrones. Le pipeline VR utilise Unity 2022 LTS + XR Interaction Toolkit 2.3 ; le rendu stéréoscopique est géré par un single‑pass instanced shader, ce qui réduit le draw‑call overhead de ~38 % par rapport au multi‑pass classique. Côté logiciel, le module d'entraînement dichoptique implémente un algorithme de suppression interoculaire basé sur la différence de contraste (ΔC = 0,15 log units) et adapte la fréquence de présentation (30–120 Hz) via un contrôleur PID calibré sur la latence moyenne du casque (≈12 ms). Les benchmarks sur Quest 2 montrent une gaine de 90 FPS stable avec 2 ms de frame‑time GPU, laissant ~8 ms pour le traitement neuronal. L'API expose un endpoint gRPC TrainSession/Start qui renvoie un flux de métriques JSON (latence, taux de spikes, score de suppression) pour un monitoring temps réel dans Grafana. Côté données, les sessions sont stockées en Parquet partitionnées par patient/jour, facilitant les requêtes analytiques avec DuckDB. Le trade‑off principal reste la calibration individuelle du seuil de suppression : un script Python (NumPy + SciPy) effectue une recherche dichotomique en ~0,4 s, acceptable en clinique. Prochaine étape : intégrer un modèle ONNX quantifié (INT8) pour prédire la progression du score en <5 ms, ouvrant la voie à un boucle fermée adaptative.
Quand une puce cérébrale rencontre la VR : mon retour d'expérience sur l'entraînement dichoptique pour l'amblyopie | Dev Blog
Je me souviens encore du soir où j'ai enfilé le casque dans mon petit bureau de Lyon, la lumière du crépuscule filtrant par la fenêtre. Mon fils de six ans, Léandro, luttait depuis des mois contre une amblyopie tenace ; les séances d'occlusion le laissaient frustré, les larmes aux yeux. Quand le neurologue m'a parlé d'un prototype associant une puce neuromorphique à la réalité virtuelle, j'ai hésité — trop technique, trop risqué. Pourtant, la promesse d'un entraînement dichoptique adaptatif, piloté par des spikes asynchrones, a réveillé ma curiosité d'ingénieur. La première session a duré dix minutes. Le casque a affiché deux images légèrement décalées, chacune modulée en contraste selon un algorithme PID que j'ai pu observer en temps réel sur mon tableau de bord Grafana. Léandro a ri quand les formes ont commencé à « danser » ; ses yeux, d'habitude figés, ont suivi le mouvement. Après trois semaines, le score de suppression interoculaire est passé de 0,12 à 0,04 log‑units, et le médecin a noté une amélioration de 2 lignes sur l'échelle de Snellen. Ce n'était pas de la magie, c'était des données, une latence de 12 ms, un cadre de 90 FPS stable, et surtout la joie de voir mon fils lire une bande‑dessinée sans plisser les yeux. Aujourd'hui, chaque nouvelle session ressemble à une petite victoire partagée entre code et cœur.
Top comments (0)