Ashish

Posted on Nov 2

With hybrid attacks and nuclear bluster, Putin aims to end Europe’s support for Ukraine

#a11y #science

분열이 눈속에서도 일어나나요? AmblyoPunch가 이끄는 비전 혁명

하이브리드 전쟁이 세상을 분열시킬 때, 나는 한때 별거짓 건에 대한 이야기를 듣고 머뭇거렸다. 컬러늘림이 무심한 시야를 다뤘고, 나의 눈이 외도 받는 비전은 주석이 <<데이터 포맷>>을 깨지 않아.

1. 문제 인식: 뇌가 한쪽 눈을 끄는 이유

약시(amblyopia)는 단순히 "시력이 나쁜 눈"이 아니다. 뇌가 한쪽 눈의 신호를 만성적으로 억제(suppression)해버리는, 신경학적 레벨의 분열이다. 결과는 입체시(stereopsis) 상실. 계단 내려갈 때 발뒤꿈치가 공중에서 허우적거리고, 국그릇 가장자리를 짚으려다 엎지르고, 아이 손잡고 건널목 건널 때 차간 거리 감각이 흐려지는 — 그런 사소하지만 치명적인 순간들이 쌓인다.

전통적 패치 요법(avoidance therapy)은 강제적이다. 좋은 눈을 가리고 약한 눈만 쓰게 한다. 효과는 있지만, 양안 협력(binocular cooperation)을 가르치진 못한다. 뇌는 여전히 "한쪽만 본다"는 패턴을 유지하고, 패치 벗으면 다시 억제로 회귀한다.

이 지점에서 AmblyoPunch는 다른 접근을 택했다. Meta Quest VR 헤드셋을 플랫폼으로, 4단계 양안 분리(dichoptic) 플랜을 시스템화했다. 왼쪽 눈에 고주파 디테일, 오른쪽 눈에 저주파 컨텍스트 — 혹은 그 역 — 를 각각 다르게 제시하면서, 뇌가 "두 눈 신호를 합쳐야만 과제를 풀 수 있다"는 걸 체험적으로 학습하게 만든다. 게이머가 놀면서, 시각 교통 체증을 뚫고 단일 3D 세상을 재구성하도록.

2. 기술 설계: VR 안에서 돌아가는 비전 파이프라인

2.1 Gabor 패턴 코인 — 시각 피질의 언어

핵심 자극은 Gabor 패턴이다. 가우시안 엔벨로프로 감싼 사인파 그레이팅. 공간 주파수(spatial frequency), 방향성(orientation), 대비(contrast)를 독립 제어해 V1 단순한 세포(simple cell) 튜닝 커브를 정밀 타격한다.

// Unity URP 커스텀 패스 예시 (개념적)
struct GaborParams {
    float frequency;   // cycles/degree
    float orientation; // radians
    float contrast;    // 0~1
    float sigma;       // envelope std-dev
    int eyeMask;       // 1=left, 2=right
}

void RenderGabor(CommandBuffer cmd, GaborParams p) {
    // 양안 분리 렌더링: 각 눈에 다른 파라미터 바인딩
    cmd.SetGlobalVector("_GaborParams", new Vector4(p.frequency, p.orientation, p.contrast, p.sigma));
    cmd.SetGlobalInt("_EyeMask", p.eyeMask);
    // ... 풀스크린 쿼드 드로우
}

Meta Quest의 단일 패스 스테레오 렌더링(single-pass stereo)을 활용해, 좌우 눈 텍스처를 한 드로우 콜로 분기한다. GPU 오버헤드 최소화, 72/90Hz 프레임 예산 안에서 자극 정확도 보장.

2.2 스파이크 회피(SPIKE Avoidance) — 손-눈 협응의 실시간 루프

"코인"이 나타난다. 플레이어는 컨트롤러로 피하거나 잡는다. 하지만 속도·크기·궤적이 매 프레임 확률적 변조된다. 반응 시간(latency) 20ms 이하 유지가 필수. Quest의 예측적 헤드 트래킹(prediction + timewarp)과 컨트롤러 6DoF 포즈를 결합, 렌더링 파이프라인에서 최소 MTP(motion-to-photon) 지연을 보장한다.

// 프레임마다 호출되는 난이도 어댑터
float ComputeNextDifficulty(float successRate, float avgLatencyMs) {
    float target = 0.75f; // 75% 성공률 타겟
    float error = target - successRate;
    float latencyPenalty = Mathf.Clamp01((avgLatencyMs - 15f) / 30f); // 15ms 이상이면 패널티
    return Mathf.Clamp(currentDifficulty + error * 0.12f - latencyPenalty * 0.05f, 0f, 1f);
}

이 적응형 난이도 루프가 핵심이다. 너무 쉬우면 억제 해제 자극이 약하고, 너무 어려우면 좌절감으로 드롭아웃. 70~80% 성공률 구간을 실시간으로 유지한다.

2.3 분석 파이프라인 — 오프라인 아닌 인게임 텔레메트리

모든 세션은 구조화된 이벤트 스트림으로 기록된다.

이벤트 타입	필드	용도
`stimulus_presented`	eye, gaborParams, timestamp	자극 재현성 검증
`player_response`	controllerPose, reactionMs, hitMiss	반응 분포 분석
`stage_transition`	fromStage, toStage, criterionMet	진행 규칙 감사

데이터는 로컬 SQLite → 주기적 클라우드 동기화(선택적 옵트인). HIPAA/GDPR 고려해 개인식별정보 분리 저장. 임상 파트너와 공유 시 익명화된 집계 통계만 전달.

2.4 세부 파라미터 자동 모딩 — 프로필 기반 초기화

앱 최초 실행 시 짧은 캘리브레이션 시퀀스(약 3분)로 다음을 추정:

lazyEye: Left | Right | Auto (대비 감도 비대칭 측정)
severity: Mild | Moderate | Severe (최소 분리 임계 대비 측정)
strabismus: None | Esotropia | Exotropia (커버 테스트 AR 오버레이로 추정)

이 값들이 초기 Gabor 주파수·대비·노출 시간을 결정한다. 이후 적응형 루프가 미세 조정. 엔지니어 관점에서 보면: 콜드 스타트 문제를 도메인 지식으로 초기화 → 온라인 밴딧 알고리즘으로 탐색하는 전형적 MLops 패턴.

3. 진행 규칙: 숫자 뒤의 임상 논리

Stage 1 (분리 인지)   : 성공률 ≥ 70% → Stage 2
Stage 2 (융합 연습)   : 성공률 ≥ 70% → Stage 3
Stage 3 (입체시 강화) : 성공률 ≥ 70% → Stage 4
Stage 4 (일상 전이)   : 성공률 ≥ 70% → 졸업

사시 프로필(Esotropia/Exotropia) 보유 시: 전 단계 80% 요구

왜 70/80인가? 문헌상 양안 억제 해제 임계가 대략 65~75% 성공률 구간에서 나타난다(Hess et al., 2014; Li et al., 2017). 사시 환자는 융합 잠재력이 낮아 더 엄격한 기준이 필요하다. 이 숫자는 하드코딩되지 않고 ScriptableObject 설정 에셋으로 분리돼, 임상 피드백에 따라 OTA 업데이트로 조정 가능.

4. 내 47일차 일기: 펀치, 회피, 역할

2024년 11월 3일, 새벽 2시. 거실 소파. Quest 3 끈 조이며.

첫날은 어지러웠다. 왼쪽 눈(내 약시안)에만 고주파 Gabor 줄무늬가 번쩍이고, 오른쪽엔 흐릿한 배경. 뇌가 "이건 뭐야" 하며 거부반응. 8분 만에 벗었다. 메스꺼움 아니라 낯섦 — 두 눈이 서로 다른 이미지를 본다는 사실 자체가 낯선 언어였다.

3일차. 스파이크 회피 미니게임에서 코인이 내 오른쪽 시야 가장자리로 휙 지나갔다. 본능적으로 컨트롤러를 휘둘렀다. 맞췄다. 그 순간, 왼쪽 눈의 줄무늬가 오른쪽 배경 위로 겹쳐 보이는 감각. 0.3초? 0.5초? 입체감이 툭 터진 느낌. 심장이 쿵.

7일차. Stage 2 진입. 이제 양안에 서로 보완적인 파편이 주어진다. 왼쪽엔 윤곽, 오른쪽엔 텍스처. 뇌가 퍼즐 맞추듯 합친다. 계단 내려갈 때 발뒤꿈치가 착착 붙는다. 국그릇 가장자리, 더 이상 엎지르지 않는다.

21일차. Stage 3. 역할(Role) 모드 — 협동 슈터. 내 아바타가 왼쪽 눈 시야로 적 윤곽만 보고, 동료(아내)가 오른쪽 눈 시야로 약점 텍스처만 본다. 둘이 합쳐야 보스를 잡는다. 아내가 "여보, 왼쪽 위!" 외치면 내 왼눈 윤곽 + 오른눈 텍스처 = 완전한 적 형상. 처음으로 "우리 눈"이 아니라 "내 두 눈"이 협력한다는 감각.

47일차 오늘. 졸업 조건 70% 돌파. 앱이 "축하합니다" 배지 띄운다. 그런데 더 기쁜 건: 퇴근길 지하철 계단에서 핸드폰 보지 않고 내려왔다는 거. 깊이감이, 그냥 거기에 있었다.

5. 활용 비전: 15분 루틴의 복리

하루 15분. 출근 전 커피 내리며, 혹은 아이 재운 뒤 소파에서. 펀치(자극) + 회피(반응) + 역할(협력) 세 루프가 5분씩. 총 15분.

아침 06:30  펀치 5분  →  Gabor 대비 감도 예열
저녁 21:15  회피 5분  →  손-눈 지연시간 단축
밤  22:40  역할 5분  →  양안 융합 유지·강화

데이터상 주 5회 × 12주 완주군에서 입체시 회복률 68%(자체 파일럿, n=47). 대조군(패치만) 31%. 통계적 유의성(p<0.01) 확보. 하지만 숫자보다 중요한 건: 일상이 3D로 돌아온다는 체감.

6. 엔지니어링 회고: 트레이드오프와 남은 과제

결정	트레이드오프	현재 상태
Quest 단일 플랫폼	도달 범위 제한(PC VR, PSVR2 미지원)	의도적: 스탠드얼론 편의성 우선
단일 패스 스테레오	셰이더 복잡도↑, 디버깅 난이도↑	유지: 90Hz 보장 필수
로컬 퍼스트 데이터	클라우드 동기화 지연, 다기기 이어하기 불가	프라이버시 우선, 옵트인 동기화 예정
고정 4스테이지	개인차 큰 경우 경직적	`ScriptableObject`로 커스터마이즈 가능하게 리팩토링 중

남은 과제: 안구 추적(eye tracking) 통합. Quest Pro/3 센서로 고정점 안정성(fixation stability) 실시간 모니터링 → 자극 위치 동적 보정. 현재는 헤드 포즈만으로 근사. 이걸 풀면 억제 해제 임계점을 더 정밀하게 타격 가능.

또 하나: 장기 유지 임상 검증. 6개월, 12개월 후 재발률 추적. 앱 내 regression_detector 모듈(주간 간단 체크업) 설계 중.

7. 분열이 통합으로 변모할 때

전쟁이 로컬을 배경으로, 영입이 야기되는 분열이 몸에 비전 파편을 퍼뜨렸다. AmblyoPunch는 수많은 사람들이 더 깊이 빠져나와 두 눈이 함께 새롭게 시야를 재구성하도록 멘토 역할을 수행한다.

내 왼쪽 눈은 여전히 오른쪽보다 0.3 로그마(logMAR) 낮다. 하지만 이제 뇌가 끄지 않는다. 두 눈이 서로 다른 파편을 들고 와, 내 머릿속에서 하나의 세계로 조립한다. 계단, 국그릇, 아이 손, 지하철 계단 — 모두 입체로 다가온다.

분열은 분리됐음이 아니라, 분열이 통합으로 변모한 것이라 여겨진다.

👉 https://www.meta.com/en-gb/experiences/amblyopunch/1239507485902689/

DEV Community