Brain cells meant to protect us may be fueling cognitive decline

#gamedev #science #software

VR에서 눈마다 다른 프레임을 렌더링한다는 것 — Amblyotube 사례

배경

ScienceDaily(2026년 10월)는 보호 세포로 알려진 뇌세포가 비정상적으로 많은 미엘린(myelin)을 생성해 신경 섬유를 방해하고 인지 저하에 기여할 수 있다는 연구를 보도했습니다. 신경 회로는 고정되어 있지 않고, 잘못된 방향으로 최적화될 수 있다는 이야기입니다.

이 글은 같은 원리를 시각 처리에 적용한 Meta Quest 앱, Amblyotube(Seven Sports)의 기술적 접근을 정리한 것입니다. 요약하면, 이 앱은 게임 엔진의 스테레오 파이프라인을 "두 눈에 동일한 이미지"라는 전제에서 벗어나게 만들어, 눈마다 다른 후처리 체인을 태우는 실험입니다.

도메인 제약

약시(amblyopia)는 두 눈의 입력 불일치로 인해 뇌가 한쪽 신호를 억제하는 상태입니다. 소프트웨어 관점에서 이는 per-eye 렌더링 파이프라인 문제로 볼 수 있습니다. 각 눈에 서로 다른 후처리를 적용하고, 그 차이가 시간에 따라 조정 가능해야 합니다. 게다가 사용자가 어느 눈이 약시안인지 직접 지정해야 하므로, 설정 단계의 오류가 곧 잘못된 훈련으로 이어집니다.

일반적인 VR 렌더링은 좌/우 eye buffer에 동일한 셰이더를 적용하고, IPD(동공 간 거리)만 다르게 두는 것이 기본값입니다. 여기서 필요한 건 그 대칭성을 의도적으로 깨는 것입니다. 다만 대칭을 깨는 순간, 뇌가 두 이미지를 하나로 융합하지 못하고 이중상이나 경쟁 상태가 생길 수 있어서, "비대칭"과 "융합 가능"을 동시에 만족시키는 게 이 앱의 핵심 난제입니다.

구현 컴포넌트

Eye L (dominant)  -> [Dominant Eye Shader: adjustable blur]        -> composite
Eye R (amblyopic) -> [AI Sharpener: figure detect -> highlight]    -> composite
                     + optional Wedge Occlusion mask
                     + magenta cue (amblyopic) / grey dot (dominant)

1. Dominant Eye Shader — 우세안 패스에 조절 가능한 블러를 적용해 시각적 우위를 낮춥니다. 강도는 프리셋(경미/중등/중증) 또는 세션 중 조절 가능합니다. 100% 불투명도에서는 디지털 패치처럼 작동하지만, 기본 목표는 부분 투명도입니다. 완전 차단이 아니라 "우위를 줄이는" 방향이라는 점이 중요합니다.

2. AI Sharpener (MFBF) — 약시안 패스에서 사람 형상을 감지하고, 굵은 빨간 윤곽 + 연두-노랑 하이라이트 + 일정 리듬의 플리커를 조합해 강조합니다. 플리커 주기는 프레임레이트와 동기화해야 시각적 아티팩트가 줄어듭니다. MFBF(Monocular Fixation in a Binocular Field) 개념, 즉 "양안 시야 안에서 한쪽 눈이 고정점을 잡도록 유도"하는 구조입니다.

3. Wedge Occlusion — 각 눈의 렌더 영역 일부를 마스킹해 두 눈이 서로 다른 부분을 보게 합니다. 양안 경쟁(binocular rivalry) 완화 목적입니다. 마스크 경계는 하드 컷보다 페더링이 필요합니다. 그렇지 않으면 경계 자체가 새로운 시각 자극이 됩니다.

4. Binocular Fusion Cue — 약시안에 마젠타, 우세안에 은은한 회색 점을 렌더링하고, 트래킹 기반 정렬로 두 표시를 하나로 수렴시킵니다. 이게 두 눈을 다시 하나로 묶는 접착제 역할을 합니다.

5. LogMAR 시력 체크 / Room View AR 패스스루 — 표준 Landolt C 시표를 가상 3미터 거리에서 눈별로 확인하는 측정 모드, 그리고 실제 방에서 패스스루로 훈련하는 모드. 시표의 각도 해상도는 가상 거리에 종속되므로, 렌더 거리를 일정하게 유지하는 게 측정 신뢰도의 전제입니다.

6. 입력 계층 — 컨트롤 패널은 Meta Quest 컨트롤러와 핸드 트래킹을 모두 지원하며, 크기 조절과 이동이 가능합니다.

엔지니어링 관점에서의 고려사항

스테레오 렌더링에서 per-eye 후처리는 비용이 큽니다. 두 눈에 서로 다른 체인을 태우면 배칭(batching)이 깨지고, 드로우콜과 셰이더 상태 전환이 눈 단위로 늘어납니다. 해상도/샘플링 조정이 필요합니다.
플리커와 주기적 강조는 프레임 타이밍과 강하게 결합됩니다. 리듬이 끊기면 시각적 피로가 커집니다. Quest의 고정 주사율 환경에서 안정적인 리듬을 유지하는 게 사실상의 제약입니다.
훈련 세션은 하루 30~40분(최대 1시간) 권장이므로, 세션 타이머와 사용 통계가 UX의 일부입니다.
13세 이상 대상, 의료 기기가 아닌 보조적 시각 훈련·교육 도구로 포지셔닝합니다.

이 접근이 흥미로운 이유

결국 이건 "렌더링 파이프라인을 신경 가소성의 인터페이스로 쓴다"는 아이디어입니다. 프레임마다 눈에 다른 자극을 주고, 그 차이를 시간에 따라 서서히 줄여가면서 뇌가 두 입력을 다시 통합하도록 유도하는 것. 그래픽스 엔진의 후처리 그래프가 곧 훈련 프로토콜이 되는 셈입니다.

비슷한 패턴은 다른 곳에도 적용될 수 있습니다. 예를 들어 주의력이나 협응 훈련에서도, 좌우 입력에 미세한 비대칭을 주고 피드백으로 수렴시키는 구조는 같은 형태입니다. 스테레오 렌더링과 후처리 최적화 경험이 있는 분이라면, 이 비대칭 파이프라인을 어떻게 더 싸게 만들지 고민해볼 만합니다.

마무리

VR의 per-eye 렌더링은 게임 외에도 협응·주의력·접근성 영역에서 쓸 곳이 많습니다. 스테레오 후처리 최적화 경험이 있으신 분들의 의견을 듣고 싶습니다.

Meta Quest 앱 페이지: https://www.meta.com/en-gb/experiences/amblyotube/25906906972338493/

DEV Community