Neuroscience for AI — Ch.06: Chapter 06. Neuroscience to AI Bridges [KR]

STATERA Library · Volume 44 · Chapter 06 · KR
Source: https://github.com/Statera-Library/01_Vol_44_Neuroscience_for_AI/blob/main/Chapter_06_Neuroscience_to_AI_Bridges/Chapter_06_Neuroscience_to_AI_Bridges_KR.md

Volume 44 Neuroscience for AI

Chapter 06. Neuroscience to AI Bridges

06.00 Bridge Overview

인지과학(Cognitive Science)과 인공지능(Artificial Intelligence) 사이의 가교(Bridge)는 인간 인지(Human Cognition)에 대한 이론을 기계에서 구현하고, 검증하며, 확장할 수 있는 계산 메커니즘(Computational Mechanisms)과 연결합니다. 인지과학은 지각(Perception), 주의(Attention), 기억(Memory), 학습(Learning), 추론(Reasoning), 의사결정(Decision Making), 행동(Action)에 대한 모델을 제공하고, AI는 그 가운데 선택된 원리를 알고리즘(Algorithms)과 아키텍처(Architectures)로 변환합니다. 따라서 이 가교는 단순한 모방이 아니라 추상화(Abstraction), 형식화(Formalization), 구현(Implementation), 경험적 평가(Empirical Evaluation)의 과정입니다.

인간 인지(Human Cognition)는 지능적 행동이 심각한 제약조건 아래에서도 나타날 수 있다는 점에서 중요한 기준을 제공합니다. 뇌는 제한된 에너지(Limited Energy), 불완전한 정보(Incomplete Information), 노이즈가 포함된 감각 입력(Noisy Sensory Inputs), 유한한 기억(Finite Memory), 제한된 처리 능력(Restricted Processing Capacity)으로 동작하지만, 인간은 빠르게 학습하고, 지식을 일반화하며, 불확실성 아래에서 추론하고, 낯선 상황에 적응할 수 있습니다. 이러한 특성은 AI 연구자들이 유사한 유연성과 효율성을 만들어낼 수 있는 계산 원리를 탐구하도록 합니다.

인지과학과 AI의 관계는 양방향적(Bidirectional)입니다. 인지 이론(Cognitive Theories)은 계산 아키텍처에 영감을 줄 수 있지만, 인공 시스템(Artificial Systems) 역시 인지 이론을 검토하기 위한 실험 모델(Experimental Models)로 사용될 수 있습니다. 제안된 인지 메커니즘을 계산적으로 구현하면 연구자는 통제된 조건에서 예상되는 행동이 실제로 나타나는지를 검증할 수 있습니다. 이후 모델의 예측과 실제 인간 행동 사이의 차이는 기반 이론의 한계를 드러낼 수 있습니다.

생물학적 또는 심리학적 발견을 인공 시스템으로 변환할 때에는 추상화(Abstraction)가 필수적입니다. AI가 인지 원리의 이점을 얻기 위해 모든 뉴런, 해부학적 구조(Anatomical Structure), 생화학적 과정(Biochemical Process)을 재현할 필요는 없습니다. 대신 연구자는 선택적 주의(Selective Attention), 계층적 표현(Hierarchical Representation), 연상 기억(Associative Memory), 예측 처리(Predictive Processing), 강화(Reinforcement), 작업 기억(Working Memory), 능동적 지각(Active Perception)과 같은 기능적 메커니즘을 식별하고 이를 인공 에이전트에 적합한 계산 형식으로 표현합니다.

지각(Perception)은 이러한 변환을 보여주는 가장 명확한 사례 가운데 하나입니다. 생물학적 지각은 단순히 감각 입력을 기록하는 것이 아니라 이를 객체(Objects), 사건(Events), 공간 관계(Spatial Relationships), 가능한 행동(Possible Actions)에 대한 의미 있는 표현으로 조직합니다. AI 지각 역시 원시 이미지, 오디오(Audio), 촉각 신호(Tactile Signals), 기타 센서 스트림을 인식(Recognition), 예측, 추론, 계획(Planning), 제어(Control)에 유용한 표현으로 변환하려 합니다. 현대 멀티모달 시스템(Multimodal Systems)은 이러한 과정을 여러 감각 또는 기호 모달리티(Symbolic Modalities)로 확장합니다.

주의(Attention)는 인지 메커니즘과 기계 계산을 연결하는 또 하나의 가교를 제공합니다. 인간 인지 시스템은 이용 가능한 모든 신호를 동일한 우선순위로 처리할 수 없기 때문에 주의를 통해 처리 자원을 선택적으로 할당합니다. 인공 주의 메커니즘(Artificial Attention Mechanisms)도 작업이나 맥락(Context)에 관련된 정보를 강조합니다. 기계 주의가 생물학적 주의와 동일한 것은 아니지만, 선택적 정보 처리(Selective Information Processing)라는 공통 기능 원리는 현대 신경망 아키텍처에서 핵심적인 위치를 차지하게 되었습니다.

기억(Memory)은 현재의 계산을 과거에 축적된 정보와 연결합니다. 인지과학은 기능과 시간 규모(Timescales)에 따라 작업 기억, 일화 기억(Episodic Memory), 의미 기억(Semantic Memory), 절차 기억(Procedural Memory) 등의 형태를 구분합니다. AI 시스템은 이러한 구분을 임시 컨텍스트(Temporary Context), 순환 상태(Recurrent States), 외부 메모리(External Memory), 검색 시스템(Retrieval Systems), 학습된 파라미터(Learned Parameters), 경험 버퍼(Experience Buffers), 저장된 정책(Stored Policies)으로 변환할 수 있습니다. 이러한 메커니즘을 통해 인공 에이전트는 모든 상황을 독립적으로 처리하는 대신 맥락을 유지하고 지식을 재사용할 수 있습니다.

학습(Learning)은 생물학적 지능이 경험을 통해 지속적으로 변화한다는 점에서 또 하나의 핵심 연결점을 형성합니다. 지도 학습(Supervised Learning)은 레이블이 있는 사례에서 관계를 학습하고, 자기지도 학습(Self-supervised Learning)은 대부분 레이블이 없는 관측에서 구조를 추출하며, 강화학습(Reinforcement Learning)은 행동과 결과를 연결하고, 모방학습(Imitation Learning)은 시연(Demonstrations)으로부터 행동 패턴을 전이합니다. 이러한 계산 접근법은 생물학적 학습 메커니즘과 동일하지 않지만, 경험이 미래의 처리와 행동을 변화시켜야 한다는 더 넓은 인지 원리를 반영합니다.

표현(Representation)은 지식이 내부적으로 어떻게 조직되는지를 결정하며, 따라서 지능형 시스템이 무엇을 학습하고 일반화할 수 있는지에 큰 영향을 미칩니다. 인지 이론은 개념(Concepts), 범주(Categories), 스키마(Schemas), 정신 모델(Mental Models), 공간 표현(Spatial Representations), 기호 구조(Symbolic Structures)를 연구합니다. AI는 벡터(Vectors), 잠재 공간(Latent Spaces), 신경 활성값(Neural Activations), 그래프(Graphs), 기호 구조, 의미 지도(Semantic Maps), 월드 모델(World Models)을 통해 이에 대응하는 표현 방식을 탐구합니다. 효과적인 표현은 예측, 추론, 전이(Transfer), 행동에 필요한 정보를 보존합니다.

추론(Reasoning)은 저장된 표현을 결론, 결정, 계획과 연결합니다. 고전 AI(Classical AI)는 명시적인 기호 규칙(Symbolic Rules)과 논리적 추론(Logical Inference)을 강조한 반면, 신경망 접근은 데이터로부터 분산 패턴(Distributed Patterns)을 학습합니다. 인지과학은 인간의 추론이 하나의 범용 과정이 아니라 여러 상호작용 메커니즘을 포함할 수 있음을 시사합니다. 이는 학습된 표현, 구조화된 지식(Structured Knowledge), 탐색(Search), 기억, 확률적 추론(Probabilistic Inference), 명시적 추론 절차(Explicit Reasoning Procedures)를 결합하는 하이브리드 접근(Hybrid Approaches)에 동기를 제공합니다.

불확실성 아래의 의사결정(Decision Making under Uncertainty)은 지능형 시스템이 환경에 대해 완전한 지식을 갖는 경우가 거의 없기 때문에 특히 중요합니다. 인간은 행동을 선택할 때 이전 경험, 현재 증거(Current Evidence), 예상 결과(Expected Outcomes), 목표, 위험(Risk)을 함께 고려합니다. 인공 시스템도 확률 모델(Probabilistic Models), 효용 함수(Utility Functions), 강화학습, 계획, 불확실성 추정(Uncertainty Estimation)을 통해 유사한 문제를 표현할 수 있습니다. 인지 관점은 의사결정이 지각, 기억, 주의, 예측과 긴밀하게 연결되어 있음을 강조합니다.

예측 처리(Predictive Processing)는 인지와 현대 AI를 연결하는 특히 중요한 개념입니다. 지능형 시스템은 내부 모델(Internal Models)을 이용하여 미래의 관측, 환경 상태(Environmental States), 행동 결과(Action Consequences)를 예상할 수 있습니다. 예측과 실제 관측 사이의 차이는 학습과 적응을 지원하는 오류 신호(Error Signals)를 제공합니다. 인공 에이전트에서 예측 모델(Predictive Models)은 표현 학습(Representation Learning), 이상 탐지(Anomaly Detection), 계획, 제어, 더욱 정교한 월드 모델 구축에 기여할 수 있습니다.

월드 모델(World Models)은 환경이 시간에 따라 어떻게 변화하고 행동이 미래 상태에 어떤 영향을 미치는지를 표현함으로써 예측을 확장합니다. 인지적 관점에서 내부 모델은 에이전트가 즉각적인 감각 정보 너머를 추론할 수 있도록 합니다. AI에서 학습된 월드 모델은 가능한 미래의 시뮬레이션(Simulation), 후보 행동 평가(Evaluation of Candidate Actions), 장기 계획(Long-horizon Planning), 반사실적 추론(Counterfactual Reasoning)을 지원할 수 있습니다. 이는 내부 시뮬레이션에 관한 인지 모델과 자율 의사결정 시스템 사이에 직접적인 연결을 형성합니다.

체화(Embodiment)는 이러한 가교를 추상적 정보 처리의 범위를 넘어 확장합니다. 인간 인지는 뇌, 신체(Body), 환경 사이의 상호작용을 통해 발달하며, 많은 개념은 지각과 행동을 통해 의미를 획득합니다. 체화 AI(Embodied AI)는 이러한 원리를 센서와 액추에이터(Actuators)를 통해 지속적인 지각-행동 루프(Perception-action Loops)를 형성하는 로봇과 자율 에이전트(Autonomous Agents)에 적용합니다. 따라서 지식은 정적인 기호 정보나 텍스트에서만 학습되는 것이 아니라 물리적 결과(Physical Consequences)에 기반화(Grounded)될 수 있습니다.

감각운동 학습(Sensorimotor Learning)은 인지와 행동이 서로 의존하게 되는 방식을 보여줍니다. 행동은 환경을 변화시키고 새로운 감각 관측을 생성하며, 감각 피드백(Sensory Feedback)은 이후 행동을 수정합니다. 인공 에이전트는 이러한 관계를 상호작용을 통해 학습하여 객체 특성(Object Properties), 움직임(Motion), 접촉(Contact), 지형(Terrain), 어포던스(Affordances)에 대한 표현을 형성할 수 있습니다. 이러한 폐루프 관점(Closed-loop Perspective)은 성공적인 지능이 실시간 물리적 행동과 연결되어야 하는 로보틱스에서 필수적입니다.

언어(Language)는 내부 표현을 의사소통(Communication), 추상화, 지식 전이(Knowledge Transfer), 추론과 연결하기 때문에 또 하나의 중요한 가교를 형성합니다. 인지과학은 언어가 개념, 기억, 지각, 사회적 상호작용(Social Interaction)과 어떤 관계를 갖는지 연구하고, AI는 언어 구조를 표현하고 생성할 수 있는 계산 언어 모델(Computational Language Models)을 개발합니다. 멀티모달 시스템은 점차 언어를 이미지, 오디오, 비디오(Video), 행동, 물리적 환경과 연결하면서 더욱 기반화된 기계 이해(Grounded Machine Understanding)를 지향하고 있습니다.

현대 파운데이션 모델(Foundation Models)은 매우 크고 다양한 데이터셋에서 일반적인 표현을 학습함으로써 이러한 관계를 더욱 확장합니다. 이들의 능력은 규모(Scale), 표현 학습, 주의, 맥락적 처리(Contextual Processing)를 통해 다양한 작업에 걸친 행동이 나타날 수 있음을 보여줍니다. 그러나 인지적 비교는 약한 기반화(Weak Grounding), 일관되지 않은 추론(Inconsistent Reasoning), 제한된 지속적 기억(Limited Persistent Memory), 불확실한 인과 이해(Causal Understanding), 장기간의 상호작용에서 일관된 적응을 유지하기 어려운 점과 같은 한계도 드러냅니다.

대규모 언어 모델(Large Language Models)은 인지 시스템과 인공 시스템 사이의 유사점과 차이점을 분석하는 데 특히 유용한 사례를 제공합니다. 이들은 맥락 정보를 유지하고, 학습된 연관관계를 검색하며, 특정 형태의 추론을 수행하고, 구조화된 응답을 생성할 수 있지만 이러한 능력을 인간 인지와 자동으로 동일시해서는 안 됩니다. 인지 용어는 유용한 기능적 유추(Functional Analogies)를 제공할 수 있지만 계산적 유사성(Computational Resemblance)과 생물학적 동등성(Biological Equivalence)을 구분하기 위한 신중한 분석이 필요합니다.

인과 추론(Causal Reasoning)은 이 가교에서 중요한 최전선(Frontier)을 형성합니다. 통계 학습(Statistical Learning)은 규칙성과 상관관계(Correlations)를 식별할 수 있지만 변화하는 환경에서 동작하는 지능형 에이전트는 개입(Interventions)이 어떤 결과를 만들어내는지도 이해해야 합니다. 인지 시스템은 경험, 실험(Experimentation), 사전 지식(Prior Knowledge), 반사실적 사고(Counterfactual Thinking)를 이용하여 원인을 추론합니다. AI 연구 역시 환경이 변화했을 때 사라질 수 있는 상관관계와 인과 구조(Causal Structure)를 구분하는 표현과 학습 메커니즘을 점차 탐구하고 있습니다.

메타인지(Metacognition)는 시스템이 자신의 인지 과정을 평가하고 조절하는 방식에 초점을 맞추는 또 하나의 방향을 제공합니다. 인간은 어느 정도 자신의 신뢰도(Confidence)를 추정하고, 불확실성을 인식하며, 오류를 감지하고, 전략을 수정하고, 추가 정보가 필요한 시점을 판단할 수 있습니다. 인공 시스템은 신뢰도 추정, 불확실성 모델링(Uncertainty Modeling), 자기평가(Self-evaluation), 검증(Verification), 모니터링(Monitoring), 적응형 계산(Adaptive Computation)을 포함할 수 있습니다. 이러한 메커니즘은 모델이 익숙하지 않거나 모호한 상황을 만났을 때 신뢰성을 향상시킬 수 있습니다.

사회적 인지(Social Cognition)는 지능을 개인의 문제 해결을 넘어 확장합니다. 인간 행동은 다른 에이전트를 해석하고, 의도를 예측하며, 목표를 전달하고, 행동을 조정하고, 사회적 상호작용으로부터 학습하는 능력에 의존합니다. 인간 또는 다른 자율 에이전트와 함께 동작하는 AI 시스템 역시 에이전시(Agency), 의사소통, 협력(Cooperation), 경쟁(Competition), 공유 맥락(Shared Context)에 대한 모델을 필요로 합니다. 이러한 능력은 협업 로봇(Collaborative Robots)과 멀티에이전트 시스템(Multi-agent Systems)에서 특히 중요합니다.

효율성(Efficiency)은 인지에서 얻을 수 있는 또 하나의 중요한 교훈을 제공합니다. 생물학적 지능은 제한된 에너지를 사용하면서 복잡한 계산을 수행하고, 현재 요구에 따라 필요한 자원만 선택적으로 활성화합니다. AI 시스템도 희소 계산(Sparse Computation), 조건부 처리(Conditional Processing), 이벤트 기반 감지(Event-driven Sensing), 효율적인 기억(Efficient Memory), 특화 하드웨어(Specialized Hardware), 적응형 추론(Adaptive Inference)을 점차 연구하고 있습니다. 이러한 뇌 영감 효율성(Brain-inspired Efficiency)은 에너지, 열 용량(Thermal Capacity), 지연시간(Latency), 계산 자원이 제한된 로봇과 엣지 시스템(Edge Systems)에 특히 유용합니다.

이 가교는 무시해서는 안 되는 근본적인 차이도 드러냅니다. 인공 신경망(Artificial Neural Networks)은 생물학적 신경계의 매우 단순화된 추상화이며, 머신러닝(Machine Learning)은 종종 생물학적 학습과 매우 다른 양과 형태의 데이터를 필요로 합니다. 또한 인공 에이전트는 인간 인지를 형성하는 발달적(Developmental), 사회적(Social), 감정적(Emotional), 체화된 역사(Embodied History)를 갖지 않을 수 있습니다. 따라서 인지적 영감은 생물학을 그대로 복제해야 한다는 요구가 아니라 계산 가설(Computational Hypotheses)의 원천으로 활용할 때 가장 유용합니다.

평가(Evaluation)는 변환된 인지 원리가 실제로 인공지능을 향상시키는지를 판단하는 메커니즘을 제공합니다. 모델은 평균적인 벤치마크 정확도(Benchmark Accuracy)뿐만 아니라 일반화(Generalization), 적응(Adaptation), 강건성(Robustness), 샘플 효율(Sample Efficiency), 불확실성, 기억 유지(Memory Retention), 전이, 변화하는 조건에서의 행동으로 평가되어야 합니다. 체화 시스템에서는 실시간 성능(Real-time Performance), 안전(Safety), 에너지 소비(Energy Consumption), 물리적 상호작용(Physical Interaction), 예상하지 못한 사건에서의 복구(Recovery)도 함께 고려해야 합니다.

궁극적으로 인지과학과 AI 사이의 가교는 지능에 대한 이론을 계산적 구현과 연결하기 위한 프레임워크를 제공합니다. 지각은 구조화된 정보를 제공하고, 주의는 중요한 정보를 선택하며, 기억은 경험을 보존하고, 학습은 행동을 변화시키며, 예측은 미래 상태를 예상하고, 추론은 가능한 선택지를 평가하며, 행동은 환경과의 루프를 완성합니다. 이러한 메커니즘의 통합은 더욱 적응적이고, 효율적이며, 기반화되고, 지속적인 지능형 상호작용(Sustained Intelligent Interaction)이 가능한 인공 시스템으로 발전하기 위한 하나의 경로를 제공합니다.

06.01 From Brain to Deep Learning [w/Code]

딥러닝(Deep Learning)의 발전은 생물학적 신경 계산(Biological Neural Computation)의 일부 원리를 수학적 및 계산적 시스템(Mathematical and Computational Systems)으로 변환해 온 긴 과정으로 이해할 수 있습니다. 초기 연구자들은 뇌가 수많은 상호 연결된 뉴런(Neurons)으로 구성되어 있으며, 이들의 집단적인 활동이 지각(Perception), 기억(Memory), 학습(Learning), 행동(Action)을 지원한다는 사실에서 영감을 얻었습니다. 인공 신경망(Artificial Neural Networks)은 이러한 개념을 조절 가능한 가중치(Adjustable Weights)로 연결된 단순한 계산 단위들의 네트워크로 추상화했습니다.

생물학적 뉴런(Biological Neurons)은 수상돌기(Dendrites)를 통해 신호를 받아들이고, 세포 내부에서 이러한 신호를 통합하며, 시냅스(Synapses)를 통해 다른 뉴런에 영향을 줄 수 있는 전기적 활동(Electrical Activity)을 생성합니다. 인공 뉴런(Artificial Neurons)은 이러한 복잡한 과정을 가중 입력(Weighted Inputs), 집계(Aggregation), 비선형 활성화(Nonlinear Activation)로 단순화합니다. 이러한 대응 관계는 생물학적으로 정확하다기보다 매우 추상적이지만, 비교적 단순한 처리 단위들이 상호작용하는 네트워크에서 복잡한 기능이 나타날 수 있다는 강력한 계산 원리를 확립했습니다.

맥컬록-피츠 뉴런(McCulloch-Pitts Neuron)은 뉴런을 논리적 임계값 단위(Logical Threshold Units)로 표현함으로써 신경 계산에 대한 초기 수학적 추상화를 제공했습니다. 입력을 결합한 뒤 임계값(Threshold)과 비교하여 출력의 활성화 여부를 결정했습니다. 매우 단순화된 모델이었지만 뉴런과 유사한 단위들의 네트워크가 논리 연산(Logical Operations)과 계산 기능을 구현할 수 있음을 보여주었으며, 신경과학(Neuroscience), 수학(Mathematics), 인공지능(Artificial Intelligence) 사이의 지적 연결을 형성하는 데 기여했습니다.

퍼셉트론(Perceptron)은 사례로부터 학습할 수 있는 조절 가능한 연결 가중치(Connection Weights)를 도입함으로써 이러한 방향을 확장했습니다. 입력과 출력 사이의 모든 관계를 사람이 직접 지정하는 대신 시스템은 예측 오류(Prediction Errors)에 따라 자신의 파라미터를 수정할 수 있었습니다. 이는 명시적으로 프로그래밍된 계산에서 경험과 파라미터 적응(Parameter Adaptation)을 통해 행동이 나타나는 학습 시스템으로 전환되는 중요한 개념적 변화였습니다.

그러나 초기 신경망(Early Neural Networks)은 상당한 한계를 가지고 있었습니다. 단일 계층 퍼셉트론(Single-layer Perceptrons)은 제한된 종류의 문제만 해결할 수 있었으며, 대규모 다층 네트워크(Multilayer Networks)를 학습시키기 위한 실용적인 방법도 아직 존재하지 않았습니다. 이러한 어려움은 신경망 접근법에 대한 관심이 감소하는 시기로 이어졌습니다. 여기서 얻을 수 있는 역사적 교훈은 생물학적 영감만으로는 충분하지 않았으며 적절한 수학적 최적화(Mathematical Optimization), 계산 자원(Computational Resources), 학습 데이터(Training Data), 확장 가능한 구현 기술(Scalable Implementation Techniques)이 함께 필요했다는 것입니다.

다층 신경망(Multilayer Neural Networks)은 원시 입력(Raw Input)과 최종 출력 사이에서 중간 표현(Intermediate Representations)을 형성할 수 있는 계층적 처리(Hierarchical Processing)를 도입했습니다. 이 개념은 정보가 여러 처리 단계를 거쳐 변환되는 생물학적 감각 시스템(Biological Sensory Systems)의 계층적 구성과 느슨하게 유사합니다. 인공 신경망에서는 더 깊은 계층이 복잡한 문제를 해결하는 데 유용한 표현을 점진적으로 구성할 수 있으며, 사람이 모든 유용한 특징(Features)을 명시적으로 설계할 필요성을 줄여줍니다.

역전파(Backpropagation)는 다층 네트워크를 실질적으로 학습 가능하게 만드는 핵심 메커니즘이 되었습니다. 이 알고리즘은 네트워크 파라미터의 변화가 목적 함수(Objective Function)에 어떤 영향을 미치는지를 계산하고, 오류와 관련된 정보를 계산 그래프(Computational Graph)를 따라 역방향으로 전달합니다. 이후 경사 기반 최적화(Gradient-based Optimization)를 통해 많은 파라미터를 동시에 조정할 수 있습니다. 역전파를 생물학적 학습의 직접적인 모델로 보아서는 안 되지만, 인공 신경 시스템을 학습시키는 효과적인 공학적 해결책을 제공합니다.

표현 학습(Representation Learning)은 신경망의 대표적인 장점 가운데 하나가 되었습니다. 전통적인 머신러닝(Machine Learning) 시스템은 사람이 직접 설계한 특징(Handcrafted Features)에 크게 의존하는 경우가 많았지만, 심층 신경망(Deep Networks)은 데이터에서 직접 유용한 내부 표현(Internal Representations)을 학습할 수 있었습니다. 이미지, 음성, 텍스트, 센서 측정값 등의 입력은 연속적인 계층을 거치면서 작업과 점차 관련성이 높은 표현으로 변환될 수 있습니다. 따라서 학습은 특징 구성과 의사결정(Decision Making)을 하나의 통합된 시스템 안에 포함하기 시작했습니다.

합성곱 신경망(Convolutional Neural Networks)은 시각 처리(Visual Processing)에서 이러한 원리를 특히 명확하게 보여주었습니다. 합성곱(Convolution)은 국소적인 공간 구조(Local Spatial Structure)와 공유 파라미터(Shared Parameters)를 활용하여 정확한 위치가 달라지더라도 패턴을 탐지할 수 있도록 합니다. 여러 계층은 저수준 시각 특징을 점차 복잡한 표현으로 변환할 수 있습니다. 합성곱 신경망이 시각 피질(Visual Cortex)을 그대로 복제한 것은 아니지만, 계층적 시각 처리에 관한 생물학적 연구는 역사적으로 계층적 특징 추출(Layered Feature Extraction) 개념의 발전에 영향을 주었습니다.

순환 신경망(Recurrent Neural Networks)은 이전의 내부 상태(Internal States)가 이후의 계산에 영향을 미칠 수 있도록 하여 시간적 정보(Temporal Information)를 처리했습니다. 이는 음성, 언어(Language), 제어 신호(Control Signals), 시계열 데이터(Time-series Data)와 같은 시퀀스에 적합한 형태의 인공 기억(Artificial Memory)을 도입했습니다. 장단기 기억(Long Short-term Memory)과 관련 게이트 아키텍처(Gated Architectures)는 더 긴 시간 간격에 걸쳐 정보를 유지하는 능력을 향상시켰으며, 신경 계산이 정적인 패턴 인식을 넘어 시간적으로 구조화된 인지(Temporally Structured Cognition)로 확장될 수 있음을 보여주었습니다.

딥러닝은 알고리즘의 발전이 증가하는 계산 성능, 대규모 데이터셋(Large Datasets), 특화 하드웨어(Specialized Hardware)와 결합되면서 대규모로 실용화되었습니다. 그래픽 처리 장치(Graphics Processing Units)는 대규모 병렬 수치 연산을 가능하게 했으며, 개선된 최적화 기법과 초기화 방법(Initialization Methods)은 더 깊은 네트워크의 학습을 용이하게 만들었습니다. 이러한 발전은 인공지능의 진보가 개념적 아이디어, 수학적 방법, 데이터 가용성(Data Availability), 컴퓨팅 인프라(Computing Infrastructure)의 상호작용에서 나타나는 경우가 많다는 것을 보여주었습니다.

심층 신경망의 성공은 컴퓨터 비전(Computer Vision), 음성 인식(Speech Recognition), 자연어 처리(Natural Language Processing), 추천(Recommendation), 로보틱스(Robotics), 과학 계산(Scientific Computing)을 변화시켰습니다. 모든 문제에 대해 별도의 수작업 규칙(Handcrafted Rules)을 구축하는 대신 연구자들은 모델이 사례로부터 통계적 구조(Statistical Structure)를 발견하도록 학습할 수 있게 되었습니다. 이러한 변화는 학습된 표현을 AI의 중심 요소로 만들었으며, 충분한 표현력을 가진 네트워크가 입력, 내부 표현, 출력 사이의 매우 복잡한 매핑(Mappings)을 근사할 수 있음을 보여주었습니다.

주의 메커니즘(Attention Mechanisms)은 신경 시스템이 어떤 정보가 계산에 가장 강하게 영향을 주어야 하는지를 동적으로 결정할 수 있도록 하면서 또 하나의 중요한 전환을 가져왔습니다. 모든 표현을 동일한 중요도로 처리하는 대신 주의는 요소들 사이의 맥락 의존적 관계(Context-dependent Relationships)를 계산합니다. 이러한 기능적 원리는 인지에서의 선택적 정보 처리(Selective Information Processing)와 유사하지만, 인공 주의는 구현 방식과 기반 메커니즘에서 생물학적 주의(Biological Attention)와 상당히 다릅니다.

트랜스포머(Transformers)는 주의를 시퀀스와 구조화된 데이터 사이의 관계를 학습할 수 있는 높은 확장성을 가진 아키텍처로 발전시켰습니다. 자기주의(Self-attention)는 표현들이 관련성에 따라 직접 상호작용할 수 있도록 하고, 다중 주의 헤드(Multiple Attention Heads)는 서로 다른 관계를 동시에 포착할 수 있도록 합니다. 트랜스포머는 현대 언어 모델(Language Models)의 기반이 되었으며 비전, 멀티모달 학습(Multimodal Learning), 로보틱스, 월드 모델(World Models)로 점차 확장되면서 합성곱과 순환 구조가 지배하던 딥러닝의 범위를 넓혔습니다.

자기지도 학습(Self-supervised Learning)은 데이터와 표현 학습 사이의 관계를 더욱 변화시켰습니다. 사람이 직접 레이블링한 데이터셋에 전적으로 의존하는 대신 모델은 데이터 자체의 구조에서 학습 목표(Learning Objectives)를 구성할 수 있습니다. 마스킹된 내용(Masked Content), 미래 관측(Future Observations), 누락된 구성요소(Missing Components), 서로 다른 뷰(Views) 사이의 관계를 예측함으로써 방대한 비레이블 정보(Unlabeled Information)를 학습에 활용할 수 있습니다. 이는 모든 관측에 명시적인 지시가 없어도 지속적인 경험으로부터 유용한 구조를 학습할 수 있다는 더 넓은 인지 원리와 유사합니다.

심층 생성 모델(Deep Generative Models)은 신경망을 인식에서 복잡한 데이터의 생성과 예측으로 확장했습니다. 변분 방법(Variational Methods), 자기회귀 모델(Autoregressive Models), 생성적 적대 신경망(Generative Adversarial Networks), 확산 모델(Diffusion Models)은 관측 또는 잠재 표현(Latent Representations)에 대한 분포를 학습합니다. 이러한 시스템은 이미지, 언어, 오디오, 비디오 등의 구조화된 출력을 생성할 수 있습니다. 생성 학습(Generative Learning)은 시뮬레이션(Simulation), 표현 학습, 불확실성 모델링(Uncertainty Modeling), 가능한 미래 상태의 예측에도 활용될 수 있습니다.

강화학습(Reinforcement Learning)은 신경 표현 학습을 행동 및 그 결과와 연결합니다. 심층 신경망은 정책(Policies), 가치 함수(Value Functions), 환경 모델(Environmental Models)을 근사할 수 있으며 에이전트(Agent)는 상호작용을 통해 학습합니다. 이러한 결합은 게임, 제어, 내비게이션(Navigation), 조작(Manipulation), 자율 의사결정(Autonomous Decision Making)의 발전을 가능하게 했습니다. 또한 지능적 행동은 세계를 관찰하는 것뿐만 아니라 세계 안에서 행동하고 그 결과를 경험하면서 발전한다는 중요한 생물학적 주제와 딥러닝을 다시 연결합니다.

멀티모달 딥러닝(Multimodal Deep Learning)은 신경 계산을 서로 다른 형태의 정보로 확장합니다. 비전(Vision), 언어, 오디오, 촉각 신호(Tactile Signals), 고유수용감각(Proprioception) 등의 모달리티를 서로 상호작용하는 공유 아키텍처(Shared Architectures)의 표현으로 인코딩할 수 있습니다. 이를 통해 시스템은 설명을 관측과 연결하고, 관측을 행동과 연결하며, 여러 감각 채널 사이의 정보를 통합할 수 있습니다. 이러한 통합은 인공지능을 하나의 입력 모달리티에 덜 의존하는 더욱 풍부한 표현으로 발전시킵니다.

파운데이션 모델(Foundation Models)은 이러한 접근법을 한 단계 더 확장한 형태입니다. 광범위한 데이터셋에서 학습된 대규모 신경망은 다양한 작업에서 재사용할 수 있는 표현을 획득할 수 있습니다. 이후 프롬프팅(Prompting), 미세조정(Fine-tuning), 검색(Retrieval), 시연(Demonstrations), 추가 학습을 통해 능력을 적응시킬 수 있습니다. 이러한 모델의 등장은 대규모 표현 학습을 통해 범용적인 행동이 나타날 수 있음을 보여주는 동시에 기반화(Grounding), 지속적 기억(Persistent Memory), 인과 이해(Causal Understanding), 신뢰성(Reliability), 적응(Adaptation)의 한계도 보여줍니다.

따라서 초기 신경 추상화(Neural Abstractions)에서 현대 딥러닝으로 이어지는 발전을 생물학적 뇌를 점점 더 정확하게 시뮬레이션해 온 과정으로 해석해서는 안 됩니다. 현대 신경망은 뉴런 동역학(Neuron Dynamics), 연결성(Connectivity), 학습 메커니즘, 에너지 소비(Energy Consumption), 발달(Development), 체화(Embodiment), 기억 조직(Memory Organization) 측면에서 신경계와 크게 다릅니다. 딥러닝의 성공은 인공 지능과 생물학적 지능의 동등성을 의미하는 것이 아니라 선택된 신경 원리의 유용성을 보여줍니다.

이러한 차이는 뇌 영감 대안 및 확장(Brain-inspired Alternatives and Extensions)에 대한 새로운 관심을 촉진합니다. 스파이킹 신경망(Spiking Neural Networks)은 시간적 스파이크 기반 계산(Temporal Spike-based Computation)을 연구하고, 뉴로모픽 하드웨어(Neuromorphic Hardware)는 이벤트 기반 아키텍처(Event-driven Architectures)를 탐구하며, 기억 영감 시스템(Memory-inspired Systems)은 특화된 저장과 검색 기능을 도입하고, 체화 AI(Embodied AI)는 폐루프 지각-행동 과정(Closed Perception-action Loops)을 강조합니다. 주의, 예측 처리(Predictive Processing), 지속 학습(Continual Learning), 능동적 지각(Active Perception), 에너지 효율 계산(Energy-efficient Computation) 역시 생물학을 그대로 복제하지 않으면서 인지 및 신경 시스템으로부터 기능적인 영감을 얻습니다.

로보틱스와 피지컬 AI(Physical AI)에서는 딥러닝에서 더욱 통합된 지능(Integrated Intelligence)으로의 전환이 특히 중요합니다. 로봇은 실시간(Real-time), 에너지, 안전(Safety), 하드웨어 제약조건 아래에서 지각, 기억, 예측, 계획, 제어, 행동을 결합해야 합니다. 심층 신경망은 강력한 표현 학습 구성요소를 제공하지만 자율 행동(Autonomous Behavior)을 구현하려면 이러한 구성요소가 지속적인 감각운동 루프(Sensorimotor Loops)에 참여하고 월드 모델, 기억 시스템, 적응형 제어(Adaptive Control)와 상호작용해야 합니다.

월드 모델(World Models)은 현재의 관측을 인식하는 것에서 환경이 어떻게 변화할 것인지를 예측하는 것으로 강조점을 이동시킴으로써 딥러닝의 자연스러운 연장선을 제공합니다. 신경 표현(Neural Representations)은 객체, 기하학(Geometry), 움직임, 의미(Semantics), 잠재 동역학(Latent Dynamics)을 인코딩할 수 있으며, 학습된 전이 모델(Learned Transition Models)은 후보 행동(Candidate Actions)에 따른 미래 상태를 추정합니다. 이를 통해 인공 에이전트는 딥러닝을 지각뿐만 아니라 내부 시뮬레이션(Internal Simulation), 계획, 예측, 적응형 의사결정에도 활용할 수 있습니다.

궁극적으로 뇌 영감 신경 개념(Brain-inspired Neural Concepts)에서 딥러닝으로 이어지는 과정은 생물학적 관찰이 계산적 추상화(Computational Abstractions)로 변환된 뒤 최초의 영감을 훨씬 넘어 발전할 수 있음을 보여줍니다. 인공 뉴런은 학습 가능한 네트워크(Trainable Networks)로 이어졌고, 계층적 표현은 심층 아키텍처(Deep Architectures)로 발전했으며, 대규모 학습(Large-scale Learning)은 현대 파운데이션 모델을 만들어냈습니다. 다음 단계에서는 이러한 시스템을 기억, 예측, 체화, 효율적 계산(Efficient Computation), 행동과 다시 연결하면서 딥러닝에서 더욱 적응적인 인공지능(Adaptive Artificial Intelligence)으로 발전하는 폭넓은 경로가 형성되고 있습니다.

06.02 From Cortex to CNN [w/Code]

시각 피질(Visual Cortex) 연구에서 합성곱 신경망(Convolutional Neural Networks)으로 이어지는 과정은 생물학적 시각(Biological Vision)에 대한 관찰이 어떻게 계산적 설계 원리(Computational Design Principles)로 변환될 수 있는지를 보여줍니다. 대뇌 피질(Cerebral Cortex)은 계층적 경로(Hierarchical Pathways)로 조직된 분산된 뉴런 집단을 통해 시각 정보를 처리합니다. CNN은 이러한 조직에서 국소 수용장(Local Receptive Fields), 계층적 특징 추출(Hierarchical Feature Extraction), 공간 구조(Spatial Structure)의 반복 처리와 같은 일부 개념만을 추상화합니다.

초기 신경과학(Neuroscience) 연구에서는 시각 피질의 뉴런이 시야(Visual Field)의 제한된 영역 안에서 특정 패턴에 선택적으로 반응한다는 사실이 밝혀졌습니다. 일부 세포는 특정 방향의 에지(Oriented Edges)에 강하게 반응하고, 다른 세포는 국소 특징(Local Features)의 더욱 복잡한 조합에 민감하게 반응합니다. 이러한 발견은 단순한 구조가 먼저 탐지되고 점진적으로 결합되어 더욱 풍부한 표현을 형성하는 여러 처리 단계를 통해 시각 인식(Visual Recognition)이 나타날 수 있음을 시사했습니다.

수용장(Receptive Field)의 개념은 피질에서 CNN으로 전환되는 과정에서 특히 중요합니다. 생물학적 시각 뉴런은 전체 시각 장면이 아니라 주로 제한된 영역 안의 자극에 반응합니다. CNN은 합성곱 단위(Convolutional Units)를 입력의 국소 이웃(Local Neighborhoods)에 연결함으로써 이와 유사한 계산 원리를 채택합니다. 따라서 각각의 단위는 더 깊은 계층에서 정보가 통합되기 전에 제한된 공간 영역만을 분석합니다.

국소 연결성(Local Connectivity)은 여러 장점을 제공합니다. 인접한 픽셀(Pixels)은 서로 밀접하게 관련된 정보를 포함하는 경우가 많기 때문에 국소 영역을 처리하면 모든 뉴런을 모든 입력값과 연결하지 않고도 공간 구조를 활용할 수 있습니다. 이는 파라미터 수를 줄이고 에지, 코너(Corners), 텍스처(Textures), 객체 부분(Object Parts)과 같은 국소 패턴에 대한 강력한 귀납적 편향(Inductive Bias)을 형성합니다. 이러한 편향은 시각 학습을 계산적으로 더욱 효율적으로 만듭니다.

가중치 공유(Weight Sharing)는 합성곱 신경망의 또 다른 핵심 특성을 도입합니다. 합성곱 필터(Convolutional Filter)는 동일하게 학습된 파라미터를 사용하여 이미지의 서로 다른 위치에 반복적으로 적용됩니다. 이를 통해 네트워크는 패턴이 어디에 나타나는지와 관계없이 해당 패턴을 탐지할 수 있습니다. 생물학적 시각 시스템은 정확한 디지털 가중치 공유를 구현하지 않으므로, 이 메커니즘은 문자 그대로의 피질 메커니즘이라기보다 공간적으로 반복되는 처리에서 영감을 얻은 공학적 추상화(Engineering Abstraction)로 이해해야 합니다.

합성곱(Convolution)은 이러한 반복적인 국소 분석을 수학적으로 수행합니다. 작은 커널(Kernel)이 입력 위를 이동하면서 인접한 값들의 가중 조합(Weighted Combinations)을 계산하여 특징 맵(Feature Map)을 생성합니다. 서로 다른 커널은 서로 다른 공간 구조에 반응하도록 학습됩니다. 학습 과정에서 이러한 커널의 파라미터는 생성된 특징 맵이 작업에 유용해지도록 조정되며, 이를 통해 사람이 시각 특징을 직접 지정하는 대신 데이터로부터 특징이 나타날 수 있습니다.

계층적 처리(Hierarchical Processing)는 피질 시각과 CNN 아키텍처 사이에서 가장 강력한 개념적 연결 가운데 하나입니다. 초기 네트워크 계층은 비교적 단순한 시각 패턴을 학습하는 경우가 많으며, 더 깊은 계층은 이러한 패턴을 결합하여 더욱 복잡한 구조를 형성합니다. 에지는 텍스처와 윤곽(Contours)을 구성하고, 윤곽은 객체 부분을 형성하며, 객체 부분의 조합은 객체 수준 표현(Object-level Representations)을 지원할 수 있습니다. 이러한 계층 구조는 점차 커지는 수용장에 걸쳐 시각적 추상화(Visual Abstraction)를 가능하게 합니다.

풀링(Pooling)과 공간 다운샘플링(Spatial Downsampling)은 중요한 정보를 유지하면서 표현의 크기를 줄이기 위해 도입되었습니다. 네트워크는 국소 영역을 요약함으로써 더 깊은 단위의 유효 수용장(Effective Receptive Field)을 점진적으로 확대하고 작은 위치 변화에 대한 민감도를 줄일 수 있습니다. 최대 풀링(Max Pooling)은 역사적으로 CNN에서 중요한 역할을 수행했지만, 현대 아키텍처에서는 스트라이드 합성곱(Strided Convolution), 학습 가능한 다운샘플링(Learned Downsampling), 기타 메커니즘을 사용할 수도 있습니다.

이동과 관련된 강건성(Translation-related Robustness)은 합성곱 아키텍처의 실용적인 장점이 되었습니다. 동일한 필터가 여러 공간 위치에서 작동하기 때문에 학습된 시각 특징은 위치가 변해도 유용하게 유지될 수 있습니다. 풀링과 데이터 증강(Data Augmentation)은 이동과 변환에 대한 허용성을 더욱 향상시킬 수 있습니다. 그러나 CNN이 임의의 이동, 회전(Rotation), 크기 변화(Scale), 시점(Viewpoint) 변화에 자동으로 불변(Invariant)인 것은 아니며, 강건한 인식은 여전히 아키텍처와 학습 방식에 의존합니다.

네오코그니트론(Neocognitron)은 시각 피질의 조직에서 영감을 받은 단순 단위(Simple Units)와 복합 단위(Complex Units)의 계층적 구조를 도입하여 현대 합성곱 신경망으로 발전하는 중요한 역사적 단계를 제공했습니다. 이 아키텍처는 국소 특징 추출과 점진적인 공간 추상화(Spatial Abstraction)를 통해 점차 복잡한 시각 표현을 형성할 수 있음을 보여주었습니다. 학습 방식은 현대 딥러닝과 달랐지만 이후 학습 가능한 CNN에서 발전하게 될 아키텍처 개념을 확립하는 데 기여했습니다.

르넷(LeNet)은 실용적인 인식 작업에서 합성곱 아키텍처를 경사 기반 학습(Gradient-based Learning)을 이용하여 효과적으로 학습할 수 있음을 보여주었습니다. 합성곱, 비선형 활성화(Nonlinear Activation), 서브샘플링(Subsampling), 학습 가능한 분류 계층(Trainable Classification Layers)이 하나의 엔드투엔드 시스템(End-to-end System)으로 결합되었습니다. 이는 생물학에서 영감을 받은 아키텍처 원리가 역전파(Backpropagation)와 결합되어 기계 지각(Machine Perception)을 위한 확장 가능한 공학적 프레임워크로 변환될 수 있음을 보여주었습니다.

이후 심층 CNN(Deep CNNs)의 발전은 피질에서 얻은 영감만으로 이루어진 것이 아닙니다. 대규모 레이블 데이터셋(Labeled Datasets), GPU 계산(GPU Computation), 개선된 활성화 함수(Activation Functions), 정규화(Regularization), 최적화 기법(Optimization Techniques), 심층 아키텍처가 모두 중요했습니다. 알렉스넷(AlexNet)과 같은 시스템은 충분한 데이터와 계산 자원이 제공되었을 때 합성곱 모델이 대규모 시각 인식에서 상당한 성능 향상을 달성할 수 있음을 보여주었습니다.

깊이(Depth)는 CNN이 점차 추상적인 시각 표현을 구축할 수 있도록 했습니다. VGG와 같은 네트워크는 작은 합성곱을 반복적으로 사용하는 아키텍처를 탐구했으며, 잔차 신경망(Residual Networks)은 매우 깊은 네트워크를 더욱 쉽게 최적화할 수 있도록 스킵 연결(Skip Connections)을 도입했습니다. 이러한 발전은 직접적인 신경과학보다는 주로 공학적 요구사항에 의해 이루어졌으며, 뇌에서 영감을 받은 개념이 계산 시스템에 도입된 이후 독립적으로 발전할 수 있음을 보여줍니다.

그럼에도 잔차 연결(Residual Connections)은 생물학적 신경 시스템이 엄격한 순차적 피드포워드 체인(Feed-forward Chains)이 아니라 광범위한 순환(Recurrent), 측방(Lateral), 피드백 연결(Feedback Connectivity)을 포함한다는 점에서 피질 계산과 개념적인 관련성을 갖습니다. 현대 비전 네트워크(Vision Networks)는 점차 스킵 연결, 순환 구조, 주의(Attention), 다중 스케일 경로(Multi-scale Pathways)를 포함하고 있습니다. 이러한 구조는 초기 CNN 해석의 특징이었던 단순화된 피드포워드 계층 구조를 넘어섭니다.

수용장 역시 네트워크의 깊이에 따라 변화합니다. 초기 계층의 단위는 이미지의 작은 영역에만 의존할 수 있지만, 더 깊은 단위는 간접적으로 훨씬 넓은 시야의 정보를 통합합니다. 이를 통해 모델은 국소 특징에서 전역적인 객체 구조(Global Object Structure)로 이동할 수 있습니다. 따라서 유효 수용장은 공간적 맥락(Spatial Context)이 후속 표현에 어떻게 제공되는지를 결정하며 시각적 추론(Visual Reasoning)에 큰 영향을 미칩니다.

특징 맵(Feature Maps)은 명시적인 기호 설명(Explicit Symbolic Descriptions)이 아니라 분산 표현(Distributed Representations)을 제공합니다. 하나의 시각적 개념은 일반적으로 하나의 전용 뉴런에 의해 표현되는 것이 아니라 여러 채널(Channels)과 공간 위치에 걸친 활성 패턴으로 표현됩니다. 이러한 분산된 조직은 정보가 하나의 고립된 세포보다 신경 집단 전체의 패턴을 통해 나타나는 경우가 많은 생물학적 신경 시스템의 집단 부호화(Population Coding)와 느슨한 유사성을 갖습니다.

CNN은 귀납적 편향(Inductive Bias)의 중요성도 보여줍니다. 국소 연결성과 공유 커널(Shared Kernels)은 학습이 시작되기 전부터 시각 데이터의 공간적 조직에 대한 가정을 인코딩합니다. 이러한 가정은 제약이 없는 완전 연결 네트워크(Fully Connected Networks)와 비교하여 탐색 공간(Search Space)을 크게 줄입니다. 인지과학 및 신경과학적 관점에서도 지능적 학습이 완전히 무제약적인 계산에서 시작되는 것이 아니라 구조적 편향(Structural Biases)에 의존할 수 있음을 시사합니다.

그러나 생물학적 시각은 전통적인 CNN과 상당히 다릅니다. 시각 피질은 순환 연결, 주의, 여러 상호작용 경로, 안구 운동(Eye Movements), 시간적 동역학(Temporal Dynamics), 예측적 피드백(Predictive Feedback), 신경조절(Neuromodulation), 기억 및 행동과의 강력한 통합을 포함합니다. 전통적인 CNN은 일반적으로 정적인 이미지 텐서(Image Tensors)를 대부분 피드포워드 단계로 처리합니다. 따라서 피질과 CNN의 유사성은 해부학적 또는 생리학적으로 완전한 것이 아니라 기능적이고 매우 선택적인 것입니다.

망막(Retina)과 초기 시각 경로(Early Visual Pathways)에서도 신호가 피질에 도달하기 전에 상당한 계산이 이루어집니다. 대비 향상(Contrast Enhancement), 적응(Adaptation), 시간 필터링(Temporal Filtering), 움직임 민감도(Motion Sensitivity), 효율적인 부호화(Efficient Encoding)는 피질 네트워크에 제공되는 정보에 영향을 미칩니다. 일반적인 CNN 파이프라인은 이미 샘플링된 이미지 배열에서 시작하기 때문에 생물학적 시각이 중복성(Redundancy), 동적 범위(Dynamic Range), 시간 정보를 제어하는 데 사용하는 많은 전처리 메커니즘을 생략합니다.

주의(Attention)는 시스템이 맥락에 따라 특정 객체, 영역, 관계를 강조할 수 있도록 함으로써 고정된 합성곱 수용장을 넘어 시각 처리를 확장합니다. 비전 트랜스포머(Vision Transformers)는 상대적으로 약한 합성곱 가정(Convolutional Assumptions)을 가진 주의 기반 아키텍처에서도 강력한 시각 인식이 나타날 수 있음을 보여줍니다. 이는 합성곱이 시각 표현 학습을 위한 강력한 해결책 가운데 하나이지만 계층적 지각(Hierarchical Perception)을 구현할 수 있는 유일한 아키텍처는 아니라는 것을 보여줍니다.

하이브리드 비전 아키텍처(Hybrid Vision Architectures)는 합성곱과 주의를 점차 결합하고 있습니다. 합성곱은 국소 구조와 공간적 규칙성(Spatial Regularity)을 효율적으로 포착할 수 있고, 주의는 장거리 관계(Long-range Relationships)와 맥락 의존적 상호작용을 모델링할 수 있습니다. 이러한 결합은 효과적인 지각을 위해 전문화된 국소 처리와 멀리 떨어진 영역 및 변화하는 행동 맥락에 걸쳐 정보를 통합하는 메커니즘이 모두 필요할 수 있다는 생물학적 시각의 보다 폭넓은 교훈과 유사합니다.

로보틱스(Robotics)와 체화 AI(Embodied AI)에서 CNN 기반 지각은 행동(Action)과 연결될 때 가장 유용해집니다. 시각 특징은 객체 인식(Object Recognition), 의미 분할(Semantic Segmentation), 깊이 추정(Depth Estimation), 위치 추정(Localization), 파지 탐지(Grasp Detection), 내비게이션(Navigation), 장면 이해(Scene Understanding)를 지원할 수 있습니다. 그러나 물리적 에이전트(Physical Agent)는 시각 표현을 고유수용감각(Proprioception), 기억(Memory), 예측(Prediction), 제어(Control)와도 결합해야 합니다. 따라서 비전은 더 큰 지각-행동 아키텍처(Perception-action Architecture)의 하나의 구성요소가 됩니다.

시간적 시각 이해(Temporal Visual Understanding)는 정적인 CNN 처리의 한계를 더욱 명확하게 보여줍니다. 실제 환경은 지속적으로 변화하며 지능형 에이전트는 움직임, 객체 지속성(Object Persistence), 궤적(Trajectories), 미래 상태(Future States)를 추정해야 합니다. 비디오 네트워크(Video Networks), 순환 모델(Recurrent Models), 시간 합성곱(Temporal Convolutions), 주의 메커니즘, 월드 모델(World Models)은 개별 프레임에서 동적 장면(Dynamic Scenes)으로 시각 표현을 확장합니다. 이는 인공 시각을 생물학적 지각이 작동하는 지속적인 환경 조건에 더욱 가깝게 만듭니다.

따라서 피질에서 영감을 받은 수용장에서 현대 CNN으로 이어지는 역사적 발전은 직접적인 복제가 아니라 선택적인 변환(Selective Translation)을 의미합니다. 신경과학은 국소성(Locality), 계층성(Hierarchy), 특징 선택성(Feature Selectivity), 분산 표현이라는 원리를 제공했으며, 머신러닝(Machine Learning)은 가중치 공유, 역전파, 최적화, 대규모 데이터셋, 특화 하드웨어를 추가했습니다. 이들의 결합은 최초의 추상화가 제시했던 수준을 크게 뛰어넘는 능력을 가진 실용적인 시각 시스템을 만들어냈습니다.

궁극적으로 피질에서 CNN으로 이어지는 가교(Cortex-to-CNN Bridge)는 생물학적 관찰이 학습을 단순화하는 공학적 편향(Engineering Biases)으로 변환될 수 있음을 보여줍니다. 국소 수용장은 공간 구조를 활용하도록 하고, 계층적 계층(Hierarchical Layers)은 추상화를 지원하며, 공유 필터(Shared Filters)는 효율성을 향상시키고, 심층 표현 학습(Deep Representation Learning)은 원시 이미지를 작업 관련 특징(Task-relevant Features)으로 변환합니다. 다음 단계에서는 이러한 원리를 주의, 기억, 예측, 멀티모달 통합(Multimodal Integration), 체화된 행동(Embodied Action)과 결합함으로써 시각 AI를 이미지 인식에서 동적 환경에 대한 적응형 지각(Adaptive Perception)으로 확장합니다.

06.03 From Attention to Transformer [w/Code]

주의(Attention)는 현재의 작업, 맥락(Context), 내부 상태(Internal State)에 대한 관련성에 따라 정보를 선택하는 계산 원리(Computational Principle)를 제공합니다. 인간 인지(Human Cognition)는 모든 감각 신호(Sensory Signals), 기억(Memory), 가능한 행동(Possible Actions)을 동일한 우선순위로 처리할 수 없기 때문에 주의를 통해 제한된 자원을 선택적으로 할당합니다. 인공지능(Artificial Intelligence)은 이와 관련된 기능적 아이디어를 채택하여 이용 가능한 모든 정보를 동일하게 압축하는 대신 현재 계산에 가장 강하게 영향을 주어야 할 요소를 동적으로 결정할 수 있도록 했습니다.

초기 신경 시퀀스 모델(Neural Sequence Models)은 내부 은닉 상태(Hidden State)를 유지하면서 정보를 단계적으로 처리하는 순환 신경망(Recurrent Neural Networks)에 크게 의존했습니다. 이러한 접근법은 언어(Language), 음성(Speech), 시간 데이터(Temporal Data)에 효과적이었지만 긴 시퀀스에서는 정보가 수많은 순환 전이(Recurrent Transitions)를 통과해야 하는 어려움이 있었습니다. 앞부분의 중요한 정보가 약해질 수 있었으며, 순차적 계산(Sequential Computation)은 학습 과정에서 사용할 수 있는 병렬 처리(Parallel Processing)의 정도를 제한했습니다.

인코더-디코더 아키텍처(Encoder-decoder Architectures)는 기계 번역(Machine Translation)에서 이러한 한계를 명확하게 드러냈습니다. 인코더(Encoder)는 입력 시퀀스를 처리하여 내부 표현으로 압축하고, 디코더(Decoder)는 출력 시퀀스를 생성했습니다. 입력이 길거나 구조적으로 복잡해지면 모든 관련 정보를 고정된 표현에 담아야 하기 때문에 정보 병목(Information Bottleneck)이 발생했습니다. 주의는 각각의 출력 요소를 생성할 때 디코더가 서로 다른 인코더 상태에 직접 접근할 수 있도록 하는 메커니즘으로 등장했습니다.

주의의 핵심 아이디어는 현재의 질의(Query)와 이용 가능한 정보 집합 사이의 관련성을 계산하는 것입니다. 시스템은 모든 표현을 동일하게 처리하는 대신 호환성 점수(Compatibility Scores)를 계산하고 이를 가중치(Weights)로 변환합니다. 관련성이 높은 표현은 결과 출력에 더 큰 영향을 미칩니다. 이를 통해 입력과 계산 맥락에 따라 동작이 변화하는 동적 정보 라우팅 메커니즘(Dynamic Information-routing Mechanism)이 형성됩니다.

질의(Query), 키(Key), 값(Value)의 개념은 이러한 과정을 일반적으로 표현하는 방법을 제공합니다. 질의는 현재 찾고 있는 정보를 나타내고, 키는 비교할 수 있는 정보의 특성을 설명하며, 값은 검색하거나 결합할 수 있는 실제 내용을 포함합니다. 질의와 키 사이의 유사성(Similarity)에 따라 주의 가중치(Attention Weights)가 결정되고, 이러한 가중치를 사용하여 값들의 가중 조합(Weighted Combinations)을 생성합니다. 이러한 추상화는 현대 주의 기반 아키텍처(Attention-based Architectures)의 핵심이 되었습니다.

스케일드 닷프로덕트 어텐션(Scaled Dot-product Attention)은 이러한 과정을 효율적으로 구현하는 수학적 방법을 제공합니다. 질의와 키는 내적(Dot Products)을 통해 비교되고, 결과 점수는 안정적인 수치적 동작(Numerical Behavior)을 유지하도록 스케일링되며, 소프트맥스 함수(Softmax Function)를 통해 정규화된 주의 가중치로 변환됩니다. 이러한 가중치는 각각의 값이 출력에 얼마나 강하게 기여할지를 결정합니다. 이 연산들은 행렬 곱셈(Matrix Multiplication)으로 표현할 수 있기 때문에 현대 가속기(Accelerators)의 병렬 계산과 매우 잘 결합됩니다.

자기주의(Self-attention)는 하나의 시퀀스 또는 표현 집합 내부에서 이러한 메커니즘을 적용합니다. 각각의 요소는 질의, 키, 값 표현을 생성하고 다른 요소들과 직접 상호작용할 수 있습니다. 단어는 문장에서 멀리 떨어진 다른 단어에 주의를 기울일 수 있고, 이미지 영역(Image Region)은 다른 영역과 관계를 형성할 수 있으며, 로봇 상태(Robot State)는 서로 다른 시간의 관측과 연결될 수 있습니다. 따라서 장거리 의존성(Long-range Dependencies)이 연속적인 순환 전이의 사슬을 거쳐 전달될 필요가 없어집니다.

이러한 직접적인 상호작용은 맥락이 구성되는 방식을 변화시킵니다. 순환 시스템에서는 멀리 떨어진 위치의 정보가 중간 은닉 상태들을 거쳐 순차적으로 전달되어야 합니다. 자기주의는 관련된 위치들이 상대적으로 짧은 계산 경로(Computational Paths)를 통해 직접 통신할 수 있도록 합니다. 따라서 각각의 요소 표현은 많은 다른 요소와의 관계에 따라 갱신될 수 있으며, 전체 입력에 따라 변화하는 유연한 맥락 의존적 표현(Context-dependent Representations)을 형성할 수 있습니다.

다중 헤드 주의(Multi-head Attention)는 서로 다른 학습된 투영(Learned Projections)을 이용하여 여러 주의 연산을 수행함으로써 이러한 능력을 확장합니다. 각각의 헤드는 국소 의존성(Local Dependencies), 장거리 연관관계(Long-range Associations), 의미적 연결(Semantic Connections), 위치적 상호작용(Positional Interactions), 작업 특화 패턴(Task-specific Patterns)과 같은 서로 다른 관계에 특화될 수 있습니다. 이후 각 헤드의 출력이 결합되어 더욱 풍부한 표현을 형성합니다. 따라서 여러 헤드는 동일한 정보를 여러 학습된 관계적 관점(Relational Perspectives)에서 동시에 분석할 수 있도록 합니다.

주의 자체는 기본 연산이 요소들을 주로 내용에 따라 처리하기 때문에 시퀀스의 순서를 자동으로 인코딩하지 않습니다. 따라서 모델이 서로 다른 순서와 상대적인 위치를 구분할 수 있도록 위치 정보(Positional Information)를 추가해야 합니다. 위치 인코딩(Positional Encodings) 또는 학습된 위치 표현(Learned Positional Representations)은 이러한 구조를 제공하여 주의 기반 모델이 시퀀스 순서, 공간 배치(Spatial Arrangement), 시간적 거리(Temporal Distance), 기타 위치 관계를 추론할 수 있도록 합니다.

트랜스포머 아키텍처(Transformer Architecture)는 자기주의, 피드포워드 네트워크(Feed-forward Networks), 잔차 연결(Residual Connections), 정규화(Normalization), 위치 정보를 반복적인 계산 블록(Computational Blocks)으로 구성하면서 등장했습니다. 시퀀스 모델링에서 순환이나 합성곱(Convolution)에 주로 의존하는 대신 트랜스포머는 위치 사이의 정보를 교환하는 핵심 메커니즘으로 주의를 사용합니다. 이 아키텍처는 장거리 맥락(Long Context)의 관계를 모델링하는 능력을 유지하면서 높은 수준의 병렬 학습을 가능하게 했습니다.

트랜스포머 인코더(Transformer Encoders)는 입력 표현을 반복적으로 변환하여 점차 풍부한 맥락화 상태(Contextualized States)를 형성합니다. 각각의 계층에서 자기주의는 위치 사이에 정보가 이동할 수 있도록 하고, 피드포워드 네트워크는 개별 표현에 비선형 변환(Nonlinear Transformations)을 수행합니다. 잔차 연결은 깊은 계층에 걸쳐 정보 흐름(Information Flow)을 보존하고, 정규화는 최적화(Optimization)를 안정화하는 데 도움을 줍니다. 이러한 계층을 여러 개 쌓으면 점차 복잡한 관계와 추상화(Abstractions)가 나타날 수 있습니다.

트랜스포머 디코더(Transformer Decoders)는 자기회귀 생성(Autoregressive Generation)에 필요한 메커니즘을 추가합니다. 마스킹 자기주의(Masked Self-attention)는 학습 중 특정 위치가 미래 출력 위치의 정보를 사용하지 못하도록 하여 순차적 생성에 필요한 인과 구조(Causal Structure)를 보존합니다. 인코더-디코더 트랜스포머에서는 교차주의(Cross-attention)를 통해 디코더 상태가 인코더 표현으로부터 정보를 검색할 수도 있습니다. 이러한 메커니즘은 번역, 요약(Summarization), 멀티모달 생성(Multimodal Generation)과 같은 조건부 생성(Conditional Generation)을 지원합니다.

순환 구조를 제거한 것은 상당한 계산적 이점(Computational Advantage)을 가져왔습니다. 학습 과정에서 이전 순환 상태가 계산될 때까지 기다리는 대신 여러 시퀀스 위치를 동시에 처리할 수 있습니다. 이러한 병렬성(Parallelism)은 GPU와 기타 행렬 처리 하드웨어(Matrix-processing Hardware)에 효율적으로 매핑됩니다. 대규모 데이터셋과 확장 가능한 최적화(Scalable Optimization)가 결합되면서 트랜스포머는 모델 크기, 학습 데이터, 컨텍스트 길이(Context Length), 표현 능력(Representational Capacity)을 크게 확장할 수 있었습니다.

주의는 또한 적응형 연결성(Adaptive Connectivity)을 제공합니다. 합성곱은 사전에 정의된 국소 연결성을 사용하고 순환 구조는 미리 결정된 시간적 전이(Temporal Transitions)를 따르는 반면, 주의는 입력 내용에 따라 관계를 동적으로 구성합니다. 따라서 유효 계산 그래프(Effective Computational Graph)는 입력 사례마다 달라질 수 있습니다. 이러한 유연성은 각각의 관계를 명시적으로 프로그래밍하지 않고도 동일한 아키텍처가 구문(Syntax), 의미(Semantics), 공간 관계, 시간 의존성, 객체 상호작용(Object Interactions) 등의 구조를 모델링할 수 있도록 합니다.

그러나 인공 주의(Artificial Attention)를 생물학적 주의(Biological Attention)와 직접적으로 동일시해서는 안 됩니다. 인간의 주의는 지각, 목표, 기억, 안구 운동(Eye Movements), 신경 경쟁(Neural Competition), 행동 관련성(Behavioral Relevance), 여러 상호작용하는 뇌 시스템을 포함합니다. 트랜스포머의 주의는 가중 정보 통합(Weighted Information Integration)을 위한 수학적 연산입니다. 따라서 두 개념의 연결은 기능적이고 추상적인 것으로, 모두 선택적 처리를 강조하지만 메커니즘과 제약조건, 생물학적 의미는 상당히 다릅니다.

트랜스포머는 언어가 여러 규모에 걸쳐 작동하는 의존성을 포함하기 때문에 자연어 처리(Natural Language Processing)에서 특히 큰 영향을 미쳤습니다. 단어는 인접한 문법 구조(Grammatical Structure), 멀리 떨어진 참조(Distant References), 담화 맥락(Discourse Context), 의미적 관계, 이전에 표현된 정보에 의존합니다. 자기주의는 이러한 상호작용을 표현할 수 있는 유연한 메커니즘을 제공하며, 심층적인 계층화(Deep Stacking)는 대규모 언어 데이터로부터 점차 추상적인 맥락 표현이 나타나도록 합니다.

대규모 언어 모델(Large Language Models)은 주의 기반 아키텍처와 대규모 자기지도 학습(Self-supervised Learning)을 결합함으로써 트랜스포머를 확장합니다. 맥락으로부터 토큰(Token)을 예측하는 과정에서 모델은 방대한 텍스트 코퍼스(Text Corpora)로부터 언어 구조, 사실적 연관관계(Factual Associations), 의미적 패턴, 작업 관련 표현(Task-relevant Representations)을 학습할 수 있습니다. 파라미터, 데이터, 계산 규모의 확장은 생성, 요약, 번역, 질의응답(Question Answering), 코딩(Coding), 다양한 형태의 맥락적 추론(Contextual Reasoning)이 가능한 모델을 만들어냈습니다.

비전 트랜스포머(Vision Transformers)는 주의가 시각 정보에도 효과적으로 적용될 수 있음을 보여줍니다. 이미지를 패치(Patches)로 나누고 이를 토큰처럼 표현하여 트랜스포머 계층에서 처리할 수 있습니다. 자기주의는 서로 멀리 떨어진 이미지 영역이 직접 상호작용할 수 있도록 하여 전역적인 시각 관계(Global Visual Relationships)를 모델링하는 메커니즘을 제공합니다. 이는 CNN의 강한 국소성 편향(Locality Bias)과 차이가 있으며, 주의가 관계적 처리(Relational Processing)를 위한 더욱 일반적인 프레임워크를 제공할 수 있음을 보여줍니다.

멀티모달 트랜스포머(Multimodal Transformers)는 이러한 프레임워크를 언어, 이미지, 오디오(Audio), 비디오(Video), 센서 측정값(Sensor Measurements), 기타 정보원으로 확장합니다. 서로 다른 모달리티(Modality)는 토큰과 유사한 표현으로 변환되어 자기주의 또는 교차주의를 통해 통합될 수 있습니다. 이를 통해 시스템은 단어와 시각 객체, 오디오와 사건, 관측과 명령(Instructions), 센서 상태와 행동을 연결할 수 있으며 서로 다른 형태의 정보에 걸쳐 점차 통합된 표현(Unified Representations)을 형성할 수 있습니다.

로보틱스(Robotics)와 피지컬 AI(Physical AI)에서 주의는 방대하면서 비동기적인 감각운동 정보(Sensorimotor Information)의 스트림을 통합하는 데 도움을 줄 수 있습니다. 로봇은 카메라, 라이다(LiDAR), 고유수용감각(Proprioception), 촉각 감지(Tactile Sensing), 언어 명령(Language Instructions), 기억, 지도(Maps), 이전 행동을 결합해야 할 수 있습니다. 주의 메커니즘은 작업 관련 관측의 우선순위를 정하고 모달리티와 시간 사이의 관계를 형성하여 현재 행동에 중요한 정보에 계산 자원을 집중하도록 지원할 수 있습니다.

시간적 주의(Temporal Attention)는 자율 시스템이 장기간의 이력(Extended Histories)에 걸쳐 추론해야 할 때 특히 유용합니다. 현재 관측은 이전 상태, 행동, 객체 궤적(Object Trajectories)에 대한 정보가 없으면 모호할 수 있습니다. 주의는 모든 과거 정보를 동일하게 처리하는 대신 시간적 맥락(Temporal Context)에서 관련된 사건을 검색할 수 있습니다. 기억 시스템과 결합하면 객체 지속성(Object Persistence), 활동 이해(Activity Understanding), 내비게이션(Navigation), 조작(Manipulation), 장기 의사결정(Long-horizon Decision Making)을 지원할 수 있습니다.

주의는 월드 모델(World Models)에도 자연스럽게 기여합니다. 토큰 또는 잠재 상태(Latent States)는 객체, 영역, 에이전트, 행동, 환경 속성(Environmental Properties)을 표현할 수 있으며 주의는 이들의 상호작용을 모델링합니다. 월드 모델은 이러한 관계를 이용하여 후보 행동(Candidate Actions)에 따른 미래 상태를 예측할 수 있습니다. 따라서 트랜스포머는 수동적인 시퀀스 모델링을 넘어 예측, 계획, 시뮬레이션(Simulation)을 지원하는 동적 환경(Dynamic Environments)의 내부 표현으로 확장될 수 있습니다.

이러한 장점에도 불구하고 표준 주의 메커니즘에는 중요한 계산적 한계가 있습니다. 완전 자기주의(Full Self-attention)는 많은 토큰 쌍을 비교하기 때문에 시퀀스 길이가 증가함에 따라 메모리와 계산 요구량이 빠르게 증가합니다. 따라서 장문맥 시스템(Long-context Systems)은 상당한 자원을 필요로 합니다. 희소 주의(Sparse Attention), 국소 주의(Local Attention), 계층적 표현(Hierarchical Representations), 압축 메모리(Compressed Memory), 검색 메커니즘(Retrieval Mechanisms), 효율적 주의 알고리즘(Efficient Attention Algorithms)은 계산 비용을 줄이면서 유용한 장거리 상호작용을 유지하려고 합니다.

주의 가중치(Attention Weights)를 모델 추론의 완전한 설명으로 자동 해석해서도 안 됩니다. 높은 주의 값은 특정 계산 연산 안에서 강한 기여를 나타내지만 복잡한 모델 행동은 수많은 계층, 헤드(Heads), 비선형 변환, 학습된 표현의 상호작용을 통해 나타납니다. 따라서 트랜스포머의 의사결정을 이해하려면 개별 주의 맵(Attention Maps)이 인지적 추론을 직접 보여준다고 가정하는 대신 더 폭넓은 해석 가능성 방법(Interpretability Methods)이 필요합니다.

주의에서 트랜스포머로 이어지는 발전 과정은 인지적 영감(Cognitive Inspiration)이 어떻게 범용적인 계산 아키텍처로 발전할 수 있는지를 보여줍니다. 선택적 정보 처리(Selective Information Processing)는 가중 검색(Weighted Retrieval)으로, 가중 검색은 자기주의로, 여러 관계적 관점은 다중 헤드 주의로, 반복적인 주의 블록은 트랜스포머로 발전했습니다. 이후 대규모 자기지도 학습은 이러한 아키텍처를 현대 언어, 비전, 멀티모달, 그리고 점차 체화 AI(Embodied AI) 시스템의 기반으로 발전시켰습니다.

궁극적으로 트랜스포머(Transformer)의 중요성은 단순히 순환 신경망을 대체했다는 데 있는 것이 아니라 정보를 동적으로 연결하는 유연한 메커니즘을 제공했다는 데 있습니다. 주의는 무엇이 서로 상호작용해야 하는지를 결정하고, 맥락적 표현(Contextual Representations)은 그 결과로 형성된 관계를 보존하며, 적층된 계층(Stacked Layers)은 점차 풍부한 추상화를 구성합니다. 이러한 원리가 기억, 월드 모델, 멀티모달 지각(Multimodal Perception), 행동(Action)과 결합되면 선택적 인지 처리에서 언어와 물리적 세계 전반에 걸쳐 작동하는 적응형 인공지능(Adaptive Artificial Intelligence)으로 이어지는 중요한 가교를 제공합니다.

06.04 From Hippocampus to Memory Systems [w/Code]

해마(Hippocampus)는 경험의 빠른 부호화(Rapid Encoding), 맥락적 조직화(Contextual Organization), 검색(Retrieval), 공고화(Consolidation)를 지원하기 때문에 인공 기억 시스템(Artificial Memory Systems)에 가장 명확한 생물학적 영감 가운데 하나를 제공합니다. 생물학적 인지(Biological Cognition)에서 기억은 하나의 구분되지 않은 기록으로 저장되지 않습니다. 서로 다른 기억 시스템은 서로 다른 시간 척도(Timescales)에서 작동하며, 해마는 일화 기억(Episodic Memory)과 공간 기억(Spatial Memory)의 형성 및 검색에서 중요한 역할을 합니다. AI 기억 아키텍처는 이러한 기능적 원리를 경험을 저장하고 재사용하기 위한 계산 메커니즘(Computational Mechanisms)으로 변환할 수 있습니다.

해마는 내측 측두엽(Medial Temporal Lobe)에 위치하며 지각(Perception), 지식(Knowledge), 의사결정(Decision Making)에 관여하는 피질 영역(Cortical Regions)과 광범위하게 상호작용합니다. 해마는 그 자체로 완전한 장기 기억 저장소(Long-term Archive) 역할을 하기보다 사건에 관한 분산된 정보를 검색 가능한 표현으로 결합하는 데 도움을 줍니다. 경험에는 무엇이 일어났는지, 어디에서 발생했는지, 언제 발생했는지, 어떤 행동이 수행되었는지, 어떤 결과가 뒤따랐는지 등이 포함될 수 있으며, 이를 통해 구조화된 일화적 맥락(Episodic Context)이 형성됩니다.

이러한 결합 기능(Binding Function)은 인공 기억을 위한 중요한 유사성을 제공합니다. AI 시스템은 비전(Vision), 언어(Language), 고유수용감각(Proprioception), 행동 이력(Action History), 작업 상태(Task State), 환경 관측(Environmental Observations)을 서로 다른 처리 경로를 통해 입력받을 수 있습니다. 기억 메커니즘은 이러한 요소들을 하나의 일관된 에피소드(Coherent Episode)로 연결하여 이후 하나의 단위로 검색할 수 있도록 합니다. 이러한 결합을 통해 관련 정보가 서로 다른 모달리티(Modality)나 서브시스템에서 생성되었더라도 경험을 유용하게 유지할 수 있습니다.

일화 기억(Episodic Memory)은 일반화된 지식만이 아니라 개별 경험(Individual Experiences)을 보존하기 때문에 특히 중요합니다. 로봇은 특정 복도가 어제 막혀 있었다는 사실, 특정 객체 방향(Object Orientation)에서 특정 파지(Grasp)가 실패했다는 사실, 또는 사용자가 이전에 특정 작업을 요청했다는 사실을 기억할 수 있습니다. 이러한 기억은 모든 사건을 모델의 학습된 파라미터(Learned Parameters)에 영구적으로 통합하지 않고도 미래 행동에 영향을 줄 수 있습니다.

해마는 맥락 기억(Contextual Memory)과도 밀접하게 관련되어 있습니다. 경험의 의미와 유용성은 그 경험이 발생했던 상황에 따라 달라지는 경우가 많습니다. 유사한 감각 관측(Sensory Observations)이라도 위치(Location), 작업(Task), 이전 사건(Previous Events), 현재 목표(Current Goals)에 따라 서로 다른 행동을 의미할 수 있습니다. 따라서 인공 기억 시스템은 저장된 기록을 정확한 일치(Exact Matching)만으로 검색하는 대신 맥락에 따라 정보를 인덱싱(Indexing)하는 방식에서 이점을 얻을 수 있습니다.

내용 주소화 검색(Content-addressable Retrieval)은 이러한 원리를 계산적으로 해석하는 한 가지 방법을 제공합니다. 시스템은 고정된 숫자 주소(Numerical Addresses)를 통해서만 기억에 접근하는 대신 현재 상태와의 유사성(Similarity) 또는 관련성(Relevance)에 따라 저장된 정보를 검색합니다. 부분적인 단서(Partial Cues)는 더 광범위하게 저장된 패턴을 활성화할 수 있습니다. 벡터 유사도 검색(Vector Similarity Search), 신경 연상 기억(Neural Associative Memory), 주의 기반 검색(Attention-based Retrieval), 학습된 인덱싱 메커니즘(Learned Indexing Mechanisms)은 이러한 일반적 아이디어를 실용적으로 구현합니다.

패턴 완성(Pattern Completion)은 연상 검색(Associative Retrieval)과 밀접하게 관련되어 있습니다. 이전 경험의 일부만으로도 더 완전한 표현을 재구성할 수 있습니다. 생물학적 기억에서는 익숙한 장소, 객체 또는 맥락적 단서(Contextual Cue)가 현재 존재하지 않는 관련 세부사항을 떠올리게 할 수 있습니다. 인공 시스템도 불완전한 질의(Incomplete Queries)로부터 더욱 풍부하게 저장된 에피소드를 검색함으로써 이전 경험을 이용하여 제한적이거나 모호한 현재 관측을 보완할 수 있습니다.

빠른 학습(Rapid Learning)은 해마의 또 다른 중요한 특성입니다. 새로운 경험은 비교적 적은 노출만으로도 부호화될 수 있는 반면, 장기적인 피질 지식(Cortical Knowledge)은 보다 점진적으로 변화하는 경향이 있습니다. 이러한 분리는 외부 기억(External Memory) 또는 일화 기억이 새로운 경험을 빠르게 저장하고 모델 파라미터가 더 느리게 공고화된 지식을 표현하는 유용한 AI 아키텍처를 시사합니다. 따라서 빠른 기억(Fast Memory)과 느린 학습(Slow Learning)은 동일한 파라미터 공간에서 경쟁하는 대신 공존할 수 있습니다.

이러한 아이디어는 상보적 학습 시스템(Complementary Learning Systems)과 밀접하게 관련됩니다. 빠르게 적응하는 기억 메커니즘은 전체 신경망을 즉시 수정하지 않고도 특정 경험을 보존할 수 있으며, 더 느린 최적화(Slower Optimization)는 반복적으로 나타나는 패턴을 일반화된 표현(Generalized Representations)으로 통합할 수 있습니다. 이러한 분리는 인공 시스템이 기존에 습득한 지식과의 치명적 간섭(Catastrophic Interference)을 줄이면서 새로운 정보를 빠르게 학습할 수 있는 방법을 설명하는 데 도움을 줍니다.

기억 공고화(Memory Consolidation)는 이러한 서로 다른 시간 척도를 연결하는 메커니즘을 제공합니다. 처음에 빠르게 접근 가능한 기억에 저장된 경험은 이후 재생(Replay), 요약(Summarization), 재구성(Reorganization)되거나 장기 표현(Long-term Representations)에 통합될 수 있습니다. AI에서 공고화는 재생 버퍼(Replay Buffers), 오프라인 학습(Offline Training), 주기적 미세조정(Periodic Fine-tuning), 파라미터 업데이트(Parameter Updates), 지식 증류(Knowledge Distillation), 구조화된 기억 요약(Structured Memory Summarization)을 포함할 수 있습니다. 목표는 모든 원시 경험을 무기한 보존하지 않으면서 유용한 에피소드를 더욱 지속적인 지식으로 변환하는 것입니다.

재생(Replay)은 이러한 과정에서 특히 중요합니다. 생물학적 연구는 원래 사건이 더 이상 발생하지 않는 시점에도 이전에 경험한 패턴이 다시 활성화될 수 있다는 아이디어에 동기를 제공합니다. 인공 시스템은 경험 재생(Experience Replay)을 사용하여 학습 중 저장된 데이터를 다시 활용합니다. 재생은 학습을 안정화하고 이전 경험을 보존하며, 최근 관측이 파라미터 업데이트를 완전히 지배하는 것을 방지함으로써 지속 학습(Continual Learning)을 지원합니다.

재생을 위해 모든 과거 관측을 정확하게 저장할 필요는 없습니다. 시스템은 선택된 사례(Selected Examples), 압축된 잠재 표현(Compressed Latent Representations), 요약, 키프레임(Keyframes), 궤적(Trajectories), 과거 경험의 생성된 근사치(Generated Approximations)를 보존할 수 있습니다. 이는 기억 용량(Memory Capacity)과 충실도(Fidelity) 사이의 절충 관계를 형성합니다. 따라서 효과적인 기억 시스템은 어떤 경험이 보존할 만큼 충분한 장기적 가치(Long-term Value)를 갖는지를 결정하는 정책이 필요합니다.

해마는 공간 기억(Spatial Memory)과 내비게이션(Navigation)에도 밀접하게 관련되어 있습니다. 장소 관련 신경 표현(Place-related Neural Representations)은 위치와 환경 구조에 관한 정보를 제공하며, 더 광범위한 내비게이션 회로와의 상호작용은 인지 지도(Cognitive Maps)를 지원합니다. 인공 시스템은 미터법 지도(Metric Maps), 위상 지도(Topological Maps), 의미 지도(Semantic Maps), 잠재 공간 상태(Latent Spatial States), 기억 기반 내비게이션(Memory-based Navigation)을 통해 이와 관련된 기능적 원리를 채택합니다. 저장된 공간적 맥락(Spatial Context)은 에이전트가 현재 보이는 것 이상의 정보를 추론할 수 있도록 합니다.

공간 기억은 현재 센서 관측이 불완전한 경우가 많은 로보틱스(Robotics)에서 특히 중요합니다. 벽, 가려짐(Occlusions), 제한된 카메라 시야(Camera Fields of View), 센서 범위(Sensor Range) 때문에 에이전트는 전체 환경을 동시에 관측할 수 없습니다. 기억은 현재 관측을 이전에 탐색한 영역과 결합할 수 있도록 하여 위치 추정(Localization), 경로 계획(Path Planning), 객체 탐색(Object Search), 즉각적인 지각 범위 밖에 존재할 수 있는 것에 대한 예측을 지원합니다.

해마 인덱싱 개념(Hippocampal Indexing Concept)은 AI로 이어지는 또 하나의 유용한 가교를 제공합니다. 경험의 모든 구성요소를 한 장소에 중복하여 저장하는 대신 해마는 기능적으로 분산된 피질 표현을 연결하는 인덱스(Indices)를 제공한다고 볼 수 있습니다. 인공 기억 시스템도 외부 저장소(External Stores)에 위치한 더 풍부한 정보를 가리키는 압축된 키(Compact Keys), 임베딩(Embeddings), 식별자(Identifiers), 메타데이터(Metadata)를 저장함으로써 유사한 설계를 채택할 수 있습니다.

벡터 데이터베이스(Vector Databases)는 이러한 인덱싱을 실용적으로 구현하는 공학적 방법을 제공합니다. 문서, 관측, 에피소드, 이미지, 궤적을 임베딩 벡터(Embedding Vectors)로 변환하고 유사도 기반 검색(Similarity-based Retrieval)을 위해 구성할 수 있습니다. 현재 질의도 동일한 표현 공간(Representation Space)으로 인코딩되므로 원시 형태가 서로 다르더라도 의미적으로 관련된 기억을 찾을 수 있습니다. 이는 기능적으로 내용 주소화 인덱싱(Content-addressable Indexing)과 유사하지만 해마의 생물학적 구조를 문자 그대로 시뮬레이션하는 것은 아닙니다.

검색 증강 생성(Retrieval-augmented Generation)은 모델이 추론(Inference) 과정에서 외부 기억을 참조할 수 있도록 하여 이러한 아키텍처를 확장합니다. 모델 가중치(Model Weights)에 인코딩된 지식에만 의존하는 대신 시스템은 관련 정보를 검색하여 현재 계산 맥락(Computational Context)에 배치합니다. 이러한 아키텍처는 장기 저장(Long-term Storage)과 능동적 추론(Active Reasoning)을 분리하여 지식을 더욱 쉽게 업데이트할 수 있게 하며, 외부 정보가 변경될 때마다 전체 모델을 반복적으로 재학습해야 하는 필요성을 줄입니다.

따라서 내부 기억(Internal Memory)과 외부 기억(External Memory)은 AI에서 상호보완적인 역할을 수행합니다. 내부 기억은 모델 파라미터, 순환 상태(Recurrent States), 잠재 활성(Latent Activations)을 통해 표현될 수 있으며 계산 과정에서 빠르고 직접적인 접근을 제공합니다. 외부 기억은 훨씬 더 큰 이력을 보존하고 독립적으로 업데이트될 수 있지만 명시적인 검색이 필요합니다. 효과적인 시스템은 각 정보 유형에 필요한 시간 척도, 지속성(Persistence), 접근성(Accessibility)에 따라 이러한 기억 형태를 결합합니다.

작업 기억(Working Memory)은 일화적 저장보다 더 짧은 시간 척도를 도입합니다. 추론이나 행동 중 시스템은 현재 목표, 최근 관측, 중간 결과(Intermediate Results), 작업 제약조건(Task Constraints)을 유지해야 합니다. 컨텍스트 윈도(Context Windows), 순환 상태, 잠재 기억(Latent Memory), 임시 버퍼(Temporary Buffers)가 이러한 기능을 수행할 수 있습니다. 따라서 보다 광범위한 기억 아키텍처는 일시적인 작업 기억, 빠르게 저장되는 일화 기억, 더 느린 장기 의미 기억(Long-term Semantic Memory) 또는 파라미터 지식(Parametric Knowledge)을 포함할 수 있습니다.

의미 기억(Semantic Memory)은 특정 경험이 아니라 일반화된 지식(Generalized Knowledge)을 표현한다는 점에서 일화 기억과 다릅니다. 개별 객체, 상황, 결과와 반복적으로 마주치는 경험은 점차 더 일반적인 개념으로 추상화될 수 있습니다. 인공 시스템도 에피소드 집합을 학습된 파라미터, 구조화된 지식(Structured Knowledge), 프로토타입(Prototypes), 요약된 표현(Summarized Representations)으로 변환할 수 있으며, 이를 통해 원래 경험이 발생했던 정확한 상황을 넘어 지식을 전이할 수 있습니다.

기억 검색(Memory Retrieval)은 또한 선택적이어야 합니다. 관련된 모든 기억을 반환하면 제한된 계산 맥락을 압도하고 관련성이 낮은 정보를 유입할 수 있습니다. 따라서 검색 시스템은 유사성, 최신성(Recency), 중요도(Importance), 불확실성(Uncertainty), 작업 관련성(Task Relevance), 기대 효용(Expected Utility)에 따라 기억의 우선순위를 정합니다. 이후 주의 메커니즘(Attention Mechanisms)은 검색된 항목 가운데 어떤 정보가 현재 추론에 가장 강하게 영향을 미쳐야 하는지를 결정할 수 있으며, 이를 통해 기억 아키텍처와 선택적 정보 처리(Selective Information Processing)가 직접 연결됩니다.

자율 에이전트(Autonomous Agents)에서는 검색 자체가 목표 의존적(Goal-dependent)이 될 수 있습니다. 동일한 저장 경험이라도 한 작업에서는 유용하지만 다른 작업에서는 관련성이 없을 수 있습니다. 내비게이션 문제에서는 공간 에피소드(Spatial Episodes)를 우선할 수 있고, 조작 작업에서는 객체 상호작용 이력(Object Interaction Histories)이 필요할 수 있으며, 사회적 상호작용에서는 이전 사용자의 선호 정보가 중요할 수 있습니다. 학습된 검색 정책(Learned Retrieval Policies)은 하나의 고정된 유사도 기준을 사용하는 대신 현재 목표에 따라 기억 접근 방식을 조정할 수 있습니다.

망각(Forgetting) 역시 기억 아키텍처에서 동일하게 중요한 구성요소입니다. 무제한 저장은 현실적으로 불가능하며 모든 관측을 보존하면 검색 비용이 증가하면서 관련성이 감소할 수 있습니다. 따라서 인공 기억 시스템은 감쇠(Decay), 압축(Compression), 삭제(Deletion), 공고화, 우선순위 기반 유지(Priority-based Retention)를 위한 메커니즘이 필요합니다. 망각은 단순한 실패로만 이해해서는 안 되며, 오래되었거나 가치가 낮은 정보를 선택적으로 제거하는 것은 효율성을 향상시키고 간섭(Interference)을 방지할 수 있습니다.

검색된 경험이 오래되었거나 노이즈가 있거나 서로 모순될 수 있기 때문에 기억의 신뢰도(Memory Confidence)와 출처 정보(Provenance)도 중요해집니다. 저장된 에피소드는 이상적으로 언제 획득되었는지, 어떤 조건에서 획득되었는지, 어떤 센서를 사용했는지, 관측의 신뢰성이 어느 정도였는지에 대한 정보를 보존해야 합니다. 이를 통해 시스템은 최신 증거(Recent Evidence)와 오래된 경험을 구분하고 모든 저장 기록을 동일하게 신뢰하는 대신 기억 사이의 충돌을 해결할 수 있습니다.

지속 학습(Continual Learning)은 기억과 모델 파라미터 사이의 이러한 분리에서 큰 이점을 얻습니다. 새로운 경험은 먼저 외부에 저장되고 이후 학습에서 다시 사용될 수 있으므로 각각의 관측 직후 네트워크를 수정해야 하는 부담을 줄일 수 있습니다. 이후 재생과 공고화를 통해 중요한 패턴을 선택적으로 통합할 수 있습니다. 이러한 아키텍처는 빠른 습득(Rapid Acquisition)과 점진적인 장기 적응(Long-term Adaptation)을 결합함으로써 안정성-가소성 문제(Stability-plasticity Problem)를 해결하는 데 도움을 줍니다.

체화 AI(Embodied AI)에서 기억은 지각-행동 루프(Perception-action Loop)의 일부가 됩니다. 에이전트는 환경을 관측하고, 관련된 과거 경험을 검색하며, 현재 가능한 선택지를 평가하고, 행동한 뒤 결과를 관측하고, 새로운 에피소드를 저장합니다. 따라서 기억은 단순히 과거를 설명하는 것이 아니라 미래의 지각, 예측(Prediction), 계획(Planning), 행동에 영향을 줍니다. 각각의 상호작용은 기존 기억을 활용하는 동시에 잠재적인 새로운 기억을 생성합니다.

해마에서 AI 기억 시스템으로 이어지는 기능적 가교(Functional Bridge)는 신중하게 해석해야 합니다. 벡터 데이터베이스, 재생 버퍼, 검색 모듈(Retrieval Modules), 컨텍스트 윈도는 공학적 메커니즘이지 해마의 해부학적 구조나 생리학(Physiology)을 직접적으로 복제한 것은 아닙니다. 이들의 가치는 빠른 부호화, 맥락적 인덱싱(Contextual Indexing), 연상 검색, 재생, 공고화, 다중 학습 시간 척도(Multiple Learning Timescales)와 같은 선택된 원리를 계산 아키텍처로 변환하는 데 있습니다.

궁극적으로 해마에서 기억 시스템으로 이어지는 가교(Hippocampus-to-Memory-systems Bridge)는 지속적인 지능(Persistent Intelligence)을 구현하기 위해 고정된 신경 파라미터 내부에 정보를 저장하는 것 이상의 메커니즘이 필요하다는 점을 시사합니다. 인공 에이전트는 빠른 일화적 저장(Rapid Episodic Storage), 선택적 검색, 연상 인덱싱(Associative Indexing), 재생, 공고화, 공간 기억, 서로 구분된 시간 척도에서 이점을 얻을 수 있습니다. 이러한 메커니즘이 주의, 추론(Reasoning), 월드 모델(World Models), 행동과 결합되면 AI 시스템은 경험을 보존하고 관련 맥락을 복원하며 지속적으로 학습하고 과거를 이용하여 미래의 적응적 행동(Adaptive Behavior)을 안내할 수 있습니다.

06.05 From Dopamine to RL [w/Code]

도파민(Dopamine)은 보상 예측(Reward Prediction), 동기(Motivation), 행동 선택(Action Selection), 예상하지 못한 결과로부터의 학습과 밀접하게 관련되어 있기 때문에 강화학습(Reinforcement Learning)에 가장 큰 영향을 준 생물학적 영감 가운데 하나를 제공합니다. 뇌에서 도파민성 활동(Dopaminergic Activity)은 예상된 결과와 실제로 얻은 결과 사이의 차이에 따라 변화합니다. 강화학습은 이러한 기능적 원리를 보상(Reward)과 예측 오류(Prediction Error)에 따라 행동을 업데이트하는 수학적 메커니즘으로 변환합니다.

핵심 개념은 보상 예측 오류(Reward Prediction Error)이며, 이는 에이전트(Agent)가 받을 것으로 예상했던 것과 실제로 발생한 결과 사이의 차이를 측정합니다. 결과가 예상보다 좋으면 예측 오류는 양수(Positive)가 되고, 예상보다 나쁘면 음수(Negative)가 됩니다. 결과가 예상과 일치하면 오류는 0에 가까워집니다. 이러한 신호는 경험을 기반으로 예측과 행동을 조정할 수 있는 간결한 메커니즘을 제공합니다.

도파민성 뉴런(Dopaminergic Neurons)은 보상 기대(Reward Expectations)가 학습됨에 따라 반응이 변화하기 때문에 이러한 예측 오류와 유사한 활동과 관련하여 자주 논의됩니다. 처음에는 예상하지 못한 보상이 강한 반응을 유발할 수 있습니다. 반복적인 학습 이후에는 활동이 보상을 예측하는 단서(Cues) 쪽으로 이동할 수 있습니다. 예상했던 보상이 나타나지 않으면 예상 시점 부근에서 활동이 감소할 수 있습니다. 이러한 관찰은 신경과학(Neuroscience)과 계산적 학습 이론(Computational Theories of Learning)을 연결하는 데 기여했습니다.

시간차 학습(Temporal-difference Learning)은 도파민과 강화학습 사이에 특히 중요한 수학적 가교를 제공합니다. 전체 경험이 끝날 때까지 기다린 뒤 성공 여부를 평가하는 대신, 시간차 방법은 연속적인 가치 추정(Value Estimates) 사이의 차이를 사용하여 예측을 업데이트합니다. 이를 통해 에이전트가 상태(States)를 이동하고, 보상을 받고, 미래 결과에 대한 새로운 기대를 형성하는 동안 지속적으로 학습할 수 있습니다.

일반적인 시간차 오류(Temporal-difference Error)는 받은 보상과 다음 상태의 추정 가치(Estimated Value)를 합한 값을 현재 상태의 추정 가치와 비교합니다. 그 결과로 생성된 오류는 현재의 예측을 얼마나 강하게 변경해야 하는지를 결정합니다. 반복적인 상호작용을 통해 이러한 점진적인 업데이트(Incremental Updates)는 에이전트가 어떤 상태와 행동이 더 큰 미래 기대 수익(Expected Future Returns)과 연결되어 있는지를 학습하도록 합니다.

가치 함수(Value Function)는 특정 상태 또는 상태-행동 조합(State-action Combination)과 관련된 기대 누적 보상(Expected Cumulative Reward)을 나타냅니다. 이는 즉각적인 보상만을 설명하는 것이 아니라 장기적인 결과(Long-term Consequences)를 추정합니다. 많은 유용한 행동은 즉각적인 이익이 거의 없더라도 이후 가치 있는 결과로 이어질 수 있기 때문에 이러한 특성이 중요합니다. 따라서 강화학습은 즉각적인 피드백에만 반응하는 대신 확장된 시간 범위(Temporal Horizons)에 걸쳐 행동을 평가합니다.

상태 가치 함수(State-value Functions)는 특정 정책(Policy) 아래에서 특정 상태에 존재하는 것이 얼마나 바람직한지를 추정합니다. 행동 가치 함수(Action-value Functions)는 이 개념을 확장하여 특정 상태에서 특정 행동을 선택했을 때 얻을 수 있는 기대 수익을 추정합니다. 이러한 표현을 통해 에이전트는 여러 대안을 비교하고 장기적으로 더 좋은 결과를 만들어낼 것으로 예상되는 행동을 점진적으로 선호할 수 있습니다.

정책(Policy)은 에이전트가 행동을 선택하는 방식을 정의합니다. 정책은 각각의 상태에서 하나의 행동을 선택하는 결정론적(Deterministic) 방식일 수도 있고, 여러 대안에 확률을 할당하는 확률적(Stochastic) 방식일 수도 있습니다. 강화학습은 축적된 경험에 따라 정책을 수정하여 더 높은 기대 수익과 관련된 행동이 선택될 가능성을 높입니다. 따라서 정책은 사람이 직접 프로그래밍한 고정된 규칙 집합이 아니라 학습된 행동(Learned Behavior)을 나타냅니다.

탐색(Exploration)과 활용(Exploitation)의 구분은 강화학습의 근본적인 문제입니다. 활용은 이미 유용하다고 판단된 행동을 선택하고, 탐색은 더 나은 전략을 발견할 가능성이 있는 대안을 시도합니다. 활용이 지나치면 에이전트가 차선의 행동(Suboptimal Behavior)에 갇힐 수 있으며, 과도한 탐색은 자원을 낭비하고 위험을 증가시킬 수 있습니다. 효과적인 강화학습은 불확실성(Uncertainty), 경험, 작업 조건에 따라 이러한 상충되는 요구사항 사이의 균형을 유지합니다.

보상 함수(Reward Functions)는 강화학습을 안내하는 목표를 제공합니다. 어떤 결과를 장려하고 어떤 결과를 억제해야 하는지를 지정하지만, 에이전트는 설계자가 명시하지 않은 의도가 아니라 실제로 제공되는 보상을 최적화하기 때문에 이를 설계하는 것은 어렵습니다. 잘못 설계된 보상은 의도하지 않은 전략(Unintended Strategies)을 만들어낼 수 있습니다. 따라서 보상 명세(Reward Specification)는 특히 복잡한 자율 시스템과 로봇 시스템에서 핵심적인 공학 과제가 됩니다.

보상 형성(Reward Shaping)은 에이전트가 어려운 작업을 더욱 효율적으로 학습할 수 있도록 중간 피드백(Intermediate Feedback)을 도입합니다. 멀리 떨어진 최종 목표를 달성했을 때만 보상을 제공하는 대신 부분적인 진행에도 보상을 제공할 수 있습니다. 그러나 과도하거나 일관되지 않은 중간 보상은 작업 자체를 변화시키거나 의도한 행동과 일치하지 않는 지름길(Shortcuts)을 학습하도록 만들 수 있기 때문에 신중하게 설계해야 합니다.

할인(Discounting)은 미래 보상이 현재의 의사결정에 얼마나 강하게 영향을 미칠지를 결정합니다. 할인율(Discount Factor)이 1에 가까우면 지연된 결과에 상당한 중요성을 부여하는 반면, 더 작은 값은 즉각적인 보상을 강조합니다. 이러한 메커니즘을 통해 강화학습 시스템은 단기 결과와 장기 결과 사이의 균형을 조정할 수 있습니다. 생물학적 의사결정도 보상의 시간적 시점에 민감하지만, 실제 계산 메커니즘은 하나의 할인 파라미터보다 훨씬 복잡합니다.

Q-학습(Q-learning)은 행동 가치(Action Values)를 직접 학습하는 대표적인 모델 프리 강화학습(Model-free Reinforcement Learning) 방법을 제공합니다. 에이전트는 각각의 상태에서 각각의 행동을 선택하는 것이 얼마나 좋은지를 추정하고, 관측된 보상과 미래 가치 예측(Future Value Predictions)을 이용하여 이러한 추정치를 업데이트합니다. 명시적인 환경 동역학 모델(Environmental Dynamics Model)을 필요로 하지 않기 때문에 Q-학습은 상호작용 데이터만으로도 유용한 행동이 나타날 수 있음을 보여줍니다.

정책 경사 방법(Policy-gradient Methods)은 정책 파라미터(Policy Parameters)를 직접 최적화하는 다른 접근법을 사용합니다. 행동 가치를 학습한 뒤 그로부터 행동을 결정하는 대신, 시스템은 행동이 보상에 기여한 것으로 추정되는 정도에 따라 해당 행동의 확률을 직접 조정합니다. 이는 행동 공간(Action Space)이 연속적이거나 정책 자체가 복잡한 신경망(Neural Network)으로 표현되는 경우에 특히 유용합니다.

액터-크리틱 아키텍처(Actor-critic Architectures)는 가치 기반 학습(Value-based Learning)과 정책 기반 학습(Policy-based Learning)을 결합합니다. 액터(Actor)는 행동을 선택하는 정책을 나타내고, 크리틱(Critic)은 현재 상태 또는 행동이 얼마나 좋은지를 평가합니다. 크리틱은 액터를 개선하는 데 사용되는 오류 신호(Error Signal)를 제공합니다. 이러한 분리는 행동 생성과 평가를 분리한다는 더 넓은 원리와 유사하지만, 특정 생물학적 뇌 영역과 문자 그대로 대응하는 것으로 해석해서는 안 됩니다.

심층 강화학습(Deep Reinforcement Learning)은 강화학습 원리를 심층 신경망(Deep Neural Networks)과 결합합니다. 상태 공간(State Spaces)이 단순한 테이블로 표현하기에는 지나치게 클 경우 신경망을 이용하여 가치 함수, 정책 또는 환경 모델을 근사할 수 있습니다. 이러한 결합은 이미지, 센서 스트림(Sensor Streams), 복잡한 로봇 상태와 같은 고차원 입력(High-dimensional Inputs)으로부터의 학습을 가능하게 하여 강화학습을 학습된 표현(Learned Representations)이 필요한 문제로 확장합니다.

경험 재생(Experience Replay)은 과거의 전이(Transitions)를 저장하고 학습 중 다시 활용함으로써 심층 강화학습을 개선합니다. 이전 경험을 재생하면 연속적인 샘플 사이의 상관관계를 줄이고 데이터 효율성(Data Efficiency)을 향상시킬 수 있습니다. 또한 학습이 현재의 상호작용뿐만 아니라 이전 경험을 선택적으로 다시 사용하는 과정에도 의존한다는 점에서 강화학습을 기억 영감 계산(Memory-inspired Computation)과 연결합니다.

모델 기반 강화학습(Model-based Reinforcement Learning)은 명시적이거나 학습된 환경 동역학 모델을 도입합니다. 에이전트는 행동 이후 상태가 어떻게 변화할지를 예측하고 실제 행동을 수행하기 전에 가능한 미래를 평가할 수 있습니다. 이는 강화학습을 월드 모델(World Models), 계획(Planning), 예측 처리(Predictive Processing)와 연결합니다. 따라서 에이전트는 직접적인 시행착오(Trial and Error)뿐만 아니라 내부 시뮬레이션(Internal Simulation)을 통해서도 학습할 수 있습니다.

따라서 도파민과 강화학습 사이의 연결은 문자 그대로의 대응이 아니라 기능적인 관계입니다. 도파민은 단순한 보상 예측 오류를 넘어 동기, 움직임(Movement), 새로움(Novelty), 학습을 포함한 다양한 생물학적 과정에 관여합니다. 마찬가지로 강화학습 알고리즘은 생물학적 복잡성을 단순화한 수학적으로 정의된 스칼라 보상(Scalar Rewards)과 업데이트 규칙을 사용합니다. 두 영역 모두 기대와 결과 사이의 불일치로부터 학습한다는 점에서 이러한 가교가 유용합니다.

동기(Motivation)는 단순한 보상 최대화를 넘어서는 중요한 확장을 제공합니다. 생물학적 유기체는 내부적 필요(Internal Needs), 맥락, 불확실성, 새로움, 변화하는 목표에 따라 행동합니다. 인공 에이전트 역시 탐색, 정보 수집(Information Gathering), 능숙도(Competence), 새로움을 장려하는 내재적 보상(Intrinsic Rewards)을 필요로 할 수 있습니다. 이러한 메커니즘은 외부 보상이 희소하거나 존재하지 않는 경우에도 유용한 학습을 지원할 수 있습니다.

내재적 동기(Intrinsic Motivation)는 모든 유용한 행동에 대해 사람이 직접 보상을 지정하기 어려운 환경에서 특히 가치가 있습니다. 호기심 기반 방법(Curiosity-based Methods)은 익숙하지 않거나 예측하기 어려운 상황을 경험하는 에이전트에게 보상을 제공합니다. 다른 접근법은 학습 진전(Learning Progress), 정보 이득(Information Gain), 제어 가능한 상태(Controllable States)의 발견을 보상합니다. 이러한 메커니즘은 에이전트가 즉각적으로 외부에서 정의된 목표만을 최적화하는 대신 재사용 가능한 지식을 획득하도록 장려합니다.

로보틱스(Robotics)에서 강화학습은 물리적 상호작용(Physical Interaction)을 통해 행동을 적응시키는 프레임워크를 제공합니다. 로봇은 행동과 관측된 결과를 연결하여 보행(Locomotion), 조작(Manipulation), 파지(Grasping), 내비게이션(Navigation), 에너지 관리(Energy Management), 협조(Coordination)를 학습할 수 있습니다. 그러나 현실 세계에서의 탐색은 비용이 높고 잠재적으로 위험하기 때문에 로봇 강화학습에서는 하드웨어 마모(Hardware Wear), 안전 제약조건(Safety Constraints), 샘플 효율성(Sample Efficiency), 제한된 운영 시간을 고려해야 합니다.

시뮬레이션(Simulation)은 물리적 하드웨어를 위험에 노출시키지 않고 수많은 상호작용을 생성함으로써 이러한 한계를 극복하는 데 도움을 줍니다. 강화학습 정책은 다양한 시뮬레이션 환경에서 학습된 후 실제 로봇으로 전이될 수 있습니다. 이후 도메인 랜덤화(Domain Randomization), 시스템 식별(System Identification), 적응(Adaptation), 실제 환경 미세조정(Real-world Fine-tuning)을 통해 시뮬레이션 동역학과 실제 동역학 사이의 차이를 줄일 수 있습니다.

오프라인 강화학습(Offline Reinforcement Learning)은 이전에 수집된 데이터셋으로부터 학습함으로써 위험한 온라인 탐색(Online Exploration)에 대한 의존성을 더욱 줄입니다. 시연(Demonstrations), 로봇 로그(Robot Logs), 과거 궤적(Historical Trajectories), 운영 데이터(Operational Data)는 현재 에이전트가 모든 전이를 직접 생성하지 않고도 경험을 제공할 수 있습니다. 이는 안전과 데이터 획득 비용(Data Acquisition Costs)으로 인해 제한 없는 시행착오 학습이 어려운 피지컬 AI(Physical AI) 시스템에서 특히 중요합니다.

인간 피드백(Human Feedback) 역시 강화의 원천이 될 수 있습니다. 모든 보상을 고정된 수치 함수로 정의하는 대신 인간은 행동에 대한 선호(Preferences), 평가(Evaluations), 수정(Corrections), 행동 간 비교(Comparisons)를 제공할 수 있습니다. 이러한 피드백은 보상 모델(Reward Models)이나 정책을 학습하는 데 사용될 수 있습니다. 이는 강화학습을 사람이 직접 지정한 보상 함수에만 의존하는 방식에서 인간의 판단을 통해 목표를 학습하는 시스템으로 확장합니다.

멀티에이전트 강화학습(Multi-agent Reinforcement Learning)은 여러 에이전트가 동시에 학습하고 행동하는 환경을 다룹니다. 각각의 에이전트가 얻는 결과는 다른 에이전트의 행동에도 부분적으로 의존하기 때문에 협력(Cooperation), 경쟁(Competition), 의사소통(Communication), 조정(Coordination) 문제가 발생합니다. 이러한 환경은 강화학습을 사회적 인지(Social Cognition)와 집단 지능(Collective Intelligence)에 연결하는 동시에 다른 에이전트도 학습하면서 환경 자체가 변화한다는 추가적인 어려움을 도입합니다.

계층적 강화학습(Hierarchical Reinforcement Learning)은 행동을 여러 수준으로 조직하여 복잡한 작업을 처리합니다. 상위 수준 정책(Higher-level Policies)은 목표, 기술(Skills), 하위 루틴(Subroutines)을 선택하고, 하위 수준 제어기(Lower-level Controllers)는 세부 행동을 실행할 수 있습니다. 이는 실질적인 계획 범위(Planning Horizon)를 줄이고 유용한 행동을 여러 작업에서 재사용할 수 있도록 합니다. 이러한 계층적 조직은 행동이 여러 시간적 및 기능적 척도에서 작동한다는 보다 폭넓은 뇌 영감 원리(Brain-inspired Principle)와 유사합니다.

안전(Safety)은 기대 보상을 최대화한다고 해서 자동으로 허용 가능한 행동이 보장되는 것은 아니기 때문에 중요한 과제로 남아 있습니다. 강화학습 에이전트가 물리적 환경에서 작동하려면 제약조건(Constraints), 불확실성 추정(Uncertainty Estimation), 위험 민감 목표(Risk-sensitive Objectives), 안전 탐색(Safe Exploration), 폴백 제어기(Fallback Controllers)가 필요합니다. 로보틱스에서는 단 한 번의 실패도 하드웨어를 손상시키거나 사람을 위험에 빠뜨릴 수 있기 때문에 치명적인 행동을 일반적인 음의 학습 사례(Negative Examples)와 동일하게 취급할 수 없습니다.

궁극적으로 도파민에서 강화학습으로 이어지는 가교(Dopamine-to-Reinforcement-Learning Bridge)는 보상 관련 학습(Reward-related Learning)에 대한 생물학적 관찰이 어떻게 적응적 행동(Adaptive Behavior)을 위한 계산 메커니즘에 영감을 줄 수 있는지를 보여줍니다. 예측 오류는 기대를 업데이트하고, 가치 함수는 미래 결과를 표현하며, 정책은 행동을 안내하고, 경험은 이후의 의사결정을 변화시킵니다. 이러한 원리가 딥러닝(Deep Learning), 기억(Memory), 월드 모델(World Models), 계층 구조(Hierarchy), 안전한 상호작용(Safe Interaction)과 결합되면 강화학습은 미리 정의된 행동에만 의존하지 않고 행동의 결과를 통해 학습하는 에이전트를 위한 핵심 메커니즘이 됩니다.

06.06 From Predictive Coding to Generative Models [w/Code]

예측 부호화(Predictive Coding)는 뇌가 들어오는 감각 정보(Sensory Information)에 대한 기대를 지속적으로 생성하고, 이러한 기대를 실제 관측(Observations)과 비교하는 능동적인 과정으로 지각(Perception)과 인지(Cognition)를 설명합니다. 모든 신호를 완전히 새로운 정보로 처리하는 대신 상위 수준 표현(Higher-level Representations)이 하위 수준 활동을 예측하고, 예측과 관측 사이의 불일치가 예측 오류(Prediction Errors)를 생성합니다. 이러한 오류는 내부 모델(Internal Models)을 업데이트하고 미래의 예측을 개선하기 위한 정보를 제공합니다.

핵심 아이디어는 지능형 시스템(Intelligent Systems)이 내부 생성 모델(Internal Generative Models)을 통해 감각 입력을 설명함으로써 불확실성(Uncertainty)을 줄일 수 있다는 것입니다. 생성 모델(Generative Model)은 숨겨진 원인(Hidden Causes)이 어떻게 관측 가능한 데이터를 생성할 수 있는지를 표현합니다. 따라서 지각은 현재 관측이 주어졌을 때 이를 가장 그럴듯하게 생성한 잠재 상태(Latent States) 또는 원인을 추정하는 추론 문제(Inference Problem)로 볼 수 있습니다. 현재를 해석하려면 감각 데이터가 어떻게 발생해야 하는지에 대한 기대가 필요하기 때문에 예측과 지각은 밀접하게 연결됩니다.

계층적 조직(Hierarchical Organization)은 예측이 여러 추상화 수준(Levels of Abstraction)에서 작동할 수 있기 때문에 중요합니다. 하위 수준은 에지(Edges), 텍스처(Textures), 소리(Sounds), 국소 움직임(Local Motion)을 표현할 수 있으며, 상위 수준은 객체(Objects), 장면(Scenes), 목표(Goals), 개념적 구조(Conceptual Structure)를 표현할 수 있습니다. 상위 수준 상태는 하위 수준 패턴에 대한 기대를 생성하고, 하위 수준의 예측 오류는 이러한 상위 수준 해석을 수정할 수 있는 증거를 제공합니다. 이를 통해 추상화와 감각적 세부 정보 사이에 순환적인 교환(Recurrent Exchange)이 형성됩니다.

예측 오류(Prediction Error)는 이러한 계층 구조가 적응할 수 있도록 하는 메커니즘을 제공합니다. 관측이 기대와 거의 일치한다면 상대적으로 적은 수정 정보(Corrective Information)가 필요합니다. 예상하지 못한 사건이 발생하면 그 불일치가 더욱 중요한 정보를 제공하고 더 강한 업데이트를 유발할 수 있습니다. 계산적 관점에서 예측 오류 최소화(Prediction Error Minimization)는 모델이 데이터의 규칙성(Regularities)을 설명하면서도 새롭거나 놀라운 관측에 민감하게 반응하는 내부 표현을 구성하도록 합니다.

이러한 원리는 확률적 추론(Probabilistic Inference)과 자연스럽게 연결됩니다. 내부 모델은 하나의 해석에 즉시 확정하는 대신 가능한 여러 숨겨진 상태에 대한 불확실성을 표현할 수 있습니다. 관측은 서로 다른 가설(Hypotheses)이 증거를 얼마나 잘 설명하는지에 따라 이러한 믿음(Beliefs)을 업데이트합니다. 베이지안 추론(Bayesian Inference)은 이러한 아이디어를 표현하는 하나의 형식적 프레임워크를 제공하지만, 예측 부호화 모델은 정확한 베이지안 계산보다는 근사적인 형태의 확률적 추론을 구현할 수 있습니다.

하향식 예측(Top-down Prediction)과 상향식 증거(Bottom-up Evidence)의 구분은 특히 중요합니다. 상향식 처리는 감각 관측으로부터 상위 표현으로 정보를 전달하고, 하향식 처리는 무엇이 관측되어야 하는지에 대한 기대를 전달합니다. 지능적인 지각은 순수한 피드포워드 파이프라인(Feed-forward Pipeline)이 아니라 이 둘의 상호작용에서 나타납니다. 이러한 순환 구조(Recurrent Structure)는 맥락(Context), 사전 지식(Prior Knowledge), 현재 목표(Current Goals)가 모호한 감각 정보의 해석에 영향을 미칠 수 있도록 합니다.

머신러닝(Machine Learning)의 생성 모델은 이와 관련되면서도 더욱 폭넓은 계산 목표를 채택합니다. 입력에서 레이블(Label)로 직접 매핑하는 방법만을 학습하는 대신 생성 모델은 데이터를 생성한 확률 분포(Probability Distribution)의 특성을 학습합니다. 이러한 분포 또는 그 근사치를 학습하면 시스템은 새로운 샘플을 생성하고, 누락된 정보를 복원하며, 잠재 구조(Latent Structure)를 추정하거나 가능한 관측을 평가할 수 있습니다. 이는 AI를 단순한 인식(Recognition)에서 데이터가 어떻게 생성될 수 있는지를 모델링하는 방향으로 확장합니다.

잠재 변수 모델(Latent-variable Models)은 이러한 아이디어를 구현하는 중요한 방법 가운데 하나입니다. 관측된 데이터는 의미 있는 구조를 포착하는 숨겨진 변수(Hidden Variables)로부터 생성된다고 가정합니다. 모델은 관측으로부터 잠재 표현(Latent Representations)을 추론하고 이러한 표현을 사용하여 데이터를 재구성하거나 생성할 수 있습니다. 관측된 신호와 숨겨진 원인을 분리하는 이러한 방식은 감각 입력이 환경의 더 깊은 잠재 상태를 반영한다는 예측 부호화의 개념과 밀접하게 유사합니다.

오토인코더(Autoencoders)는 간단한 계산적 가교를 제공합니다. 인코더(Encoder)는 고차원 관측(High-dimensional Observations)을 압축된 잠재 표현으로 변환하고, 디코더(Decoder)는 원래 입력을 재구성합니다. 학습은 잠재 표현이 재구성에 필요한 정보를 유지하도록 합니다. 일반적인 오토인코더는 완전한 확률적 생성 모델은 아니지만 외부에서 제공되는 레이블에만 의존하지 않고 감각 입력을 예측하거나 재구성함으로써 내부 표현을 학습할 수 있음을 보여줍니다.

변분 오토인코더(Variational Autoencoders)는 이러한 프레임워크를 확률적으로 확장합니다. 각각의 관측을 하나의 고정된 잠재 벡터(Latent Vector)에 할당하는 대신 잠재 변수에 대한 분포를 학습합니다. 이후 디코더는 잠재 상태가 관측을 어떻게 생성하는지를 모델링합니다. 학습은 재구성 품질(Reconstruction Quality)과 잠재 분포의 정규화(Regularization) 사이의 균형을 유지하며, 의미 있는 보간(Interpolation)과 샘플링(Sampling)을 가능하게 합니다. 이를 통해 데이터로부터 숨겨진 생성 요인(Generative Factors)을 학습하는 직접적인 계산 프레임워크가 형성됩니다.

자기회귀 모델(Autoregressive Models)은 복잡한 데이터를 조건부 예측(Conditional Predictions)의 시퀀스로 분해하는 또 다른 접근법을 제공합니다. 각각의 요소는 이전에 관측된 요소들로부터 예측되며, 모델은 반복적인 다음 단계 예측(Next-step Prediction)을 통해 결합 확률 분포(Joint Probability Distribution)를 표현할 수 있습니다. 언어 모델(Language Models)이 대표적인 사례이며, 이전 맥락에서 다음 토큰(Token)을 예측함으로써 구문(Syntax), 의미(Semantics), 사실적 연관관계(Factual Associations), 장거리 구조(Long-range Structure)에 대한 표현을 학습할 수 있습니다.

자기회귀 학습의 성공은 일반적인 학습 신호(Training Signal)로서 예측이 가진 힘을 보여줍니다. 데이터 자체의 구조가 학습 목표를 제공한다면 시스템은 모든 개념에 대해 명시적인 레이블을 필요로 하지 않습니다. 미래 토큰, 프레임(Frames), 센서 측정값(Sensor Readings), 행동(Actions)을 예측하는 과정은 모델이 다양한 후속 작업을 지원하는 의존 관계(Dependencies)를 학습하도록 할 수 있습니다. 이는 관측이 동일한 데이터의 다른 부분에 대한 예측을 감독하는 자기지도 학습(Self-supervised Learning)과 예측 부호화를 연결합니다.

생성적 적대 신경망(Generative Adversarial Networks)은 생성기(Generator)와 판별기(Discriminator)의 경쟁에 기반한 다른 생성 전략을 도입했습니다. 생성기는 실제 데이터와 유사한 샘플을 만들려고 하고, 판별기는 생성된 샘플과 실제 사례를 구분하려고 합니다. 이러한 적대적 상호작용(Adversarial Interaction)을 통해 생성기는 복잡한 데이터 분포를 모델링하는 능력을 개선합니다. 학습 메커니즘은 예측 부호화와 다르지만 그럴듯한 관측을 생성할 수 있는 내부 과정을 구축한다는 더 넓은 목표에서는 관련성이 있습니다.

확산 모델(Diffusion Models)은 또 다른 강력한 생성 프레임워크를 제공합니다. 이 모델은 구조화된 데이터를 점진적으로 노이즈(Noise)로 변환하는 과정의 역과정(Reverse Process)을 학습합니다. 생성 과정에서는 노이즈에서 시작하여 손상된 정보를 어떻게 제거해야 하는지를 반복적으로 예측하면서 일관된 샘플을 형성합니다. 이러한 반복적인 디노이징(Denoising)은 모델이 불확실한 상태를 학습된 데이터 분포에 더욱 적합한 상태로 지속적으로 정제하는 반복 추론(Iterative Inference)의 한 형태로 해석할 수 있습니다.

따라서 예측은 미래를 전망하는 것에만 국한되지 않습니다. 생성 모델은 누락된 정보를 예측하고, 손상된 관측에서 노이즈를 제거하며, 잠재 원인을 재구성하고, 조건부 분포(Conditional Distributions)를 추정하거나 그럴듯한 대안을 생성할 수 있습니다. 이러한 다양한 작업은 데이터 구조에 관한 내부 지식이 모델로 하여금 불완전하거나 불확실하거나 노이즈가 포함된 증거가 주어졌을 때 무엇이 가능성이 높은지를 추론할 수 있도록 한다는 공통 원리를 공유합니다.

조건부 생성 모델(Conditional Generative Models)은 클래스 레이블(Class Labels), 텍스트 설명(Text Descriptions), 이미지, 센서 측정값, 행동, 이전 상태와 같은 추가적인 맥락을 포함하여 이러한 능력을 확장합니다. 임의의 샘플을 생성하는 대신 모델은 제공된 조건과 일치하는 출력을 생성합니다. 이는 하나의 모달리티에서 제공되는 정보가 다른 모달리티의 생성을 제한할 수 있기 때문에 멀티모달 AI(Multimodal AI)에서 중요하며, 언어로부터 이미지를 생성하거나 행동으로부터 로봇 관측을 예측하는 것이 대표적인 사례입니다.

예측 모델(Predictive Models)은 시간에 따라 변화하는 환경에서 특히 중요해집니다. 모델은 과거의 관측과 행동으로부터 미래 상태(Future States)를 추정할 수 있으며, 이를 통해 정적인 외형뿐만 아니라 환경 동역학(Environmental Dynamics)을 표현할 수 있습니다. 비디오 예측(Video Prediction), 궤적 예측(Trajectory Forecasting), 센서 예측(Sensor Prediction), 시퀀스 모델링(Sequence Modeling)은 모두 이러한 원리를 활용합니다. 미래 예측은 현재 상태의 어떤 요소가 환경의 향후 변화와 관련되는지를 모델이 학습하도록 합니다.

월드 모델(World Models)은 생성적 예측을 지능형 에이전트를 위한 내부 시뮬레이션 프레임워크(Internal Simulation Framework)로 확장합니다. 월드 모델은 잠재 상태를 표현하고 행동이 적용될 때 이러한 상태가 어떻게 변화하는지를 예측합니다. 따라서 에이전트는 모든 후보 행동(Candidate Actions)을 물리적으로 실행하지 않고도 가능한 미래를 평가할 수 있습니다. 이는 예측 처리(Predictive Processing), 생성 모델링(Generative Modeling), 강화학습(Reinforcement Learning), 계획(Planning), 체화 지능(Embodied Intelligence)을 연결하는 가교를 형성합니다.

로보틱스(Robotics)와 피지컬 AI(Physical AI)에서는 현실 세계의 실험이 비용이 많이 들고 잠재적으로 위험하기 때문에 이러한 능력이 특히 중요합니다. 학습된 예측 모델을 갖춘 로봇은 실제 행동 전에 움직임(Motion), 조작(Manipulation), 내비게이션(Navigation), 상호작용(Interaction)의 예상 결과를 시뮬레이션할 수 있습니다. 이후 기대한 결과와 실제 결과 사이의 예측 오류를 사용하여 모델을 업데이트함으로써 지형(Terrain), 객체, 페이로드(Payload), 동역학(Dynamics), 환경 조건이 변화할 때 적응할 수 있습니다.

능동 추론(Active Inference)은 예측과 행동 사이에 추가적인 연결을 제공합니다. 에이전트가 바람직한 미래 감각 상태(Desirable Future Sensory States)를 예측한다면 관측이 이러한 예측과 더욱 일치하도록 행동을 선택할 수 있습니다. 이러한 관점에서 행동은 예측과 분리된 과정이 아니라 기대 상태와 관측 상태 사이의 불일치를 줄이는 과정에 참여합니다. 인공적인 구현 방식은 다양하지만 이 개념은 내부 모델, 지각, 행동 사이의 폐루프(Closed Loop)를 강조합니다.

생성 모델은 하나의 결정론적 결과(Deterministic Outcome)가 아니라 여러 가능한 미래를 표현해야 하는 경우가 많기 때문에 불확실성은 필수적입니다. 동일한 현재 상태에서도 숨겨진 요인이나 미래 행동에 따라 여러 결과가 발생할 수 있습니다. 확률적 생성 모델(Probabilistic Generative Models)은 이러한 대안을 표현할 수 있어 에이전트가 위험(Risk), 모호성(Ambiguity), 신뢰도(Confidence)를 평가하도록 합니다. 이는 동적이거나 부분 관측 가능한 환경(Partially Observable Environments)에서 계획할 때 특히 중요합니다.

멀티모달 생성 모델(Multimodal Generative Models)은 비전(Vision), 언어(Language), 오디오(Audio), 비디오(Video), 촉각 정보(Tactile Information), 행동 전반으로 예측을 확장합니다. 공유 잠재 표현(Shared Latent Representations)은 서로 다른 모달리티에서 발생한 정보를 연결할 수 있으며, 교차 모달 예측(Cross-modal Prediction)은 강력한 학습 신호를 제공합니다. 예를 들어 언어는 시각 구조를 예측하고, 비디오는 소리를 예측하며, 로봇 행동은 미래 센서 상태를 예측할 수 있습니다. 이러한 모델은 개별 모달리티별 특징을 넘어 사건(Event)에 대한 통합된 표현으로 발전합니다.

기억(Memory) 역시 생성적 예측과 강하게 상호작용합니다. 현재 관측만으로 숨겨진 상태를 결정하기 어려운 경우 관련된 이전 경험이 추론을 제한할 수 있습니다. 일화 기억(Episodic Memory)은 유사한 상황의 사례를 제공하고, 의미 기억(Semantic Memory)은 일반화된 지식을 제공합니다. 생성 모델은 검색된 맥락(Retrieved Context)을 현재 관측과 결합하여 숨겨진 원인이나 미래 상태에 대해 더욱 정확한 예측을 생성할 수 있습니다.

환경이 시간에 따라 변화할 때 예측 오류는 지속 학습(Continual Learning)을 지원할 수 있습니다. 기대한 결과와 실제 관측 사이의 지속적인 불일치는 내부 모델이 현재 조건과 더 이상 일치하지 않는다는 것을 의미합니다. 시스템은 모든 것을 지속적으로 다시 학습하는 대신 오류가 높은 영역을 식별하고 관련 구성요소를 선택적으로 업데이트할 수 있습니다. 이는 예측 처리와 이상 탐지(Anomaly Detection), 적응 제어(Adaptive Control), 효율적인 평생 학습(Lifelong Learning)을 연결합니다.

생성 모델은 상상과 유사한 내부 계산(Imagination-like Internal Computation)을 위한 메커니즘도 제공합니다. 가능한 잠재 상태나 미래 궤적(Future Trajectories)을 샘플링함으로써 시스템은 아직 발생하지 않은 대안을 탐색할 수 있습니다. 이러한 내부 시뮬레이션은 계획, 반사실적 추론(Counterfactual Reasoning), 데이터 증강(Data Augmentation), 전략 평가(Strategy Evaluation)를 지원할 수 있습니다. 그러나 비현실적으로 생성된 미래는 이후 의사결정을 잘못된 방향으로 이끌 수 있기 때문에 그 유용성은 모델의 정확도에 의존합니다.

따라서 예측 부호화와 현대 생성형 AI(Generative AI) 사이의 연결은 문자 그대로의 생물학적 대응이 아니라 기능적인 관계로 해석해야 합니다. 예측 부호화 이론은 신경 처리(Neural Processing)의 가능한 계산 원리를 설명하는 반면, 변분 오토인코더(VAEs), 자기회귀 모델, 생성적 적대 신경망(GANs), 확산 모델, 월드 모델은 공학적으로 설계된 수학적 시스템입니다. 이들은 예측, 잠재 원인, 불확실성, 재구성(Reconstruction), 모델 기반 추론(Model-based Inference)이라는 공통 주제를 공유하지만 실제 메커니즘은 상당히 다릅니다.

생성 모델의 평가는 시각적 또는 언어적 그럴듯함(Plausibility) 이상의 요소를 고려해야 합니다. 모델은 설득력 있는 출력을 생성하면서도 잘못된 인과 관계(Causal Relationships)나 물리적 관계(Physical Relationships)를 표현할 수 있습니다. 체화 응용(Embodied Applications)에서는 예측의 시간적 일관성(Temporal Consistency), 불확실성 보정(Uncertainty Calibration), 물리적 타당성(Physical Validity), 제어 가능성(Controllability), 계획에 대한 유용성도 평가해야 합니다. 월드 모델은 단순히 출력이 현실적으로 보일 때가 아니라 신뢰할 수 있는 의사결정을 지원할 때 가치가 있습니다.

궁극적으로 예측 부호화에서 생성 모델로 이어지는 가교(Predictive-coding-to-Generative-models Bridge)는 내부 예측을 통해 관측을 설명한다는 아이디어가 어떻게 폭넓은 계산 패러다임(Computational Paradigm)으로 발전할 수 있는지를 보여줍니다. 예측 오류는 학습을 지원하고, 잠재 변수는 숨겨진 원인을 표현하며, 생성 모델은 관측을 재구성하고 생성하고, 월드 모델은 가능한 미래를 시뮬레이션합니다. 이러한 메커니즘이 기억, 행동, 불확실성과 결합되면 AI 시스템은 현재를 인식하는 것을 넘어 숨겨진 구조를 추론하고, 대안을 상상하며, 세계가 앞으로 어떻게 변화할지를 예측할 수 있습니다.

06.07 From Plasticity to Continual Learning [w/Code]

신경 가소성(Neural Plasticity)은 생물학적 신경계(Biological Nervous Systems)가 경험을 통해 구조와 기능을 변화시키는 능력을 의미합니다. 시냅스 강도(Synaptic Strengths)는 변화할 수 있고, 신경 회로(Neural Circuits)는 재구성될 수 있으며, 유기체가 새로운 환경, 작업, 정보를 경험함에 따라 내부 표현(Representations)도 적응할 수 있습니다. 이러한 능력은 인공지능(AI)의 지속 학습(Continual Learning)에 중요한 영감을 제공하며, 인공 시스템이 매번 처음부터 학습을 다시 시작하지 않고도 시간의 흐름에 따라 새로운 지식을 습득할 수 있도록 하는 기반이 됩니다.

생물학적 시스템의 학습은 단순히 기존 지식을 새로운 정보로 지속적으로 대체하는 과정이 아닙니다. 신경계는 유용한 능력을 보존하면서도 새로운 경험을 받아들일 수 있을 만큼 충분한 유연성을 유지해야 합니다. 이는 안정성(Stability)과 가소성(Plasticity) 사이의 근본적인 긴장을 만들어냅니다. 안정성은 기존에 습득한 지식을 보호하고, 가소성은 새로운 상황에 대한 적응을 가능하게 합니다. 인공 지속 학습 역시 모델 파라미터(Model Parameters)가 기존 능력과 새롭게 등장한 작업을 동시에 지원해야 한다는 동일한 기본 문제에 직면합니다.

전통적인 머신러닝(Conventional Machine Learning)은 일반적으로 비교적 정적인 학습 과정(Stationary Training Process)을 가정합니다. 모델은 미리 정의된 데이터셋을 입력받고, 여러 반복에 걸쳐 최적화(Optimization)가 수행된 후 완성된 파라미터가 배포됩니다. 지속 학습은 순차적으로 들어오는 데이터, 변화하는 작업, 환경, 목표를 도입함으로써 이러한 가정을 변화시킵니다. 따라서 학습 시스템은 학습과 운영을 완전히 분리된 단계로 취급하는 대신 배포 이후에도 계속 적응할 수 있어야 합니다.

중요한 어려움 가운데 하나는 치명적 망각(Catastrophic Forgetting)으로, 새로운 정보를 학습하면서 신경망(Neural Network)이 이전에 습득한 능력을 잃어버리는 현상을 의미합니다. 경사 기반 최적화(Gradient-based Optimization)는 현재 데이터의 성능을 향상시키도록 파라미터를 수정하지만 동일한 파라미터가 이전 작업에 필요한 지식을 표현하고 있을 수도 있습니다. 중요한 표현을 보호하지 않고 업데이트하면 새로운 학습이 기존 해결책을 덮어쓰면서 이전에 성공적으로 수행했던 행동의 성능이 급격히 저하될 수 있습니다.

생물학적 가소성은 학습이 시스템의 모든 구성요소를 동일하게 수정하는 것이 아니라 선택적으로 이루어져야 한다는 점을 시사합니다. 일부 신경 연결은 비교적 안정적으로 유지되는 반면 다른 연결은 경험, 맥락(Context), 새로움(Novelty), 행동 관련성(Behavioral Relevance)에 따라 강하게 적응할 수 있습니다. 지속 학습 알고리즘 역시 새로운 정보가 들어올 때 어떤 파라미터, 표현, 기억 요소 또는 모듈을 안정적으로 유지하고 어떤 부분을 변경할 수 있는지를 결정하려고 합니다.

정규화 기반 지속 학습(Regularization-based Continual Learning)은 이전 작업에서 중요하다고 판단된 파라미터의 변화를 제한하여 기존 지식을 보호합니다. 모든 적응을 차단하는 대신 기존 능력을 크게 손상시킬 수 있는 변경에 페널티(Penalty)를 부여합니다. 중요도가 낮은 것으로 평가된 파라미터는 더 높은 유연성을 유지합니다. 이를 통해 모델의 서로 다른 부분이 서로 다른 수준의 가소성을 가질 수 있는 선택적 안정성(Selective Stability)의 계산적 근사치를 구현할 수 있습니다.

탄성 가중치 통합(Elastic Weight Consolidation)은 이러한 전략을 대표하는 사례입니다. 하나의 작업을 학습한 이후 시스템은 해당 작업에서 특히 중요했던 파라미터를 추정하고 이후 작업을 학습하는 동안 이러한 파라미터가 크게 변경되지 않도록 제한합니다. 새로운 작업은 상대적으로 중요도가 낮은 파라미터를 계속 수정할 수 있습니다. 이는 직접적인 생물학적 모델은 아니지만 파라미터 중요도를 이용하여 기존 지식의 유지와 새로운 능력의 습득 사이의 균형을 조절하는 방법을 보여줍니다.

재생 기반 접근법(Replay-based Approaches)은 이전 경험의 정보를 보존하고 이후 학습 과정에서 다시 제공함으로써 망각 문제를 해결합니다. 재생 버퍼(Replay Buffer)는 선택된 사례, 관측, 궤적(Trajectories), 작업 에피소드(Task Episodes)를 저장할 수 있습니다. 시스템이 새로운 데이터를 학습할 때 과거 경험을 함께 사용하면 최적화 과정에서 이전 작업에 관한 증거가 계속 제공됩니다. 이를 통해 현재의 데이터 분포가 파라미터 업데이트를 완전히 지배하는 것을 방지할 수 있습니다.

생성 재생(Generative Replay)은 대량의 원시 과거 데이터를 보존해야 하는 요구를 줄입니다. 대신 생성 모델(Generative Model)이 이전 데이터 분포의 특성을 학습하고 이후 과거 경험을 나타내는 합성 사례(Synthetic Examples)를 생성합니다. 이러한 생성 샘플을 현재 관측과 결합하여 학습할 수 있습니다. 이 접근법은 과거 경험에 대한 내부 모델이 이전 능력을 보존하는 메커니즘이 된다는 점에서 지속 학습과 생성 모델링(Generative Modeling)을 연결합니다.

저장 공간이 제한되어 있을 때는 기억 선택(Memory Selection)이 중요해집니다. 지속 학습 시스템은 지금까지 경험한 모든 관측을 반드시 보존할 수 있는 것은 아니므로 어떤 경험이 미래에 가장 높은 가치를 제공하는지를 결정해야 합니다. 대표적인 사례(Representative Examples), 희귀 사건(Rare Events), 실패 사례(Failure Cases), 경계 샘플(Boundary Samples), 불확실한 관측, 전략적으로 중요한 에피소드가 더 높은 우선순위를 가질 수 있습니다. 따라서 기억 관리(Memory Management)는 수동적인 저장 과정이 아니라 학습 알고리즘 자체의 일부가 됩니다.

아키텍처 기반 접근법(Architectural Approaches)은 서로 다른 작업이나 지식 영역에 서로 다른 계산 자원을 할당하는 또 다른 전략을 제공합니다. 학습이 진행됨에 따라 새로운 모듈(Modules), 서브네트워크(Subnetworks), 어댑터(Adapters), 전문가(Experts), 파라미터 그룹을 추가할 수 있습니다. 새로운 능력을 습득할 때 기존 구성요소를 광범위하게 수정할 필요가 줄어들기 때문에 간섭(Interference)을 감소시킬 수 있습니다. 그러나 모듈 사이의 효율적인 지식 공유를 유지하면서 아키텍처의 성장을 제어해야 한다는 문제가 발생합니다.

동적 아키텍처(Dynamic Architectures)는 안정성과 전문화(Specialization)를 결합할 수 있습니다. 자주 재사용되는 표현은 여러 작업에서 공유되는 상태로 유지되는 반면 작업 특화 구성요소(Task-specific Components)는 더욱 빠르게 적응할 수 있습니다. 라우팅 메커니즘(Routing Mechanisms)은 특정 입력이나 맥락을 어떤 모듈이 처리해야 하는지를 결정할 수 있습니다. 이러한 시스템은 서로 다른 기능, 학습률(Learning Rates), 가소성 수준을 가진 이질적인 구성요소가 지능형 계산에 유용할 수 있다는 보다 폭넓은 원리와 유사합니다.

희소 활성화(Sparse Activation)는 각각의 작업이나 맥락에서 네트워크의 일부만 강하게 활성화되도록 함으로써 간섭을 더욱 감소시킬 수 있습니다. 서로 다른 경험이 부분적으로 구분된 파라미터 그룹을 활성화한다면 하나의 능력을 학습하면서 다른 능력을 덮어쓸 가능성이 감소합니다. 전문가 혼합 아키텍처(Mixture-of-Experts Architectures), 조건부 계산(Conditional Computation), 학습된 라우팅(Learned Routing)은 이러한 원리를 대규모 시스템에서 구현하는 현대적인 메커니즘을 제공합니다.

메타학습(Meta-learning)은 시스템이 어떻게 적응해야 하는지를 학습하도록 함으로써 지속 학습을 확장합니다. 개별 작업의 성능만을 최적화하는 대신 미래의 적응이 더 빠르고 기존 지식을 덜 파괴하도록 표현, 업데이트 규칙(Update Rules), 초기화 상태(Initialization States), 학습률을 학습할 수 있습니다. 이는 고정된 해결책을 습득하는 것에서 벗어나 익숙하지 않은 상황에 효율적으로 대응할 수 있는 효과적인 학습 과정(Learning Process) 자체를 습득하는 방향으로 목표를 변화시킵니다.

가소성 자체도 시간에 따라 변화할 필요가 있습니다. 학습 초기에는 확립된 지식이 적기 때문에 상당한 수준의 적응이 유용할 수 있습니다. 이후에는 일부 표현이 안정화되어야 하는 반면 다른 구성요소는 계속 적응 가능한 상태를 유지해야 합니다. 적응형 학습률(Adaptive Learning Rates), 파라미터별 업데이트 규칙(Parameter-specific Update Rules), 신경조절 신호(Neuromodulatory Signals), 게이팅 메커니즘(Gating Mechanisms), 신뢰도 기반 학습(Confidence-dependent Learning)은 시스템 상태에 따라 서로 다른 수준의 가소성을 제공할 수 있습니다.

메타가소성(Metaplasticity)의 개념은 이러한 고차원적인 조절(Higher-order Regulation)을 설명합니다. 단순히 연결 강도의 변화만을 의미하는 것이 아니라 미래에 가소적 변화가 발생할 수 있는 능력이나 조건 자체의 변화를 의미합니다. 계산적으로 이는 AI 시스템이 모델 파라미터뿐만 아니라 언제, 어디에서, 어느 정도 강도로 파라미터를 업데이트해야 하는지도 학습할 수 있음을 시사합니다. 따라서 학습은 이전 적응의 이력과 중요도에 의해 조절되는 과정이 됩니다.

작업 경계(Task Boundaries)는 지속 학습 시스템에서 또 다른 중요한 구분을 도입합니다. 일부 실험 환경에서는 하나의 작업이 끝나고 다른 작업이 시작되는 시점을 모델에 명확하게 알려주지만 현실 환경에서는 이러한 경계가 명확하게 제공되는 경우가 드뭅니다. 자율 에이전트(Autonomous Agent)는 점진적인 분포 변화(Distribution Shifts), 예상하지 못한 상황, 새로운 객체, 변화하는 동역학(Dynamics), 새롭게 등장하는 목표를 경험할 수 있습니다. 따라서 실용적인 지속 학습은 데이터 자체에서 의미 있는 변화를 탐지할 수 있어야 합니다.

분포 변화(Distribution Shift)는 입력되는 관측의 통계적 특성이 이전 학습에서 경험했던 특성과 달라지는 경우 발생합니다. 강건한 지속 학습 시스템은 무해한 변동과 실제 적응이 필요한 변화를 구분할 수 있어야 합니다. 새로움 탐지(Novelty Detection), 불확실성 추정(Uncertainty Estimation), 예측 오류(Prediction Error), 분포 외 탐지(Out-of-distribution Detection)는 기존 표현이 현재 환경을 더 이상 적절하게 설명하지 못하고 있음을 나타내는 신호를 제공할 수 있습니다.

예측 오류는 지속 학습과 예측 처리(Predictive Processing) 사이에 자연스러운 연결을 제공합니다. 예측한 결과와 관측된 결과 사이의 지속적인 불일치는 환경 조건이 변화했다는 것을 나타낼 수 있습니다. 시스템은 예상하지 못한 사건이 발생할 때마다 전체 모델을 업데이트하는 대신 증거를 누적하고 영향을 받은 구성요소를 식별한 뒤 선택적으로 적응을 시작할 수 있습니다. 이를 통해 불필요한 학습을 줄이면서 실제 변화에는 적절하게 대응할 수 있습니다.

지속 학습은 기억 공고화(Memory Consolidation)와 밀접하게 연결됩니다. 새롭게 습득한 정보는 보다 안정적인 장기 지식(Long-term Knowledge)에 통합되기 전에 빠르게 적응할 수 있는 표현이나 일화 기억(Episodic Memory)에 일시적으로 저장될 수 있습니다. 재생(Replay), 오프라인 최적화(Offline Optimization), 요약(Summarization), 파라미터 공고화(Parameter Consolidation)를 통해 일시적인 경험을 점진적으로 지속적인 표현으로 변환할 수 있습니다. 이는 빠른 습득(Rapid Acquisition)과 느린 구조적 학습(Slower Structural Learning)을 분리하여 즉각적인 간섭을 감소시킵니다.

자기지도 학습(Self-supervised Learning)은 현실 세계의 시스템이 전체 운영 수명 동안 사람이 직접 레이블링한 데이터에 의존할 수 없기 때문에 지속적인 적응을 위한 중요한 메커니즘을 제공합니다. 미래 관측(Future Observations), 마스킹된 정보(Masked Information), 시간적 관계(Temporal Relationships), 멀티모달 대응(Multimodal Correspondence), 예측 목표(Prediction Targets)는 자동으로 학습 신호를 제공할 수 있습니다. 따라서 체화 에이전트(Embodied Agent)는 명시적인 감독이 부족한 상황에서도 자신의 상호작용 스트림으로부터 표현을 지속적으로 개선할 수 있습니다.

강화학습(Reinforcement Learning)은 가소성을 행동의 결과(Behavioral Consequences)와 연결함으로써 또 다른 형태의 적응을 제공합니다. 행동은 결과를 생성하고, 결과는 보상(Rewards)이나 예측 오류를 발생시키며, 이러한 신호가 어떤 행동을 변화시켜야 하는지를 결정합니다. 그러나 지속 학습 환경에서는 보상 구조(Reward Structure)나 환경 동역학 자체가 변화할 수 있습니다. 따라서 에이전트는 유용한 정책(Policies)을 보존하면서 새로운 목표, 제약조건, 운영 조건에 적응해야 합니다.

지속 학습은 물리적 환경이 본질적으로 비정상적(Nonstationary)이기 때문에 로보틱스(Robotics)와 피지컬 AI(Physical AI)에서 특히 중요합니다. 로봇 하드웨어는 마모되고, 페이로드(Payload)의 변화는 동역학을 변경하며, 센서는 드리프트(Sensor Drift)를 발생시키고, 조명과 날씨가 변화하며, 환경이 재배치되고 새로운 객체나 작업이 등장합니다. 한 번 학습한 뒤 영구적으로 고정된 로봇은 이러한 변화에 쉽게 대응할 수 없습니다. 따라서 지속적인 자율성(Persistent Autonomy)을 위해서는 전체 운영 수명에 걸친 통제된 적응(Controlled Adaptation)이 필요합니다.

현실 세계의 로봇 학습은 많은 벤치마크 환경보다 훨씬 엄격한 안전 요구사항(Safety Requirements)을 부과합니다. 부적절한 업데이트는 내비게이션(Navigation), 조작(Manipulation), 균형(Balance), 충돌 회피(Collision Avoidance)의 성능을 저하시킬 수 있습니다. 따라서 지속적인 적응에는 검증(Validation), 신뢰도 추정(Confidence Estimation), 안전 제약조건(Safety Constraints), 롤백 메커니즘(Rollback Mechanisms), 보호된 기본 제어기(Protected Baseline Controllers)가 포함되어야 합니다. 학습은 불안정한 업데이트로 필수적인 운영 기능을 손상시키지 않으면서 능력을 향상시켜야 합니다.

시뮬레이션(Simulation)은 제안된 적응을 실제 시스템에 배포하기 전에 평가할 수 있는 보호된 환경을 제공합니다. 새로운 정책이나 모델 업데이트를 다양한 시뮬레이션 조건, 과거 시나리오(Historical Scenarios), 실패 사례에서 먼저 시험할 수 있습니다. 사전에 정의된 성능 및 안전 기준을 충족하는 변경 사항만 물리적 시스템으로 전이할 수 있습니다. 이를 통해 온라인 경험(Online Experience), 오프라인 적응(Offline Adaptation), 시뮬레이션 검증(Simulation Validation), 통제된 배포(Controlled Deployment)를 연결하는 단계적 학습 과정이 형성됩니다.

멀티로봇 시스템(Multi-robot Systems)은 경험이 여러 에이전트에 분산될 수 있기 때문에 또 다른 차원을 도입합니다. 하나의 로봇이 다른 로봇은 아직 경험하지 못한 지형, 객체, 실패, 운영 상황을 경험할 수 있습니다. 공유 기억(Shared Memory), 연합 학습(Federated Learning), 분산 학습(Distributed Learning) 메커니즘을 통해 유용한 지식을 전체 플릿(Fleet)으로 확산시킬 수 있습니다. 그러나 한 로봇의 체화 형태(Embodiment)나 환경에서 얻은 경험을 다른 로봇에 적용하기 전에 실제로 전이 가능한지를 판단해야 합니다.

지속 학습에서는 적응이 실제로 시스템을 개선했는지를 평가하는 메커니즘도 필요합니다. 가장 최근 작업에서의 성능만으로는 충분하지 않은데, 새로운 성능 향상이 이전 능력의 저하를 감추고 있을 수 있기 때문입니다. 따라서 평가는 에이전트가 경험한 전체 시퀀스에 걸쳐 지식 유지(Retention), 순방향 전이(Forward Transfer), 역방향 전이(Backward Transfer), 적응 속도(Adaptation Speed), 메모리 사용량(Memory Consumption), 계산 비용(Computational Cost), 강건성(Robustness), 안전성을 함께 고려해야 합니다.

순방향 전이(Forward Transfer)는 이전에 습득한 지식이 새로운 작업의 학습을 가속하는 경우를 의미합니다. 역방향 전이(Backward Transfer)는 새로운 정보를 학습함으로써 이전 작업의 성능까지 향상되는 경우를 의미합니다. 이러한 효과는 단순히 망각을 방지하는 것보다 더 높은 수준의 목표를 나타냅니다. 효과적인 평생 학습 시스템(Lifelong Learner)은 재사용 가능한 표현과 기술(Skills)을 점진적으로 구축하여 축적된 경험이 미래 학습을 더 쉽게 만들고 이상적으로는 기존 능력까지 개선하도록 해야 합니다.

생물학적 가소성과 인공 지속 학습의 관계는 문자 그대로의 대응이 아니라 기능적 관계로 해석해야 합니다. 생물학적 뇌에는 시냅스 가소성(Synaptic Plasticity), 구조적 변화(Structural Change), 신경조절(Neuromodulation), 수면(Sleep), 재생, 항상성(Homeostasis)을 비롯한 다양한 학습 과정이 상호작용합니다. 인공 시스템은 정규화, 재생 버퍼, 모듈형 아키텍처(Modular Architectures), 최적화 알고리즘, 외부 기억(External Memory)을 사용합니다. 실제 메커니즘은 서로 다르지만 가치 있는 기존 지식을 파괴하지 않으면서 적응해야 한다는 공통된 문제를 해결합니다.

궁극적으로 가소성에서 지속 학습으로 이어지는 가교(Plasticity-to-Continual-Learning Bridge)는 지능을 일회성 최적화 문제(One-time Optimization Problem)가 아니라 지속적으로 발전하는 과정(Ongoing Developmental Process)으로 재정의합니다. 안정적인 지식은 적응 가능한 표현과 공존해야 하고, 기억은 전략적으로 유용한 경험을 보존해야 하며, 학습 메커니즘은 의미 있는 변화에 선택적으로 반응해야 합니다. 이러한 원리가 예측(Prediction), 기억(Memory), 강화학습, 월드 모델(World Models), 체화 상호작용(Embodied Interaction)과 결합되면 지속 학습은 전체 운영 수명(Operational Lifetime)에 걸쳐 스스로 발전할 수 있는 AI 시스템의 기반을 제공합니다.

06.08 From Neuroscience to AGI [w/Code]

신경과학(Neuroscience)은 생물학적 뇌(Biological Brains)가 하나의 통합된 시스템 안에서 유연한 학습(Flexible Learning), 지각(Perception), 기억(Memory), 추론(Reasoning), 계획(Planning), 적응적 행동(Adaptive Behavior)을 구현한다는 점에서 범용 인공지능(Artificial General Intelligence, AGI)을 생각하는 데 중요한 원리를 제공합니다. AGI가 뇌를 문자 그대로 복제할 필요는 없지만, 신경과학은 변화하는 작업, 환경, 시간 척도 전반에서 일관된 행동을 유지하면서 전문화된 처리 과정을 조정하는 계산 전략(Computational Strategies)을 보여줍니다.

인간 지능(Human Intelligence)은 하나의 고립된 인지 메커니즘이 아니라 분산 네트워크(Distributed Networks)에서 나타납니다. 지각, 주의(Attention), 기억, 행동(Action), 감정(Emotion), 의사결정(Decision Making)은 순환적 신경 활동(Recurrent Neural Activity)을 통해 지속적으로 상호작용합니다. 이는 AGI가 모든 인지 기능을 동일한 방식으로 수행하는 하나의 균질한 모델(Homogeneous Model)에 의존하기보다 여러 전문화된 서브시스템(Specialized Subsystems)이 정보를 동적으로 교환하는 통합 아키텍처(Integrated Architecture)를 필요로 할 수 있음을 시사합니다.

계층적 처리(Hierarchical Processing)는 신경과학과 AGI 사이의 중요한 가교를 제공합니다. 생물학적 시스템은 감각 특징(Sensory Features)과 국소 패턴(Local Patterns)에서부터 객체, 상황, 개념, 목표, 추상적 관계(Abstract Relationships)에 이르기까지 여러 수준에서 정보를 표현합니다. 인공 시스템도 유사하게 표현을 계층적으로 구성하여 하위 수준의 지각이 상위 수준의 추론을 지원하고, 상위 수준의 맥락이 들어오는 정보를 해석하는 방식에 영향을 주도록 할 수 있습니다.

순환 처리(Recurrent Processing)는 정보가 피드포워드 파이프라인(Feed-forward Pipeline)을 통해 한 방향으로만 이동하는 것이 아니라 순환하도록 함으로써 이러한 계층 구조를 확장합니다. 뇌는 새로운 감각 증거(Sensory Evidence), 기억, 기대(Expectations), 목표가 제공됨에 따라 해석을 지속적으로 수정합니다. AGI 시스템 역시 의사결정이나 행동을 확정하기 전에 중간 가설(Intermediate Hypotheses)을 평가하고 수정하며 정교화하는 반복적 계산(Iterative Computation)을 통해 이점을 얻을 수 있습니다.

주의(Attention)는 제한된 계산 자원(Computational Resources)을 현재 중요한 정보에 할당하는 메커니즘을 제공합니다. 생물학적 유기체는 매 순간 동일하게 처리할 수 있는 양보다 훨씬 많은 감각 정보와 내부 정보를 받아들입니다. 선택적 주의(Selective Attention)는 목표, 새로움(Novelty), 불확실성(Uncertainty), 맥락에 따라 관련 신호의 우선순위를 결정합니다. 인공 주의 메커니즘(Artificial Attention Mechanisms)도 대규모 표현과 긴 시퀀스(Long Sequences)에서 유용한 정보를 동적으로 강조할 수 있도록 합니다.

전역 작업공간 이론(Global Workspace Theories)은 또 다른 유용한 아키텍처적 영감을 제공합니다. 전문화된 처리 과정은 국소적으로 작동할 수 있지만 선택된 정보는 여러 인지 시스템에서 전역적으로 이용될 수 있습니다. 인공 아키텍처에서는 공유 작업공간(Shared Workspace)을 통해 지각, 언어(Language), 기억, 계획, 행동 모듈이 작업과 관련된 표현을 교환할 수 있습니다. 이러한 조정은 개별적으로 학습되었지만 복잡한 문제 해결에서 함께 작동해야 하는 능력들을 유연하게 결합하도록 지원할 수 있습니다.

기억(Memory)은 일반 지능(General Intelligence)이 현재 입력을 처리하는 것 이상을 요구하기 때문에 필수적입니다. 작업 기억(Working Memory)은 즉각적인 추론에 필요한 정보를 유지하고, 일화 기억(Episodic Memory)은 특정 경험을 보존하며, 의미 기억(Semantic Memory)은 일반화된 지식을 표현하고, 절차 기억(Procedural Memory)은 학습된 기술(Skills)을 지원합니다. AGI 아키텍처 역시 모든 정보를 고정된 모델 파라미터(Model Parameters)에 압축하는 방식에만 의존하기보다 여러 기억 시스템이 상호작용하는 구조를 필요로 할 수 있습니다.

기억 검색(Memory Retrieval) 역시 선택적이고 맥락에 민감해야 합니다. 지능형 시스템은 현재 문제와 관련된 정보를 검색하면서 관련 없는 경험으로 인한 간섭(Interference)을 피해야 합니다. 연상 검색(Associative Retrieval), 유사도 검색(Similarity Search), 맥락적 단서(Contextual Cues), 학습된 기억 접근(Learned Memory Access)은 유용한 지식을 재구성하는 메커니즘을 제공할 수 있습니다. 외부 기억 시스템(External Memory Systems)은 계산 모델의 즉각적인 컨텍스트 윈도(Context Window)를 넘어 이용할 수 있는 실질적인 지식의 범위를 더욱 확장할 수 있습니다.

예측으로부터의 학습(Learning from Prediction)은 또 다른 중요한 연결을 제공합니다. 예측 처리 이론(Predictive-processing Theories)은 뇌가 감각 입력을 지속적으로 예측하고 관측이 기대와 다를 때 내부 모델(Internal Models)을 업데이트한다고 제안합니다. 인공 시스템은 예측을 자기지도 학습 신호(Self-supervised Learning Signal)로 활용하여 모든 개념이나 상황에 명시적인 인간 레이블(Human Labels)을 요구하지 않고도 언어, 이미지, 비디오, 센서 스트림(Sensor Streams), 행동 시퀀스(Action Sequences)로부터 구조를 학습할 수 있습니다.

생성 모델(Generative Models)은 가능한 원인, 관측 또는 미래를 표현함으로써 예측 학습(Predictive Learning)을 확장합니다. 지능형 시스템은 현재 존재하는 것을 인식하는 데 그치지 않고 누락된 정보를 재구성하고, 대안을 상상하며, 잠재적인 결과를 시뮬레이션할 수 있습니다. 이러한 능력은 에이전트가 외부 세계에서 실제 행동을 수행하기 전에 가능한 상황을 내부적으로 평가할 수 있기 때문에 계획과 반사실적 추론(Counterfactual Reasoning)을 지원합니다.

월드 모델(World Models)은 체화 AGI(Embodied AGI)를 위한 특히 중요한 기반을 제공합니다. 월드 모델은 환경의 관련 개체(Entities), 관계(Relationships), 동역학(Dynamics), 가능한 상태 전이(State Transitions)를 표현합니다. 행동이 미래 상태를 어떻게 변화시키는지를 예측함으로써 에이전트는 내부 시뮬레이션(Internal Simulation)을 통해 계획할 수 있습니다. 이러한 모델은 세계를 이해한다는 것이 무엇이 발생할 수 있는지뿐만 아니라 에이전트가 그 결과에 어떻게 영향을 줄 수 있는지를 이해하는 것까지 포함하기 때문에 지각과 행동을 연결합니다.

강화학습(Reinforcement Learning)은 행동의 결과로부터 행동을 개선하는 능력을 제공합니다. 보상 예측 오류(Reward Prediction Errors)는 결과가 기대보다 좋았는지 또는 나빴는지를 나타내는 계산 신호를 제공합니다. 강화학습은 예측 모델과 기억을 결합하여 에이전트가 경험에 따라 정책(Policies)을 적응하도록 합니다. 그러나 일반 지능은 유연한 목표(Flexible Objectives)를 필요로 하는데, 유용한 행동을 하나의 영구적으로 고정된 보상 함수(Reward Function)를 최대화하는 문제로만 축소할 수 없기 때문입니다.

내재적 동기(Intrinsic Motivation)는 명시적인 외부 보상이 부족한 경우에도 학습할 수 있는 메커니즘을 제공합니다. 호기심(Curiosity), 새로움, 불확실성 감소(Uncertainty Reduction), 정보 이득(Information Gain), 능숙도(Competence)는 에이전트가 환경을 탐색하고 폭넓게 유용한 지식을 습득하도록 장려할 수 있습니다. 이러한 메커니즘은 특정 외부 작업이 요구되기 전에 AGI 시스템이 재사용 가능한 표현과 기술을 개발하는 데 도움을 줄 수 있습니다.

신경 가소성(Neural Plasticity)은 지능형 시스템의 전체 수명에 걸친 적응의 중요성을 강조합니다. 생물학적 지능은 초기 학습 기간이 끝난 뒤 학습을 중단하지 않습니다. 지속 학습 시스템(Continual-learning Systems) 역시 기존 능력을 유지하면서 새로운 지식을 습득해야 합니다. 치명적 망각(Catastrophic Forgetting)을 방지하려면 재생(Replay), 공고화(Consolidation), 모듈성(Modularity), 선택적 파라미터 업데이트(Selective Parameter Updates) 등을 활용하여 적응을 위한 가소성과 보존을 위한 안정성(Stability)의 균형을 유지해야 합니다.

메타학습(Meta-learning)은 개별 작업을 학습하는 것에서 어떻게 학습해야 하는지를 학습하는 것으로 이러한 개념을 확장합니다. 지능형 에이전트는 이전 경험을 이용하여 미래 적응의 속도와 효율성을 향상시켜야 합니다. 표현, 학습률(Learning Rates), 업데이트 메커니즘(Update Mechanisms), 탐색 전략(Exploration Strategies), 기억 정책(Memory Policies) 자체가 학습 가능한 구성요소가 될 수 있습니다. 이를 통해 축적된 경험은 시스템이 무엇을 알고 있는지뿐만 아니라 새로운 지식을 어떻게 습득하는지도 변화시킬 수 있습니다.

조합성(Compositionality)은 일반 지능의 또 다른 중요한 특성입니다. 인간은 모든 조합을 독립적으로 다시 학습하지 않고도 익숙한 개념과 기술을 새로운 방식으로 결합할 수 있습니다. AGI에 접근하는 인공 시스템 역시 재사용 가능한 표현, 절차(Procedures), 하위 목표(Subgoals)를 이용하여 복잡한 행동을 구성할 수 있어야 합니다. 조합적 아키텍처(Compositional Architectures)는 한 맥락에서 습득한 지식을 새로운 문제를 해결하기 위한 구성요소로 사용할 수 있기 때문에 일반화(Generalization)를 향상시킬 수 있습니다.

추상화(Abstraction)는 지능이 특정 감각 사례를 넘어 작동하도록 합니다. 뇌는 서로 다른 상황에서도 유용하게 유지되는 관계와 원리를 식별할 수 있습니다. AGI에는 본질적인 구조를 관련 없는 변화로부터 분리하는 표현이 필요하며, 이를 통해 작업, 환경, 모달리티(Modalities), 체화 형태(Embodiments) 사이의 전이(Transfer)를 가능하게 해야 합니다. 계층적 표현(Hierarchical Representations)과 관계적 추론(Relational Reasoning)은 점점 더 일반적인 추상화를 구축하는 메커니즘을 제공합니다.

인과 추론(Causal Reasoning)은 통계적 상관관계(Statistical Correlations)를 탐지하는 것 이상으로 확장됩니다. 실제 세계에서 작동하는 지능형 에이전트는 개입(Interventions)이 결과를 어떻게 변화시킬 수 있는지를 이해하고, 단순한 우연과 신뢰할 수 있는 행동을 지원하는 메커니즘을 구분해야 합니다. 신경과학이 인과 지능(Causal Intelligence)에 대한 완전한 계산적 해결책을 제공하는 것은 아니지만, 환경과의 능동적 상호작용은 행동, 관측, 실험(Experimentation)이 유용한 인과 모델(Causal Models)을 구축하는 데 중요함을 시사합니다.

체화(Embodiment)는 생물학적 지능이 지속적인 감각운동 상호작용(Sensorimotor Interaction)을 통해 발달하기 때문에 이러한 연결을 더욱 강화합니다. 지각과 행동은 독립적인 과정이 아닙니다. 행동은 미래의 관측을 결정하고 감각적 결과는 이후의 행동을 변화시킵니다. 체화 AI(Embodied AI)는 에이전트가 정적인 데이터셋에만 의존하지 않고 물리적 또는 시뮬레이션 환경과 상호작용하면서 개념을 학습하도록 함으로써 이러한 원리를 적용합니다.

감각운동 학습(Sensorimotor Learning)은 추상적 표현(Abstract Representations)을 실제 결과에 기반하도록 만들 수 있습니다. 거리(Distance), 지지(Support), 포함(Containment), 저항(Resistance), 도달 가능성(Reachability), 객체 영속성(Object Permanence)과 같은 개념은 에이전트가 행동으로 환경이 어떻게 변화하는지를 관측할 때 의미를 갖게 됩니다. 따라서 물리적 상호작용(Physical Interaction)은 언어와 시각 데이터를 보완하는 학습 신호를 제공하여 상징적 지식(Symbolic Knowledge)과 현실 세계의 동역학 사이의 연결을 향상시킬 가능성이 있습니다.

멀티모달 통합(Multimodal Integration) 역시 생물학적 인지가 시각(Vision), 청각(Hearing), 촉각(Touch), 고유수용감각(Proprioception), 언어, 기억, 내부 상태(Internal State)를 결합하기 때문에 중요합니다. AGI 시스템은 여러 정보원을 공통된 사건과 개체에 대한 표현으로 통합할 수 있어야 합니다. 교차 모달 예측(Cross-modal Prediction)은 각각의 모달리티가 다른 모달리티의 불완전하거나 모호한 정보를 해석하는 데 도움이 되는 제약조건을 제공하기 때문에 이러한 표현을 강화할 수 있습니다.

계획(Planning)은 지능이 여러 시간 척도(Timescales)에 걸쳐 작동하도록 요구합니다. 즉각적인 감각운동 제어(Sensorimotor Control)는 밀리초 수준의 반응을 요구할 수 있지만, 내비게이션(Navigation), 작업 수행(Task Execution), 전략(Strategy), 장기 목표(Long-term Objectives)는 점차 더 긴 시간 범위에서 진행됩니다. 계층적 계획(Hierarchical Planning)은 상위 수준 시스템이 목표를 설정하고 하위 수준 제어기(Lower-level Controllers)가 이를 실행 가능한 행동으로 변환하도록 하여 이러한 시간 척도를 조직할 수 있습니다.

에이전시(Agency)는 목표, 모델, 의사결정, 행동, 관측 사이에 폐루프(Closed Loop)를 형성합니다. 지능형 에이전트는 단순히 세계를 예측하는 것이 아니라 세계를 변화시키는 행동을 선택한 뒤 그 결과로부터 학습합니다. 이러한 지각-행동 순환(Perception-action Cycle)은 체화 에이전트를 수동적인 예측 시스템과 구분하며, 능동적 정보 수집(Active Information Gathering), 실험, 적응, 자율적인 기술 습득(Autonomous Skill Acquisition)의 기회를 제공합니다.

사회적 인지(Social Cognition)는 일반 지능에 또 다른 차원을 제공합니다. 인간은 관찰(Observation), 의사소통(Communication), 모방(Imitation), 협력(Cooperation), 공유된 문화적 지식(Shared Cultural Knowledge)을 통해 학습합니다. 인공 에이전트 역시 고립된 시행착오(Trial and Error)에만 의존하지 않고 인간과 다른 에이전트로부터 학습함으로써 이점을 얻을 수 있습니다. 이러한 맥락에서 언어는 지식, 목표, 설명, 절차를 효율적으로 전달할 수 있기 때문에 특히 강력한 역할을 수행합니다.

메타인지(Metacognition)는 자신의 인지 과정을 평가하는 능력과 관련됩니다. 고도화된 인공 에이전트는 불확실성을 추정하고, 지식이 부족한 상황을 인식하며, 오류를 탐지하고, 대안 전략을 평가하며, 추가 정보가 필요한 시점을 결정할 수 있어야 합니다. 이러한 능력은 시스템이 모든 내부 예측이나 생성된 답변을 동일하게 신뢰할 필요가 없도록 함으로써 신뢰성(Reliability)을 향상시킬 수 있습니다.

시스템이 더 폭넓은 자율성(Autonomy)을 갖게 될수록 안전(Safety)은 더욱 중요해집니다. 유연한 학습과 적응은 사전에 완전히 명세하기 어려운 행동이 나타날 가능성을 만듭니다. 따라서 AGI 아키텍처에는 제약조건(Constraints), 불확실성 인식(Uncertainty Awareness), 모니터링(Monitoring), 검증(Validation), 제어 가능한 목표(Controllable Objectives), 인간 감독(Human Oversight)을 위한 메커니즘이 필요합니다. 신뢰할 수 있는 제어가 없는 일반적인 능력만으로는 현실 세계의 지능을 위한 충분한 공학적 해결책이 될 수 없습니다.

에너지 효율성(Energy Efficiency) 역시 신경과학에서 얻을 수 있는 중요한 교훈을 제공합니다. 생물학적 뇌는 엄격한 전력 및 자원 제약조건 아래에서도 뛰어난 적응 능력을 구현합니다. 미래의 AGI 시스템 역시 희소 계산(Sparse Computation), 이벤트 기반 처리(Event-driven Processing), 모듈형 활성화(Modular Activation), 효율적인 기억 접근(Efficient Memory Access), 특화 하드웨어(Specialized Hardware)를 필요로 할 수 있습니다. 계산량을 지속적으로 증가시키는 방식만으로 확장되는 지능은 자율 시스템과 체화 시스템에 배포하기 어려워질 수 있습니다.

어떠한 단일 신경과학 영감 메커니즘(Neuroscience-inspired Mechanism)도 독립적으로 AGI를 구현할 가능성은 높지 않습니다. 기억이 없는 주의는 경험을 유지할 수 없고, 지속 학습이 없는 기억은 정적인 상태가 되며, 행동이 없는 예측은 수동적인 처리에 머물고, 월드 모델이 없는 강화학습은 지나치게 많은 상호작용을 필요로 할 수 있습니다. 신경과학이 제공하는 더욱 중요한 교훈은 통합(Integration)이며, 전문화된 메커니즘들이 지속적으로 적응하는 하나의 시스템 안에서 협력한다는 것입니다.

이러한 통합은 지각이 멀티모달 표현(Multimodal Representations)을 구성하고, 주의가 관련 정보를 선택하며, 기억이 과거 경험을 제공하고, 월드 모델이 가능한 미래를 예측하며, 추론이 대안을 평가하고, 강화학습이 행동과 결과를 연결하는 아키텍처를 시사합니다. 지속 학습은 이러한 구성요소들을 시간에 따라 업데이트하고, 메타인지와 안전 메커니즘은 불확실성, 적응, 실행(Execution)을 감독합니다.

그러나 신경과학과 AGI 사이의 관계는 과학적으로 신중하게 다루어야 합니다. 생물학적 지능에 대한 현재의 이해는 아직 불완전하며, 인공 신경망(Artificial Neural Networks)은 뇌를 충실하게 시뮬레이션한 것이 아니라 매우 단순화된 추상화입니다. 따라서 신경과학은 인공지능이 직접적으로 복제해야 하는 청사진(Blueprint)이 아니라 계산 원리, 가설(Hypotheses), 아키텍처적 영감(Architectural Inspiration)의 원천으로 다루어져야 합니다.

궁극적으로 신경과학에서 AGI로 이어지는 가교(Neuroscience-to-AGI Bridge)는 지능을 통합적이고, 적응적이며, 예측적이고, 풍부한 기억을 가지며, 행동 지향적인 과정(Action-oriented Process)으로 바라보도록 합니다. 일반 지능에는 지속적으로 학습하고, 지식을 전이하며, 추상화를 구축하고, 가능한 미래를 모델링하며, 불확실성 아래에서 추론하고, 변화하는 목표를 향해 행동할 수 있는 시스템이 필요합니다. 이러한 능력들을 통합하는 것은 전문화된 AI(Specialized AI)에서 다양한 환경에서 학습하고 작동할 수 있는 더욱 일반적인 에이전트(General Agents)로 발전하는 하나의 경로를 제공할 수 있습니다.

06.09 From Internal Models to AI World Models [w/Code]

내부 모델(Internal Models)은 관련 정보가 감각(Senses)을 통해 즉시 제공되지 않는 상황에서도 뇌가 외부 세계, 신체, 그리고 진행 중인 상호작용에 대한 표현(Representations)을 유지하는 능력을 설명합니다. 지능형 시스템은 현재 자극에만 반응하는 대신 축적된 경험을 활용하여 숨겨진 상태(Hidden States)를 추정하고, 변화를 예상하며, 가능한 결과를 평가할 수 있습니다. 이러한 원리는 생물학적 인지(Biological Cognition)에서 AI 월드 모델(AI World Models)로 이어지는 중요한 개념적 가교를 제공합니다.

내부 모델은 현실의 모든 물리적 세부사항을 그대로 재현할 필요가 없습니다. 그 목적은 지각(Perception), 예측(Prediction), 의사결정(Decision Making), 행동(Action)에 유용한 정보를 보존하는 것입니다. 생물학적 유기체는 제한된 감각 접근과 계산 자원(Computational Resources)으로 작동하므로 행동과 관련된 구조(Behaviorally Relevant Structure)를 강조해야 합니다. AI 월드 모델 역시 전체 환경을 동일한 정밀도로 재구성하기보다 작업과 관련된 상태와 관계를 표현함으로써 이점을 얻을 수 있습니다.

내부 모델의 중요한 기능 가운데 하나는 상태 추정(State Estimation)입니다. 감각 관측(Sensory Observations)은 불완전하거나 노이즈가 포함되거나 지연되거나 모호한 경우가 많으며, 환경의 중요한 속성 가운데 상당수는 직접 관측할 수 없습니다. 따라서 지능형 에이전트(Intelligent Agent)는 현재 관측을 사전 지식(Prior Knowledge)과 이전 상태와 결합하여 현재 무엇이 일어나고 있는지를 추론합니다. AI 시스템은 잠재 상태 추정(Latent-state Estimation), 필터링(Filtering), 순환 표현(Recurrent Representations), 확률적 추론(Probabilistic Inference), 학습된 상태 공간 모델(Learned State-space Models)을 통해 이와 관련된 개념을 구현합니다.

잠재 표현(Latent Representations)은 원시 감각 데이터(Raw Sensory Data)가 막대한 양의 세부 정보를 포함하기 때문에 특히 유용합니다. 이미지, 라이다(LiDAR) 측정값, 오디오(Audio), 촉각 신호(Tactile Signals), 고유수용감각(Proprioception)은 예측과 제어에 필요한 정보를 유지하는 압축된 내부 상태(Compact Internal States)로 변환될 수 있습니다. 잘 설계된 잠재 공간(Latent Space)은 원시 센서 스트림을 직접 추론하는 계산 부담을 줄이면서 객체, 기하 구조(Geometry), 움직임(Motion), 상호작용 가능성(Interaction Possibilities), 불확실성(Uncertainty)을 표현할 수 있습니다.

내부 모델은 시간에 따른 예측도 지원합니다. 현재 상태에는 다음에 무엇이 일어날 수 있는지에 관한 정보가 포함되어 있지만, 미래 결과는 환경 동역학(Environmental Dynamics)과 에이전트의 행동에 따라 달라집니다. 예측 모델(Predictive Model)은 한 상태에서 다른 상태로의 전이(Transitions)를 추정하여 시스템이 움직임, 객체 행동(Object Behavior), 환경 변화, 개입(Intervention)의 결과를 예상하도록 합니다. 이러한 시간적 구조(Temporal Structure)는 정적인 표현을 변화하는 세계의 모델로 전환합니다.

자율 에이전트는 환경을 단순히 관측하는 것이 아니라 움직임, 조작(Manipulation), 의사소통(Communication), 기타 개입을 통해 환경을 변화시키기 때문에 행동은 월드 모델에서 필수적입니다. 행동 조건부 월드 모델(Action-conditioned World Model)은 미래 상태가 현재 상태와 선택된 행동 모두에 어떻게 의존하는지를 예측합니다. 이를 통해 제어 가능한 동역학(Controllable Dynamics)에 대한 내부 표현을 구축하고, 수동적인 환경 변화와 자신의 행동으로 발생한 결과를 구분할 수 있습니다.

순방향 모델(Forward Models)은 이러한 원리를 보여주는 대표적인 사례입니다. 현재 상태와 행동이 주어지면 순방향 모델은 그 결과로 발생하는 다음 상태 또는 감각적 결과(Sensory Consequence)를 예측합니다. 생물학적 운동 제어(Biological Motor Control)에서도 움직임의 효과를 예상하는 관련 메커니즘이 논의됩니다. AI와 로보틱스(Robotics)에서는 실제 물리적 행동이 완료되기 전에 로봇 움직임, 객체 변위(Object Displacement), 접촉 결과(Contact Outcomes), 센서 관측, 환경 상태 변화를 예측할 수 있습니다.

역모델(Inverse Models)은 이와 상보적인 문제를 다룹니다. 행동의 결과를 예측하는 대신 원하는 상태 전이나 결과를 만들어낼 수 있는 행동이 무엇인지를 추정합니다. 따라서 순방향 모델과 역모델은 협력할 수 있습니다. 하나는 행동이 상태를 어떻게 변화시키는지를 예측하고, 다른 하나는 목표 상태(Target States)에 도달할 수 있는 행동을 식별하도록 지원합니다. 현대 AI에서는 이러한 기능을 명시적으로 구현하거나 정책(Policies), 플래너(Planners), 생성 모델(Generative Models) 내부에서 암묵적으로 학습할 수 있습니다.

예측 오류(Prediction Errors)는 내부 모델이 경험을 통해 개선될 수 있도록 합니다. 행동을 실행한 이후 예측한 결과를 실제 관측과 비교할 수 있습니다. 두 결과 사이의 차이는 현재 환경 동역학 표현의 부정확성을 나타냅니다. 반복적인 수정 과정을 통해 모델은 익숙하지 않은 객체, 변화하는 지형(Terrain), 센서 드리프트(Sensor Drift), 변경된 페이로드(Payload), 기계적 마모(Mechanical Wear), 기존 예측의 신뢰성을 떨어뜨리는 다양한 조건에 적응할 수 있습니다.

확률적 월드 모델(Probabilistic World Models)은 모든 상태 전이가 하나의 결정론적 결과(Deterministic Outcome)를 갖는다고 가정하는 대신 불확실성을 표현함으로써 예측을 확장합니다. 실제 환경에는 불완전한 정보, 확률적 사건(Stochastic Events), 숨겨진 변수(Hidden Variables), 미래 행동을 알 수 없는 다른 에이전트가 존재합니다. 여러 가능한 미래를 표현하면 AI 시스템은 신뢰도(Confidence)를 추정하고 위험(Risk)을 비교하며 불확실한 결과에서도 유용한 행동을 선택할 수 있습니다.

부분 관측 가능성(Partial Observability)은 기억(Memory)을 필수적으로 만듭니다. 에이전트가 한순간에 환경의 전체 상태를 결정하는 데 필요한 모든 것을 관측하는 경우는 드뭅니다. 따라서 이전 관측을 현재의 감각 증거(Sensory Evidence)와 통합하여 숨겨진 객체, 위치, 의도(Intentions), 동역학에 대한 믿음(Beliefs)을 유지할 수 있습니다. 순환 신경망(Recurrent Networks), 외부 기억(External Memory), 믿음 상태(Belief States), 시간적 잠재 표현(Temporal Latent Representations)은 이러한 연속성을 유지하기 위한 계산 메커니즘을 제공합니다.

공간 월드 모델(Spatial World Models)은 개체가 어디에 존재하며 기하학적으로 어떻게 관련되는지를 표현합니다. 계량 지도(Metric Maps)는 거리와 좌표를 표현하고, 위상 표현(Topological Representations)은 연결성을 나타내며, 의미 지도(Semantic Maps)는 위치를 객체 또는 기능적 의미(Functional Meaning)와 연결할 수 있습니다. 체화 에이전트(Embodied Agents)에게 이러한 표현은 위치 추정(Localization), 내비게이션(Navigation), 탐색(Exploration), 객체 검색(Object Search), 조작, 현재 시야(Field of View) 밖에 있는 영역에 대한 추론을 지원합니다.

월드 모델은 의미적 및 관계적 구조(Semantic and Relational Structure)를 표현함으로써 기하학을 넘어 확장될 수 있습니다. 에이전트는 특정 객체가 컨테이너(Container)이고, 문(Door)이 두 공간을 연결하며, 도구(Tool)가 다른 객체를 조작할 수 있고, 특정 영역이 이동에 제약조건(Constraints)을 부과한다는 것을 이해해야 할 수 있습니다. 그래프 표현(Graph Representations), 객체 중심 모델(Object-centric Models), 장면 구조(Scene Structures), 관계형 네트워크(Relational Networks)는 이러한 구조화된 지식을 인코딩하는 메커니즘을 제공합니다.

객체 중심 월드 모델(Object-centric World Models)은 구분되지 않은 감각 특징 대신 지속적으로 존재하는 개체(Persistent Entities)를 통해 환경을 표현하려고 합니다. 객체는 정체성(Identity), 위치, 움직임, 속성(Attributes), 어포던스(Affordances), 다른 개체와의 관계를 가질 수 있습니다. 시간에 따라 객체 연속성(Object Continuity)을 유지하면 변화를 원시 관측의 임의적인 변화가 아니라 식별 가능한 구성요소의 변환(Transformations)으로 표현할 수 있기 때문에 예측과 추론을 더욱 체계적으로 수행할 수 있습니다.

어포던스(Affordances)는 표현을 가능한 행동과 직접 연결합니다. 객체는 시각적 외형뿐만 아니라 에이전트가 그것을 이용해 무엇을 할 수 있는가에 의해서도 중요성을 갖습니다. 표면은 물체 배치를 지원하고, 손잡이(Handle)는 당기는 행동을 가능하게 하며, 개방된 공간은 이동을 허용할 수 있습니다. 어포던스를 표현하는 월드 모델은 지각, 물리적 제약조건(Physical Constraints), 작업 목표(Task Goals), 행동 계획(Action Planning)을 공통된 예측 프레임워크 안에서 연결할 수 있습니다.

환경 동역학의 학습은 관측 공간(Observation Space)이나 잠재 공간에서 수행할 수 있습니다. 미래 이미지나 센서 측정값을 직접 예측하면 풍부한 세부 정보를 유지할 수 있지만 계산 비용이 높고 관련성이 낮은 변화에 모델 용량을 사용할 수 있습니다. 반면 잠재 동역학 모델(Latent Dynamics Models)은 압축된 표현의 변화를 예측합니다. 잠재 변수가 의사결정에 중요한 정보를 유지한다면 장기 예측(Long-horizon Prediction)을 더욱 효율적으로 수행할 수 있습니다.

자기지도 학습(Self-supervised Learning)은 시간적 상호작용(Temporal Interaction)이 자연스럽게 예측 목표(Prediction Targets)를 제공하기 때문에 월드 모델을 확장 가능하게 학습하는 방법을 제공합니다. 모델은 모든 샘플에 수동 레이블(Manual Labels)을 요구하지 않고 미래 관측, 마스킹된 감각 정보(Masked Sensory Information), 상태 전이, 교차 모달 신호(Cross-modal Signals), 행동의 결과를 예측할 수 있습니다. 따라서 대규모 비디오, 로봇 궤적(Robot Trajectories), 센서 로그(Sensor Logs), 상호작용 데이터가 환경 구조를 학습하는 훈련 자료가 될 수 있습니다.

생성 모델링(Generative Modeling)은 여러 개의 그럴듯한 상태나 미래를 생성할 수 있도록 함으로써 월드 모델을 더욱 확장합니다. 자기회귀 모델(Autoregressive Models), 변분 접근법(Variational Approaches), 확산 모델(Diffusion Models), 기타 생성 기법은 하나의 예측이 아니라 복잡한 분포(Complex Distributions)를 표현할 수 있습니다. 월드 모델링에서 생성은 에이전트가 대안을 상상하고, 관측되지 않은 정보를 재구성하며, 행동을 결정하기 전에 가능한 궤적을 시뮬레이션해야 할 때 유용합니다.

월드 모델이 행동 조건부 미래(Action-conditioned Futures)를 예측할 수 있게 되면 계획(Planning)이 자연스럽게 나타납니다. 에이전트는 후보 행동 시퀀스(Candidate Action Sequences)를 생성하고, 가능한 결과를 시뮬레이션하고, 예측된 결과를 평가하여 유망한 계획을 선택할 수 있습니다. 모델 예측 제어(Model Predictive Control)는 이동하는 시간 범위(Moving Horizon)에 대해 이러한 과정을 반복하며 계획의 일부를 실행한 뒤 새로운 관측이 들어오면 다시 계획합니다. 이를 통해 내부 시뮬레이션과 현실 세계의 피드백이 긴밀하게 연결됩니다.

장기 계획(Long-horizon Planning)은 시간이 지날수록 예측 오류가 누적되기 때문에 추가적인 문제를 발생시킵니다. 초기 시뮬레이션 상태의 작은 부정확성이 먼 미래에서는 점점 비현실적인 결과를 만들 수 있습니다. 계층적 월드 모델(Hierarchical World Models)은 여러 시간 척도(Temporal Scales)에서 동역학을 표현하여 이러한 문제를 완화할 수 있습니다. 세밀한 단기 예측은 즉각적인 제어를 지원하고, 추상 상태(Abstract States), 기술(Skills), 목표는 모든 저수준 전이를 직접 시뮬레이션하지 않고도 장기간에 걸친 추론을 지원할 수 있습니다.

반사실적 추론(Counterfactual Reasoning)은 실제로 발생한 미래를 넘어 시뮬레이션을 확장합니다. 에이전트는 다른 행동을 선택했거나 환경 조건이 달랐다면 어떤 일이 발생했을지를 추론할 수 있습니다. 이러한 내부 대안(Internal Alternatives)은 모든 가능성을 물리적으로 반복하지 않고도 실패로부터 학습하고, 전략을 평가하며, 의사결정을 개선하는 데 활용될 수 있습니다. 그러나 신뢰할 수 있는 반사실적 추론을 위해서는 표면적인 상관관계만이 아니라 관련된 인과 구조(Causal Structure)를 포착하는 모델이 필요합니다.

인과 월드 모델(Causal World Models)은 개입이 결과에 어떤 영향을 주는지를 표현하려고 합니다. 통계적 예측(Statistical Prediction)은 익숙한 조건에서 유용한 패턴을 식별할 수 있지만 자율 에이전트는 스스로 환경을 자주 변화시킵니다. 인과 관계(Causal Relationships)를 이해하면 학습 데이터와 다른 조건에서도 일반화(Generalization)를 향상시킬 수 있습니다. 따라서 통제된 행동이 어떤 상태 변화가 특정 개입의 결과인지를 밝혀내는 데 도움을 주기 때문에 상호작용은 중요한 증거의 원천이 됩니다.

로보틱스(Robotics)와 피지컬 AI(Physical AI)에서 월드 모델은 멀티모달 지각(Multimodal Perception)과 자율 행동(Autonomous Action)을 연결하는 가교를 제공합니다. 카메라, 라이다, 레이더(Radar), 촉각 센서(Tactile Sensors), 고유수용감각, 관성측정장치(IMU), 기타 센서는 동일한 물리적 환경의 서로 다른 측면을 설명합니다. 공유 내부 상태(Shared Internal State)는 이러한 신호를 통합할 수 있으며, 예측 동역학(Predictive Dynamics)은 후보 행동 이후 환경과 로봇이 함께 어떻게 변화할지를 추정할 수 있습니다.

월드 모델은 로봇 자신의 신체(Body)도 포함할 수 있습니다. 효과적인 예측에는 운동학(Kinematics), 동역학, 액추에이터 한계(Actuator Limits), 접촉 조건(Contact Conditions), 에너지 제약조건(Energy Constraints), 페이로드, 센서 구성(Sensor Configuration)에 대한 지식이 필요합니다. 따라서 내부 모델은 외부 환경뿐만 아니라 에이전트의 체화 형태(Embodiment)도 표현합니다. 하드웨어나 페이로드 변화는 예측된 전이를 변화시킬 수 있기 때문에 적응형 신체 모델(Adaptive Body Models)은 강건한 물리적 지능(Physical Intelligence)에 중요합니다.

시뮬레이션(Simulation)과 학습된 월드 모델은 서로 보완할 수 있습니다. 물리 시뮬레이터(Physics Simulators)는 구조화된 사전 지식(Structured Prior Knowledge)과 제어 가능한 환경을 제공하고, 학습된 모델은 분석적으로 모델링하기 어려운 효과를 포착할 수 있습니다. 물리 모델과 데이터 기반 적응(Data-driven Adaptation)을 결합하면 예측 효율성과 일반화를 향상시킬 수 있습니다. 이러한 하이브리드 모델(Hybrid Models)은 알려진 제약조건을 활용하면서 경험으로부터 잔차 동역학(Residual Dynamics)과 환경 특화 행동(Environment-specific Behavior)을 학습할 수 있습니다.

월드 모델은 강화학습(Reinforcement Learning)과도 밀접하게 상호작용합니다. 모델 프리 강화학습(Model-free Reinforcement Learning)은 주로 경험한 전이로부터 행동을 학습하는 반면, 모델 기반 접근법(Model-based Approaches)은 학습되거나 사전에 정의된 동역학 모델을 이용하여 가능한 미래를 평가합니다. 내부 시뮬레이션은 학습에 필요한 비용 높은 물리적 상호작용의 수를 줄일 수 있기 때문에 데이터 수집이 느리고 비용이 많이 들며 위험할 수 있는 로보틱스에서 모델 기반 방법이 특히 매력적입니다.

지속 학습(Continual Learning)은 환경이 변화하더라도 월드 모델이 계속 유용하게 유지되도록 합니다. 지속적인 예측 오류는 이전에 학습한 동역학이 현재 관측을 더 이상 적절하게 설명하지 못한다는 것을 나타낼 수 있습니다. 새로운 경험은 선택된 구성요소를 업데이트하는 데 활용되고, 재생(Replay)과 공고화(Consolidation)는 기존 지식을 보존할 수 있습니다. 이를 통해 초기 학습 이후 영구적으로 고정되는 것이 아니라 운영 과정 전체에서 발전하는 월드 모델을 구축할 수 있습니다.

유용한 월드 모델은 자신이 가진 지식의 한계도 파악해야 합니다. 불확실성 추정(Uncertainty Estimation)은 현재 상황이 학습 경험과 크게 다르기 때문에 예측의 신뢰성이 낮은 상태를 식별할 수 있습니다. 자율 시스템은 이에 대응하여 추가 정보를 수집하고, 속도를 낮추며, 더욱 안전한 행동을 선택하고, 지원을 요청하거나, 보호된 제어 메커니즘(Protected Control Mechanisms)으로 전환할 수 있습니다. 따라서 신뢰할 수 있는 불확실성은 예측 정확도만큼 중요합니다.

평가(Evaluation)는 단순한 생성 품질이 아니라 지능에 대한 유용성(Usefulness for Intelligence)에 초점을 맞춰야 합니다. 시각적으로 설득력 있는 미래 예측이라도 잘못된 동역학, 불가능한 상호작용, 오해를 유발하는 인과 관계를 포함할 수 있습니다. 따라서 월드 모델은 상태 정확도(State Accuracy), 시간적 일관성(Temporal Consistency), 물리적 타당성(Physical Validity), 불확실성 보정(Uncertainty Calibration), 제어 가능성(Controllability), 계획 성능(Planning Performance), 분포 변화에 대한 강건성(Robustness under Distribution Shift)을 기준으로 평가해야 합니다.

생물학적 내부 모델과 AI 월드 모델의 관계는 문자 그대로의 대응이 아니라 기능적 관계입니다. 신경과학(Neuroscience)은 지각과 행동이 예측, 상태 추정, 기억, 내부 표현에 의존한다는 증거를 제공하지만 인공 월드 모델은 신경망(Neural Networks), 상태 공간 모델, 생성 아키텍처(Generative Architectures), 시뮬레이터, 외부 기억과 같은 공학적으로 설계된 메커니즘을 사용합니다. 이러한 유사성의 가치는 해부학적 복제가 아니라 공유되는 계산 원리(Computational Principles)에 있습니다.

궁극적으로 내부 모델에서 AI 월드 모델로 이어지는 가교(Internal-models-to-AI-world-models Bridge)는 지능을 반응적인 입력-출력 매핑(Reactive Input-output Mapping)에서 변화하는 환경과의 예측적 상호작용(Predictive Interaction)으로 전환합니다. 유능한 에이전트는 숨겨진 상태를 추정하고, 객체와 관계를 표현하며, 행동 조건부 상태 전이를 예측하고, 불확실성을 평가하며, 가능한 대안을 시뮬레이션하고, 예측 오류로부터 지식을 업데이트합니다. 이러한 능력이 기억, 계획, 강화학습, 지속적 적응(Continual Adaptation)과 결합되면 월드 모델은 자율 지능(Autonomous Intelligence)과 체화 지능(Embodied Intelligence)을 위한 핵심적인 기반을 제공합니다.

06.10 From Cognitive Maps to Spatial AI [w/Code]

인지 지도(Cognitive Maps)는 유기체가 환경 내의 위치, 경로, 랜드마크(Landmarks), 경계(Boundaries), 관계를 조직할 수 있도록 하는 내부 표현(Internal Representations)을 의미합니다. 내비게이션(Navigation)을 서로 분리된 자극-반응 규칙(Stimulus-response Rules)의 집합으로 저장하는 대신, 인지 지도는 장소들이 서로 어떻게 연결되고 관련되는지에 대한 구조화된 지식(Structured Knowledge)을 제공합니다. 이러한 개념은 생물학적 공간 인지(Biological Spatial Cognition)에서 물리적 공간을 지각하고, 표현하고, 추론하며, 행동하는 공간 AI(Spatial AI) 시스템으로 이어지는 중요한 가교를 제공합니다.

공간 인지(Spatial Cognition)는 절대 좌표(Absolute Coordinates)를 아는 것 이상을 요구합니다. 지능형 에이전트(Intelligent Agent)는 상대적 위치(Relative Position), 방향(Direction), 거리(Distance), 연결성(Connectivity), 접근 가능성(Accessibility), 객체와 영역 사이의 관계를 이해해야 합니다. 따라서 유용한 공간 표현(Spatial Representation)은 기하학적 정보(Geometric Information)와 환경에 대한 구조적 지식(Structural Knowledge)을 결합합니다. 이를 통해 에이전트는 현재 보이지 않는 위치를 추론하고 이전에 정확히 따라가 본 적이 없는 경로도 선택할 수 있습니다.

해마(Hippocampus)와 관련 뇌 시스템에 대한 연구는 공간 표현의 계산 이론(Computational Theories)에 큰 영향을 주었습니다. 장소 세포(Place Cells)는 환경의 특정 영역과 관련되며, 격자 세포(Grid Cells)는 위치와 움직임을 표현하는 데 활용될 수 있는 공간적으로 주기적인 발화 패턴(Spatially Periodic Firing Patterns)을 나타냅니다. 머리 방향 세포(Head-direction Cells)는 방향성(Orientation)에 관한 정보를 제공합니다. 이러한 메커니즘은 생물학적 내비게이션이 하나의 보편적인 공간 좌표계가 아니라 여러 상호보완적 표현에 의존한다는 점을 시사합니다.

장소 세포형 표현(Place-cell-like Representations)은 특정 위치가 어떻게 분산된 신경 활동(Distributed Neural Activity)과 연결될 수 있는지를 보여줍니다. 유기체가 특정 영역에 위치하거나 그 영역을 인식할 때 특정 패턴이 활성화될 수 있으며, 이를 통해 경험, 객체, 사건이 공간적 맥락(Spatial Context)과 연결될 수 있습니다. 인공 시스템에서는 학습된 공간 임베딩(Learned Spatial Embeddings), 랜드마크 표현(Landmark Representations), 지도 특징(Map Features), 에이전트가 주변 환경을 기준으로 어디에 있는지를 인코딩하는 잠재 상태(Latent States)를 통해 관련 개념을 활용할 수 있습니다.

격자 세포 영감 표현(Grid-cell-inspired Representations)은 다른 형태의 공간 부호화(Spatial Coding)를 제공합니다. 반복되는 기하학적 패턴은 공간 전반에서 위치, 변위(Displacement), 경로 적분(Path Integration)을 효율적으로 표현하기 위한 계산적 접근법에 영감을 주었습니다. 인공 에이전트가 생물학적 격자 세포를 문자 그대로 재현할 필요는 없지만, 주기적이고 다중 스케일인 공간 표현(Periodic and Multiscale Spatial Representations)은 좌표 관계, 내비게이션 구조, 위치 간 변환(Transformations)을 학습하기 위한 유용한 귀납적 편향(Inductive Biases)을 제공할 수 있습니다.

경로 적분(Path Integration)은 시간에 따른 자기 움직임(Self-motion) 정보를 누적하여 현재 위치를 추정합니다. 생물학적 유기체는 외부 랜드마크를 일시적으로 사용할 수 없는 경우에도 전정감각(Vestibular), 고유수용감각(Proprioceptive), 시각(Visual), 운동 신호(Motor Signals)를 이용하여 변위를 추정할 수 있습니다. 로봇은 휠 오도메트리(Wheel Odometry), 관성측정장치(Inertial Measurement Units), 비주얼 오도메트리(Visual Odometry), 라이다 오도메트리(LiDAR Odometry), 기타 움직임 추정 방법을 통해 관련 계산을 수행합니다. 그러나 적분 오차가 누적되기 때문에 드리프트(Drift)를 보정하려면 외부 관측이 필요합니다.

랜드마크(Landmarks)는 공간 추정을 안정화하는 기준점을 제공합니다. 인식 가능한 객체, 기하학적 구조, 시각 특징(Visual Features), 환경 경계는 내부 지도를 고정하고 누적된 위치 추정 오류를 보정할 수 있습니다. 공간 AI 시스템도 특징 매칭(Feature Matching), 스캔 매칭(Scan Matching), 시각 인식(Visual Recognition), 위성항법시스템(GNSS), 기준 마커(Fiducial Markers), 의미적 랜드마크(Semantic Landmarks)를 이용하여 현재 관측을 이전에 표현된 장소와 연결합니다.

위치 추정(Localization)은 기존 환경 표현 내에서 에이전트의 위치와 방향을 추정하는 문제입니다. 매핑(Mapping)은 관측으로부터 이러한 환경 표현을 구축하는 문제입니다. 지도와 에이전트의 위치를 모두 정확하게 알 수 없는 경우 두 문제는 서로 결합됩니다. 동시적 위치추정 및 지도작성(Simultaneous Localization and Mapping, SLAM)은 로봇 상태를 추정하면서 주변 환경에 대한 표현을 점진적으로 구축하고 수정함으로써 이러한 상호작용을 해결합니다.

SLAM은 생물학적 영감(Biological Inspiration)에서 공학적 공간 AI(Engineered Spatial AI)로 전환되는 중요한 사례를 보여줍니다. 센서 측정에는 불확실성(Uncertainty)이 존재하고, 움직임 추정에는 드리프트가 발생하며, 관측이 지도 특징과 잘못 대응될 수 있고, 환경에는 동적 객체(Dynamic Objects)가 존재할 수 있습니다. 따라서 강건한 공간 추정(Robust Spatial Estimation)을 위해서는 여러 증거원을 지속적으로 통합해야 합니다. 확률적 필터링(Probabilistic Filtering), 그래프 최적화(Graph Optimization), 팩터 그래프(Factor Graphs), 시각-관성 추정(Visual-inertial Estimation), 학습된 표현(Learned Representations)은 이러한 문제를 해결하기 위한 서로 다른 메커니즘을 제공합니다.

루프 폐쇄(Loop Closure)는 에이전트가 상당한 위치 추정 오류를 누적한 후 이전에 방문했던 장소로 돌아갈 수 있기 때문에 특히 중요합니다. 현재 위치가 과거의 위치와 동일하다는 사실을 인식하면 전체 추정 궤적(Estimated Trajectory)과 지도를 수정할 수 있는 제약조건을 제공합니다. 이는 시점(Viewpoint), 시간, 조명(Illumination), 그 사이에 발생한 경험이 달라졌더라도 익숙한 장소를 인식해야 하는 보다 폭넓은 인지적 요구와 유사합니다.

계량 지도(Metric Maps)는 좌표, 거리, 각도와 같이 측정 가능한 수량을 이용하여 공간 관계를 표현합니다. 점유 격자(Occupancy Grids), 포인트 클라우드(Point Clouds), 복셀 지도(Voxel Maps), 메시(Meshes), 기하학적 재구성(Geometric Reconstructions)은 서로 다른 형태의 계량 표현을 제공합니다. 이러한 지도는 환경의 세부적인 기하 정보를 유지하기 때문에 정밀한 움직임 계획(Motion Planning), 장애물 회피(Obstacle Avoidance), 조작(Manipulation), 물리적 측정이 필요한 경우에 유용합니다.

위상 지도(Topological Maps)는 정밀한 기하학보다 환경의 연결성(Connectivity)을 중심으로 표현합니다. 위치나 의미 있는 영역은 노드(Nodes)가 되고, 이동 가능한 관계는 에지(Edges)가 됩니다. 이러한 표현은 에이전트가 모든 위치의 상세한 기하 정보를 유지하지 않고도 의미 있는 장소 사이의 경로를 계획할 수 있기 때문에 대규모 환경에서 효율적인 추론을 지원합니다. 계량 지도와 위상 지도는 계층적 공간 표현(Hierarchical Spatial Representations)으로 결합할 수도 있습니다.

의미 지도(Semantic Maps)는 기하 구조와 연결성에 의미를 추가합니다. 단순히 특정 영역이 빈 공간이거나 객체가 특정 좌표를 차지한다는 것만 표현하는 대신, 의미 매핑(Semantic Mapping)은 문, 복도, 테이블, 충전소(Charging Stations), 도로, 식생(Vegetation), 작업 영역(Work Areas)과 같은 개체와 기능적 범주(Functional Categories)를 식별합니다. 이를 통해 공간 추론은 환경 요소가 무엇이며 목표와 어떤 관련성을 가지는지까지 고려할 수 있습니다.

객체 중심 공간 표현(Object-centric Spatial Representations)은 개별 개체의 지속적인 정체성(Persistent Identities)을 유지함으로써 의미 매핑을 확장합니다. 객체는 위치, 방향, 크기, 속성(Attributes), 움직임, 관계, 상호작용 가능성(Interaction Possibilities)을 가질 수 있습니다. 이러한 속성을 시간에 따라 추적하면 에이전트는 환경 변화를 추론하고 객체의 움직임과 관찰자 자신의 움직임을 구분할 수 있습니다. 따라서 지속적인 객체 표현은 동적 공간 AI(Dynamic Spatial AI)에 중요한 역할을 합니다.

장면 그래프(Scene Graphs)는 객체, 영역, 속성, 관계를 결합하는 구조화된 메커니즘을 제공합니다. 노드는 방(Rooms), 객체, 에이전트, 랜드마크를 표현할 수 있으며, 에지는 내부에 있음(Inside), 인접함(Adjacent), 지지됨(Supported by), 연결됨(Connected to), 가까움(Near)과 같은 관계를 인코딩합니다. 공간 장면 그래프(Spatial Scene Graphs)는 기하학적 정보와 의미 정보를 통합하여 내비게이션뿐만 아니라 상위 수준 추론(Higher-level Reasoning)을 지원하는 표현을 구성할 수 있습니다.

공간 AI는 3차원 구조(Three-dimensional Structure)도 표현해야 합니다. 건물, 도로, 산업 현장, 자연 지형, 조작 환경에서 작동하는 자율 시스템은 표면(Surfaces), 깊이(Depth), 높이(Height), 주행 가능성(Traversability), 장애물, 자유 공간(Free Volume)에 관한 정보를 필요로 합니다. 스테레오 비전(Stereo Vision), RGB-D 카메라, 라이다, 레이더(Radar), 학습 기반 깊이 추정(Learned Depth Estimation)은 환경의 3차원 표현을 구축하기 위한 상호보완적인 증거를 제공할 수 있습니다.

조감도 표현(Bird\'s-eye-view Representations, BEV)은 체화 시스템(Embodied Systems)을 위한 또 다른 유용한 추상화를 제공합니다. 여러 카메라와 기타 센서에서 얻은 정보를 위에서 내려다보는 공통 공간 좌표계(Common Spatial Frame)로 변환할 수 있습니다. 이후 객체, 차선(Lanes), 장애물, 자유 공간, 예측된 움직임을 일관되게 표현할 수 있습니다. BEV 표현은 계획과 제어가 자연스럽게 지면 기준 공간 좌표계(Ground-referenced Spatial Coordinate System)에서 이루어지기 때문에 자율주행(Autonomous Driving)과 모바일 로보틱스(Mobile Robotics)에서 특히 유용합니다.

어떠한 단일 센싱 모달리티(Sensing Modality)도 모든 조건에서 완전하고 신뢰할 수 있는 공간 정보를 제공하지 못하기 때문에 센서 융합(Sensor Fusion)은 필수적입니다. 카메라는 풍부한 외형과 의미 정보를 제공하고, 라이다는 정확한 기하 구조를 제공하며, 레이더는 강건한 거리와 속도 측정(Range and Velocity Measurements)을 제공할 수 있고, 관성 센서는 움직임을 포착합니다. 공간 AI는 이러한 상호보완적 신호를 결합하여 개별 센서가 불확실하거나 성능이 저하되는 상황에서도 유용한 표현을 구축합니다.

좌표 변환(Coordinate Transformations)은 서로 다른 센서, 시간, 기준 좌표계(Reference Frames)의 정보를 일관되게 통합할 수 있도록 합니다. 로봇은 카메라 좌표계(Camera Coordinates), 신체 좌표계(Body Coordinates), 로컬 지도 좌표계(Local Map Coordinates), 전역 세계 좌표계(Global World Coordinates)를 동시에 사용할 수 있습니다. 따라서 이러한 좌표계 사이의 보정(Calibration)과 변환은 기본적인 요소입니다. 학습 기반 공간 시스템도 시점과 자세(Pose)가 변화할 때 의미 있는 기하학적 관계를 유지하는 표현을 개발해야 합니다.

공간 기억(Spatial Memory)은 에이전트가 현재 감각 영역을 넘어 장소에 대한 지식을 보존할 수 있도록 합니다. 자율 로봇은 객체를 관측했던 위치, 막혀 있던 복도, 충전 인프라(Charging Infrastructure)의 위치, 이미 탐색한 영역을 기억할 수 있습니다. 이러한 기억은 즉각적인 지각을 지속적인 환경 지식(Persistent Environmental Knowledge)으로 변환하며 현재 관측 범위보다 훨씬 큰 공간에 대한 계획을 가능하게 합니다.

탐색(Exploration)은 새로운 공간 정보를 어디에서 수집할 것인지를 결정하는 문제를 도입합니다. 환경을 알 수 없는 경우 에이전트는 작업 목표를 향한 이동과 지도에 대한 불확실성을 감소시키는 행동 사이에서 균형을 유지해야 합니다. 프런티어 탐색(Frontier Exploration), 정보 이득(Information Gain), 불확실성 감소(Uncertainty Reduction), 능동 지각(Active Perception)은 우연히 얻어지는 관측만 수동적으로 받아들이는 대신 정보 가치가 높은 시점(Viewpoints)과 궤적(Trajectories)을 선택하는 메커니즘을 제공합니다.

능동 지각(Active Perception)은 센싱 품질이 행동에 따라 달라진다는 점을 강조합니다. 로봇은 가림(Occlusion)을 해소하거나, 시점을 변경하거나, 불확실한 객체에 접근하거나, 더 나은 측정을 위해 센서 위치를 변경할 수 있습니다. 따라서 공간 지능(Spatial Intelligence)은 지각이 지도를 업데이트하고, 지도가 불확실성을 식별하며, 행동이 관측 조건을 변화시키는 폐루프(Closed Loop)를 형성합니다. 이러한 상호작용은 자율 탐색(Autonomous Exploration)과 강건한 환경 이해(Robust Environmental Understanding)의 핵심입니다.

내비게이션(Navigation)은 공간 표현을 목적 지향적인 움직임(Purposeful Movement)으로 변환합니다. 시스템은 목표를 식별하고, 실행 가능한 경로를 결정하며, 장애물과 제약조건을 평가하고, 실제로 수행 가능한 움직임을 생성합니다. 전역 계획(Global Planning)은 지도와 위상 구조를 기반으로 수행될 수 있으며, 지역 계획(Local Planning)은 주변 기하 구조와 동적 장애물에 대응합니다. 효과적인 공간 AI는 추상적인 경로 선택이 즉각적인 물리적 제약조건과 일치하도록 이러한 수준들을 통합합니다.

공간 추론(Spatial Reasoning)은 내비게이션을 넘어 확장됩니다. 에이전트는 객체가 특정 개구부(Opening)를 통과할 수 있는지, 특정 위치에 도달할 수 있는지, 하나의 객체가 다른 객체를 가리고 있는지, 보이지 않는 객체가 어디에 있을 가능성이 높은지를 추론해야 할 수 있습니다. 이러한 작업은 기하학적, 관계적, 의미적, 때로는 물리적 추론(Physical Reasoning)을 필요로 합니다. 따라서 공간 AI는 지도를 수동적인 내비게이션 데이터베이스로 취급하는 대신 매핑을 더 폭넓은 월드 모델링(World Modeling)과 연결합니다.

동적 환경(Dynamic Environments)은 세계가 항상 정적이라고 가정할 수 없기 때문에 추가적인 복잡성을 발생시킵니다. 사람, 차량, 로봇, 장비, 이동 가능한 객체는 시간에 따라 위치를 변화시킵니다. 공간 표현은 지속적인 구조(Persistent Structure)와 일시적인 상태(Transient State)를 구분해야 하며 미래 움직임을 예측해야 할 수도 있습니다. 따라서 동적 매핑(Dynamic Mapping)은 공간 인지를 시간적 예측(Temporal Prediction) 및 행동 조건부 월드 모델(Action-conditioned World Models)과 연결합니다.

멀티에이전트 시스템(Multi-agent Systems)은 여러 로봇이나 센서의 관측을 결합하여 공유 공간 지식(Shared Spatial Knowledge)을 구축할 수 있습니다. 각각의 에이전트는 서로 다른 영역을 탐색하면서 로컬 지도(Local Maps), 탐지된 객체, 궤적, 의미 정보를 제공할 수 있습니다. 공통 표현을 구축하려면 지도 정렬(Map Alignment), 좌표계 추정(Coordinate-frame Estimation), 데이터 연관(Data Association), 통신(Communication), 불확실성 관리(Uncertainty Management)가 필요합니다. 공유 지도(Shared Maps)는 로봇 플릿(Robot Fleet)의 공간 인식 범위를 크게 확장할 수 있습니다.

환경은 지속적으로 변화하기 때문에 공간 표현도 적응할 수 있어야 합니다. 건설 작업, 재배치된 가구, 차단된 통로, 식생 성장, 일시적인 장애물, 인프라 변경은 기존 지도를 부정확하게 만들 수 있습니다. 지속적 공간 학습(Continual Spatial Learning)은 에이전트가 의미 있는 변화를 식별하고 영향을 받은 영역을 업데이트하면서 다른 영역의 안정적인 지식은 보존하도록 합니다. 이를 통해 전체 환경을 불필요하게 다시 구축하지 않으면서 지도가 오래되어 사용할 수 없게 되는 문제를 방지할 수 있습니다.

공간 AI는 점점 더 명시적인 기하학적 방법(Explicit Geometric Methods)과 학습된 표현을 결합하고 있습니다. 고전적 기하학(Classical Geometry)은 강력한 제약조건, 해석 가능성(Interpretability), 물리적 일관성(Physical Consistency)을 제공하는 반면, 딥러닝(Deep Learning)은 의미 인식, 깊이 추정, 관측 연관, 외형 변화에 강건한 특징 학습을 수행할 수 있습니다. 하이브리드 시스템(Hybrid Systems)은 신뢰할 수 있는 수학적 모델이 존재하는 부분에서는 기하 구조를 사용하고, 수동으로 명세하기 어려운 지각 문제에서는 학습된 구성요소를 활용함으로써 두 접근법의 장점을 결합할 수 있습니다.

월드 모델(World Models)은 개체가 어디에 존재하는지뿐만 아니라 그것들이 어떻게 변화하고 상호작용할 수 있는지를 표현함으로써 인지 지도를 확장합니다. 공간 월드 모델(Spatial World Model)은 기하 구조, 객체, 에이전트, 어포던스(Affordances), 동역학(Dynamics), 불확실성, 행동 결과(Action Consequences)를 공통 표현 안에서 인코딩할 수 있습니다. 이를 통해 자율 에이전트는 단순한 위치 추정을 넘어 서로 다른 장소에서 무엇이 발생할 수 있으며 자신의 행동이 미래의 공간 상태를 어떻게 변화시킬지를 예측할 수 있습니다.

로보틱스(Robotics)와 피지컬 AI(Physical AI)에서는 지능형 행동이 물리적 공간에 기반해야 하기 때문에 인지 지도에서 공간 AI로의 전환이 특히 중요합니다. 로봇에는 지각, 위치 추정, 매핑, 예측, 계획, 제어(Control)를 연결하는 지속적인 표현이 필요합니다. 공간 지능은 센서 관측을 안전한 이동, 조작, 탐색, 협업(Collaboration), 장기 자율성(Long-term Autonomy)을 지원하는 구조화된 지식으로 변환합니다.

생물학적 인지 지도와 공학적으로 구현된 공간 AI 사이의 관계는 문자 그대로가 아니라 기능적으로 이해해야 합니다. 생물학적 내비게이션은 해마, 피질(Cortical), 감각, 운동, 기억 시스템 사이의 복잡한 상호작용을 포함하는 반면 인공 시스템은 SLAM, 신경망(Neural Networks), 기하학적 최적화(Geometric Optimization), 공간 데이터베이스(Spatial Databases), 학습된 월드 모델을 사용합니다. 구현 방식은 서로 다르지만 둘 모두 즉각적인 감각 입력을 넘어 유용한 공간 지식을 유지해야 한다는 공통된 문제를 해결합니다.

궁극적으로 인지 지도에서 공간 AI로 이어지는 가교(Cognitive-maps-to-Spatial-AI Bridge)는 공간 지각을 지속적이고 구조화되며 행동 가능한 지식(Persistent, Structured, Actionable Knowledge)으로 전환합니다. 지능형 에이전트는 자신이 어디에 있는지를 추정하고, 주변 환경을 표현하며, 현재 관측되지 않는 장소를 기억하고, 개체 사이의 관계를 이해하며, 공간 변화를 예측하고, 환경을 통과하는 행동을 계획해야 합니다. 이러한 능력이 의미적 이해(Semantic Understanding), 월드 모델, 기억, 지속 학습(Continual Learning)과 결합되면 공간 AI는 물리적 세계를 이해하고 그 안에서 작동해야 하는 자율 시스템의 핵심적인 능력이 됩니다.