Neuroscience for AI — Ch.05: Chapter 05. Brain Inspired Computation [KR]

STATERA Library · Volume 44 · Chapter 05 · KR
Source: https://github.com/Statera-Library/01_Vol_44_Neuroscience_for_AI/blob/main/Chapter_05_Brain_Inspired_Computation/Chapter_05_Brain_Inspired_Computation_KR.md

Volume 44 Neuroscience for AI

Chapter 05. Brain Inspired Computation

05.00 Brain Inspired AI Overview

뇌 영감 인공지능(Brain-inspired Artificial Intelligence)은 뇌를 문자 그대로 복제하려는 접근이라기보다 생물학적 신경계(Biological Nervous Systems)에서 계산 원리(Computational Principles)를 발견하고 이를 인공지능 설계에 활용하려는 분야입니다. 뇌는 에너지(Energy), 통신 대역폭(Communication Bandwidth), 처리 속도(Processing Speed)가 제한된 조건에서도 지각(Perception), 학습(Learning), 기억(Memory), 예측(Prediction), 의사결정(Decision Making), 행동(Action)을 수행합니다. 따라서 뇌 영감 AI(Brain-inspired AI)는 적응적이고 효율적이며 자율적인 계산 시스템(Computational Systems)을 구축하기 위한 설계 단서로 생물학적 메커니즘(Biological Mechanisms)을 연구합니다.

핵심적인 개념은 지능(Intelligence)이 전문화되어 있으면서도 서로 연결된 여러 처리 과정의 협력을 통해 발생한다는 것입니다. 생물학적 인지(Biological Cognition)는 하나의 범용 알고리즘(Universal Algorithm)에만 의존하지 않습니다. 감각 경로(Sensory Pathways)는 구조화된 정보를 추출하고, 기억 시스템(Memory Systems)은 경험을 보존하며, 피질 네트워크(Cortical Networks)는 표현(Representations)을 형성하고, 기저핵(Basal Ganglia)은 행동 선택(Action Selection)에 관여하며, 예측 메커니즘(Predictive Mechanisms)은 미래 상태를 지속적으로 예상합니다. 인공 시스템(Artificial Systems) 역시 지각, 기억, 예측, 추론, 제어가 고립되지 않고 협력하는 구조에서 이점을 얻을 수 있습니다.

인공 신경망(Artificial Neural Networks)은 신경과학(Neuroscience)의 개념이 계산 시스템으로 전환된 가장 영향력 있는 사례입니다. 인공 뉴런(Artificial Neurons)은 생물학적 뉴런(Biological Neurons)을 극도로 단순화한 추상화이지만, 이러한 단위로 구성된 네트워크는 분산 계산(Distributed Computation)을 통해 유용한 표현을 형성할 수 있습니다. 심층 신경망(Deep Neural Networks)은 이를 여러 처리 계층으로 확장하여 원시 관측 데이터(Raw Observations)로부터 점차 추상적인 특징을 형성합니다. 이러한 성공은 계층적 표현(Hierarchical Representation)의 가치를 보여주는 동시에 현대 AI와 실제 생물학적 신경 계산(Biological Neural Computation) 사이에 여전히 상당한 차이가 있음을 보여줍니다.

생물학적 뉴런(Biological Neurons)은 단순히 연속적인 스칼라 활성값(Scalar Activation Values)을 전달하는 것이 아니라 복잡한 시간적 전기 활동 패턴(Temporal Patterns of Electrical Activity)을 통해 통신합니다. 스파이킹 신경망(Spiking Neural Networks)은 정보를 개별 스파이크(Spikes)와 그 발생 시점(Timing)으로 표현함으로써 이러한 시간적 특성을 반영하려 합니다. 이러한 모델은 시간 부호화(Temporal Coding), 희소 활성화(Sparse Activity), 국소 상호작용(Local Interactions), 이벤트 기반 계산(Event-driven Computation)을 활용할 수 있습니다. 따라서 낮은 지연시간(Low Latency), 연속적인 감각 처리(Continuous Sensory Processing), 에너지 효율(Energy Efficiency)이 중요한 분야에서 계산 신경과학(Computational Neuroscience)과 AI를 연결하는 중요한 역할을 합니다.

뉴로모픽 컴퓨팅(Neuromorphic Computing)은 뇌 영감 원리를 알고리즘에서 하드웨어(Hardware) 영역으로 확장합니다. 기존 프로세서는 메모리(Memory)와 계산 장치(Computing Units) 사이에서 데이터를 반복적으로 이동시키기 때문에 상당한 통신 비용과 에너지 비용이 발생합니다. 반면 뉴로모픽 아키텍처(Neuromorphic Architectures)는 메모리와 계산을 가능한 한 가까이 배치하고, 대규모 병렬 처리(Massive Parallelism)를 지원하며, 의미 있는 이벤트가 발생할 때 주로 계산 자원을 활성화하려 합니다. 스파이킹 신경망과 결합될 경우 기존 GPU 중심 인공지능(GPU-centered AI)과 근본적으로 다른 동작 특성을 가진 계산 시스템의 가능성을 제시합니다.

에너지 효율(Energy Efficiency)은 특히 중요한데, 생물학적 뇌는 대규모 계산 인프라와 비교하여 매우 제한적인 전력으로 복잡한 인지 기능을 수행하기 때문입니다. 생물학적 처리는 희소적(Sparse)이고 비동기적(Asynchronous)이며 분산적(Distributed)이고 적응적(Adaptive)이며, 국소적인 통신(Local Communication)에 크게 의존합니다. 뇌 영감 AI는 이와 유사한 원리를 사용하여 불필요한 계산을 감소시킬 수 있는지를 연구합니다. 희소 활성화(Sparse Activation), 조건부 계산(Conditional Computation), 이벤트 기반 처리(Event-driven Processing), 국소 학습(Local Learning), 특화 가속기(Specialized Accelerators), 적응적 자원 할당(Adaptive Resource Allocation)은 모두 단위 계산량과 에너지당 더 높은 지능을 얻기 위한 접근입니다.

이벤트 기반 비전(Event-based Vision)은 이러한 원리를 구체적으로 보여주는 사례입니다. 기존 카메라는 장면 대부분이 변하지 않는 상황에서도 완전한 이미지 프레임(Image Frames)을 반복적으로 촬영합니다. 반면 이벤트 카메라(Event Cameras)는 밝기의 국소적인 변화를 비동기적으로 보고하여 시각적 변화가 발생할 때 주로 정보를 생성합니다. 이는 변화와 대비(Contrast)가 중요한 정보를 제공하는 생물학적 감각 처리(Biological Sensory Processing)의 일부 특성과 유사합니다. 따라서 이벤트 기반 지각(Event-driven Perception)은 동적인 환경에서 낮은 지연시간, 높은 시간 해상도(Temporal Resolution), 중복 데이터 감소, 그리고 잠재적으로 낮은 계산 요구량을 제공할 수 있습니다.

주의(Attention)는 신경과학과 인공지능을 연결하는 또 하나의 중요한 개념입니다. 생물학적 유기체는 이용 가능한 모든 자극을 동일한 깊이로 처리할 수 없기 때문에 목표(Goals), 관련성(Relevance), 새로움(Novelty), 맥락(Context)에 따라 중요한 정보를 동적으로 우선 처리합니다. 인공 주의 메커니즘(Artificial Attention Mechanisms)도 대규모 정보 공간에서 특정 관계를 강조할 수 있도록 합니다. 트랜스포머 주의(Transformer Attention)를 생물학적 주의의 직접적인 구현으로 해석해서는 안 되지만, 두 접근 모두 선택적 정보 라우팅(Selective Information Routing)과 맥락 의존적 자원 할당(Context-dependent Resource Allocation)의 계산적 중요성을 보여줍니다.

글로벌 워크스페이스 이론(Global Workspace Theories)은 정보 통합(Information Integration)에 대한 보다 넓은 관점을 제공합니다. 전문화된 뇌 처리 과정은 국소적으로 동작할 수 있지만, 선택된 정보는 기억, 계획(Planning), 추론(Reasoning), 행동을 담당하는 여러 시스템에서 광범위하게 이용될 수 있습니다. 뇌 영감 AI는 이러한 원리를 전문화된 모듈(Specialized Modules)을 조정하기 위한 아키텍처적 비유(Architectural Metaphor)로 활용할 수 있습니다. 모든 하위 시스템이 항상 서로 통신하도록 만드는 대신 공유 작업공간(Shared Workspace)을 통해 맥락적으로 중요한 정보를 협력적 행동에 필요한 구성요소로 전달할 수 있습니다.

기억 영감 계산(Memory-inspired Computation)은 순수한 피드포워드 지능(Feed-forward Intelligence)이 가지는 또 다른 중요한 한계를 다룹니다. 생물학적 기억(Biological Memory)은 감각 기억(Sensory Memory), 작업 기억(Working Memory), 일화 기억(Episodic Memory), 의미 기억(Semantic Memory), 절차 기억(Procedural Memory) 등 서로 다른 시간 규모에서 동작하는 여러 형태로 구성됩니다. 인공 시스템 역시 일시적인 계산 상태(Temporary Computational State)를 지속적인 지식과 경험으로부터 분리할 수 있습니다. 외부 메모리(External Memory), 검색 메커니즘(Retrieval Mechanisms), 순환 상태(Recurrent State), 일화 저장소(Episodic Stores), 학습된 장기 표현(Learned Long-term Representations)은 현재 관측과 과거 상호작용에서 얻은 관련 정보를 통합하도록 지원합니다.

생물학적 시스템의 학습(Learning)은 본질적으로 지속적(Continual)이기도 합니다. 생물은 고정된 데이터셋(Fixed Dataset)을 한 번 학습한 뒤 변화하지 않는 방식으로 살아가지 않습니다. 대신 일생 동안 새로운 것을 배우면서 이전에 습득한 유용한 지식을 유지하려 합니다. 시냅스 가소성(Synaptic Plasticity), 기억 공고화(Consolidation), 재생(Replay), 맥락적 조절(Contextual Modulation), 상호보완적 기억 메커니즘(Complementary Memory Mechanisms)은 지속 학습 AI(Continual-learning AI)에 중요한 영감을 제공합니다. 이에 대응하는 공학적 과제는 치명적 망각(Catastrophic Forgetting)을 방지하면서 새로운 능력을 습득하고, 어떤 정보를 안정적으로 유지하고 어떤 표현을 계속 적응시킬 것인지 결정하는 것입니다.

예측(Prediction)은 이러한 여러 메커니즘을 통합하는 또 하나의 원리입니다. 신경계는 이전 경험과 현재의 감각 증거(Sensory Evidence)를 사용하여 환경의 가능한 미래 상태와 행동의 결과를 지속적으로 예상합니다. 예측 처리(Predictive Processing)는 불확실성을 감소시키고 완전한 감각 정보가 제공되기 전에도 유기체가 대응할 수 있도록 합니다. 인공 월드 모델(Artificial World Models)도 환경의 동역학(Environmental Dynamics)에 대한 표현을 학습하고 상태가 어떻게 변화할지를 예측한다는 유사한 계산 목표를 가집니다. 따라서 예측은 지각, 기억, 계획, 시뮬레이션(Simulation), 행동을 하나의 통합된 아키텍처로 연결할 수 있습니다.

체화 및 감각운동 지능(Embodied and Sensorimotor Intelligence)은 인지가 물리적 세계(Physical World)와의 상호작용에 의해 형성된다는 점을 더욱 강조합니다. 생물학적 지능은 지속적으로 지각하고, 이동하고, 객체를 조작하고, 행동의 결과를 경험하며, 내부 모델(Internal Models)을 갱신하는 유기체 안에서 발전했습니다. 따라서 뇌 영감 체화 AI(Brain-inspired Embodied AI)는 행동을 단순한 인지의 출력이 아니라 지능 자체를 구성하는 요소로 취급합니다. 지각은 행동에 영향을 주고, 행동은 환경을 변화시키며, 새로운 감각 증거는 내부 상태(Internal State)를 갱신하고, 이러한 폐루프(Closed Loop)가 지속적인 상호작용을 통한 적응을 지원합니다.

뇌 영감 로보틱스(Brain-inspired Robotics)는 이러한 원리를 실제 환경에서 동작하는 자율 기계(Autonomous Machines)에 적용합니다. 로봇은 서로 다른 센서 정보를 통합하고, 자신과 주변 환경의 상태를 추정하며, 움직임과 상호작용의 결과를 예측하고, 행동을 선택하며, 예상하지 못한 사건에 실시간으로 대응해야 합니다. 계층적 제어(Hierarchical Control), 감각운동 예측(Sensorimotor Prediction), 적응형 피드백(Adaptive Feedback), 이벤트 기반 지각, 기억, 강화학습(Reinforcement Learning)은 서로 보완적인 메커니즘을 제공할 수 있습니다. 목표는 신경계를 그대로 복제한 로봇이 아니라 생물학적 자율성의 해결 원리에서 영감을 받은 견고한 아키텍처(Robust Architecture)를 구축하는 것입니다.

신경과학이 제공하는 중요한 교훈 가운데 하나는 지능이 단순한 계산 규모(Computational Scale)뿐만 아니라 아키텍처(Architecture)와 정보 흐름(Information Flow)에 크게 의존할 수 있다는 것입니다. 뇌는 전문화된 영역, 순환 연결(Recurrent Connectivity), 계층적 처리(Hierarchical Processing), 국소 적응(Local Adaptation), 기억 시스템, 예측, 주의, 행동을 하나의 지속적으로 동작하는 유기체 안에서 결합합니다. 현대 AI는 이러한 능력을 종종 개별적으로 연구하지만, 뇌 영감 계산은 이들의 통합을 강조하며 더욱 발전된 시스템에는 표현, 기억, 예측, 학습, 주의, 제어를 조정하는 메커니즘이 필요할 가능성을 제시합니다.

그러나 생물학적 영감(Biological Inspiration)은 신중하게 활용해야 합니다. 신경과학은 지능을 구현하기 위한 완전한 공학적 명세(Engineering Specification)를 제공하지 않으며, 많은 생물학적 메커니즘은 컴퓨터에는 존재하지 않는 진화적 제약(Evolutionary Constraints) 때문에 형성되었습니다. 반대로 수학적으로 효과적인 AI 메커니즘이 반드시 직접적인 생물학적 대응물을 가져야 하는 것도 아닙니다. 따라서 생산적인 뇌 영감 AI는 생물학적 사실성을 높이면 자동으로 인공지능이 향상된다고 가정하기보다 실험적으로 검증할 수 있는 계산 원리를 추출해야 합니다.

이러한 구분은 역전파 기반 학습(Backpropagation-based Learning)과 생물학적 가소성(Biological Plasticity)을 비교할 때 특히 중요합니다. 현대 딥러닝(Deep Learning)은 전역적인 그래디언트 정보(Global Gradient Information)를 통해 거대한 네트워크를 최적화할 수 있지만, 생물학적 학습은 국소 신호(Local Signals), 신경조절(Neuromodulation), 순환 동역학(Recurrent Dynamics), 구조적 제약(Structural Constraints), 여러 상호작용 학습 과정에 크게 의존하는 것으로 보입니다. 이 경계 영역의 연구는 현대 AI에 필요한 확장성(Scalability)과 신뢰성을 유지하면서 더욱 국소적이고 비동기적이며 예측적이고 자기조직화된(Self-organizing) 학습 메커니즘을 기존 최적화와 결합할 수 있는지를 탐구합니다.

따라서 뇌 영감 계산과 현대 파운데이션 모델(Foundation Models)의 관계는 경쟁적이라기보다 상호보완적입니다. 대규모 신경 모델은 규모(Scale), 표현 학습(Representation Learning), 주의, 방대한 데이터셋을 통해 강력한 능력을 얻을 수 있음을 보여줍니다. 반면 신경과학은 시스템이 어떻게 지속적으로 학습하고, 효율적으로 동작하고, 지속적인 기억(Persistent Memory)을 유지하며, 관련 정보를 우선 처리하고, 온라인으로 적응하며, 행동의 결과를 예측하고, 지각과 물리적 행동을 조정할 수 있는지를 질문합니다. AI가 정적인 데이터셋에서 자율 에이전트(Autonomous Agents)로 발전할수록 이러한 질문은 더욱 중요해집니다.

이 장의 구조는 계산적 추상화(Computational Abstraction)에서 통합된 지능 행동(Integrated Intelligent Behavior)으로 발전하는 이러한 흐름을 반영합니다. 인공 신경망은 연결주의적 기반(Connectionist Foundation)을 제공하고, 스파이킹 신경망은 시간적 신경 계산(Temporal Neural Computation)을 도입하며, 뉴로모픽 시스템(Neuromorphic Systems)은 희소한 이벤트 기반 처리와 호환되는 하드웨어 아키텍처를 탐구합니다. 에너지 효율 AI(Energy-efficient AI)와 이벤트 기반 비전은 이러한 아이디어를 실용적인 계산상의 이점으로 확장하고, 주의, 글로벌 워크스페이스 메커니즘(Global Workspace Mechanisms), 기억 영감 계산은 선택적 처리(Selective Processing)와 정보 통합을 다룹니다.

체화 및 감각운동 AI(Embodied and Sensorimotor AI)는 이후 지능을 연속적인 지각-행동 루프(Perception-action Loops)로 확장하며, 뇌 영감 로보틱스는 이러한 메커니즘들을 물리적 에이전트(Physical Agents) 안에서 결합합니다. 이러한 주제들은 함께 신경과학에서 출발하여 기억 시스템, 의사결정, 내부 모델, 월드 모델(World Models), 의식 영감 아키텍처(Consciousness-inspired Architectures), 일반 지능(General Intelligence)으로 이어지는 연결 구조를 형성하며, 이는 전체 Neuroscience for AI 구조와 더 큰 AI Bible Series의 다른 영역으로 확장됩니다.

궁극적으로 뇌 영감 AI는 지능적 계산(Intelligent Computation)에 적용할 수 있는 전이 가능한 원리(Transferable Principles)를 탐색하는 분야로 이해하는 것이 적절합니다. 분산 처리는 확장 가능한 협력을, 가소성은 적응을, 예측은 미래에 대한 선제적 대응을, 주의는 선택적 계산을, 기억은 시간적 연속성(Temporal Continuity)을, 체화는 상호작용을 통한 표현의 기반을, 뉴로모픽 원리는 효율적인 구현을 위한 방향을 제공합니다. 이러한 원리들의 통합은 단순히 규모가 더 큰 AI가 아니라 더욱 적응적이고 효율적이며 지속적인 기억을 유지하고, 맥락을 이해하며, 변화하는 환경과 자율적으로 상호작용할 수 있는 AI 시스템으로 발전하기 위한 하나의 경로를 제시합니다.

05.01 Artificial Neural Networks [w/Code]

인공 신경망(Artificial Neural Networks)은 많은 단순한 처리 단위(Processing Units)가 가중 연결(Weighted Relationships)을 통해 서로 연결될 때 지능적인 기능이 나타날 수 있다는 개념에서 영감을 받은 계산 모델(Computational Models)입니다. 인공 뉴런(Artificial Neurons)은 생물학적 뉴런(Biological Neurons)에 비해 매우 단순화되어 있지만, 그 구성 방식은 분산 계산(Distributed Computation)의 중요한 원리를 반영합니다. 정보는 여러 계층(Layers)을 거치며 변환되고, 유용한 내부 표현(Internal Representations)은 사람이 완전히 직접 설계하는 대신 학습(Learning)을 통해 형성됩니다.

인공 뉴런(Artificial Neuron)은 일반적으로 여러 입력값(Input Values)을 받아 각각을 조정 가능한 가중치(Weights)와 곱하고, 그 결과를 편향 항(Bias Term)과 함께 결합한 뒤 활성화 함수(Activation Function)를 통해 신호를 출력합니다. 이러한 연산 자체는 수학적으로 단순하지만 수천 개 또는 수백만 개의 뉴런이 연결되면 복잡한 비선형 관계(Nonlinear Relationships)를 표현할 수 있습니다. 학습 과정에서는 가중치가 수정되면서 신경망의 출력이 원하는 행동이나 목표값에 점차 가까워집니다.

초기의 신경망 모델(Neural Network Models)은 생물학적 뉴런과 시냅스 연결(Synaptic Connections)을 단순화하여 추상화한 개념에서 출발했습니다. 이러한 모델은 계산이 명시적인 기호 규칙(Symbolic Rules)만으로 표현되는 것이 아니라 서로 연결된 여러 단위에 분산될 수 있다는 개념을 확립했습니다. 현대 신경망은 초기 모델보다 크게 발전했지만, 지식이 네트워크 전체에 분산된 파라미터(Parameter)와 활성화 패턴(Activation Patterns)에 집단적으로 표현된다는 연결주의(Connectionism)의 기본 원리는 여전히 핵심적인 위치를 차지합니다.

신경망(Neural Networks)은 일반적으로 입력 계층(Input Layer), 하나 이상의 은닉 계층(Hidden Layers), 출력 계층(Output Layer)으로 구성됩니다. 입력 계층은 데이터를 받아들이고, 은닉 계층은 이를 점차 유용한 표현으로 변환합니다. 출력 계층은 최종적인 내부 표현을 예측(Prediction), 분류(Classification), 의사결정 값(Decision Value) 또는 특정 작업에 필요한 결과로 변환합니다. 심층 신경망(Deep Neural Networks)은 다수의 은닉 계층을 사용함으로써 여러 단계에 걸친 계층적 특징 변환(Hierarchical Feature Transformation)을 가능하게 합니다.

계층적 표현(Hierarchical Representation)은 인공 신경망과 뇌 영감 계산(Brain-inspired Computation)을 연결하는 가장 중요한 특성 가운데 하나입니다. 초기 계층은 비교적 단순한 패턴에 반응하는 반면, 깊은 계층은 이러한 패턴을 결합하여 더욱 추상적인 구조를 형성하는 경우가 많습니다. 예를 들어 시각 시스템(Visual Systems)에서는 저수준 정보가 에지(Edges), 질감(Textures), 형태(Shapes), 객체 부분(Object Parts), 그리고 최종적으로 객체 수준 표현(Object-level Representations)으로 변환될 수 있습니다. 이러한 과정은 생물학적 감각 시스템(Biological Sensory Systems)에서 발견되는 계층적 처리의 일반적인 개념과 유사합니다.

활성화 함수(Activation Functions)는 신경 계산(Neural Computation)에 비선형성(Nonlinearity)을 도입합니다. 비선형 변환이 없다면 여러 계층을 쌓더라도 전체 동작은 하나의 선형 변환(Linear Transformation)과 동일한 형태로 축소되어 표현 능력이 제한됩니다. 시그모이드(Sigmoid), 쌍곡탄젠트(Hyperbolic Tangent), 정류 선형 유닛(Rectified Linear Unit), 그리고 현대적인 여러 변형 함수는 신경망이 복잡한 매핑(Mappings)을 근사할 수 있도록 합니다. 활성화 함수의 선택은 그래디언트 전파(Gradient Propagation), 희소성(Sparsity), 수치 안정성(Numerical Stability), 계산 효율에도 영향을 미칩니다.

현대 인공 신경망의 대부분은 목적 함수(Objective Function)를 최적화하는 방식으로 학습합니다. 훈련(Training) 과정에서 신경망은 예측값을 생성하고, 손실 함수(Loss Function)는 예측값과 목표 결과 사이의 차이를 측정하며, 최적화 알고리즘(Optimization Algorithm)은 손실을 감소시키도록 파라미터를 조정합니다. 이 과정은 훈련 데이터(Training Data)에 포함된 경험을 분산된 파라미터 구성(Distributed Parameter Configurations)으로 변환합니다. 따라서 모든 중간 규칙을 명시적으로 프로그래밍하지 않고도 필요한 계산 매핑을 학습할 수 있습니다.

역전파(Backpropagation)는 각 파라미터가 예측 오류(Prediction Error)에 얼마나 기여하는지를 계산하는 데 사용되는 대표적인 메커니즘입니다. 역전파는 미적분학의 연쇄 법칙(Chain Rule)을 이용하여 계산 그래프(Computational Graph)를 따라 그래디언트 정보를 역방향으로 전달합니다. 이후 확률적 경사 하강법(Stochastic Gradient Descent)과 같은 최적화 방법이 이러한 그래디언트를 이용하여 네트워크 가중치를 갱신합니다. 역전파는 심층 신경망의 확장 가능한 학습을 가능하게 했지만, 이를 생물학적 학습의 문자 그대로의 모델로 해석해서는 안 됩니다.

역전파의 생물학적 타당성(Biological Plausibility)은 신경과학 영감 AI(Neuroscience-inspired AI)에서 중요한 연구 문제로 남아 있습니다. 생물학적 시냅스(Biological Synapses)는 국소 활동(Local Activity), 시간적 관계(Timing), 신경조절 신호(Neuromodulatory Signals), 순환 상호작용(Recurrent Interactions), 구조적 제약(Structural Constraints)에 크게 의존하는 것으로 보이는 반면, 일반적인 역전파는 정밀한 전역 오류 그래디언트(Global Error Gradients)를 사용합니다. 이러한 차이는 인공 신경망이 신경과학에서 영감을 받았지만 현대 딥러닝(Deep Learning)은 뇌의 충실한 시뮬레이션이라기보다 주로 공학적 프레임워크(Engineering Framework)로 이해해야 한다는 점을 보여줍니다.

표현 학습(Representation Learning)은 신경망이 가지는 가장 중요한 강점 가운데 하나입니다. 전통적인 머신러닝(Traditional Machine Learning)은 사람이 직접 설계한 특징(Hand-designed Features)에 크게 의존하는 경우가 많지만, 신경망은 원시 데이터(Raw Data) 또는 최소한으로 처리된 데이터에서 직접 표현을 학습할 수 있습니다. 따라서 하나의 학습 과정에서 내부 특징과 최종 작업 해결 방법을 함께 최적화할 수 있습니다. 이러한 능력은 유용한 표현을 사람이 직접 정의하기 어려운 이미지(Image), 음성(Speech), 언어(Language), 로보틱스(Robotics), 멀티모달 시스템(Multimodal Systems)에서 특히 중요합니다.

서로 다른 신경망 아키텍처(Neural Network Architectures)는 데이터에 서로 다른 계산 구조를 적용합니다. 완전 연결 신경망(Fully Connected Networks)은 일반적인 비선형 매핑을 제공하고, 합성곱 신경망(Convolutional Networks)은 지역성(Locality)과 공유 필터(Shared Filters)를 도입하며, 순환 신경망(Recurrent Networks)은 순차적 의존성(Sequential Dependencies)을 모델링합니다. 주의 기반 아키텍처(Attention-based Architectures)는 위치 간의 정보 관계를 동적으로 계산합니다. 구조는 서로 다르지만 모두 학습된 가중 변환(Learned Weighted Transformations)을 사용하므로 신경망은 현대 AI의 여러 주요 분야를 연결하는 공통 계산 기반을 제공합니다.

합성곱 신경망(Convolutional Neural Networks)은 계층적 특징 추출(Hierarchical Feature Extraction)이 시각 피질 조직(Visual Cortical Organization)의 일부 특성과 역사적으로 비교되어 왔다는 점에서 뇌 영감 AI와 특히 관련이 있습니다. 국소 수용장(Local Receptive Fields)과 반복적으로 사용되는 특징 검출기(Feature Detectors)는 공간 구조(Spatial Structure)를 효율적으로 처리하도록 합니다. 그러나 이러한 유사성을 지나치게 확대해서는 안 됩니다. 생물학적 시각에는 광범위한 순환 처리, 주의, 피드백(Feedback), 안구 운동(Eye Movements), 시간적 통합(Temporal Integration), 멀티모달 상호작용(Multimodal Interaction)이 존재하며, 일반적인 피드포워드 CNN(Feed-forward CNN)은 이를 부분적으로만 반영합니다.

순환 신경망(Recurrent Neural Networks)은 내부 상태(Internal State)와 피드백 연결(Feedback Connections)을 도입하여 이전의 활동이 이후 계산에 영향을 줄 수 있도록 합니다. 따라서 순수한 피드포워드 신경망보다 시퀀스(Sequences), 시간적 의존성(Temporal Dependencies), 동적 과정(Dynamic Processes)을 처리하는 데 적합합니다. 장단기 메모리(Long Short-Term Memory)와 게이트 순환 유닛(Gated Recurrent Units)은 더 긴 시간 간격에 걸쳐 정보를 유지하는 능력을 개선합니다. 순환 계산(Recurrent Computation)은 생물학적 신경계 전반에 널리 존재하는 피드백 루프(Feedback Loops)와도 개념적으로 연결됩니다.

주의 기반 신경망(Attention-based Neural Networks)은 서로 다른 입력 사이의 관계에 따라 계산을 동적으로 수행할 수 있도록 함으로써 표현 학습을 확장합니다. 모든 정보를 고정된 국소 연결을 통해 처리하는 대신 주의 메커니즘(Attention Mechanisms)은 특정 맥락에서 어떤 요소들이 서로 더 강하게 영향을 주어야 하는지를 계산합니다. 이러한 유연한 정보 라우팅(Flexible Information Routing)은 트랜스포머(Transformers)와 파운데이션 모델(Foundation Models)의 핵심 요소가 되었으며, 신경 계산이 더욱 맥락 의존적(Context-dependent)이고 적응적으로 발전할 수 있음을 보여줍니다.

심층 신경망(Deep Neural Networks)의 성공은 규모(Scale)에도 크게 의존합니다. 더 큰 데이터셋(Larger Datasets), 더 많은 파라미터(Parameters), 특화 가속기(Specialized Accelerators), 개선된 최적화(Optimization), 분산 컴퓨팅(Distributed Computing)을 통해 신경망은 점차 일반적인 표현을 학습할 수 있게 되었습니다. 그러나 규모만으로 생물학적 지능(Biological Intelligence)의 특성을 재현할 수 있는 것은 아닙니다. 신경계는 지속적인 적응(Continual Adaptation), 희소 활동(Sparse Activity), 강력한 기억 메커니즘, 에너지 효율, 체화(Embodiment), 환경과의 폐루프 상호작용(Closed-loop Interaction)도 보여주며, 이러한 특성들은 현재 AI의 중요한 연구 영역입니다.

일반화(Generalization)는 신경망 학습의 핵심 목표입니다. 신경망은 단순히 훈련 사례를 암기하는 것이 아니라 이전에 보지 못한 입력에도 적용할 수 있는 패턴을 추출해야 합니다. 아키텍처의 귀납적 편향(Inductive Biases), 정규화(Regularization), 데이터 다양성(Data Diversity), 데이터 증강(Data Augmentation), 최적화 전략, 학습 목적이 모두 일반화 성능에 영향을 미칩니다. 뇌 영감 관점에서는 제한된 경험으로부터 재사용 가능한 추상화(Reusable Abstractions)를 형성하는 능력이 특히 중요합니다. 생물학적 학습자는 현재의 대규모 AI 시스템보다 훨씬 적은 사례만으로 적응할 수 있는 경우가 많기 때문입니다.

인공 신경망은 변화하는 작업이나 데이터 분포(Data Distributions)를 순차적으로 학습할 때 치명적 망각(Catastrophic Forgetting)의 문제에도 직면합니다. 새로운 학습이 이전의 중요한 지식을 표현하던 파라미터를 변경하면서 기존 능력이 저하될 수 있습니다. 생물학적 시스템은 가소성(Plasticity)과 안정성(Stability)의 균형을 유지하기 위해 여러 메커니즘을 사용하는 것으로 보입니다. 이는 재생(Replay), 정규화, 모듈화(Modularization), 기억 시스템, 선택적 파라미터 적응(Selective Parameter Adaptation)을 활용하는 지속 학습(Continual Learning) 연구로 이어집니다.

희소 계산(Sparse Computation)은 신경망과 생물학적 시스템을 연결하는 또 다른 개념입니다. 대부분의 생물학적 뉴런은 항상 최대 수준으로 활성화되지 않으며, 많은 신경 계산은 전체 네트워크 중 제한된 부분만을 사용합니다. 인공 시스템에서도 희소 활성화(Sparse Activations), 전문가 혼합(Mixture-of-Experts) 아키텍처, 조건부 라우팅(Conditional Routing), 가지치기(Pruning), 선택적 계산(Selective Computation)을 활용하여 불필요한 처리를 감소시키는 방법이 점차 사용되고 있습니다. 이러한 접근은 전체 모델 용량(Model Capacity)을 유지하거나 증가시키면서 계산 효율을 향상시킬 수 있습니다.

신경망은 그 자체가 완전한 지능 시스템으로 동작하기보다 더 큰 지능형 아키텍처(Intelligent Architectures)의 구성요소로 사용될 수도 있습니다. 지각 신경망(Perception Network)은 구조화된 표현을 생성하고, 기억 시스템은 관련 경험을 검색하며, 월드 모델(World Model)은 미래 상태를 예측하고, 정책 신경망(Policy Network)은 행동을 선택할 수 있습니다. 이러한 모듈형 구성(Modular Composition)은 전문화된 계산 과정들의 협력적 상호작용을 통해 지능이 나타난다는 더 넓은 뇌 영감 관점과 연결됩니다.

체화 AI(Embodied AI)와 로보틱스에서 인공 신경망은 감각 정보(Sensory Information)를 상태 추정(State Estimation), 예측, 계획(Planning), 제어(Control)와 연결합니다. 신경망은 이미지, 라이다(LiDAR), 오디오(Audio), 촉각 신호(Tactile Signals), 고유수용감각(Proprioception) 등의 센서 스트림을 해석하고 행동에 필요한 표현을 생성할 수 있습니다. 환경과의 상호작용에서 얻어지는 피드백 및 학습과 결합되면 신경망은 독립적인 패턴 인식 시스템이 아니라 지각-행동 루프(Perception-action Loop)의 일부가 됩니다.

인공 신경망은 생물학적 기원에서 영감을 받았음에도 디지털 계산(Digital Computation)에 최적화된 추상화입니다. 인공 뉴런의 구조, 학습 규칙(Learning Rules), 기억 메커니즘, 시간 처리 방식(Timing Assumptions), 통신 패턴(Communication Patterns)은 생물학적 신경계와 크게 다릅니다. 이러한 차이는 단순한 약점이라기보다 새로운 가능성으로 볼 수 있습니다. 신경과학은 새로운 계산 방식에 대한 아이디어를 지속적으로 제공할 수 있으며, AI는 그 가운데 어떤 원리가 실제 공학적 이점(Engineering Benefits)을 제공하는지를 실험적으로 검증할 수 있습니다.

따라서 뇌 영감 계산에서 인공 신경망은 역사적인 기반인 동시에 더욱 발전된 접근법으로 이동하기 위한 출발점의 역할을 합니다. 스파이킹 신경망(Spiking Neural Networks)은 명시적인 시간 이벤트(Temporal Events)를 도입하고, 뉴로모픽 시스템(Neuromorphic Systems)은 하드웨어 구성을 재검토하며, 기억 영감 아키텍처(Memory-inspired Architectures)는 정보의 지속성(Persistence)을 다룹니다. 체화 시스템(Embodied Systems)은 신경 계산을 행동과 통합합니다. 이러한 발전은 최초의 연결주의 개념을 복잡한 환경에서 지속적으로 동작하고 적응할 수 있는 시스템으로 확장합니다.

인공 신경망의 더 넓은 의미는 많은 단순한 단위 사이에서 학습된 상호작용(Learned Interactions)을 통해 복잡한 행동(Complex Behavior)이 나타날 수 있음을 보여주었다는 데 있습니다. 가장 중요한 기여는 생물학적 뉴런을 정확하게 재현했다는 것이 아니라 분산 표현(Distributed Representation), 계층적 계산(Hierarchical Computation), 학습을 통한 적응(Adaptation through Learning), 대규모 연결성(Large-scale Connectivity)이 인공지능을 구현하는 강력한 원리라는 것을 입증했다는 점입니다. 이러한 원리는 현대 AI와 뇌 영감 AI의 다양한 아키텍처가 계속 발전할 수 있는 기반을 제공합니다.

05.02 Spiking Neural Networks [w/Code]

스파이킹 신경망(Spiking Neural Networks)은 연속적인 활성값(Continuous-valued Activations)만을 사용하여 정보를 전달하는 대신 스파이크(Spikes)라고 불리는 이산적인 이벤트(Discrete Events)를 통해 통신하도록 인공 신경 계산(Artificial Neural Computation)을 확장한 모델입니다. 이는 뉴런이 시간에 따라 발생하는 전기적 임펄스(Electrical Impulses)를 통해 정보를 전달하는 생물학적 신경계(Biological Nervous Systems)에서 영감을 받았습니다. 스파이킹 신경망(SNN)은 시간(Timing)을 계산의 명시적인 요소로 포함함으로써 시간적 동역학(Temporal Dynamics), 희소 활동(Sparse Activity), 이벤트 기반 처리(Event-driven Processing)를 인공지능에 도입합니다.

일반적인 인공 신경망(Artificial Neural Network)에서 뉴런은 일반적으로 수치 입력을 받아 가중합(Weighted Sum)을 계산하고 활성화 함수(Activation Function)를 적용하여 연속적인 출력값을 생성합니다. 반면 스파이킹 뉴런(Spiking Neuron)은 일반적으로 막 전위(Membrane Potential)로 표현되는 내부 상태(Internal State)를 유지합니다. 입력 스파이크는 시간에 따라 이 상태를 변화시키며, 막 전위가 임계값(Threshold)에 도달하면 뉴런은 출력 스파이크를 발생시키고 이후 내부 상태를 초기화하거나 변화시킵니다.

이러한 시간적 동작(Temporal Behavior)은 스파이킹 뉴런을 일반적인 정적 활성화 단위(Static Activation Unit)와 근본적으로 다르게 만듭니다. 뉴런의 반응은 입력 신호의 크기뿐만 아니라 이전 이벤트가 언제 발생했는지와 내부 상태가 시간에 따라 어떻게 변화했는지에도 영향을 받습니다. 따라서 시간 자체가 표현(Representation)의 일부가 됩니다. 비슷한 수의 이벤트를 포함하는 두 스파이크 시퀀스(Spike Sequences)도 시간적 구조(Temporal Structure)가 서로 다르면 다른 반응을 생성할 수 있습니다.

적분-발화 모델(Integrate-and-Fire Model)은 스파이킹 동작을 표현하는 가장 단순한 추상화 가운데 하나입니다. 입력 신호는 막 전위에 누적되고, 막 전위가 발화 임계값(Firing Threshold)을 초과하면 스파이크가 발생합니다. 누설 적분-발화 모델(Leaky Integrate-and-Fire Model)은 여기에 시간이 지나면서 누적된 막 전위가 감소하는 특성을 추가합니다. 이러한 단순화된 모델은 생물학적 복잡성의 많은 부분을 생략하지만 시간적 적분(Temporal Integration), 임계값 동작, 이벤트 생성이라는 핵심 특성을 유지합니다.

스파이킹 신경망에서 정보는 여러 형태의 신경 부호화(Neural Coding)를 통해 표현될 수 있습니다. 발화율 부호화(Rate Coding)는 일정 시간 구간에서 발생하는 스파이크의 수 또는 빈도를 이용하고, 시간 부호화(Temporal Coding)는 정확한 스파이크 발생 시점을 활용합니다. 이외에도 상대적 타이밍(Relative Timing), 지연시간(Latency), 뉴런 집단(Populations of Neurons), 구조화된 스파이크 패턴(Structured Spike Patterns)을 통해 정보를 표현할 수 있습니다. 적절한 부호화 전략은 작업, 감각 입력원, 하드웨어 아키텍처, 정확도와 계산 효율 사이의 균형에 따라 달라집니다.

희소 활동(Sparse Activity)은 많은 스파이킹 시스템의 중요한 특성입니다. 뉴런은 모든 계산 단계에서 반드시 출력을 생성하지 않으며, 충분한 증거가 축적될 때까지 비활성 상태로 유지될 수 있습니다. 이는 많은 연산 단위가 모든 입력에 대해 수치 연산을 수행하는 일반적인 밀집 신경망(Dense Networks)과 차이가 있습니다. 적절한 하드웨어가 지원된다면 희소한 이벤트 기반 활동(Sparse Event-driven Activity)을 통해 불필요한 계산과 데이터 이동(Data Movement)을 감소시킬 수 있습니다.

이러한 특성으로 인해 스파이킹 신경망은 뉴로모픽 컴퓨팅(Neuromorphic Computing)과 특히 밀접한 관련이 있습니다. 뉴로모픽 프로세서(Neuromorphic Processors)는 많은 수의 경량 뉴런형 단위(Neuron-like Units), 국소 상태(Local State), 비동기 통신(Asynchronous Communication), 이벤트 트리거 계산(Event-triggered Computation)을 지원하도록 설계됩니다. 전체 네트워크를 고정된 시간 간격마다 반복적으로 갱신하는 대신 스파이크가 발생할 때 주로 하드웨어 자원이 반응할 수 있습니다. 따라서 SNN 알고리즘과 뉴로모픽 하드웨어의 결합은 에너지 효율적인 지능형 계산(Energy-efficient Intelligent Computation)을 구현하기 위한 하나의 가능성을 제공합니다.

이벤트 기반 센서(Event-based Sensors)는 이러한 계산 모델에 자연스럽게 연결되는 입력을 제공합니다. 예를 들어 이벤트 카메라(Event Camera)는 고정된 주기로 완전한 이미지 프레임(Image Frames)을 전송하는 대신 국소적인 밝기 변화를 보고합니다. 이러한 비동기 출력(Asynchronous Output)은 이미 신경 이벤트의 스트림과 유사한 형태를 가집니다. SNN은 감각 정보를 즉시 기존의 프레임 기반 표현(Frame-based Representations)으로 변환하지 않고 시간적 구조를 유지하면서 이러한 이벤트를 처리할 수 있습니다.

이러한 특성은 환경 변화에 빠르게 반응해야 하는 로보틱스(Robotics)와 자율 시스템(Autonomous Systems)에 특히 매력적입니다. 움직임(Motion), 충돌 위험(Collision Risks), 촉각 접촉(Tactile Contacts), 음향 이벤트(Acoustic Events)를 비롯한 동적 신호에는 중요한 시간 정보가 포함되는 경우가 많습니다. 이벤트 기반 신경 처리(Event-driven Neural Processing)는 완전한 처리 프레임이 준비될 때까지 기다리지 않고 변화가 발생하는 순간 대응할 수 있습니다. 따라서 엄격한 에너지 및 계산 제약 조건에서 저지연 지각(Low-latency Perception)과 제어(Control)를 구현할 가능성을 제공합니다.

SNN의 학습(Learning)은 스파이크가 이산적인 이벤트이고 임계값 연산(Threshold Operation)이 일반적인 방식으로는 미분 가능하지 않다는 점 때문에 독특한 어려움을 가집니다. 따라서 표준 역전파(Standard Backpropagation)를 일반적인 심층 신경망과 완전히 동일한 방식으로 직접 적용하기 어려운 경우가 있습니다. 이를 해결하기 위해 생물학적으로 영감을 받은 국소 학습 규칙(Local Learning Rules), 대리 그래디언트 기법(Surrogate-gradient Techniques), 학습된 인공 신경망에서의 변환(ANN-to-SNN Conversion), 그리고 이러한 방법들을 결합하는 다양한 전략이 개발되었습니다.

스파이크 타이밍 의존 가소성(Spike-timing-dependent Plasticity, STDP)은 SNN과 관련된 가장 잘 알려진 생물학적 영감 학습 메커니즘 가운데 하나입니다. STDP는 시냅스 전 스파이크(Presynaptic Spike)와 시냅스 후 스파이크(Postsynaptic Spike)의 상대적인 발생 시점에 따라 시냅스 강도(Synaptic Strength)를 변화시킵니다. 어떤 뉴런이 먼저 발화했는지와 두 스파이크 사이의 시간 간격에 따라 연결이 강화되거나 약화될 수 있습니다. 따라서 시간적 관계가 시냅스 적응(Synaptic Adaptation)에 직접 영향을 주는 국소 학습 메커니즘을 제공합니다.

그러나 생물학적 타당성(Biological Plausibility)과 작업 성능(Task Performance)은 동일한 목표가 아닙니다. 순수한 국소 학습 규칙은 신경과학적 관점에서는 매력적일 수 있지만 복잡한 지도 학습(Supervised Learning) 작업으로 확장하기 어려울 수 있습니다. 대리 그래디언트 학습(Surrogate-gradient Learning)은 학습 과정에서 스파이크 생성 함수(Spike-generation Function)의 미분값을 근사하여 이러한 문제를 해결합니다. 이를 통해 순전파 계산(Forward Computation)에서는 스파이킹 동역학을 유지하면서 그래디언트 기반 최적화(Gradient-based Optimization)를 수행할 수 있습니다.

또 다른 실용적인 전략은 ANN-to-SNN 변환(ANN-to-SNN Conversion)입니다. 먼저 기존 인공 신경망을 성숙한 딥러닝 학습 기법으로 훈련한 다음 이를 스파이킹 표현(Spiking Representation)으로 변환할 수 있습니다. 이 방법은 기존 신경망 성능의 상당 부분을 유지하면서 이벤트 기반 하드웨어(Event-driven Hardware)에 배포할 가능성을 제공합니다. 그러나 변환 과정에서는 발화율(Firing Rates), 지연시간, 수치 정밀도(Numerical Precision), 임계값 보정(Threshold Calibration), 필요한 시뮬레이션 시간 단계(Simulation Time Steps) 사이의 절충이 발생합니다.

따라서 SNN의 성능은 예측 정확도(Predictive Accuracy) 이외의 여러 차원에서도 평가해야 합니다. 에너지 소비(Energy Consumption), 스파이크 수(Spike Count), 지연시간(Latency), 시간 해상도(Temporal Resolution), 메모리 트래픽(Memory Traffic), 하드웨어 활용률(Hardware Utilization), 강건성(Robustness)이 모두 중요할 수 있습니다. 더 적은 스파이크를 생성하는 네트워크는 에너지를 적게 소비할 수 있지만 충분한 증거를 축적하는 데 더 긴 시간이 필요할 수 있습니다. 반대로 높은 발화율은 응답 속도를 개선하지만 희소 계산에서 기대되는 효율상의 이점을 감소시킬 수 있습니다.

SNN의 시간적 특성은 본질적인 형태의 상태(State)와 단기 기억(Short-term Memory)도 제공합니다. 막 전위와 시냅스 동역학(Synaptic Dynamics)은 최근 이벤트에 대한 정보를 일정 시간 유지할 수 있으므로 현재 반응이 시간적 맥락(Temporal Context)에 영향을 받을 수 있습니다. 이러한 특성은 순차적 감각 스트림(Sequential Sensory Streams), 움직임 분석(Motion Analysis), 청각 처리(Auditory Processing), 제스처 인식(Gesture Recognition), 감각운동 제어(Sensorimotor Control)에 유용합니다. 모든 과거 관측을 명시적으로 저장하지 않아도 신경 동역학 자체에서 시간적 상태가 형성될 수 있습니다.

그러나 SNN은 많은 대규모 응용 분야에서 기존 심층 신경망보다 아직 상당히 성숙도가 낮습니다. 학습 도구(Training Tools), 소프트웨어 생태계(Software Ecosystems), 최적화 방법, 벤치마크 표준(Benchmark Standards), 하드웨어 이식성(Hardware Portability)이 계속 발전하고 있습니다. 대규모 트랜스포머(Transformers)와 합성곱 아키텍처(Convolutional Architectures)는 고도로 최적화된 GPU 인프라의 이점을 얻지만, SNN의 성능은 기반 하드웨어가 희소한 비동기 이벤트를 얼마나 효율적으로 활용할 수 있는지에 크게 의존합니다.

따라서 스파이킹 모델을 일반적인 하드웨어에서 실행한다고 해서 자동으로 큰 에너지 절감 효과가 발생하는 것은 아닙니다. 스파이크를 밀집 텐서(Dense Tensors)로 표현하고 여러 개의 이산적인 시간 단계마다 전체 네트워크를 반복적으로 시뮬레이션한다면 계산 비용은 여전히 상당할 수 있습니다. 가장 큰 효율상의 이점을 얻으려면 알고리즘, 표현 방식, 런타임 시스템(Runtime Systems), 센서, 통신 메커니즘, 뉴로모픽 하드웨어가 서로 조화롭게 설계되어야 합니다.

따라서 SNN은 기존 인공 신경망을 단순히 대체하는 기술로 이해해서는 안 됩니다. 두 계산 패러다임(Computational Paradigms)은 서로 다른 강점을 가지고 있습니다. 밀집 심층 신경망(Dense Deep Networks)은 성숙한 최적화 기술과 다양한 정적 및 대규모 학습 작업에서 우수한 성능을 제공하는 반면, SNN은 명시적인 시간 동역학, 이벤트 기반 동작, 희소 통신(Sparse Communication), 뉴로모픽 아키텍처와의 높은 호환성을 제공합니다. 하이브리드 시스템(Hybrid Systems)은 두 접근법의 장점을 함께 활용할 수 있습니다.

예를 들어 로봇 아키텍처(Robotic Architecture)는 빠른 감각 처리와 저전력 모니터링(Low-power Monitoring)에 이벤트 기반 스파이킹 모듈(Event-driven Spiking Modules)을 사용하고, 의미적 해석(Semantic Interpretation), 계획(Planning), 복잡한 멀티모달 추론(Multimodal Reasoning)에는 기존 심층 신경망을 사용할 수 있습니다. 학습된 표현이나 중간 인터페이스(Intermediate Interfaces)를 통해 두 계산 영역 사이에서 정보를 교환할 수 있습니다. 이러한 하이브리드 아키텍처는 지능형 시스템의 모든 기능에 하나의 계산 메커니즘만 사용할 필요가 없다는 더 넓은 원리를 반영합니다.

신경과학적 관점에서 SNN은 생물학적 신경 동역학(Biological Neural Dynamics)과 기계 지능(Machine Intelligence)을 연결하는 유용한 실험적 가교 역할도 합니다. 이를 통해 시간 부호화, 순환 상호작용, 국소 가소성(Local Plasticity), 희소 활동, 집단 동역학(Population Dynamics)이 계산에 어떻게 기여하는지를 연구할 수 있습니다. 단순화된 스파이킹 뉴런은 완전한 생물학적 모델과는 여전히 큰 차이가 있지만, 기존 활성화 기반 신경망(Activation-based Networks)이 일반적으로 추상화하여 제거하는 신경 처리의 시간적 특성을 유지합니다.

뇌 영감 계산(Brain-inspired Computation)에서 SNN은 인공 신경망과 뉴로모픽 컴퓨팅 사이에서 중요한 위치를 차지합니다. 기존 신경망이 분산된 학습 표현(Distributed Learned Representations)의 강력함을 보여준다면, SNN은 여기에 명시적인 시간, 스파이크, 내부 동역학, 이벤트 기반 통신을 추가합니다. 이후 뉴로모픽 하드웨어는 이러한 특성을 더욱 직접적으로 구현하여 신경 모델을 희소하고 비동기적인 계산을 중심으로 설계된 아키텍처와 연결할 수 있습니다.

AI가 오프라인 데이터 처리(Offline Data Processing)에서 지속적으로 동작하는 체화 시스템(Embodied Systems)으로 발전할수록 SNN의 중요성은 더욱 커질 수 있습니다. 물리적 에이전트(Physical Agent)는 시간에 따라 연속적으로 감각 스트림을 입력받고, 의미 있는 변화를 탐지하며, 내부 상태를 유지하고, 전력 및 지연시간 제약 아래에서 대응해야 합니다. 이러한 요구사항은 생물학적 신경계가 동작하는 계산 조건과 유사하며 이벤트 기반 신경 계산(Event-driven Neural Computation)이 적용될 수 있는 자연스러운 영역을 제공합니다.

궁극적으로 스파이킹 신경망은 정보가 활성화 크기(Activation Magnitude)뿐만 아니라 이벤트와 그 발생 시점에 의해서도 전달된다는 대안적인 신경 계산 관점(Alternative View of Neural Computation)을 제시합니다. 그 잠재력은 시간적 처리(Temporal Processing), 희소 통신, 적응적 동역학(Adaptive Dynamics), 에너지 효율적인 실행(Energy-efficient Execution)을 결합하는 데 있습니다. SNN이 미래 AI의 지배적인 패러다임이 되든 특정 기능에 특화된 구성요소가 되든, 정적인 입력을 개별적으로 처리하는 방식에서 벗어나 세계를 연속적으로 인식하고 처리하는 지능형 시스템으로 발전하기 위한 중요한 경로를 제공합니다.

05.03 Neuromorphic Computing [w/Code]

뉴로모픽 컴퓨팅(Neuromorphic Computing)은 생물학적 신경계(Biological Nervous Systems)의 조직적 및 계산적 원리(Organizational and Computational Principles)에서 영감을 받은 컴퓨터 아키텍처(Computer Architecture) 접근법입니다. 뇌를 생물학적으로 완전히 재현하려는 것이 아니라 분산 처리(Distributed Processing), 국소 메모리(Local Memory), 희소 활동(Sparse Activity), 비동기 통신(Asynchronous Communication), 이벤트 기반 계산(Event-driven Computation)을 지원하는 하드웨어 메커니즘을 구현하는 것을 목표로 합니다. 이러한 특성은 뉴로모픽 시스템을 순차적인 수치 연산을 중심으로 설계된 기존 프로세서 아키텍처와 구분합니다.

기존 컴퓨팅 시스템(Conventional Computing Systems)은 일반적으로 폰 노이만 아키텍처(Von Neumann Architecture)에 따라 처리 장치(Processing Units)와 메모리(Memory)를 분리합니다. 계산 과정에서 데이터가 메모리와 프로세서 사이를 반복적으로 이동해야 하므로 통신 오버헤드(Communication Overhead), 지연시간(Latency), 에너지 소비(Energy Consumption)가 발생합니다. 이러한 한계는 대규모 AI 워크로드(AI Workloads)에서 더욱 중요해집니다. 뉴로모픽 컴퓨팅은 계산과 메모리를 더욱 가까이 배치하여 불필요한 데이터 이동을 줄이고 더욱 국소적인 정보 처리를 가능하게 하는 아키텍처를 탐구합니다.

생물학적 뇌(Biological Brain)는 이러한 기존 컴퓨팅 구조와 대비되는 중요한 개념적 모델을 제공합니다. 신경 계산(Neural Computation)은 상호 연결된 뉴런(Neurons)과 시냅스(Synapses)에 걸쳐 대규모로 분산되어 있으며, 정보 처리는 신경 상태(Neural State)와 연결성이 물리적으로 표현되는 위치에서 주로 이루어집니다. 중앙 집중식 프로세서와 별도의 메모리 시스템 사이에서 모든 중간 값을 지속적으로 전송하는 것과 직접적으로 대응되는 구조가 존재하지 않습니다. 뉴로모픽 아키텍처는 뉴런형 처리 요소(Neuron-like Processing Elements)와 국소적으로 저장되는 시냅스 상태(Synaptic States)를 통해 이러한 분산 구조의 일부 특성을 구현하려 합니다.

스파이킹 신경망(Spiking Neural Networks)은 많은 뉴로모픽 시스템에서 자연스럽게 사용될 수 있는 계산 모델을 제공합니다. 스파이킹 신경망은 밀집된 수치 활성값(Dense Numerical Activations)을 지속적으로 갱신하는 대신 시간에 따라 발생하는 이산적인 이벤트(Discrete Events)를 이용하여 통신합니다. 뉴로모픽 하드웨어는 이러한 이벤트를 감지하고 스파이크(Spikes)가 발생할 때 주로 계산을 활성화할 수 있습니다. 이러한 이벤트 기반 동작(Event-driven Operation)은 입력 신호나 내부 신경 상태가 변하지 않을 때 발생하는 많은 불필요한 계산을 제거할 가능성을 제공합니다.

따라서 비동기 통신(Asynchronous Communication)은 많은 뉴로모픽 아키텍처의 핵심적인 특성입니다. 기존 디지털 시스템은 일반적으로 전역 클록(Global Clock)을 이용하여 계산을 동기화하지만, 뉴로모픽 시스템에서는 관련 이벤트가 발생할 때 구성요소들이 통신하도록 할 수 있습니다. 개별 처리 요소는 전체 시스템의 동기화된 갱신을 기다리는 대신 국소 상태와 입력 스파이크에 따라 동작할 수 있습니다. 이러한 방식은 희소하고 불규칙한 계산 활동(Sparse and Irregular Computational Activity)을 지원하면서 응답성을 향상시킬 수 있습니다.

국소 메모리(Local Memory) 역시 중요합니다. 신경 계산 과정에서는 시냅스 파라미터(Synaptic Parameters)와 신경 상태(Neural States)에 매우 빈번하게 접근해야 하기 때문입니다. 이러한 값들이 처리 장치에서 멀리 떨어진 곳에 존재하면 반복적인 데이터 전송이 에너지 소비의 상당 부분을 차지할 수 있습니다. 따라서 뉴로모픽 설계는 메모리와 계산을 동일한 위치에 배치하거나 긴밀하게 통합하려 합니다. 이러한 원리는 메모리 내 처리(Processing-in-Memory) 및 메모리 근접 계산(Compute-near-Memory)과 밀접하게 관련되지만, 뉴로모픽 컴퓨팅은 여기에 신경 동역학(Neural Dynamics), 연결성(Connectivity), 이벤트 기반 통신까지 강조합니다.

에너지 효율(Energy Efficiency)은 뉴로모픽 컴퓨팅을 연구하는 가장 강력한 동기 가운데 하나입니다. 생물학적 신경계는 매우 제한된 전력 예산(Power Budget)으로 지속적인 지각(Perception), 예측(Prediction), 적응(Adaptation), 운동 제어(Motor Control)를 수행합니다. 뉴로모픽 시스템은 희소 활성화(Sparse Activation), 국소 통신(Local Communication), 병렬 처리(Parallel Processing), 이벤트 트리거 실행(Event-triggered Execution)을 결합하여 이와 유사한 계산 효율을 추구합니다. 모든 구성요소를 지속적으로 밀집 갱신하는 대신 의미 있는 계산이 발생할 때 주로 에너지를 소비하도록 하는 것입니다.

대규모 병렬성(Massive Parallelism)은 신경계의 조직 방식에서 가져온 또 하나의 중요한 특성입니다. 생물학적 뉴런은 하나의 순차적인 처리 경로를 따라 명령을 실행하는 것이 아니라 동시에 동작합니다. 뉴로모픽 프로세서(Neuromorphic Processors)도 국소 신경 상태를 병렬로 갱신할 수 있는 많은 처리 요소를 포함합니다. 이러한 아키텍처는 복잡한 명령의 긴 시퀀스를 수행하기보다 비교적 단순한 다수의 단위가 상호작용하고 그 집단 동역학(Collective Dynamics)에서 계산 결과가 나타나는 워크로드에 특히 적합합니다.

뉴로모픽 하드웨어(Neuromorphic Hardware)는 여러 기술적 접근법을 이용하여 구현할 수 있습니다. 디지털 구현(Digital Implementations)은 프로그래밍 가능성(Programmability), 신뢰성(Reliability), 기존 반도체 설계 방법과의 호환성을 제공합니다. 아날로그 및 혼합 신호 아키텍처(Analog and Mixed-signal Architectures)는 물리적인 전기 동역학(Electrical Dynamics)을 활용하여 신경 연산을 효율적으로 수행할 수 있습니다. 새로운 메모리 기술(Emerging Memory Technologies)을 사용하여 시냅스 가중치(Synaptic Weights)를 메모리 소자에 직접 표현함으로써 저장 공간과 곱셈-누산 연산(Multiply-and-Accumulate Operations)에 필요한 에너지를 줄이는 방법도 연구되고 있습니다.

이벤트 기반 센서(Event-based Sensors)는 뉴로모픽 프로세서와 특히 잘 결합됩니다. 기존 센서는 의미 있는 변화가 발생했는지 여부와 관계없이 고정된 시간 간격으로 전체 데이터 프레임(Data Frames)을 생성하는 경우가 많습니다. 반면 이벤트 카메라(Event Cameras)는 국소적인 밝기 변화를 비동기적으로 전송하며, 다른 이벤트 기반 센서 역시 청각(Auditory), 촉각(Tactile), 환경 변화(Environmental Changes)를 유사한 방식으로 부호화할 수 있습니다. 이러한 센서를 뉴로모픽 프로세서와 직접 연결하면 밀집된 중간 표현(Dense Intermediate Representations)을 반복적으로 생성하지 않고 지속적인 감지 파이프라인(Continuous Sensing Pipeline)을 구성할 수 있습니다.

이러한 센서와 계산의 연결은 엣지 AI(Edge AI)에서 특히 중요합니다. 로봇(Robots), 드론(Drones), 웨어러블 시스템(Wearable Systems), 자율 기계(Autonomous Machines), 사물인터넷(Internet of Things) 장치는 배터리 용량(Battery Capacity), 열 방출(Thermal Dissipation), 계산 자원(Computational Resources), 통신 대역폭(Communication Bandwidth)에 엄격한 제약을 받는 경우가 많습니다. 모든 센서 데이터를 클라우드 인프라(Cloud Infrastructure)로 전송하면 지연시간과 네트워크 연결에 대한 의존성이 증가합니다. 뉴로모픽 프로세서는 감각 정보가 생성되는 위치 가까이에서 저전력 국소 추론(Low-power Local Inference)과 이벤트 탐지(Event Detection)를 수행할 가능성을 제공합니다.

로보틱스(Robotics)는 로봇이 변화하는 물리적 환경(Physical Environments)과 지속적으로 상호작용한다는 점에서 특히 자연스러운 응용 분야입니다. 로봇은 제한된 시간 내에 내부 상태를 유지하면서 움직임, 장애물, 접촉, 소리, 예상하지 못한 이벤트를 탐지하고 대응해야 합니다. 뉴로모픽 지각(Neuromorphic Perception)은 동적인 감각 스트림을 낮은 지연시간으로 처리할 수 있으며, 스파이킹 신경망은 시간적 정보와 제어 신호(Control Signals)를 표현할 수 있습니다. 이러한 기능은 고수준 계획(High-level Planning)과 의미적 추론(Semantic Reasoning)을 담당하는 기존 프로세서를 보완할 수 있습니다.

따라서 뉴로모픽 시스템은 CPU와 GPU를 완전히 대체하기보다 이종 컴퓨팅 아키텍처(Heterogeneous Computing Architectures)의 일부로 활용될 수 있습니다. GPU는 대규모 파운데이션 모델(Foundation Models)의 학습이나 밀집 행렬 연산(Dense Matrix Operations)에 더 적합할 수 있으며, 뉴로모픽 프로세서는 지속적인 이벤트 모니터링(Continuous Event Monitoring), 시간적 감지(Temporal Sensing), 저전력 반사형 제어(Low-power Reflex-like Control)를 담당할 수 있습니다. CPU, GPU, 신경망 가속기(Neural Accelerators), 뉴로모픽 프로세서는 각각의 워크로드 특성에 따라 협력할 수 있습니다.

뉴로모픽 하드웨어에서 직접 학습하는 온칩 학습(On-chip Learning)은 또 하나의 중요한 연구 방향입니다. 기존 AI에서는 강력한 외부 컴퓨팅 인프라에서 모델을 학습한 뒤 고정된 파라미터를 엣지 장치에 배포하는 경우가 많습니다. 반면 뇌 영감 시스템(Brain-inspired Systems)은 동작 과정에서 학습이 지속적으로 이루어지는 온라인 적응(Online Adaptation)을 지향합니다. 국소 가소성 규칙(Local Plasticity Rules), 스파이크 타이밍 의존 가소성(Spike-timing-dependent Plasticity), 보상 조절 학습(Reward-modulated Learning) 등의 메커니즘은 전체 네트워크에 대한 전역 그래디언트 계산(Global Gradient Computation) 없이 시냅스 상태를 수정할 가능성을 제공합니다.

그러나 온칩 학습은 어려운 공학적 요구사항을 발생시킵니다. 하드웨어는 변화하는 시냅스 상태를 저장하고, 학습 연산을 지원하며, 수치 안정성(Numerical Stability)을 유지하면서도 과도한 에너지를 소비하지 않아야 합니다. 또한 제한된 정밀도(Limited Precision)와 하드웨어 변동성(Hardware Variability)이 존재하는 조건에서도 학습 규칙이 효과적으로 동작해야 합니다. 이러한 문제는 생물학적 영감만으로 충분하지 않으며 알고리즘, 소자 기술(Device Technologies), 회로 설계(Circuit Design), 아키텍처, 소프트웨어, 응용 요구사항을 긴밀하게 조정해야 한다는 점을 보여줍니다.

확장성(Scalability) 역시 중요한 과제입니다. 생물학적 뇌에는 엄청난 수의 뉴런과 그보다 훨씬 많은 시냅스 연결이 존재하여 매우 복잡한 통신 패턴을 형성합니다. 인공 뉴로모픽 하드웨어가 이러한 연결성을 제약 없이 그대로 구현하는 것은 불가능합니다. 따라서 처리 코어 사이에서 스파이크를 효율적으로 라우팅(Routing)하는 것이 핵심적인 아키텍처 문제가 됩니다. 통신 네트워크는 과도한 하드웨어 오버헤드 없이 높은 팬아웃(High Fan-out), 희소 트래픽(Sparse Traffic), 유연한 연결성, 낮은 지연시간을 지원해야 합니다.

소프트웨어 생태계(Software Ecosystems)도 실제 도입 가능성에 큰 영향을 미칩니다. 기존 AI는 성숙한 프레임워크(Frameworks), 최적화된 GPU 라이브러리, 표준화된 학습 파이프라인(Standardized Training Pipelines), 광범위한 개발자 커뮤니티의 지원을 받습니다. 반면 뉴로모픽 컴퓨팅은 다양한 하드웨어 아키텍처와 프로그래밍 모델에 걸쳐 있어 이식성(Portability)을 확보하기가 어렵습니다. 개발자가 각 하드웨어 플랫폼에 맞춰 응용 프로그램을 다시 설계하지 않고도 신경 동역학, 연결성, 학습 규칙, 이벤트 스트림(Event Streams)을 정의할 수 있는 효과적인 추상화(Abstractions)가 필요합니다.

뉴로모픽 시스템의 벤치마킹(Benchmarking)에는 기존의 모델 정확도(Model Accuracy) 이외의 지표도 필요합니다. 추론당 에너지(Energy per Inference), 지연시간, 처리량(Throughput), 스파이크 트래픽(Spike Traffic), 메모리 접근(Memory Access), 하드웨어 활용률(Hardware Utilization), 시간 해상도(Temporal Resolution), 지속 동작 시 전력 소비가 모두 중요할 수 있습니다. 또한 기존 프로세서에서 뉴로모픽 알고리즘을 시뮬레이션하는 것과 전용 하드웨어에서 직접 실행하는 것을 구분해야 합니다. 이벤트 기반 알고리즘이라도 적합하지 않은 컴퓨팅 인프라에서 밀집 연산으로 구현한다면 자동으로 에너지 효율이 향상되는 것은 아닙니다.

따라서 뉴로모픽 컴퓨팅과 기존 딥러닝(Conventional Deep Learning)의 관계는 상호보완적입니다. 심층 신경망(Deep Neural Networks)은 밀집 수치 계산(Dense Numerical Computation), 대규모 데이터셋, 그래디언트 최적화(Gradient Optimization), 가속기 하드웨어를 통해 뛰어난 능력을 달성했습니다. 반면 뉴로모픽 컴퓨팅은 시간적 동역학(Temporal Dynamics), 희소 이벤트(Sparse Events), 국소 상태, 분산 처리, 저전력 동작을 중심으로 하는 다른 설계 공간(Design Space)을 탐구합니다. 미래의 지능형 시스템은 둘 가운데 하나만 선택하기보다 이러한 패러다임을 결합할 가능성이 있습니다.

이러한 결합은 계산 요구사항이 여러 시간 규모(Timescales)에 걸쳐 존재하는 체화 AI(Embodied AI)에서 특히 중요합니다. 빠른 감각 반응은 밀리초 수준의 이벤트 처리를 요구할 수 있지만, 의미적 추론과 계획은 상대적으로 느린 속도로 수행될 수 있습니다. 뉴로모픽 구성요소는 효율적인 지속적 지각(Continuous Perception)과 반응형 제어(Reactive Control)를 제공하고, 기존 신경망이나 파운데이션 모델은 고수준 이해(Higher-level Understanding)를 담당할 수 있습니다. 이러한 계층적 통합(Hierarchical Integration)은 전문화된 하위 시스템들이 하나의 통합된 에이전트(Unified Agent) 안에서 협력한다는 보다 넓은 뇌 영감 원리와 유사합니다.

뉴로모픽 컴퓨팅은 AI의 발전이 반드시 모델 크기(Model Size)와 계산 처리량(Computational Throughput)을 증가시키는 것에서만 이루어져야 한다는 가정에도 도전합니다. 생물학적 지능은 아키텍처, 통신 구조(Communication Structure), 시간적 동역학, 희소성(Sparsity), 적응이 순수한 산술 연산 능력(Raw Arithmetic Capacity)만큼 중요할 수 있음을 보여줍니다. 따라서 뉴로모픽 연구는 단순히 초당 더 많은 연산을 수행하는 대신 정보가 표현되고 이동하는 방식을 변화시킴으로써 지능형 계산을 더욱 효율적으로 만들 수 있는지를 탐구합니다.

뇌 영감 AI(Brain-inspired AI)에서 뉴로모픽 컴퓨팅은 계산 신경과학(Computational Neuroscience), 스파이킹 신경망, 이벤트 기반 감지(Event-based Sensing), 물리적 하드웨어(Physical Hardware)를 연결하는 가교를 형성합니다. 인공 신경망(Artificial Neural Networks)은 분산 표현(Distributed Representation)의 기반을 제공하고, SNN은 명시적인 스파이크와 시간적 동역학을 도입하며, 뉴로모픽 아키텍처는 이러한 특성을 활용할 수 있는 하드웨어를 제공합니다. 이러한 발전 과정은 알고리즘적 아이디어를 지속적이고 희소하며 비동기적인 계산을 위해 설계된 실제 구현과 연결합니다.

궁극적으로 뉴로모픽 컴퓨팅은 지속적으로 동작하는 지능형 시스템(Continuously Operating Intelligent Systems)에 더욱 적합한 원리를 중심으로 컴퓨팅 구조 자체를 재설계하려는 시도입니다. 장기적인 가치는 문자 그대로의 전자 두뇌(Electronic Brain)를 만드는 데 있기보다 국소 메모리, 이벤트 기반 통신, 대규모 병렬성, 시간적 처리, 희소 활동, 적응적 학습(Adaptive Learning)을 결합하는 데 있을 수 있습니다. 이러한 원리는 엣지에서 효율적으로 동작하면서 물리적 세계와 반응적이고 지속적이며 체화된 상호작용(Embodied Interaction)을 수행할 수 있는 AI 하드웨어로 발전하기 위한 하나의 경로를 제공합니다.

05.04 Energy Efficient AI [w/Code]

에너지 효율 인공지능(Energy-efficient AI)은 유용한 성능을 유지하면서 지능형 시스템(Intelligent Systems)의 계산(Computation), 메모리(Memory), 통신(Communication), 전력 요구량(Power Requirements)을 줄이는 데 초점을 둡니다. 이 주제는 생물학적 신경계(Biological Nervous Systems)가 엄격한 에너지 제약 아래에서도 지속적인 지각(Perception), 학습(Learning), 예측(Prediction), 제어(Control)를 수행한다는 점에서 뇌 영감 계산(Brain-inspired Computation)에서 특히 중요합니다. AI 시스템은 희소 활동(Sparse Activity), 선택적 처리(Selective Processing), 국소 계산(Local Computation), 이벤트 기반 동작(Event-driven Operation)과 같은 관련 원리를 활용할 수 있습니다.

현대 AI 모델(Modern AI Models)은 파라미터 수(Parameter Counts), 학습 데이터(Training Data), 메모리 용량(Memory Capacity), 계산 처리량(Computational Throughput)을 증가시킴으로써 더 높은 성능을 달성하는 경우가 많습니다. 이러한 스케일링 전략(Scaling Strategy)은 성능을 향상시킬 수 있지만 전력 소비, 하드웨어 요구사항, 열 부하(Thermal Load), 인프라 비용(Infrastructure Cost)도 증가시킵니다. 따라서 에너지 효율 AI는 더 적은 연산, 더 적은 데이터 이동(Data Movement), 낮은 정밀도(Reduced Precision), 필요한 경우에만 자원을 활성화하는 아키텍처를 통해 유용한 지능을 구현하는 방법을 탐구합니다.

에너지 소비를 고려할 때 데이터 이동은 산술 계산(Arithmetic Computation)만큼 중요한 경우가 많습니다. 특히 대규모 신경망(Large Neural Networks)에서는 프로세서, 캐시(Cache), 외부 메모리(External Memory) 사이에서 파라미터와 중간 활성값(Intermediate Activations)을 이동하는 데 상당한 에너지가 필요할 수 있습니다. 따라서 효율적인 시스템은 데이터 재사용(Data Reuse)을 극대화하고, 메모리 지역성(Memory Locality)을 개선하며, 불필요한 전송을 줄이고, 저장된 정보에 더욱 가까운 위치에서 계산을 수행하려 합니다. 이러한 목표는 에너지 효율 AI를 뉴로모픽(Neuromorphic) 및 메모리 중심 아키텍처(Memory-centric Architectures)와 연결합니다.

희소 계산(Sparse Computation)은 불필요한 처리를 줄이기 위한 가장 강력한 전략 가운데 하나입니다. 모든 입력에 대해 모든 뉴런, 파라미터 또는 모델 구성요소를 활성화하는 대신 희소 시스템(Sparse System)은 현재 작업이나 맥락(Context)에 관련된 자원만 사용합니다. 희소 활성화(Sparse Activations), 가지치기(Pruning), 조건부 실행(Conditional Execution), 전문가 혼합(Mixture-of-Experts) 아키텍처가 이러한 원리를 따릅니다. 많은 인지 과정에서 전체 신경 집단 가운데 일부만 강하게 활성화되는 생물학적 신경계의 특성은 이러한 접근에 중요한 영감을 제공합니다.

조건부 계산(Conditional Computation)은 어떤 처리 경로(Processing Pathways)를 사용할 것인지 동적으로 결정함으로써 희소성을 확장합니다. 시스템은 단순한 입력을 경량 모듈(Lightweight Modules)을 통해 처리하고, 어렵거나 불확실한 사례에는 더 많은 계산 자원을 할당할 수 있습니다. 주의 메커니즘(Attention Mechanisms), 게이팅 네트워크(Gating Networks), 조기 종료 전략(Early-exit Strategies), 전문가 라우팅(Expert Routing)이 이러한 동작을 지원할 수 있습니다. 목표는 모든 연산을 단순히 저렴하게 만드는 것이 아니라 추가적인 정보를 거의 제공하지 않는 고비용 계산 자체를 수행하지 않는 것입니다.

모델 압축(Model Compression)은 신경망을 표현하고 실행하는 데 필요한 메모리와 계산량을 감소시킵니다. 가지치기는 불필요한 파라미터나 구조를 제거하고, 양자화(Quantization)는 값을 더 낮은 수치 정밀도로 표현하며, 지식 증류(Knowledge Distillation)는 큰 모델의 유용한 동작을 더 작은 모델로 전달합니다. 저랭크 근사(Low-rank Approximations)와 파라미터 공유(Parameter Sharing)를 통해 중복성을 추가로 줄일 수도 있습니다. 이러한 기술은 AI를 임베디드(Embedded), 모바일(Mobile), 로봇(Robotic), 엣지 컴퓨팅(Edge Computing) 플랫폼에 배포할 때 특히 중요합니다.

양자화(Quantization)는 낮은 정밀도의 산술 연산이 일반적으로 높은 정밀도의 연산보다 적은 메모리, 데이터 이동, 계산 에너지를 요구하기 때문에 상당한 효율 향상을 제공할 수 있습니다. 학습 과정에서는 수치 안정성(Numerical Stability)을 위해 상대적으로 높은 정밀도를 사용할 수 있지만, 추론(Inference)에서는 낮은 정밀도로도 동작할 수 있는 경우가 많습니다. 그러나 지나치게 공격적인 양자화는 정확도(Accuracy)나 강건성(Robustness)을 저하시킬 수 있으므로 모델 아키텍처, 하드웨어 지원, 응용 요구사항에 따라 적절한 수치 표현(Numerical Representation)을 선택해야 합니다.

하드웨어-소프트웨어 공동 설계(Hardware-software Co-design)는 알고리즘의 효율성이 자동으로 낮은 에너지 소비로 이어지지 않기 때문에 필수적입니다. 프로세서가 희소 연산을 비효율적으로 수행한다면 희소 모델의 이점이 거의 없을 수 있으며, 양자화 역시 하드웨어가 저정밀 연산(Low-precision Arithmetic)을 효과적으로 지원할 때 실질적인 장점을 가집니다. 따라서 에너지 효율 AI는 신경망 아키텍처, 컴파일러(Compiler), 런타임(Runtime), 메모리 시스템, 가속기(Accelerator), 센서 파이프라인(Sensor Pipeline), 배포 환경(Deployment Environment)을 통합적으로 설계해야 합니다.

이벤트 기반 계산(Event-driven Computation)은 또 하나의 뇌 영감 접근법입니다. 고정된 시간 간격마다 전체 입력을 반복적으로 처리하는 대신 의미 있는 변화가 발생할 때 주로 계산을 활성화할 수 있습니다. 이벤트 카메라(Event Cameras)와 스파이킹 신경망(Spiking Neural Networks)은 정보를 비동기 이벤트(Asynchronous Events)로 표현함으로써 이러한 원리를 보여줍니다. 적합한 하드웨어와 결합하면 이벤트 기반 처리는 중복 계산을 감소시키면서 동적인 감각 정보에 빠르게 반응할 수 있습니다.

엣지 AI(Edge AI)에서는 로컬 장치(Local Devices)가 제한된 배터리 용량(Battery Capacity), 냉각 능력(Cooling Capability), 크기, 무게, 비용 아래에서 동작하기 때문에 에너지 효율이 특히 중요합니다. 로봇, 드론(Drones), 웨어러블 장치(Wearable Devices), 자율 센서(Autonomous Sensors), 임베디드 시스템(Embedded Systems)은 항상 대규모 데이터센터 자원(Data-center Resources)에 의존할 수 없습니다. 효율적인 로컬 추론(Local Inference)은 클라우드와의 통신을 줄이고, 응답성을 향상시키며, 연결성이 제한된 상황에서도 동작을 유지하고, 물리적 환경 가까이에서 지능형 기능을 지속적으로 활성화할 수 있도록 합니다.

로보틱스(Robotics)는 계산 전력이 전체 에너지 예산(Energy Budget)의 일부에 불과하기 때문에 추가적인 에너지 절충 문제를 발생시킵니다. 모터(Motors), 액추에이터(Actuators), 센서(Sensors), 통신 시스템, 온보드 컴퓨터(Onboard Computers)가 모두 제한된 배터리 자원을 공유합니다. 지각 정확도를 향상시키더라도 AI 아키텍처가 지나치게 많은 전력을 소비한다면 로봇의 동작 시간이 감소할 수 있습니다. 따라서 에너지 인식 로봇 설계(Energy-aware Robot Design)는 추론 품질과 함께 지연시간, 계산 부하(Compute Load), 센서 사용량, 제어 주기(Control Frequency), 전체 임무 지속시간(Mission Endurance)을 고려해야 합니다.

적응형 감지(Adaptive Sensing)는 모든 센서를 최대 해상도나 최대 주파수로 지속적으로 사용하는 것을 피함으로써 효율을 더욱 향상시킬 수 있습니다. 시스템은 경량 센서를 지속적으로 사용하고, 불확실성(Uncertainty)이나 환경 조건이 요구할 때만 고비용 카메라, 라이다(LiDAR), 고성능 추론을 활성화할 수 있습니다. 이는 처리 자원을 가능한 모든 입력에 균등하게 분배하는 대신 현재 중요한 정보에 집중시키는 생물학적 시스템의 선택적 주의(Selective Attention)와 유사합니다.

AI의 에너지 비용은 배포 단계에만 한정되지 않으므로 학습 효율(Training Efficiency) 역시 중요합니다. 대규모 모델 개발에는 반복적인 실험, 광범위한 하이퍼파라미터 탐색(Hyperparameter Search), 장시간의 학습, 상당한 가속기 사용량이 필요할 수 있습니다. 더욱 효율적인 최적화(Optimization), 전이 학습(Transfer Learning), 파라미터 효율적 미세조정(Parameter-efficient Fine-tuning), 재사용 가능한 사전학습 표현(Pretrained Representations), 향상된 데이터 품질(Data Quality), 신중하게 설계된 실험을 통해 목표 성능을 달성하는 데 필요한 계산 자원을 감소시킬 수 있습니다.

시스템이 지속적으로 적응해야 하는 경우 에너지 효율적인 학습(Energy-efficient Learning)은 더욱 어려워집니다. 새로운 데이터가 들어올 때마다 전체 모델을 다시 학습하는 것은 엣지 장치나 자율 기계에서 현실적이지 않은 경우가 많습니다. 점진적 업데이트(Incremental Updates), 국소 적응(Local Adaptation), 선택적 파라미터 수정(Selective Parameter Modification), 메모리 재생(Memory Replay), 모듈형 학습(Modular Learning)을 통해 지속 학습(Continual Learning)에 필요한 계산량을 줄일 수 있습니다. 뇌 영감 가소성(Brain-inspired Plasticity)은 관련된 시스템 부분만 수정할 때 적응이 더욱 효율적으로 이루어질 가능성을 제시합니다.

따라서 정확도와 에너지의 관계는 다목적 설계 문제(Multi-objective Design Problem)로 이해해야 합니다. 가장 정확한 모델이라도 지나치게 많은 전력, 메모리, 지연시간, 하드웨어 비용을 요구한다면 반드시 가장 유용한 모델이라고 할 수 없습니다. 실제 시스템에서는 정확도와 함께 추론당 에너지(Energy per Inference), 처리량(Throughput), 응답시간(Response Time), 메모리 사용량(Memory Footprint), 열 제약(Thermal Constraints), 배터리 수명(Battery Life), 신뢰성(Reliability)을 평가해야 합니다. 적절한 균형은 운영 환경과 오류의 결과에 따라 달라집니다.

에너지 효율은 시간 규모(Temporal Scale)와도 관련됩니다. 일부 계산 과정은 높은 주파수로 지속적으로 실행되어야 하지만 다른 과정은 필요할 때만 실행할 수 있습니다. 반사형 지각(Reflex-like Perception)과 안전 모니터링(Safety Monitoring)은 빠르고 경량화된 처리가 필요할 수 있는 반면, 의미적 추론(Semantic Reasoning), 계획(Planning), 복잡한 생성 모델(Generative Models)은 상대적으로 낮은 빈도로 실행될 수 있습니다. 계층적 아키텍처(Hierarchical Architectures)는 각 기능의 긴급성과 복잡성에 적합한 계산 메커니즘을 할당함으로써 이러한 서로 다른 시간 규모를 활용할 수 있습니다.

이종 컴퓨팅(Heterogeneous Computing)은 CPU, GPU, 신경망 가속기(Neural Accelerators), 뉴로모픽 프로세서(Neuromorphic Processors), 특수 임베디드 하드웨어(Specialized Embedded Hardware)를 결합함으로써 이러한 전략을 지원합니다. 각 프로세서 유형은 자신의 강점에 적합한 워크로드를 처리할 수 있습니다. 밀집 행렬 계산(Dense Matrix Computation)은 GPU나 AI 가속기에서 수행하고, 저전력 이벤트 탐지, 센서 전처리(Sensor Preprocessing), 상시 모니터링(Always-on Monitoring)은 특화된 장치에서 실행할 수 있습니다. 지능적인 워크로드 할당(Intelligent Workload Allocation) 자체가 에너지 효율 AI 아키텍처의 일부가 됩니다.

뇌 영감 관점에서 효율은 표현(Representation) 및 정보 흐름(Information Flow)과 밀접하게 연결됩니다. 생물학적 시스템은 가능한 모든 신호를 동일한 강도로 처리하거나, 모든 관측을 완전한 세부 정보로 저장하거나, 모든 이벤트 이후 전체 연결을 전역적으로 갱신하지 않습니다. 대신 희소 표현(Sparse Representations), 선택적 주의, 계층적 조직(Hierarchical Organization), 국소 적응, 여러 시간 규모를 활용합니다. 이러한 원리는 효율적인 지능을 위해 어떤 정보를 처리하고, 저장하고, 전송하며, 무시할 것인지를 더욱 효과적으로 제어해야 함을 시사합니다.

따라서 에너지 효율 AI는 단순히 하드웨어 수준에서 전력 소비를 줄이는 것보다 훨씬 넓은 개념입니다. 모델이 지식을 어떻게 표현하는지, 계산이 얼마나 자주 수행되는지, 데이터가 어디에 저장되는지, 어떤 모듈이 활성화되는지, 센서가 어떻게 사용되는지, 학습이 어떤 방식으로 수행되는지를 모두 포함합니다. 이러한 결정들이 결합되어 지능형 시스템이 실용적인 자원 제약(Resource Constraints) 안에서 충분한 정확도, 응답성, 적응성을 유지하면서 지속적으로 동작할 수 있는지를 결정합니다.

더 넓은 뇌 영감 계산 구조에서 에너지 효율 AI는 인공 신경망(Artificial Neural Networks), 스파이킹 신경망, 뉴로모픽 컴퓨팅(Neuromorphic Computing), 이벤트 기반 비전(Event-based Vision), 기억 영감 시스템(Memory-inspired Systems), 체화 지능(Embodied Intelligence)을 연결합니다. 이들을 연결하는 공학적 원리는 필요한 장소와 필요한 시점에서 유용한 계산을 수행하면서 불필요한 활성화, 통신, 데이터 이동을 최소화해야 한다는 것입니다.

궁극적으로 에너지 효율 AI는 더 많은 자원을 소비하는 방식으로 주로 성능을 높이는 계산 시스템에서 벗어나 계산 자원을 더욱 지능적으로 사용하는 시스템으로 전환하는 것을 목표로 합니다. 희소 처리(Sparse Processing), 적응형 라우팅(Adaptive Routing), 효율적인 표현(Efficient Representations), 특화 하드웨어(Specialized Hardware), 국소 메모리, 이벤트 기반 감지(Event-driven Sensing), 계층적 제어(Hierarchical Control)를 결합하면 단위 에너지당 지능(Intelligence per Unit of Energy)을 향상시킬 수 있습니다. 이러한 목표는 확장 가능한 AI(Scalable AI), 특히 물리적 세계에서 지속적으로 동작해야 하는 자율 시스템(Autonomous Systems)에 필수적입니다.

05.05 Event Based Vision [w/Code]

이벤트 기반 비전(Event-based Vision)은 완전한 장면을 반복적으로 기록하기보다 변화(Change)에 강하게 반응하는 생물학적 시각 시스템(Biological Visual Systems)의 방식에서 영감을 받은 감지 및 지각(Sensing and Perception) 접근법입니다. 이벤트 카메라(Event Camera)는 고정된 시간 간격으로 전체 이미지 프레임(Image Frames)을 촬영하는 대신 국소적인 밝기 변화(Local Brightness Changes)를 비동기적으로 보고합니다. 각각의 이벤트(Event)는 특정 픽셀에서 충분한 변화가 감지되었음을 나타내며, 기존 이미지의 연속 대신 희소한 시간 정보(Sparse Temporal Information)의 연속적인 스트림을 생성합니다.

이러한 동작 원리는 프레임 기반 비전(Frame-based Vision)과 근본적으로 다릅니다. 기존 카메라는 모든 픽셀을 동일한 시점에 샘플링하고 장면의 대부분이 변하지 않는 경우에도 완전한 프레임을 생성합니다. 반면 이벤트 기반 센서(Event-based Sensors)는 의미 있는 변화가 발생하는 위치와 시점에서만 정보를 전송합니다. 따라서 정적인 영역은 자연스럽게 거의 또는 전혀 데이터를 생성하지 않는 반면, 움직이는 에지(Moving Edges), 조명 변화(Changing Illumination), 빠른 움직임(Rapid Motion)은 밀집된 이벤트 스트림(Event Streams)을 생성합니다.

개별 이벤트는 일반적으로 픽셀 위치(Pixel Location), 발생 시간(Time of Occurrence), 밝기 변화의 극성(Polarity)을 포함합니다. 양의 극성(Positive Polarity)은 국소 밝기의 증가를 의미하고, 음의 극성(Negative Polarity)은 감소를 나타냅니다. 이벤트는 각 픽셀에서 독립적으로 생성되므로 하나의 전역 노출 시간(Global Exposure Time)을 공유하지 않습니다. 이러한 비동기 구조(Asynchronous Structure)를 통해 시각 정보를 매우 정밀한 시간 해상도(Temporal Resolution)로 표현할 수 있습니다.

높은 시간 해상도(High Temporal Resolution)는 이벤트 기반 비전의 가장 중요한 장점 가운데 하나입니다. 기존 영상에서 흐릿하게 나타날 수 있는 빠른 움직임도 센서가 전체 프레임 노출(Frame Exposure)을 기다리지 않기 때문에 정밀한 이벤트 패턴(Event Patterns)으로 표현할 수 있습니다. 이러한 특성은 고속 로보틱스(High-speed Robotics), 드론(Drones), 자율 기계(Autonomous Machines), 움직임 추적(Motion Tracking), 진동 분석(Vibration Analysis)처럼 빠른 환경 변화를 최소한의 지연으로 탐지해야 하는 응용 분야에 유용합니다.

낮은 지연시간(Low Latency)은 이러한 시간 해상도와 밀접하게 연결됩니다. 프레임 기반 시스템은 일반적으로 완전한 이미지가 촬영되고 전송되어 처리될 때까지 기다린 후 반응합니다. 반면 이벤트 기반 시스템은 관련된 국소 변화가 발생한 직후부터 처리를 시작할 수 있습니다. 장애물 회피(Obstacle Avoidance), 안정화(Stabilization), 요격(Interception), 조작(Manipulation)처럼 물리적 한계에 가까운 조건에서 동작하는 제어 시스템에서는 이러한 감지 지연(Sensing Delay)의 감소가 응답성을 크게 향상시킬 수 있습니다.

이벤트 카메라는 많은 기존 영상 시스템과 비교하여 높은 동적 범위(High Dynamic Range)도 제공합니다. 각 픽셀이 하나의 전역 노출 설정(Global Exposure Setting)에 전적으로 의존하지 않고 국소적인 변화에 반응하기 때문에 밝은 영역과 어두운 영역이 동시에 존재하는 장면에서도 동작할 수 있습니다. 이러한 특성은 실외 로보틱스(Outdoor Robotics), 자동차 지각(Automotive Perception), 터널(Tunnels), 실내-실외 전환(Indoor-to-outdoor Transitions), 조명이 급격하게 변화하는 환경에서 유용합니다.

희소 출력(Sparse Output)은 시각 환경의 변화가 제한적인 경우 통신량과 계산량을 감소시킬 수 있습니다. 모든 프레임마다 수백만 개의 픽셀 값을 전송하는 대신 센서는 감지된 이벤트만 전송합니다. 따라서 데이터 전송률(Data Rate)은 이미지 해상도와 프레임 속도(Frame Rate)에 의해 고정되는 대신 장면 활동(Scene Activity)에 따라 달라집니다. 이를 통해 중복 처리를 감소시킬 수 있지만 매우 동적인 장면에서는 여전히 많은 이벤트가 생성될 수 있습니다.

이벤트 스트림은 기존 이미지와 직접적으로 같은 형태를 가지지 않기 때문에 새로운 계산적 과제(Computational Challenges)를 발생시킵니다. 많은 기존 컴퓨터 비전(Computer Vision) 알고리즘은 동기화된 시점에서 샘플링된 밀집 직사각형 배열(Dense Rectangular Arrays)을 가정합니다. 반면 이벤트 기반 알고리즘은 불규칙한 시간에 발생하는 비동기 데이터를 처리해야 합니다. 이벤트는 시간 표면(Time Surfaces), 복셀 그리드(Voxel Grids), 이벤트 프레임(Event Frames), 점 형태 표현(Point-like Representations)으로 누적하거나 연속적인 스트림으로 직접 처리할 수 있습니다.

시간 표면(Time Surfaces)은 각 위치에서 가장 최근에 발생한 이벤트와 관련된 정보를 기록하는 유용한 표현 방식입니다. 최근 이벤트에는 더 높은 값을 부여하고 오래된 이벤트는 시간에 따라 감쇠(Decay)하도록 구성할 수 있습니다. 이를 통해 국소적인 시간 구조(Local Temporal Structure)를 보존하고 움직이는 윤곽(Moving Contours)이나 움직임 패턴(Motion Patterns)을 표현할 수 있습니다. 다른 방법으로는 짧은 시간 구간에 이벤트를 누적하여 일부 시간 정밀도를 희생하는 대신 기존 신경망 아키텍처와의 호환성을 높일 수 있습니다.

복셀 표현(Voxel Representations)은 공간과 시간을 구조화된 구간(Bins)으로 나누어 이벤트 스트림을 합성곱(Convolutional) 또는 트랜스포머 기반 모델(Transformer-based Models)로 처리할 수 있도록 합니다. 이러한 표현은 비동기 감지(Asynchronous Sensing)와 기존 딥러닝(Deep Learning) 파이프라인을 연결하는 가교를 제공합니다. 그러나 이벤트를 밀집 텐서(Dense Tensors)로 변환하면 이벤트 기반 감지의 중요한 목적 가운데 하나였던 계산 효율이 일부 감소할 수 있으므로, 표현 설계에서는 호환성, 정보 보존(Information Preservation), 효율 사이의 절충이 필요합니다.

스파이킹 신경망(Spiking Neural Networks)은 이벤트 기반 비전을 위한 또 하나의 자연스러운 계산 프레임워크(Computational Framework)를 제공합니다. 이벤트 카메라와 SNN은 모두 시간에 따라 분포된 희소 이벤트(Sparse Events)를 통해 정보를 표현합니다. 따라서 센서 이벤트를 직접 또는 간접적으로 스파이크 기반 신경 처리(Spike-based Neural Processing)로 매핑할 수 있습니다. 이러한 밀접한 관계는 이벤트 기반 비전을 뇌 영감 AI(Brain-inspired AI)에서 감지, 스파이킹 계산(Spiking Computation), 뉴로모픽 하드웨어(Neuromorphic Hardware)를 연결하는 중요한 인터페이스로 만듭니다.

뉴로모픽 프로세서(Neuromorphic Processors)는 시각 이벤트를 비동기적으로 처리하고 이벤트가 도착할 때만 계산 자원을 활성화함으로써 이러한 호환성을 더욱 활용할 수 있습니다. 이벤트 카메라를 뉴로모픽 프로세서와 연결하면 센서에서 계산까지 이어지는 종단간 이벤트 기반 지각 파이프라인(End-to-end Event-driven Perception Pipeline)을 구성할 수 있습니다. 이러한 아키텍처는 비동기 희소 데이터와 밀집 동기 계산(Dense Synchronous Computation) 사이에서 발생하는 불필요한 변환을 최소화하는 것을 목표로 합니다.

움직임 추정(Motion Estimation)은 이벤트 생성이 움직임으로 인한 변화와 밀접하게 연결되기 때문에 특히 적합한 작업입니다. 광학 흐름(Optical Flow), 특징 추적(Feature Tracking), 자기 운동 추정(Ego-motion Estimation), 객체 움직임 분석(Object Motion Analysis)은 정밀한 이벤트 타이밍(Event Timing)을 이용하여 동적인 구조를 추론할 수 있습니다. 연속된 전체 프레임을 비교하는 대신 알고리즘은 이벤트 패턴이 공간과 시간을 통해 어떻게 전파되는지를 분석할 수 있습니다.

이벤트 기반 비전은 동시적 위치추정 및 지도작성(Simultaneous Localization and Mapping, SLAM)에도 유용합니다. 빠른 카메라 움직임은 프레임 기반 센서에서 심각한 모션 블러(Motion Blur)를 발생시킬 수 있지만, 이벤트 스트림은 빠른 회전과 이동 중에도 시간 정보를 유지하여 움직임 추정을 위한 추가적인 단서를 제공합니다. 실제 시스템에서는 이벤트 카메라를 기존 카메라, 관성 측정 장치(Inertial Measurement Units), 깊이 센서(Depth Sensors)와 결합하여 상호보완적인 정보를 제공하는 경우가 많습니다.

이러한 멀티모달 결합(Multimodal Combination)은 이벤트 카메라가 일반 카메라와 동일한 절대 밝기 정보(Absolute Intensity Information)를 제공하지 않기 때문에 중요합니다. 완전히 정적인 장면의 정적인 객체는 의미적으로 중요하더라도 이벤트를 거의 발생시키지 않을 수 있습니다. 기존 이미지는 질감(Textures), 색상(Colors), 안정적인 시각적 맥락(Stable Visual Context)을 제공하고, 이벤트 스트림은 정밀한 시간적 변화를 제공합니다. 따라서 하이브리드 지각 시스템(Hybrid Perception Systems)은 두 감지 패러다임의 장점을 함께 활용할 수 있습니다.

로보틱스(Robotics)는 물리적 에이전트(Physical Agents)가 변화하는 환경과 지속적으로 상호작용한다는 점에서 주요 응용 분야입니다. 이동 로봇(Mobile Robots)은 장애물 탐지, 빠른 움직임 추정, 위치추정(Localization), 반응형 제어(Reactive Control)에 이벤트 기반 감지를 사용할 수 있습니다. 매니퓰레이터(Manipulators)는 접촉과 관련된 시각 변화를 감지하거나 빠르게 움직이는 객체를 추적할 수 있습니다. 소형 드론은 엄격한 계산 및 에너지 제약 아래에서 안정화와 충돌 회피(Collision Avoidance)를 수행할 때 저지연 지각의 이점을 얻을 수 있습니다.

자율주행차(Autonomous Vehicles)와 고속 플랫폼(High-speed Platforms) 역시 빠른 상대 운동(Relative Motion)이나 까다로운 조명 환경에서 이벤트 감지의 이점을 얻을 수 있습니다. 그러나 이벤트 카메라가 기존 자동차 카메라를 완전히 대체한다고 가정해서는 안 됩니다. 도로 표지판 인식(Road Sign Recognition), 의미적 장면 해석(Semantic Scene Interpretation), 질감 기반 분류(Texture-based Classification) 등의 작업에서는 여전히 프레임 기반 영상(Frame-based Imagery)이 매우 유용할 수 있습니다. 따라서 완전한 대체보다는 센서 융합(Sensor Fusion)이 더욱 실용적인 경우가 많습니다.

이벤트 기반 비전은 아무런 변화가 없을 때 센서가 자연스럽게 거의 정보를 생성하지 않는다는 점에서 상시 감지(Always-on Sensing)에도 활용할 수 있습니다. 이러한 특성은 엣지 장치(Edge Devices), 감시 시스템(Surveillance Systems), 웨어러블 플랫폼(Wearable Platforms), 저전력 모니터링(Low-power Monitoring)에 유용합니다. 경량 이벤트 처리 모듈(Lightweight Event-processing Module)을 지속적으로 활성화하고 의미 있는 활동이 감지될 때만 계산 비용이 높은 지각 시스템을 실행할 수 있습니다.

적응형 감지 아키텍처(Adaptive Sensing Architectures)는 이러한 개념을 더욱 확장할 수 있습니다. 이벤트 카메라는 움직임, 새로움(Novelty), 잠재적으로 중요한 변화를 식별하는 조기 경보 채널(Early-warning Channel)로 사용될 수 있습니다. 이후 시스템은 추가적인 정보가 필요할 때만 고해상도 프레임 카메라, 라이다(LiDAR), 깊이 감지(Depth Sensing), 대규모 신경 모델(Large Neural Models)을 활성화할 수 있습니다. 이는 생물학적 시스템의 선택적 처리(Selective Processing)와 유사한 계층적 감지 전략(Hierarchical Sensing Strategy)을 형성합니다.

이벤트 기반 AI 모델의 학습(Training)은 대규모로 주석이 달린 이벤트 데이터셋(Annotated Event Datasets)이 기존 이미지 데이터셋보다 부족하다는 실질적인 어려움을 가집니다. 레이블(Labels)은 동기화된 프레임 카메라에서 전이하거나, 고프레임률 비디오(High-frame-rate Video)로부터 시뮬레이션하거나, 특수한 기록 장비를 이용하여 수집해야 할 수 있습니다. 따라서 자기지도 학습(Self-supervised Learning)과 멀티모달 지도(Multimodal Supervision)는 광범위한 수작업 주석 없이 시간적 일관성(Temporal Consistency)과 정렬된 감각 스트림(Aligned Sensory Streams)을 활용할 수 있다는 점에서 특히 중요합니다.

시뮬레이션(Simulation)은 기존 이미지 시퀀스나 가상 환경(Virtual Environments)에서 합성 이벤트 데이터(Synthetic Event Data)를 생성하기 위해 자주 사용됩니다. 이를 통해 확장 가능한 학습 데이터를 제공할 수 있지만 노이즈(Noise), 임계값(Thresholds), 지연시간, 장치별 특성(Device-specific Characteristics) 때문에 시뮬레이션된 이벤트와 실제 센서의 동작 사이에 차이가 발생할 수 있습니다. 따라서 효과적인 시스템은 보정(Calibration), 데이터 증강(Augmentation), 적응(Adaptation), 혼합 도메인 학습(Mixed-domain Training)을 통해 시뮬레이션과 실제 이벤트 스트림 사이의 차이를 해결해야 합니다.

노이즈 역시 실질적으로 고려해야 하는 요소입니다. 실제 이벤트 센서는 배경 활동(Background Activity), 고립된 이벤트(Isolated Events), 핫 픽셀(Hot Pixels), 의미 있는 객체 움직임이 아니라 조명 깜박임(Illumination Flicker)에 의해 발생한 이벤트를 생성할 수 있습니다. 필터링 알고리즘(Filtering Algorithms)은 약하지만 중요한 신호를 제거하지 않으면서 유용한 시간 구조와 센서 노이즈를 구분해야 합니다. 적절한 전략은 장면 동역학(Scene Dynamics), 센서 특성, 후속 지각 작업(Downstream Perception Tasks)에 따라 달라집니다.

이벤트 기반 감지가 자동으로 전체 계산 비용을 낮춰 주는 것은 아니므로 효율성(Efficiency)은 신중하게 평가해야 합니다. 매우 동적인 장면에서는 이벤트 발생률(Event Rates)이 크게 증가할 수 있으며, 비효율적인 소프트웨어가 이벤트를 하나씩 처리하면 상당한 오버헤드가 발생할 수 있습니다. 이벤트 스트림을 반복적으로 밀집 텐서로 변환하면 희소성의 장점이 상당 부분 사라질 수 있습니다. 따라서 실질적인 이점은 센서, 표현, 알고리즘, 런타임(Runtime), 하드웨어를 얼마나 통합적으로 설계하는지에 달려 있습니다.

따라서 평가(Evaluation)는 기존의 이미지 정확도(Image Accuracy)를 넘어 확장되어야 합니다. 이벤트 기반 시스템은 탐지 또는 추적 성능(Detection or Tracking Performance)과 함께 지연시간, 시간 정밀도(Temporal Precision), 이벤트 발생률, 에너지 소비(Energy Consumption), 빠른 움직임에 대한 강건성(Robustness), 동적 범위(Dynamic Range), 계산 부하(Computational Load)를 이용하여 비교할 수 있습니다. 체화 응용(Embodied Applications)에서는 지각 정확도만을 평가하는 것보다 제어 안정성(Control Stability), 충돌 회피 성능, 임무 지속시간(Mission Duration)과 같은 시스템 수준 지표(System-level Metrics)가 더욱 의미 있을 수 있습니다.

뇌 영감 관점(Brain-inspired Perspective)에서 이벤트 기반 비전은 전체 감각 세계를 반복적으로 부호화하기보다 변화 자체를 표현하는 것의 가치를 보여줍니다. 생물학적 지각(Biological Perception)은 시간적 변화(Temporal Variation), 대비(Contrast), 움직임(Motion), 새로움(Novelty)에 강하게 반응합니다. 이벤트 카메라는 망막(Retina)을 문자 그대로 복제한 장치는 아니지만 감지가 선택적(Selective)이고 비동기적이며 정보 변화(Information Change)에 의해 구동될 수 있다는 보다 넓은 계산 원리를 구현합니다.

뇌 영감 계산(Brain-inspired Computation)에서 이벤트 기반 비전은 에너지 효율 AI(Energy-efficient AI), 스파이킹 신경망(Spiking Neural Networks), 뉴로모픽 컴퓨팅(Neuromorphic Computing), 적응형 감지(Adaptive Sensing), 체화 지능(Embodied Intelligence)을 연결합니다. 특히 신경 계산 단계에서만 효율성을 추구하는 것이 아니라 감지 과정 자체까지 효율성을 확장합니다. 먼저 대규모 중복 데이터 스트림을 생성한 뒤 이를 압축하는 대신 정보가 획득되는 순간부터 센서가 중복성을 감소시킬 수 있습니다.

궁극적으로 이벤트 기반 비전은 오랫동안 기계 지각(Machine Perception)을 지배해 온 고정 프레임(Fixed-frame) 가정에 대한 대안적인 접근을 제공합니다. 국소적인 변화를 정밀한 시간 정보와 함께 부호화함으로써 희소 감지(Sparse Sensing), 저지연 처리(Low-latency Processing), 고속 지각(High-speed Perception), 이벤트 기반 계산과의 긴밀한 통합을 가능하게 합니다. 가장 큰 잠재력은 이벤트 감지를 기존 비전, 뉴로모픽 처리, 적응형 제어(Adaptive Control)와 결합하여 동적인 환경과 효율적이고 지속적으로 상호작용하는 하이브리드 지능형 시스템(Hybrid Intelligent Systems)을 구현하는 데 있습니다.

05.06 Attention and Global Workspace [w/Code]

주의(Attention)와 글로벌 워크스페이스(Global Workspace) 메커니즘은 지능형 시스템(Intelligent System)이 관련 정보를 선택하고 여러 전문화된 처리 과정(Specialized Processes)을 조정하는 방법을 이해하기 위한 뇌 영감 프레임워크(Brain-inspired Framework)를 제공합니다. 생물학적 유기체(Biological Organisms)는 동일한 수준으로 처리할 수 있는 양보다 훨씬 많은 감각 정보(Sensory Information)와 내부 정보를 지속적으로 받아들입니다. 주의는 선택된 신호의 우선순위를 높이고, 글로벌 워크스페이스는 중요한 정보가 지각(Perception), 기억(Memory), 추론(Reasoning), 계획(Planning), 행동(Action)에 광범위하게 이용될 수 있도록 하는 메커니즘을 제공합니다.

주의(Attention)는 제한된 계산 자원(Computational Resources)을 선택적으로 할당하는 과정으로 이해할 수 있습니다. 인지 시스템(Cognitive System)은 모든 자극을 동일한 우선순위로 처리하는 대신 목표(Goals), 새로움(Novelty), 불확실성(Uncertainty), 현저성(Salience), 현재 맥락(Context)에 따라 특정 정보에 더 큰 중요성을 부여합니다. 이러한 선택성(Selectivity)은 관련 없는 정보를 억제하거나 낮은 해상도로 처리하고 중요한 신호에는 더 깊은 분석을 수행할 수 있기 때문에 효율성을 향상시킵니다. 따라서 주의는 정보 흐름(Information Flow)을 제어하는 메커니즘으로 작동합니다.

생물학적 주의(Biological Attention)는 하나의 중앙 집중식 과정이 아니라 여러 상호작용 메커니즘을 통해 작동합니다. 상향식 주의(Bottom-up Attention)는 예상하지 못했거나 매우 두드러진 감각 이벤트(Sensory Events)에 의해 유발될 수 있으며, 하향식 주의(Top-down Attention)는 목표, 기대(Expectations), 작업 요구사항(Task Requirements)을 반영합니다. 이러한 메커니즘은 지속적으로 상호작용합니다. 갑작스러운 움직임이 자동으로 주의를 끌 수 있지만, 현재 목표에 따라 진행 중인 행동에 더 중요한 다른 정보원으로 처리를 다시 집중시킬 수도 있습니다.

선택적 주의(Selective Attention)는 표현(Representation)에도 영향을 미칩니다. 동일한 감각 입력이라도 시스템이 현재 무엇을 중요하게 판단하는지에 따라 서로 다른 내부 반응(Internal Responses)을 생성할 수 있습니다. 주의는 관련 특징(Relevant Features)을 강화하고 경쟁하는 정보를 억제하며 처리 영역 사이의 상호작용을 변화시킬 수 있습니다. 이는 지각이 단순히 환경을 수동적으로 기록하는 과정이 아니라는 것을 의미합니다. 감각 해석(Sensory Interpretation)은 행동 목표(Behavioral Objectives), 사전 지식(Prior Knowledge), 내부 상태(Internal State)에 의해 동적으로 형성됩니다.

인공 주의 메커니즘(Artificial Attention Mechanisms)은 관련된 계산 원리를 활용하지만 이를 생물학적 주의의 직접적인 복제라고 해석해서는 안 됩니다. 신경망(Neural Networks)에서 주의는 표현 사이의 맥락 의존적 관계(Context-dependent Relationships)를 계산하고 이후의 계산에 어떤 정보가 더 강하게 기여해야 하는지를 결정합니다. 이를 통해 모델은 고정된 연결이나 국소 처리 경로(Local Processing Pathways)에만 의존하는 대신 정보를 동적으로 라우팅(Dynamic Routing)할 수 있습니다.

트랜스포머 아키텍처(Transformer Architectures)는 이러한 접근법의 강력함을 보여줍니다. 자기주의(Self-attention)는 각각의 토큰(Token)이나 표현이 시퀀스 또는 구조화된 입력의 다른 요소들과 어떤 관계를 가지는지 평가할 수 있도록 합니다. 따라서 반드시 순차적인 전파(Sequential Propagation)를 거치지 않고도 멀리 떨어진 정보 사이의 관계를 통합할 수 있습니다. 다중 헤드 주의(Multi-head Attention)는 여러 관계 패턴을 동시에 표현할 수 있도록 하여 동일한 계층에서 서로 다른 형태의 맥락적 상호작용(Contextual Interaction)을 지원합니다.

그러나 계산적 주의(Computational Attention)와 생물학적 주의는 상당한 차이가 있습니다. 트랜스포머의 주의는 일반적으로 표현들 사이에서 대규모 수치 비교(Numerical Comparisons)를 수행하지만, 생물학적 주의는 순환 신경 회로(Recurrent Neural Circuits), 경쟁(Competition), 신경조절(Neuromodulation), 감각 동역학(Sensory Dynamics), 행동 상태(Behavioral State)의 상호작용을 통해 나타납니다. 중요한 연결점은 기능적 수준에 있습니다. 두 방식 모두 모든 신호를 동일하게 처리하기보다 맥락에 따라 정보를 선택적으로 강조하는 것이 지능적 처리에 유용하다는 점을 보여줍니다.

주의는 계산 효율(Computational Efficiency)을 높이는 중요한 메커니즘이기도 합니다. 지능형 시스템이 현재 어떤 감각 영역, 기억, 객체 또는 내부 처리 과정이 중요한지를 식별할 수 있다면 고비용 계산(Expensive Computation)을 선택적으로 할당할 수 있습니다. 이러한 원리는 희소 처리(Sparse Processing), 적응형 감지(Adaptive Sensing), 조건부 계산(Conditional Computation), 계층적 제어(Hierarchical Control)를 지원합니다. 체화 시스템(Embodied Systems)에서는 주의가 어떤 정보를 처리할 것인지뿐만 아니라 센서나 액추에이터(Actuators)를 어디로 향하게 할 것인지도 결정할 수 있습니다.

글로벌 워크스페이스 이론(Global Workspace Theory)은 전문화된 처리 과정들이 어떻게 정보를 조정하고 공유할 수 있는지라는 상호보완적인 문제를 다룹니다. 인지 시스템에는 시각 처리(Visual Processing), 언어(Language), 기억 검색(Memory Retrieval), 감정 평가(Emotional Evaluation), 행동 선택(Action Selection), 계획처럼 부분적으로 독립적으로 작동할 수 있는 다양한 기능이 존재합니다. 글로벌 워크스페이스는 선택된 내용이 하나의 국소 처리 과정에만 머무르지 않고 여러 전문화된 시스템에서 이용될 수 있도록 하는 개념적인 공유 정보 환경(Shared Information Environment)을 제공합니다.

워크스페이스(Workspace)는 제한된 용량을 가진 통신 메커니즘(Limited-capacity Communication Mechanism)으로 이해할 수 있습니다. 많은 처리 과정이 자신의 정보를 전역적으로 이용 가능하게 만들기 위해 경쟁하지만, 특정 순간에는 그 가운데 일부만 지배적인 정보로 선택됩니다. 일단 선택된 정보는 추론, 기억 형성(Memory Formation), 의사결정(Decision Making), 행동에 이를 사용하는 다른 구성요소로 방송(Broadcast)될 수 있습니다. 이를 통해 광범위한 병렬 국소 처리(Parallel Local Processing)와 선택적인 전역 통합(Global Integration) 사이의 균형을 형성할 수 있습니다.

이러한 아키텍처는 모든 하위 시스템이 다른 모든 하위 시스템과 지속적으로 통신해야 하는 구조를 피할 수 있게 합니다. 모든 구성요소 사이의 직접적인 전대전 통신(All-to-all Communication)은 비용이 높고 확장하기 어려우며 잠재적으로 불안정할 수 있습니다. 대신 전문화된 모듈(Specialized Modules)은 국소 계산을 수행한 후 중요한 결과를 공유 워크스페이스에 제공할 수 있습니다. 이후 다른 모듈은 해당 정보가 자신의 처리에 필요할 때 전역적으로 이용 가능한 정보를 활용할 수 있습니다.

따라서 경쟁(Competition)은 글로벌 워크스페이스의 동작과 밀접하게 연결됩니다. 여러 표현이 제한된 전역 처리 용량(Global Processing Capacity)에 동시에 접근하려 할 수 있습니다. 각각의 상대적 중요도는 현저성, 신뢰도(Confidence), 새로움, 목표, 예상 보상(Expected Reward), 긴급성(Urgency)에 따라 결정될 수 있습니다. 주의는 선택된 정보의 우선순위를 높여 이러한 경쟁에 영향을 줄 수 있습니다. 이러한 의미에서 주의와 글로벌 워크스페이스 메커니즘은 각각 선택(Selection)과 통합(Integration)의 과정으로 함께 작동할 수 있습니다.

순환 처리(Recurrent Processing) 역시 중요합니다. 전역적 정보 이용 가능성(Global Availability)이 반드시 단 한 번의 피드포워드 이벤트(Feed-forward Event)로 끝나는 것은 아니기 때문입니다. 정보는 지각, 기억, 예측(Prediction), 행동 시스템 사이를 순환하면서 반복적으로 정제될 수 있습니다. 하나의 감각 관측(Sensory Observation)이 기억 검색을 유발하고, 검색된 지식이 해석을 변화시키며, 갱신된 해석이 계획된 행동을 다시 변화시킬 수 있습니다. 이러한 순환 상호작용(Recurrent Interaction)은 시간에 따라 발전하는 맥락 의존적 인지(Context-dependent Cognition)를 가능하게 합니다.

기억(Memory)은 워크스페이스 기반 아키텍처(Workspace-based Architectures)에서 특히 중요합니다. 현재의 감각 입력만 처리하는 워크스페이스는 시간에 걸친 연속성(Continuity)을 거의 제공하지 못합니다. 작업 기억(Working Memory)은 현재 중요한 정보를 유지하고, 일화 기억(Episodic Memory)은 관련 경험을 검색하며, 의미 기억(Semantic Memory)은 축적된 지식을 제공합니다. 주의는 어떤 기억을 검색하거나 유지할 것인지 결정하고, 워크스페이스는 검색된 정보가 여러 인지 과정에 영향을 미칠 수 있도록 합니다.

예측(Prediction) 역시 워크스페이스에 참여할 수 있습니다. 내부 모델(Internal Models)은 가능한 미래 상태에 대한 기대를 생성할 수 있으며, 실제 관측이 기대와 다를 때 예측 오류(Prediction Errors)가 주의를 얻기 위해 경쟁할 수 있습니다. 중요한 불일치는 시스템 전체로 방송되어 기억 검색, 재계획(Replanning), 행동 변경을 유발할 수 있습니다. 이는 글로벌 워크스페이스 메커니즘을 예측 처리(Predictive Processing) 및 월드 모델 기반 지능(World-model-based Intelligence)과 연결합니다.

의사결정(Decision Making)은 또 하나의 자연스러운 응용 영역입니다. 여러 전문화된 시스템이 서로 다른 정보원을 이용하여 복수의 후보 행동(Candidate Actions)을 생성할 수 있습니다. 공유 워크스페이스는 행동 선택이 이루어지기 전에 현재 지각, 목표, 기억, 예측된 결과(Predicted Outcomes), 제약조건(Constraints)을 통합할 수 있습니다. 하나의 거대한 의사결정 알고리즘에만 의존하는 대신 선택된 정보를 공유하는 전문화된 구성요소들의 조정된 상호작용을 통해 지능적인 행동이 나타날 수 있습니다.

로보틱스(Robotics)에서는 이러한 원리를 지각, 위치추정(Localization), 지도작성(Mapping), 월드 모델링(World Modeling), 계획, 제어(Control), 안전 모니터링(Safety Monitoring), 작업 추론(Task Reasoning)으로 구성된 아키텍처에 적용할 수 있습니다. 각 하위 시스템은 서로 다른 주기(Frequency)와 추상화 수준(Level of Abstraction)에서 동작할 수 있습니다. 워크스페이스는 새롭게 탐지된 장애물, 목표 변경, 위치추정 불확실성(Localization Uncertainty), 작업 실패(Task Failures), 예측된 위험(Predicted Hazards)과 같은 중요한 이벤트를 지속적인 전체 대역폭 통신 없이 필요한 모듈에 전달할 수 있습니다.

주의는 어떤 정보가 워크스페이스에 접근할 가치가 있는지를 결정함으로써 이러한 아키텍처를 더욱 효율적으로 만들 수 있습니다. 이동 로봇(Mobile Robot)은 카메라, 라이다(LiDAR), 오디오(Audio), 고유수용감각(Proprioception), 내부 진단 데이터(Internal Diagnostic Data)를 지속적으로 수신할 수 있지만 모든 관측에 고수준 추론(High-level Reasoning)이 필요한 것은 아닙니다. 일상적인 정보는 국소 처리 루프(Local Processing Loops)에 유지하고, 비정상적이거나 불확실하거나 안전에 중요하거나 목표와 관련된 이벤트만 더 넓은 처리 단계로 승격할 수 있습니다.

계층적 주의(Hierarchical Attention)는 계산의 시간 규모(Computational Timescales)를 더욱 세분화할 수 있습니다. 빠른 저수준 주의(Low-level Attention)는 움직임이나 위험을 탐지하고, 중간 수준 메커니즘은 객체와 내비게이션 특징(Navigation Features)을 선택하며, 더 느린 고수준 주의(High-level Attention)는 작업, 목표, 기억, 추론 과정의 우선순위를 결정할 수 있습니다. 이러한 구조는 시스템의 모든 수준을 지속적으로 최대 계산 강도로 실행하지 않고도 빠른 반응과 숙고적 인지(Deliberative Cognition)가 공존하도록 합니다.

글로벌 워크스페이스 개념은 멀티모달 AI(Multimodal AI)와도 관련이 있습니다. 비전(Vision), 언어, 오디오, 촉각 정보(Tactile Information), 구조화된 지식(Structured Knowledge), 내부 상태는 처음에는 전문화된 인코더(Specialized Encoders)를 통해 처리될 수 있습니다. 이후 선택된 표현을 공유 잠재 공간(Shared Latent Space) 또는 토큰 기반 워크스페이스(Token-based Workspace)로 전달하여 모달리티 사이의 관계(Cross-modal Relationships)를 형성할 수 있습니다. 이러한 아키텍처는 근본적으로 서로 다른 감각 및 표현 영역에서 발생한 정보를 통합하는 계산적 경로를 제공합니다.

파운데이션 모델(Foundation Models)은 이미 공유 표현(Shared Representation)과 주의 기반 통합(Attention-based Integration)의 일부 특성을 보여주지만, 지속적인 글로벌 워크스페이스(Persistent Global Workspace)는 추가적인 능력을 제시합니다. 자율 에이전트(Autonomous Agent)는 긴 상호작용 동안 유지되고, 목표에 따라 동적으로 변화하며, 외부 메모리(External Memory)를 포함하고, 여러 모델이나 도구(Tools)를 조정하는 정보가 필요할 수 있습니다. 따라서 워크스페이스는 하나의 신경망 계층이라기보다 지속적인 인지 조정(Persistent Cognitive Coordination)을 위한 아키텍처 메커니즘으로 발전할 수 있습니다.

그러나 이 개념은 신중하게 사용해야 합니다. 글로벌 워크스페이스 이론은 인간 인지(Human Cognition)와 의식(Consciousness)의 일부 측면을 설명하기 위한 프레임워크에서 출발했으며, AI에 공유 통신 아키텍처(Shared Communication Architecture)를 구현했다고 해서 의식이 존재한다는 것을 의미하지는 않습니다. 뇌 영감 공학(Brain-inspired Engineering)은 주관적 경험(Subjective Experience)에 대한 근거 없는 주장을 하지 않으면서 경쟁, 방송, 제한된 용량, 순환 통합(Recurrent Integration), 전문화된 처리와 같은 기능적 원리를 활용할 수 있습니다.

확장성(Scalability) 역시 공학적인 과제를 제기합니다. 모든 하위 시스템이 지나치게 많은 정보를 게시하거나 모든 모듈이 모든 방송 정보를 지속적으로 소비한다면 글로벌 워크스페이스 자체가 계산 병목(Computational Bottleneck)이 될 수 있습니다. 따라서 효과적인 구현을 위해서는 우선순위 지정(Prioritization), 압축(Compression), 라우팅(Routing), 접근 제어(Access Control), 시간적 지속성(Temporal Persistence), 오래된 정보를 제거하는 메커니즘이 필요합니다. 이러한 통신 부담을 제어하는 데 주의가 필수적인 역할을 합니다.

뇌 영감 AI(Brain-inspired AI)에서 주의와 글로벌 워크스페이스 메커니즘은 여러 주요 주제를 연결합니다. 주의는 선택적 계산(Selective Computation)을 제공하고, 기억은 시간에 걸친 정보를 제공하며, 예측은 관련된 미래 가능성을 식별하고, 워크스페이스는 전문화된 처리 과정들을 조정합니다. 이후 체화된 상호작용(Embodied Interaction)은 이러한 메커니즘을 지각과 행동에 연결합니다. 이들은 함께 고립된 모듈만으로 지능이 형성되는 것이 아니라 제어된 정보 공유(Controlled Information Sharing)를 통해 지능이 나타날 수 있다는 아키텍처적 관점을 제공합니다.

궁극적으로 주의와 글로벌 워크스페이스 메커니즘은 지능적 계산(Intelligent Computation)에 전문화(Specialization)와 통합(Integration)이 모두 필요하다는 점을 보여줍니다. 전문화된 처리 과정은 효율적인 국소 전문성(Local Expertise)을 제공하고, 주의는 어떤 정보에 계산적 우선순위(Computational Priority)를 부여할지를 결정하며, 공유 워크스페이스는 선택된 정보가 더 넓은 시스템에 영향을 미칠 수 있도록 합니다. 이들의 결합은 자원을 동적으로 할당하고, 다양한 형태의 지식을 통합하며, 맥락을 유지하고, 지각, 기억, 추론, 예측, 행동 전반에 걸쳐 일관된 행동(Coherent Behavior)을 조정할 수 있는 AI 아키텍처로 발전하기 위한 하나의 경로를 제공합니다.

05.07 Memory Inspired Computation [w/Code]

기억 영감 계산(Memory-inspired Computation)은 생물학적 기억(Biological Memory)의 원리가 시간에 걸쳐 정보를 보존하고, 검색하고, 갱신하고, 재사용하는 인공 시스템(Artificial Systems)의 설계에 어떻게 활용될 수 있는지를 연구합니다. 생물학적 지능(Biological Intelligence)은 하나의 구분되지 않은 기억 저장소(Memory Store)에 의존하지 않습니다. 대신 여러 기억 시스템(Memory Systems)이 서로 다른 시간 규모(Timescales)에서 작동하면서 지각(Perception), 추론(Reasoning), 학습(Learning), 계획(Planning), 행동(Action)을 지원합니다. AI 역시 이와 유사하게 기능을 분리함으로써 더욱 지속적이고 적응적인 시스템을 구축할 수 있습니다.

핵심적인 개념은 기억을 수동적인 기록 보관소(Passive Archive)가 아니라 능동적인 계산 자원(Active Computational Resource)으로 다루어야 한다는 것입니다. 유용한 기억은 현재의 해석, 의사결정(Decision Making), 예측(Prediction), 행동에 영향을 미칩니다. 따라서 인공 시스템에서 저장된 정보는 관련 맥락(Context), 이전에 학습한 패턴(Patterns), 작업 이력(Task History), 과거 경험(Prior Experience)을 제공함으로써 추론(Inference)에 직접 참여할 수 있습니다. 기억은 단순히 과거 사건을 기록하는 것이 아니라 계산 자체의 일부가 됩니다.

생물학적 기억은 일반적으로 서로 상호작용하는 여러 형태로 구성된다고 이해됩니다. 감각 기억(Sensory Memory)은 입력되는 정보를 짧은 시간 동안 보존하고, 작업 기억(Working Memory)은 현재 진행 중인 인지에 필요한 내용을 유지하며, 일화 기억(Episodic Memory)은 경험을 저장하고, 의미 기억(Semantic Memory)은 일반화된 지식을 표현하며, 절차 기억(Procedural Memory)은 학습된 기술을 지원합니다. 이러한 구분은 AI 시스템 역시 하나의 범용 저장 구성요소보다 여러 전문화된 기억 메커니즘(Specialized Memory Mechanisms)을 활용할 때 이점을 얻을 수 있음을 시사합니다.

작업 기억(Working Memory)은 진행 중인 작업에서 계속 사용할 필요가 있는 정보에 일시적으로 접근할 수 있도록 합니다. AI에서는 이러한 역할을 순환 상태(Recurrent State), 컨텍스트 윈도(Context Windows), 잠재 상태(Latent State), 스크래치패드(Scratchpads), 임시 외부 메모리(Temporary External Memory)를 통해 구현할 수 있습니다. 작업 기억은 시스템이 다단계 추론(Multi-step Reasoning)이나 제어를 수행하는 동안 목표, 중간 결과, 최근 관측, 작업 제약조건(Task Constraints)을 유지하도록 지원합니다. 제한된 용량은 선택적인 정보 유지와 주의(Attention)의 필요성도 만들어냅니다.

일화 기억(Episodic Memory)은 특정 상황, 사건, 상호작용과 연관된 구체적인 경험을 표현합니다. 인공 일화 기억(Artificial Episodic Memory)은 이전의 궤적(Trajectories), 대화, 결정, 실패, 성공적인 행동, 환경과의 상호작용을 보존할 수 있습니다. 유사한 상황이 다시 나타나면 시스템은 관련된 일화를 검색하고 이를 사례로 활용할 수 있습니다. 이를 통해 모든 유용한 사건을 모델 파라미터(Model Parameters)에 영구적으로 인코딩하지 않고도 경험으로부터 적응할 수 있습니다.

의미 기억(Semantic Memory)은 하나의 특정 사건에 종속되지 않는 보다 일반화된 지식을 표현합니다. AI 시스템에서는 학습된 모델 파라미터, 구조화된 지식 베이스(Structured Knowledge Bases), 벡터 표현(Vector Representations), 데이터베이스(Databases), 기호적 지식(Symbolic Knowledge)이 모두 의미 기억에 기여할 수 있습니다. 일화적 경험은 점진적으로 일반화된 의미 지식의 형성을 지원할 수 있으며, 의미 지식은 새로운 일화를 해석하는 데 도움을 줄 수 있습니다. 따라서 이러한 기억 형태 사이의 상호작용은 계산적으로 중요합니다.

절차 기억(Procedural Memory)은 행동이나 기술을 수행하는 학습된 방법과 관련됩니다. 인공 시스템에서 절차적 지식(Procedural Knowledge)은 정책(Policies), 제어기(Controllers), 운동 프리미티브(Motor Primitives), 학습된 행동 시퀀스(Learned Action Sequences), 최적화된 네트워크 파라미터를 통해 표현될 수 있습니다. 명시적인 사실 기억(Explicit Factual Memory)과 달리 절차적 지식은 능숙한 행동을 통해 표현됩니다. 특히 로보틱스(Robotics)에서는 어떤 행동에 대한 사실을 알고 있는 것과 실제 물리적 세계에서 그 행동을 안정적으로 수행하는 것이 서로 다르기 때문에 이러한 구분이 중요합니다.

기억 공고화(Memory Consolidation)는 임시 표현(Temporary Representations)과 지속적인 표현(Persistent Representations) 사이에서 정보를 전환하는 데 유용한 영감을 제공합니다. 생물학적 시스템은 모든 경험을 즉시 영구적인 형태로 저장하지 않습니다. 중요한 경험은 재생(Replay), 재구성(Reorganization), 기존 지식과의 통합 과정을 거칠 수 있습니다. AI 시스템 역시 재생 버퍼(Replay Buffers), 오프라인 학습(Offline Learning), 요약(Summarization), 파라미터 업데이트(Parameter Updates), 데이터베이스 재구성을 이용하여 단기적인 관측을 장기적인 지식으로 변환할 수 있습니다.

재생(Replay)은 지속적으로 동작하는 학습 시스템에서 특히 중요합니다. 이전 경험을 이후 학습 과정에서 다시 사용함으로써 새로운 학습이 기존 능력을 완전히 덮어쓰는 것을 방지할 수 있습니다. 이러한 개념은 지속 학습(Continual Learning)을 지원하고 치명적 망각(Catastrophic Forgetting)을 감소시킬 수 있습니다. 재생은 기억 용량과 계산 제약에 따라 정확하게 저장된 사례, 압축된 표현(Compressed Representations), 생성된 샘플(Generated Samples), 선택된 고가치 경험(High-value Experiences)을 사용할 수 있습니다.

검색(Retrieval)은 저장만큼 중요합니다. 아무리 큰 기억이라도 관련 정보를 효율적으로 접근할 수 없다면 유용하지 않기 때문입니다. 따라서 기억 영감 AI(Memory-inspired AI)에는 무엇을 검색할 것인지, 언제 검색할 것인지, 검색된 내용이 현재 계산에 어떻게 영향을 미칠 것인지를 결정하는 메커니즘이 필요합니다. 유사도 검색(Similarity Search), 연상 주소 지정(Associative Addressing), 주의, 학습된 검색 정책(Learned Retrieval Policies), 맥락적 인덱싱(Contextual Indexing)은 현재 상태와 저장된 정보를 연결하는 다양한 방법을 제공합니다.

연상 기억(Associative Memory)은 정확한 주소를 요구하는 대신 부분적이거나 관련된 단서(Cues)를 이용하여 정보를 검색합니다. 이러한 원리는 경험의 일부 단편이 더 광범위한 패턴을 활성화할 수 있는 생물학적 기억과 밀접하게 연결됩니다. 인공 연상 기억은 패턴 완성(Pattern Completion), 강건한 회상(Robust Recall), 맥락적 검색(Contextual Retrieval), 불완전한 관측에서의 인식을 지원할 수 있습니다. 신경 연상 기억(Neural Associative Memory), 벡터 유사도(Vector Similarity), 내용 주소 지정 메모리(Content-addressable Memory)는 이러한 개념의 여러 측면을 구현합니다.

외부 메모리(External Memory)는 신경 모델이 즉각적인 활성값(Activations)이나 고정된 파라미터로 표현할 수 있는 범위를 넘어 기억 용량을 확장합니다. 신경 시스템은 정보를 외부 저장소(External Store)에 기록하고 필요할 때 나중에 다시 검색할 수 있습니다. 이러한 분리는 모든 세부 정보를 네트워크 가중치(Network Weights)에 강제로 저장하지 않고도 긴 이력(Long Histories)을 보존할 수 있도록 합니다. 따라서 외부 메모리는 지속성(Persistence), 해석 가능성(Interpretability), 갱신 가능성(Updateability), 작업별 지식(Task-specific Knowledge)에 대한 접근성을 향상시킬 수 있습니다.

벡터 데이터베이스(Vector Databases)는 현대 AI에서 외부 메모리를 구현하는 실용적인 방법 가운데 하나입니다. 정보는 벡터 표현으로 인코딩되고 인덱싱(Indexing)된 뒤 질의(Query)와의 유사도에 따라 검색됩니다. 이를 통해 저장된 정보와 요청된 정보가 동일한 표현이나 문구를 사용하지 않더라도 의미적 검색(Semantic Retrieval)을 수행할 수 있습니다. 기억 영감 계산의 관점에서 벡터 검색(Vector Retrieval)은 생물학적 기억의 직접적인 모델이라기보다 내용 주소 지정 접근(Content-addressable Access)의 공학적 근사로 볼 수 있습니다.

검색 증강 생성(Retrieval-augmented Generation)은 파라미터 기반 지식(Parametric Knowledge)과 외부에서 검색된 정보를 결합함으로써 이러한 원리를 확장합니다. 모델은 먼저 관련된 저장 내용을 식별한 뒤 해당 정보를 생성(Generation)이나 추론에 포함합니다. 이를 통해 모든 사실을 모델 파라미터에 영구적으로 인코딩할 필요성을 줄이고 지식을 독립적으로 갱신할 수 있습니다. 그러나 검색 품질(Retrieval Quality), 인덱싱, 기억 구성(Memory Organization), 맥락 선택(Context Selection)이 시스템 성능의 핵심 요소가 됩니다.

순환 신경 계산(Recurrent Neural Computation)은 이전의 내부 상태가 미래의 처리에 영향을 미치도록 함으로써 또 다른 형태의 기억을 제공합니다. 순환 신경망(Recurrent Neural Networks), 게이트 아키텍처(Gated Architectures), 상태 공간 모델(State-space Models)은 변화하는 은닉 상태(Hidden States)를 통해 정보를 유지합니다. 이러한 기억은 간결하고 계산 과정에 직접 통합되어 있지만 매우 긴 시간 동안 유지하거나 내부 내용을 검사하기 어려울 수 있습니다. 따라서 외부 메모리와 순환 상태는 상호보완적인 능력을 제공합니다.

주의 메커니즘(Attention Mechanisms)은 기억 접근 제어기(Memory Access Controllers)로 작동할 수 있습니다. 많은 저장된 표현을 사용할 수 있을 때 주의는 어떤 항목이 현재 계산에 가장 강하게 기여해야 하는지를 결정합니다. 이는 기억과 선택적 처리(Selective Processing)를 연결합니다. 시스템은 사용 가능한 모든 정보를 검색하는 대신 목표, 맥락, 불확실성(Uncertainty), 작업 상태(Task State)에 따라 관련 기억을 동적으로 강조하여 계산 부담과 간섭(Interference)을 모두 줄일 수 있습니다.

체화 AI(Embodied AI)에서 기억은 시간에 걸쳐 지각과 행동을 연결해야 합니다. 로봇은 이전에 방문한 위치, 객체와의 상호작용(Object Interactions), 작업 진행 상태(Task Progress), 실패, 환경 변화(Environmental Changes), 성공적인 제어 전략(Control Strategies)을 기억해야 합니다. 이러한 기억이 없다면 모든 상황을 새로운 상황으로 처리해야 합니다. 기억은 체화 에이전트(Embodied Agent)가 시간적 연속성(Temporal Continuity)을 유지하고 이전 경험에서 학습하며 축적된 경험을 기반으로 미래 행동을 적응시킬 수 있도록 합니다.

공간 기억(Spatial Memory)은 자율 시스템(Autonomous Systems)에서 특히 중요합니다. 생물학적 내비게이션(Biological Navigation)은 위치, 관계, 경로, 환경 구조(Environmental Structure)의 내부 표현에 의존합니다. 인공 시스템 역시 지도(Maps), 잠재 공간 표현(Latent Spatial Representations), 점유 모델(Occupancy Models), 의미 지도(Semantic Maps), 학습된 월드 모델(Learned World Models)을 사용합니다. 기억은 현재 관측을 이전에 탐색한 영역과 통합하여 즉시 보이는 장면을 넘어 위치추정(Localization), 계획, 내비게이션(Navigation), 예측을 지원합니다.

기억은 시간에 걸쳐 축적된 정보에 예측이 의존하기 때문에 월드 모델링(World Modeling)도 지원합니다. 시스템은 하나의 관측만으로 환경의 동역학(Environmental Dynamics)을 추론할 수 없습니다. 세계가 어떻게 변화하는지 추정하려면 이전 상태(Previous States), 행동, 결과를 보존해야 합니다. 따라서 기억은 상태 전이(Transitions), 객체 지속성(Object Persistence), 인과관계(Causal Relationships), 행동 결과(Action Consequences)를 학습하기 위한 시간적 맥락을 제공하며, 기억 영감 계산을 예측적 지능(Predictive Intelligence) 및 체화 지능(Embodied Intelligence)과 직접 연결합니다.

중요한 과제 가운데 하나는 무엇을 기억하고 무엇을 잊어야 하는지를 결정하는 것입니다. 무제한 저장 공간은 현실적으로 사용하기 어려우며, 관련 없는 정보를 보존하면 검색 속도가 느려지거나 간섭을 일으킬 수 있습니다. 따라서 지능형 기억 시스템(Intelligent Memory Systems)은 중요도 추정(Importance Estimation), 압축(Compression), 공고화(Consolidation), 감쇠(Decay), 삭제(Deletion), 우선순위 지정(Prioritization)을 위한 메커니즘이 필요합니다. 망각(Forgetting)은 더 이상 필요하지 않거나 가치가 낮은 정보를 제거하면서 여전히 유용한 지식을 보존할 수 있다면 오히려 유익할 수 있습니다.

또 다른 과제는 여러 기억 시스템 사이의 일관성(Consistency)을 유지하는 것입니다. 외부 데이터베이스에는 갱신된 정보가 존재하지만 모델 파라미터에는 이전 지식이 남아 있을 수 있으며, 일화 기억이 일반화된 의미 표현과 충돌하거나 임시 작업 기억에 불확실한 관측이 포함될 수도 있습니다. 효과적인 아키텍처에는 기억 구성요소 사이에서 신뢰도 추정(Confidence Estimation), 충돌 해결(Conflict Resolution), 버전 관리(Versioning), 출처 추적(Provenance), 동기화(Synchronization)를 수행하는 메커니즘이 필요합니다.

계산 및 저장 용량이 제한된 엣지(Edge) 및 로봇 시스템에서는 기억 효율(Memory Efficiency) 역시 중요합니다. 모든 감각 관측을 최대 해상도로 저장할 수는 없습니다. 시스템은 경험을 압축하고, 선택된 키프레임(Keyframes)을 저장하며, 원시 데이터(Raw Data) 대신 학습된 특징(Learned Features)을 보존하거나, 시퀀스를 구조화된 표현(Structured Representations)으로 요약해야 할 수 있습니다. 따라서 효율적인 기억은 중요한 정보를 선택하는 것뿐만 아니라 적절한 표현 수준(Level of Representation)을 선택하는 것도 포함합니다.

뇌 영감 계산(Brain-inspired Computation)에서 기억 영감 아키텍처(Memory-inspired Architectures)는 학습, 주의, 예측, 의사결정, 체화(Embodiment)를 연결합니다. 기억은 시간적 연속성을 제공하고, 주의는 접근을 제어하며, 학습은 저장된 지식을 갱신하고, 예측은 과거 정보를 이용하여 미래 상태를 예상하며, 행동은 다시 기억으로 돌아가는 새로운 경험을 생성합니다. 이러한 메커니즘은 지능적 행동이 내부 상태와 저장된 경험을 지속적으로 변화시키는 순환 루프(Recurrent Loop)를 형성합니다.

궁극적으로 기억 영감 계산은 지능형 시스템이 고정된 파라미터(Fixed Parameters)나 즉각적인 입력(Immediate Input)에만 의존해서는 안 된다는 점을 제시합니다. 지속적인 지능(Persistent Intelligence)을 구현하려면 유용한 경험을 보존하고, 관련 지식을 검색하며, 여러 시간 규모를 구분하고, 중요한 정보를 공고화하며, 더 이상 가치가 없는 정보를 선택적으로 잊는 메커니즘이 필요합니다. 작업 기억, 일화 기억, 의미 기억, 절차 기억, 외부 메모리, 연상 기억을 통합하는 것은 장기간의 상호작용(Extended Interaction)에 걸쳐 일관성(Coherence)과 적응성(Adaptability)을 유지하며 지속적으로 학습할 수 있는 AI 시스템으로 발전하기 위한 하나의 경로를 제공합니다.

05.08 Embodied and Sensorimotor AI [w/Code]

체화 및 감각운동 AI(Embodied and Sensorimotor AI)는 에이전트(Agent), 에이전트의 신체(Body), 물리적 환경(Physical Environment) 사이의 지속적인 상호작용을 통해 나타나는 과정으로서 지능(Intelligence)을 연구합니다. 이 관점은 인지를 고립된 정보 처리로 보는 대신 지각(Perception), 행동(Action), 학습(Learning), 추론(Reasoning)이 긴밀하게 결합되어 있음을 강조합니다. 지능형 에이전트는 자신의 행동이 만들어내는 결과를 감지하고 반복적인 상호작용을 통해 행동을 적응시키면서 세계를 부분적으로 이해합니다.

체화(Embodiment)는 특정한 센서(Sensors), 액추에이터(Actuators), 기하학적 구조(Geometry), 동역학(Dynamics), 운영 제약조건(Operational Constraints)을 가진 물리적 또는 기능적으로 환경에 위치한 에이전트를 통해 지능이 작동한다는 것을 의미합니다. 신체는 어떤 정보를 지각할 수 있고 어떤 행동을 수행할 수 있는지를 결정합니다. 따라서 바퀴형 로봇(Wheeled Robot), 휴머노이드(Humanoid), 매니퓰레이터(Manipulator), 드론(Drone), 생물학적 유기체(Biological Organism)는 동일한 환경에 존재하더라도 서로 다른 행동 가능성을 경험합니다.

감각운동 지능(Sensorimotor Intelligence)은 특히 감각 입력(Sensory Input)과 운동 행동(Motor Action) 사이의 관계에 초점을 둡니다. 지각은 환경과 에이전트의 내부 상태(Internal State)에 대한 정보를 제공하고, 행동은 환경과 이후의 감각 관측(Sensory Observations)을 모두 변화시킵니다. 지능은 지각과 행동이 완전히 독립된 단계로 작동하는 것이 아니라 이러한 폐루프(Closed Loop) 안에서 발전합니다. 모든 움직임은 이후의 의사결정을 개선할 수 있는 새로운 정보를 생성할 수 있습니다.

이러한 지각-행동 루프(Perception-action Loop)는 수동적 관측(Passive Observation)과 능동적 지각(Active Perception) 사이에 중요한 차이를 만듭니다. 수동적 시스템은 제공되는 정보를 그대로 받아들이지만 체화 에이전트(Embodied Agent)는 더 나은 정보를 얻기 위해 의도적으로 움직일 수 있습니다. 로봇은 카메라를 회전시키고, 객체에 접근하고, 관점을 변경하며, 표면을 접촉하거나 물체를 조작하여 불확실성(Uncertainty)을 줄일 수 있습니다. 따라서 행동은 세계를 변화시키는 수단인 동시에 세계를 이해하는 메커니즘이 됩니다.

고유수용감각(Proprioception)은 관절 위치(Joint Positions), 속도(Velocities), 힘(Forces), 자세(Orientation), 움직임(Motion)을 포함하여 에이전트 자신의 신체에 대한 정보를 제공합니다. 카메라, 라이다(LiDAR), 마이크(Microphones), 촉각 센서(Tactile Sensors), 거리 센서(Range Sensors)와 같은 외수용 센서(Exteroceptive Sensors)는 외부 환경에 대한 정보를 제공합니다. 효과적인 감각운동 지능을 위해서는 외부 관측을 에이전트 자신의 구성(Configuration)과 움직임을 기준으로 해석할 수 있도록 이러한 신호를 통합해야 합니다.

다중감각 통합(Multisensory Integration)은 하나의 센서만으로 완전하거나 항상 신뢰할 수 있는 정보를 제공할 수 없기 때문에 특히 중요합니다. 비전(Vision)은 객체와 기하학적 구조를 식별할 수 있고, 촉각 감지(Tactile Sensing)는 접촉 특성을 파악할 수 있으며, 고유수용감각은 신체 구성을 설명하고, 관성 감지(Inertial Sensing)는 움직임 정보를 제공합니다. 이러한 모달리티(Modalities)를 결합하면 개별 감각 스트림만을 사용하는 것보다 더욱 강건한 표현(Robust Representations)을 형성할 수 있습니다.

감각운동 표현(Sensorimotor Representations)은 관측, 행동, 그리고 그 결과 사이의 관계를 인코딩할 수 있습니다. 체화 에이전트는 객체를 시각적 외형만으로 표현하는 대신 밀고, 잡고, 들어 올리고, 접촉했을 때 객체가 어떻게 반응하는지를 학습할 수 있습니다. 이러한 표현은 지각을 어포던스(Affordances), 동역학, 행동 가능성(Action Possibilities)과 연결합니다. 따라서 지식은 추상적인 설명 정보로만 존재하는 것이 아니라 상호작용에 기반하여 형성됩니다.

어포던스(Affordances)는 객체, 환경, 작업(Task), 에이전트의 능력 사이의 관계에서 발생하는 행동 기회(Opportunities for Action)를 의미합니다. 어떤 표면은 한 로봇에게는 주행 가능(Traversable)하지만 다른 로봇에게는 접근할 수 없을 수 있으며, 특정 객체는 적절한 기하학적 구조와 힘을 가진 매니퓰레이터만 잡을 수 있습니다. 따라서 어포던스 학습(Affordance Learning)은 환경 지각을 체화 특성에 따른 행동 가능성과 연결합니다.

운동 제어(Motor Control)는 동역학, 외란(Disturbances), 불확실성, 센서 노이즈(Sensor Noise)를 보상하면서 원하는 행동을 물리적 동작으로 변환합니다. 저수준 제어기(Low-level Controllers)는 토크(Torque), 속도, 위치, 균형(Balance)을 조절할 수 있으며, 상위 수준에서는 궤적(Trajectories)과 작업 목표(Task Objectives)를 결정합니다. 감각운동 AI는 미리 결정된 개루프 행동 시퀀스(Open-loop Action Sequences)에만 의존하지 않고 감각 피드백(Sensory Feedback)이 운동 명령에 지속적으로 영향을 주도록 하여 이러한 수준들을 연결합니다.

피드백 제어(Feedback Control)는 물리적 환경이 예측한 대로 정확하게 동작하는 경우가 드물기 때문에 기본적으로 중요합니다. 마찰(Friction), 페이로드(Payload) 변화, 불규칙한 지형(Uneven Terrain), 객체 변형(Object Deformation), 액추에이터 오류, 외부 외란은 계획된 행동에서 편차를 발생시킬 수 있습니다. 체화 시스템은 관측된 상태와 원하는 상태를 지속적으로 비교하여 행동을 수정할 수 있습니다. 또한 학습을 통해 축적된 경험으로부터 제어 정책(Control Policies)을 적응시켜 이러한 과정을 더욱 향상시킬 수 있습니다.

순방향 모델(Forward Models)은 행동에 따른 감각적 또는 물리적 결과를 추정하는 예측 메커니즘(Predictive Mechanism)을 제공합니다. 현재 상태와 후보 행동(Candidate Action)이 주어지면 순방향 모델은 다음에 어떤 일이 발생할 수 있는지를 예측합니다. 이러한 예측은 계획, 제어, 이상 탐지(Anomaly Detection), 학습을 지원할 수 있습니다. 예측된 결과와 실제 관측이 다르면 예측 오류(Prediction Errors)가 발생하며, 이 정보는 내부 모델(Internal Model)을 갱신하는 데 사용될 수 있습니다.

역모델(Inverse Models)은 원하는 결과를 생성할 수 있는 행동을 결정하는 상호보완적인 문제를 다룹니다. 에이전트가 특정 상태에 도달하려 한다면 역모델은 적절한 운동 명령이나 행동 시퀀스를 추정합니다. 순방향 모델과 역모델은 함께 작동하여 후보 행동을 생성하고 실제 실행 전이나 실행 과정에서 그 결과를 평가할 수 있습니다.

월드 모델(World Models)은 즉각적인 감각운동 변환을 넘어 객체, 공간 관계(Spatial Relationships), 환경 동역학(Environmental Dynamics), 가능한 미래 상태(Future States)를 표현함으로써 이러한 개념을 확장합니다. 체화 에이전트에서 월드 모델은 행동 가능한 결과(Actionable Consequences)와 연결되어야 합니다. 월드 모델의 가치는 단순히 환경을 묘사하는 데 있는 것이 아니라 서로 다른 행동에 따라 세계가 어떻게 변화하고, 그 변화가 목표, 안전(Safety), 미래의 행동 기회에 어떤 영향을 미치는지를 예측하는 데 있습니다.

상호작용을 통한 학습(Learning through Interaction)은 정적 데이터셋(Static Datasets)만으로는 항상 얻을 수 없는 정보를 제공합니다. 로봇은 객체를 조작하여 물체의 특성을 발견하고, 다양한 표면을 이동하여 지형 특성을 학습하며, 반복적인 시도를 통해 파지(Grasping)를 개선할 수 있습니다. 상호작용은 에이전트가 능동적으로 변수를 변화시키고 그 결과를 관찰하기 때문에 인과적 증거(Causal Evidence)를 생성합니다. 따라서 수동적인 상관관계(Passive Correlation)만으로 이루어지는 학습보다 풍부한 학습을 지원할 수 있습니다.

강화학습(Reinforcement Learning)은 에이전트가 보상(Rewards)과 결과를 통해 행동을 개선하도록 함으로써 감각운동 적응(Sensorimotor Adaptation)을 구현하는 하나의 프레임워크를 제공합니다. 그러나 물리적 상호작용은 비용이 높고 느리며 잠재적으로 위험하기 때문에 체화 학습(Embodied Learning)은 어렵습니다. 로봇은 무제한으로 무작위 탐색(Random Exploration)을 수행할 수 없습니다. 따라서 실제 시스템에서는 시연(Demonstrations), 시뮬레이션(Simulation), 오프라인 데이터(Offline Data), 사전 모델(Prior Models), 제약된 탐색(Constrained Exploration), 온라인 적응(Online Adaptation)을 결합합니다.

모방학습(Imitation Learning)은 인간이나 다른 에이전트의 시연을 이용하여 감각운동 학습을 가속할 수 있습니다. 시연은 학습자가 모든 행동을 독립적으로 발견하지 않아도 유용한 상태-행동 관계(State-action Relationships)의 사례를 제공합니다. 그러나 성공적인 모방은 관측된 움직임을 단순히 재현하는 것 이상을 요구합니다. 에이전트는 신체 구조, 환경, 객체 위치, 외란, 작업 맥락(Task Context)의 차이에 맞추어 시연된 행동을 적응시켜야 합니다.

시뮬레이션(Simulation)은 모든 탐색 행동에 실제 하드웨어를 노출하지 않고도 체화 에이전트를 학습할 수 있는 확장 가능한 환경을 제공합니다. 현실 세계보다 훨씬 빠르고 안전하게 많은 궤적을 생성할 수 있습니다. 그러나 물리 법칙(Physics), 감지(Sensing), 접촉(Contact), 재료(Materials), 액추에이터 동작의 차이로 인해 시뮬레이션-현실 격차(Simulation-to-reality Gap)가 발생합니다. 도메인 랜덤화(Domain Randomization), 시스템 식별(System Identification), 적응, 실제 환경 미세조정(Real-world Fine-tuning)을 통해 이러한 차이를 줄일 수 있습니다.

형태학(Morphology)은 에이전트의 물리적 구조가 행동에 직접 기여하기 때문에 학습에 영향을 미칩니다. 기계적 순응성(Mechanical Compliance), 관절 배치(Joint Arrangement), 바퀴 구성(Wheel Configuration), 사지 기하학(Limb Geometry), 질량 분포(Mass Distribution), 액추에이터 특성은 제어를 단순하게 만들거나 복잡하게 만들 수 있습니다. 이러한 개념은 일부 기능적 복잡성을 명시적인 디지털 계산만으로 해결하지 않고 물리적 구조 자체를 통해 처리하는 형태학적 계산(Morphological Computation)과 관련됩니다.

따라서 체화 지능(Embodied Intelligence)은 하드웨어-소프트웨어 공동 설계(Hardware-software Co-design)를 장려합니다. 센서, 액추에이터, 기계 구조(Mechanical Structure), 컴퓨팅 아키텍처(Computing Architecture), 제어 알고리즘, 학습 모델을 항상 서로 독립적으로 최적화해서는 안 됩니다. 잘 설계된 신체 구조는 제어 복잡도를 감소시킬 수 있고, 적절한 센서 배치는 지각을 단순화할 수 있으며, 컴퓨팅 아키텍처는 물리적 상호작용의 시간 요구사항에 맞게 구성할 수 있습니다. 지능은 전체 시스템의 특성으로 나타납니다.

감각운동 루프는 여러 주파수에서 작동하기 때문에 타이밍(Timing)은 특히 중요합니다. 운동 안정화(Motor Stabilization)는 매우 빠른 갱신을 요구할 수 있고, 지각은 중간 수준의 주기로 작동하며, 작업 계획이나 의미적 추론(Semantic Reasoning)은 상대적으로 느리게 진행될 수 있습니다. 계층적 아키텍처(Hierarchical Architectures)는 이러한 시간 규모를 분리하면서도 서로 정보를 교환할 수 있도록 합니다. 빠른 반응형 메커니즘(Reactive Mechanisms)은 안전을 유지하고, 느린 인지 과정은 장기적인 목표를 평가할 수 있습니다.

주의(Attention) 역시 어떤 감각 정보, 객체, 위치, 행동에 계산 자원을 할당할 것인지를 결정함으로써 체화 시스템에서 중요한 역할을 합니다. 물리적 에이전트는 모든 신호를 항상 최대 해상도로 처리할 수 없습니다. 주의는 카메라의 방향을 유도하고, 장애물의 우선순위를 결정하며, 조작 대상을 선택하거나, 불확실성이 증가할 때 고비용 추론을 활성화할 수 있습니다. 이는 체화 지능을 적응형 감지(Adaptive Sensing) 및 에너지 효율 계산(Energy-efficient Computation)과 연결합니다.

기억(Memory)은 감각운동 상호작용에 시간적 연속성(Temporal Continuity)을 제공합니다. 에이전트는 이전에 방문한 위치, 실패한 행동, 객체 특성, 성공적인 전략, 환경 변화를 기억할 수 있습니다. 이러한 기억은 이후의 지각과 행동에 영향을 주어 시스템이 모든 상황을 완전히 새로운 것으로 처리하지 않도록 합니다. 따라서 일화 기억(Episodic Memory), 공간 기억(Spatial Memory), 절차 기억(Procedural Memory), 작업 기억(Working Memory)이 체화 작업에서 서로 협력할 수 있습니다.

언어(Language)와 추상적 추론(Abstract Reasoning) 역시 감각운동 경험을 통해 기반화(Grounding)될 수 있습니다. 내부(Inside), 위(Above), 무거움(Heavy), 도달 가능함(Reachable), 미끄러움(Slippery), 깨지기 쉬움(Fragile)과 같은 개념은 물리적 환경에서 지각과 행동에 실제적인 결과를 가집니다. 언어적 표현(Linguistic Representations)을 감각 관측과 운동 경험에 연결하면 텍스트만으로 학습하는 것보다 풍부한 의미적 기반(Semantic Grounding)을 제공할 수 있습니다. 이는 멀티모달 및 물리적으로 위치한 파운데이션 모델(Physically Situated Foundation Models)의 중요한 연구 방향입니다.

체화 AI(Embodied AI)는 오류가 물리적인 결과를 초래할 수 있기 때문에 상당한 안전 및 데이터 문제를 가지고 있습니다. 탐색은 충돌 한계(Collision Limits), 액추에이터 제약, 인간 안전(Human Safety), 장비 보호(Equipment Protection), 운영 규칙(Operational Rules)을 준수해야 합니다. 실제 궤적(Real-world Trajectories)을 확보하려면 하드웨어 사용 시간과 감독이 필요하기 때문에 학습 데이터 역시 비용이 높을 수 있습니다. 따라서 안전한 학습(Safe Learning)은 시뮬레이션, 제약조건, 모니터링(Monitoring), 불확실성 추정(Uncertainty Estimation), 신중하게 통제된 실제 환경 적응에 의존합니다.

일반화(Generalization)는 또 하나의 주요 과제입니다. 하나의 로봇, 객체, 환경, 센서 구성에서 성공하는 정책(Policy)이 이러한 조건이 변화하면 실패할 수 있습니다. 강건한 체화 지능(Robust Embodied Intelligence)은 새로운 동역학과 형태학에 적응하면서 전이 가능한 지식(Transferable Knowledge)을 체화 특화 세부사항(Embodiment-specific Details)과 분리해야 합니다. 모듈형 표현(Modular Representations), 월드 모델, 멀티모달 학습(Multimodal Learning), 퓨샷 적응(Few-shot Adaptation)은 작업과 플랫폼 사이에서 능력을 전이하는 데 도움을 줄 수 있습니다.

뇌 영감 계산(Brain-inspired Computation)에서 체화 및 감각운동 AI는 앞서 다룬 여러 개념을 하나의 통합된 상호작용 루프(Unified Interaction Loop)로 결합합니다. 주의는 관련 정보를 선택하고, 기억은 경험을 보존하며, 예측 모델(Predictive Models)은 행동의 결과를 예상하고, 에너지 효율 메커니즘은 자원을 할당하며, 감각운동 학습은 지각과 행동을 연결합니다. 이후 물리적 환경은 내부 표현(Internal Representations)과 미래 행동을 갱신하는 지속적인 피드백을 제공합니다.

궁극적으로 체화 및 감각운동 AI는 지능을 단순히 정보를 처리하는 능력으로만 이해해서는 안 되며, 환경 안에서 효과적으로 행동할 수 있는 능력으로도 이해해야 한다고 제안합니다. 지각은 행동을 안내하고, 행동은 지각을 변화시키며, 기억은 그 결과를 보존하고, 학습은 미래의 상호작용을 개선합니다. 이러한 지속적인 순환(Cycle)은 물리적 세계와 직접 상호작용함으로써 지식이 기반화되는 적응형 로봇(Adaptive Robots)과 자율 에이전트(Autonomous Agents)를 구현하기 위한 기반을 제공합니다.

05.09 Brain Inspired Robotics [w/Code]

뇌 영감 로보틱스(Brain-inspired Robotics)는 생물학적 신경계(Biological Nervous Systems)에서 도출된 원리를 활용하여 복잡한 물리적 환경(Physical Environments)에서 지각하고, 학습하고, 적응하고, 의사결정하고, 행동하는 로봇을 설계하는 방법을 연구합니다. 이 분야는 뇌를 문자 그대로 재현하기보다 분산 처리(Distributed Processing), 감각운동 통합(Sensorimotor Integration), 적응형 제어(Adaptive Control), 기억(Memory), 주의(Attention), 예측(Prediction), 상호작용을 통한 학습(Learning through Interaction)과 같은 계산 원리를 추출합니다. 이러한 원리는 고정된 규칙에만 기반한 시스템보다 더욱 유연하게 행동하는 로봇을 구현하는 데 기여합니다.

생물학적 유기체(Biological Organisms)는 지각, 내부 상태(Internal State), 기억, 예측, 행동 사이의 지속적인 조정을 통해 지능적 행동(Intelligent Behavior)이 나타날 수 있음을 보여줍니다. 이러한 관점에 따라 설계된 로봇은 감지(Sensing), 계획(Planning), 제어(Control)를 완전히 분리된 단계로 다루지 않습니다. 대신 이러한 기능은 폐루프 지각-행동 루프(Closed Perception-action Loops) 안에서 지속적으로 정보를 교환하여 환경 조건, 작업 요구사항(Task Requirements), 내부 조건이 변화할 때 행동을 즉각적으로 변경할 수 있도록 합니다.

신경계(Nervous System)는 생물학적 지능이 하나의 단일 처리 중심에 의해 제어되지 않는다는 점에서 분산 계산(Distributed Computation)에 대한 영감을 제공합니다. 서로 다른 신경 회로(Neural Circuits)는 감각 처리(Sensory Processing), 운동 제어(Motor Control), 기억, 내비게이션(Navigation), 주의, 의사결정(Decision Making)에 특화되어 있으면서도 서로 연결되어 있습니다. 뇌 영감 로봇도 이와 유사하게 서로 다른 주기(Frequencies)와 추상화 수준(Levels of Abstraction)에서 작동하는 전문화된 모듈(Specialized Modules)을 사용하고, 공유 표현(Shared Representations)과 선택적 통신(Selective Communication)을 통해 이들을 조정할 수 있습니다.

감각운동 통합(Sensorimotor Integration)은 이러한 아키텍처의 기본적인 구성요소를 형성합니다. 카메라, 라이다(LiDAR), 촉각 센서(Tactile Sensors), 마이크(Microphones), 관성 센서(Inertial Sensors), 관절 인코더(Joint Encoders), 힘 센서(Force Sensors)는 로봇과 주변 환경에 대한 상호보완적인 정보를 제공합니다. 이후 운동 행동(Motor Actions)은 물리적 환경과 미래의 감각 관측(Sensory Observations)을 모두 변화시킵니다. 로봇은 이러한 관계를 학습함으로써 자신이 무엇을 지각하는지와 물리적으로 무엇을 할 수 있는지를 연결하는 표현을 개발할 수 있습니다.

능동적 지각(Active Perception)은 로봇이 환경을 더욱 정확하게 이해하기 위해 의도적으로 움직일 수 있도록 함으로써 이러한 원리를 확장합니다. 로봇은 관점(Viewpoint)을 변경하고, 불확실한 객체에 접근하며, 센서 위치를 변경하고, 표면을 접촉하거나 객체를 조작하여 추가적인 정보를 획득할 수 있습니다. 따라서 지각은 외부 목표를 달성하기 위한 행동뿐만 아니라 불확실성(Uncertainty)을 줄이고 유용한 정보를 획득하기 위한 행동까지 선택하는 상호작용적 과정(Interactive Process)이 됩니다.

주의(Attention)는 제한된 계산 자원(Computational Resources)을 현재 중요한 정보에 할당하기 위한 메커니즘을 제공합니다. 복잡한 환경에서 동작하는 로봇은 막대한 양의 감각 데이터를 수신할 수 있지만 모든 신호가 동일한 수준의 처리를 필요로 하는 것은 아닙니다. 주의는 움직이는 장애물, 사람, 작업 관련 객체(Task-relevant Objects), 예상하지 못한 이벤트, 불확실한 관측, 안전에 중요한 조건(Safety-critical Conditions)의 우선순위를 높이는 동시에 일상적인 정보는 저수준 처리 루프(Lower-level Processing Loops)에 남겨둘 수 있습니다.

기억(Memory)은 로봇이 모든 관측을 독립적인 사건으로 처리하는 대신 시간에 걸쳐 정보를 보존할 수 있도록 합니다. 작업 기억(Working Memory)은 현재 목표와 최근 관측을 유지하고, 일화 기억(Episodic Memory)은 이전 상호작용을 보존하며, 공간 기억(Spatial Memory)은 탐색한 환경을 표현하고, 절차 기억(Procedural Memory)은 학습된 기술을 유지할 수 있습니다. 이러한 상호보완적인 기억 메커니즘은 이전 행동에서 얻은 경험이 미래의 지각, 계획, 제어에 영향을 미치도록 합니다.

예측(Prediction)은 또 하나의 핵심적인 뇌 영감 능력입니다. 생물학적 에이전트(Biological Agents)는 움직임과 환경 변화의 결과를 지속적으로 예상합니다. 로봇은 순방향 모델(Forward Models)과 월드 모델(World Models)을 사용하여 후보 행동(Candidate Actions)에 따른 미래 상태를 예측할 수 있습니다. 예측과 실제 관측을 비교하여 생성되는 예측 오류(Prediction Errors)는 예상하지 못한 이벤트를 식별하고, 내부 모델(Internal Models)을 개선하며, 재계획(Replanning)을 유발하고, 환경 동역학(Environmental Dynamics)이 이전 경험과 다를 때 적응을 지원할 수 있습니다.

계층적 제어(Hierarchical Control)는 여러 시간적 및 기능적 수준에 걸쳐 조직되는 생물학적 행동의 특성을 반영합니다. 빠른 제어 루프(Control Loops)는 균형(Balance), 안정성(Stability), 충돌 회피(Collision Avoidance), 액추에이터 조절(Actuator Regulation)을 유지할 수 있고, 중간 수준에서는 궤적(Trajectories)과 기술(Skills)을 조정할 수 있습니다. 더 느린 인지 과정(Cognitive Processes)은 작업 계획, 추론, 장기 의사결정(Long-horizon Decision Making)을 수행할 수 있습니다. 이러한 계층 구조는 모든 문제에 고비용의 고수준 추론을 요구하지 않으면서 즉각적인 물리적 사건에 빠르게 대응할 수 있도록 합니다.

반사 행동과 유사한 메커니즘(Reflex-like Mechanisms)은 특히 안전이 중요한 행동에 유용합니다. 로봇은 임박한 충돌, 균형 상실, 과도한 힘, 액추에이터 고장에 대응하기 위해 항상 완전한 의미적 해석(Semantic Interpretation)이 완료될 때까지 기다려서는 안 됩니다. 경량 반응 경로(Lightweight Reactive Pathways)는 즉각적인 보호 행동을 생성하고, 이후 고수준 시스템이 사건을 해석하여 계획을 수정할 수 있습니다. 이러한 아키텍처는 빠른 반응(Rapid Reaction)과 숙고적 추론(Deliberative Reasoning)을 결합합니다.

적응형 제어(Adaptive Control)는 물리적 조건이 변화하더라도 효과적인 행동을 유지할 수 있도록 합니다. 페이로드(Payload), 마찰(Friction), 지형(Terrain), 액추에이터 성능, 배터리 상태(Battery State), 기계적 마모(Mechanical Wear), 외부 외란(External Disturbances)은 로봇의 동역학을 변화시킬 수 있습니다. 뇌 영감 로봇은 고정된 모델에만 의존하지 않고 이러한 변화를 지속적으로 추정하여 제어 파라미터(Control Parameters)나 정책(Policies)을 적응시킬 수 있습니다. 이러한 능력은 정교하게 통제된 실험실 환경을 벗어나 장시간 동작하기 위해 필수적입니다.

상호작용을 통한 학습(Learning through Interaction)은 로봇이 자신의 행동 결과로부터 지식을 획득할 수 있도록 합니다. 객체를 조작하면 무게, 순응성(Compliance), 마찰, 안정성을 파악할 수 있고, 내비게이션을 통해 주행 가능성(Traversability)과 지형 특성을 학습할 수 있습니다. 로봇이 능동적으로 환경을 변화시키고 그 결과를 관측하기 때문에 상호작용은 수동적인 데이터셋만으로 추론하기 어려운 인과관계(Causal Relationships)에 관한 정보를 제공합니다.

강화학습(Reinforcement Learning)은 행동을 보상(Rewards) 및 미래 결과와 연결하여 이러한 적응을 지원할 수 있지만, 제한 없는 물리적 탐색은 현실적으로 거의 불가능합니다. 실제 로봇은 자신이나 주변 장비 또는 사람에게 손상을 줄 수 있습니다. 따라서 뇌 영감 로봇 학습은 강화학습을 시연(Demonstrations), 오프라인 경험(Offline Experience), 시뮬레이션(Simulation), 사전 모델(Prior Models), 안전 제약조건(Safety Constraints), 불확실성 추정(Uncertainty Estimation), 신중하게 통제된 온라인 적응(Online Adaptation)과 결합함으로써 이점을 얻을 수 있습니다.

모방학습(Imitation Learning)은 로봇이 인간이나 다른 로봇의 시연으로부터 학습할 수 있도록 하는 또 하나의 효율적인 방법입니다. 시연은 자율 탐색을 시작하기 전에 유용한 행동 패턴(Action Patterns)과 작업 구조(Task Structure)를 제공할 수 있습니다. 그러나 로봇은 이러한 시연을 자신의 형태학(Morphology), 액추에이터 한계, 센서 구성, 환경에 맞게 적응시켜야 합니다. 따라서 효과적인 모방은 기록된 궤적을 단순히 재현하는 것이 아니라 목표와 행동 사이의 관계를 이해하는 것을 요구합니다.

뉴로모픽 컴퓨팅(Neuromorphic Computing)과 스파이킹 신경망(Spiking Neural Networks)은 신경 정보 처리(Neural Information Processing)에서 보다 직접적으로 영감을 받은 하드웨어 및 계산 메커니즘을 제공합니다. 희소 스파이크(Sparse Spikes)와 이벤트 기반 계산(Event-driven Computation)은 감각 활동이 제한된 경우 불필요한 처리를 줄일 수 있습니다. 이러한 기술을 이벤트 카메라(Event Cameras)와 결합하면 엄격한 전력 제약 아래에서 동작하는 이동 로봇(Mobile Robots), 드론(Drones), 임베디드 플랫폼(Embedded Platforms)을 위한 저지연 지각(Low-latency Perception)과 빠른 반응을 지원할 수 있습니다.

로봇 지능은 제한된 온보드 에너지(Onboard Energy)를 이동, 조작, 감지, 통신, 냉각과 함께 사용하기 때문에 에너지 효율(Energy Efficiency)이 특히 중요합니다. 희소 처리(Sparse Processing), 조건부 계산(Conditional Computation), 적응형 감지(Adaptive Sensing), 이벤트 기반 지각(Event-driven Perception), 계층적 활성화(Hierarchical Activation)와 같은 뇌 영감 전략은 불필요한 계산 부하를 감소시킬 수 있습니다. 고비용의 추론은 필요한 경우에만 선택적으로 활성화하고 경량 처리 과정은 일상적인 동작을 위해 지속적으로 유지할 수 있습니다.

형태학적 계산(Morphological Computation)은 물리적 신체 자체가 계산에 기여할 수 있음을 인식함으로써 뇌 영감 로보틱스를 신경 알고리즘의 범위를 넘어 확장합니다. 기계적 순응성(Mechanical Compliance)은 충격을 흡수하고, 수동 동역학(Passive Dynamics)은 이동을 단순화하며, 적절한 기하학적 구조는 파지(Grasping)나 균형 제어를 쉽게 만들 수 있습니다. 모든 물리적 복잡성을 소프트웨어로 보상하는 대신 로봇의 형태학을 설계하여 유용한 행동이 기계적 구조와 환경의 상호작용으로부터 부분적으로 나타나도록 할 수 있습니다.

이러한 원리는 하드웨어-소프트웨어 공동 설계(Hardware-software Co-design)를 장려합니다. 센서, 액추에이터, 기계 구조(Mechanical Structures), 컴퓨팅 하드웨어(Computing Hardware), 신경 모델(Neural Models), 제어기를 독립적으로 최적화하는 대신 하나의 통합 시스템으로 설계할 수 있습니다. 센서 배치는 지각을 단순화하고, 순응형 메커니즘(Compliant Mechanisms)은 제어 요구사항을 줄이며, 특수 프로세서(Specialized Processors)는 특정 감지 또는 제어 루프를 지원할 수 있습니다. 따라서 지능은 신체, 계산, 환경에 분산된 시스템 수준의 특성(System-level Property)이 됩니다.

내비게이션(Navigation)은 뇌 영감 통합을 명확하게 보여주는 사례입니다. 로봇은 현재의 감각 관측을 공간 기억, 내부 운동 추정(Internal Motion Estimates), 학습된 랜드마크(Learned Landmarks), 예측된 미래 상태와 결합할 수 있습니다. 정적인 기하학적 지도(Geometric Map)에만 의존하는 대신 의미 정보(Semantic Meaning), 불확실성, 이전 경험, 작업 목표를 내비게이션에 포함할 수 있습니다. 기억과 예측을 통해 로봇은 현재 직접 관측할 수 있는 영역을 넘어 추론할 수 있습니다.

조작(Manipulation) 역시 지각, 촉각 감지, 고유수용감각(Proprioception), 예측, 제어 사이의 통합을 필요로 합니다. 성공적인 파지는 객체를 인식하는 것뿐만 아니라 객체의 기하학적 구조, 물리적 특성(Physical Properties), 도달 가능한 구성(Reachable Configurations), 접촉에 대한 예상 반응을 추정하는 데 의존합니다. 조작 과정에서 얻어지는 피드백은 이러한 추정을 지속적으로 갱신하여 완전히 사전에 결정된 행동 시퀀스를 실행하는 대신 오류를 수정할 수 있도록 합니다.

사회적 로봇(Social Robots)과 인간 상호작용 로봇(Human-interactive Robots)은 인간이 동적이고 부분적으로 관측 가능하며 행동적으로 복잡하기 때문에 추가적인 요구사항을 가집니다. 로봇은 안전을 유지하면서 제스처(Gestures), 움직임, 언어(Language), 개인 공간(Personal Space), 작업 맥락, 변화하는 의도(Intentions)를 해석해야 합니다. 주의, 기억, 예측, 멀티모달 지각(Multimodal Perception), 적응형 행동(Adaptive Behavior)을 결합하면 사전에 정의된 스크립트만 따르는 대신 인간의 행동에 대응하는 상호작용을 지원할 수 있습니다.

글로벌 워크스페이스와 유사한 아키텍처(Global Workspace-like Architecture)는 이러한 전문화된 처리 과정의 조정을 지원할 수 있습니다. 지각, 내비게이션, 기억, 계획, 안전 모니터링(Safety Monitoring), 조작, 언어 모듈은 국소적으로 작동하면서 중요한 정보를 시스템 전체에 선택적으로 공유할 수 있습니다. 예상하지 못한 장애물, 작업 실패, 인간의 명령, 예측 오류, 안전 이벤트는 지속적인 전대전 통신(All-to-all Communication) 없이도 전역적으로 이용 가능하게 되어 여러 하위 시스템에 영향을 미칠 수 있습니다.

지속 학습(Continual Learning)은 로봇이 수개월 또는 수년에 걸쳐 변화하는 환경에서 동작할 때 중요해집니다. 새로운 객체, 작업, 사용자, 공간 배치(Layouts), 물리적 조건을 학습하면서도 이전에 획득한 능력을 파괴해서는 안 됩니다. 기억 재생(Memory Replay), 모듈형 학습(Modular Learning), 선택적 파라미터 업데이트(Selective Parameter Updates), 외부 메모리(External Memory), 기억 공고화(Consolidation)는 치명적 망각(Catastrophic Forgetting)을 감소시키면서 적응을 지원할 수 있습니다. 따라서 장기간 운영되는 로봇은 일회성 오프라인 학습(Offline Training)을 넘어서는 학습 메커니즘을 필요로 합니다.

서로 다른 신체와 환경에 대한 일반화(Generalization)는 여전히 중요한 과제입니다. 하나의 로봇이 학습한 기술은 센서 배치, 운동학(Kinematics), 동역학, 크기, 힘, 이동 방식이 달라지면 다른 로봇으로 직접 전이되지 않을 수 있습니다. 따라서 뇌 영감 로보틱스는 일반적인 작업 지식(General Task Knowledge)과 체화 특화 제어(Embodiment-specific Control)를 분리함으로써 이점을 얻을 수 있습니다. 월드 모델, 어포던스 표현(Affordance Representations), 모듈형 정책(Modular Policies), 퓨샷 적응(Few-shot Adaptation)은 서로 다른 물리적 플랫폼에 적응하면서 지식을 재사용하는 데 도움을 줄 수 있습니다.

안전(Safety)은 학습이 끝난 뒤 추가되는 기능이 아니라 전체 아키텍처에 통합되어야 합니다. 반응형 보호(Reactive Protection), 불확실성 추정, 물리적 제약조건(Physical Constraints), 예측적 위험 평가(Predictive Risk Assessment), 중복 감지(Redundant Sensing), 고수준 추론은 서로 보완적인 수준에서 작동할 수 있습니다. 뇌 영감 계층적 조직(Brain-inspired Hierarchical Organization)은 즉각적인 위험을 국소적으로 빠르게 처리하면서 복잡한 위험 상황은 더 느린 추론 및 계획 메커니즘으로 전달할 수 있다는 점에서 유용합니다.

궁극적으로 뇌 영감 로보틱스(Brain-inspired Robotics)는 지각, 주의, 기억, 예측, 학습, 제어, 형태학, 행동을 물리적 세계와의 지속적이고 적응적인 상호작용(Continuous Adaptive Interaction)으로 통합합니다. 그 목표는 생물학적 뇌를 뉴런 단위로 그대로 재현하는 것이 아니라 생물학적 지능을 유연하고 효율적이며 강건하게 만드는 조직 원리(Organizational Principles)를 식별하는 것입니다. 이러한 원리는 경험으로부터 학습하고, 불확실성에 대응하며, 지속적인 상호작용을 통해 점차 더 높은 수준의 행동 능력을 발전시키는 자율 로봇(Autonomous Robots)을 구현하기 위한 기반을 제공합니다.