DEV Community

Richard Minsoo Go
Richard Minsoo Go

Posted on

Physical AI Foundations and Definitions — Ch.06: Relation to Embodied AI and Robotics [KR]

STATERA Library · Series 09 · Volume 02 · Chapter 06 · KR
Source: https://github.com/Statera-Library/09_Vol_02_Physical_AI_Foundations_and_Definitions/blob/main/Chapter_06_Relation_to_Embodied_AI_and_Robotics/Chapter_06_Relation_to_Embodied_AI_and_Robotics_KR.md

Volume 02. Physical AI Foundations and Definitions

Chapter 06. Relation to Embodied AI and Robotics

06.01. Embodied AI and Embodied Intelligence

체화 인공지능(Embodied AI)은 물리적 신체(Physical Body) 또는 시뮬레이션 신체(Simulated Body)를 활용하여 환경과 상호작용하는 과정에서 지능적 행동(Intelligent Behavior)을 개발하고 발현하는 인공지능을 의미한다. 세계에 직접 작용하지 않고 정보만 처리하는 시스템과 달리, 체화 에이전트(Embodied Agent)는 주변 환경을 인식하고 행동을 실행하며 그 결과를 경험한다. 지능은 인식(Perception), 행동(Action), 환경 동역학(Environmental Dynamics), 신체 능력(Body Capabilities) 사이의 지속적인 관계를 통해 형성된다.

체화 지능(Embodied Intelligence)은 에이전트(Agent)가 자신의 물리적 구조(Physical Structure), 감각 시스템(Sensory Systems), 운동 능력(Motor Capabilities), 환경 상호작용(Environmental Interaction)을 활용하여 의미 있는 목표를 달성하는 능력을 설명한다. 이러한 관점에서 지능은 단순히 계산 알고리즘(Computational Algorithms)의 속성이 아니라 두뇌(Brain), 신체(Body), 환경(Environment)이 관여하는 조정된 과정의 기능적 결과로 이해된다. 물리적 체화(Physical Embodiment)는 에이전트가 인식하고 학습하며 예측하고 수행할 수 있는 능력에 영향을 미친다.

체화 지능(Embodied Intelligence)의 이론적 기반(Theoretical Foundations)은 인지(Cognition)와 물리적 행동(Physical Action)을 전통적으로 분리해 온 관점에 도전한다. 고전적 인공지능(Classical Artificial Intelligence)은 추론(Reasoning)을 신체적 경험과 독립적으로 수행되는 기호 조작(Symbolic Manipulation)으로 표현하는 경우가 많았다. 반면 체화 접근법(Embodied Approaches)은 인지가 감각운동 활동(Sensorimotor Activity), 환경 제약(Environmental Constraints), 실제 상호작용(Practical Interaction)에 기반한다고 강조한다. 지식은 관측과 가능한 행동 및 그 결과를 연결하는 경험을 통해 발전한다.

체화 에이전트(Embodied Agent)는 지속적인 인식-행동 순환(Perception-Action Cycle)을 통해 작동한다. 센서(Sensors)는 환경 정보를 획득하고, 계산 과정(Computational Processes)은 관측을 해석하며, 제어 시스템(Control Systems)은 물리적 상태를 변화시키는 행동을 생성한다. 이러한 변화는 새로운 감각 정보(Sensory Information)를 발생시켜 에이전트가 내부 상태(Internal State)를 갱신하고 후속 행동을 조정하도록 한다. 이러한 피드백 관계(Feedback Relationship)는 변화하고 불확실한 환경 조건에서 적응적 운영(Adaptive Operation)을 가능하게 한다.

물리적 신체(Physical Body)는 지능적 의사결정(Intelligent Decision-Making)을 실행하는 단순한 출력 장치(Output Mechanism)가 아니다. 신체의 기하학적 구조(Geometry), 기계적 특성(Mechanical Properties), 자유도(Degrees of Freedom), 순응성(Compliance), 센서 배치(Sensor Placement)는 가능한 상호작용의 구조를 결정한다. 바퀴형 로봇(Wheeled Robot), 로봇 팔(Robotic Arm), 사족보행 로봇(Quadruped), 휴머노이드(Humanoid)는 유사한 학습 알고리즘을 사용하더라도 서로 다른 행동 능력을 발전시킬 수 있다. 각각의 신체 구조는 인식, 이동, 조작, 환경 적응에 고유한 제약과 기회를 제공한다.

체화 지능(Embodied Intelligence)은 물리적 구조가 행동 조직화(Behavioral Organization)에 직접 기여하는 형태적 계산(Morphological Computation) 개념도 포함한다. 기계적 순응성(Mechanical Compliance), 수동 동역학(Passive Dynamics), 적절하게 설계된 신체 형상(Body Geometry)은 제어 요구사항을 단순화할 수 있다. 예를 들어 순응형 로봇 그리퍼(Compliant Robotic Gripper)는 정확한 기하학적 재구성(Geometric Reconstruction) 없이도 물체 형상의 변화에 대응할 수 있다. 기능적 복잡성의 일부는 명시적인 계산 추론(Computational Reasoning)이 아니라 물리적 상호작용을 통해 처리된다.

감각운동 학습(Sensorimotor Learning)은 체화 에이전트가 실질적인 수행 능력(Practical Competence)을 획득하는 핵심 메커니즘을 제공한다. 감각 관측(Sensory Observations), 운동 명령(Motor Commands), 그에 따른 상태 변화(State Changes)를 연결함으로써 에이전트는 자신의 행동이 환경에 미치는 영향을 학습한다. 반복적인 상호작용은 예측 모델(Predictive Models), 적응형 제어 정책(Adaptive Control Policies), 작업별 기술(Task-Specific Skills)의 발전을 지원한다. 이러한 학습은 수동적인 관측만으로는 항상 획득할 수 없는 인식과 행동 사이의 관계를 형성한다.

행동 가능성(Affordances) 개념은 체화 지능이 환경 이해(Environmental Understanding)를 행동 가능성(Action Possibilities)과 연결하는 방식을 설명한다. 행동 가능성은 에이전트의 능력에 따라 결정되는 상호작용 기회(Interaction Opportunity)를 의미한다. 표면은 보행을 지원하고, 손잡이는 파지를 가능하게 하며, 개구부는 이동 경로를 제공할 수 있다. 이러한 가능성은 환경의 특성과 신체 구조에 공동으로 의존하므로 행동 가능성 이해(Affordance Understanding)는 목표 지향적 행동(Goal-Directed Behavior)의 중요한 구성 요소가 된다.

능동 인식(Active Perception)은 지능형 에이전트가 관측을 개선하기 위해 의도적으로 움직일 수 있다는 점에서 이러한 관계를 확장한다. 이동 로봇(Mobile Robot)은 가려진 영역(Occlusion)을 확인하기 위해 관측 시점(Viewpoint)을 변경할 수 있으며, 매니퓰레이터(Manipulator)는 접근하기 어려운 표면을 검사하기 위해 물체의 위치를 조정할 수 있다. 따라서 인식은 수동적인 정보 수집이 아니라 상호작용적 과정(Interactive Process)이 된다. 행동은 작업 수행뿐 아니라 환경에 대한 불확실성(Uncertainty)을 줄이기 위해서도 선택될 수 있다.

체화 지능(Embodied Intelligence)은 물리적 에이전트가 주변 환경에 대한 완전한 정보를 확보하기 어렵기 때문에 부분 관측 가능성(Partial Observability) 조건에서의 추론을 요구한다. 센서는 잡음(Noise)을 발생시키고, 물체는 가려지며, 환경 조건은 실행 중에도 변화한다. 지능형 에이전트는 현재 관측(Current Observations)을 기억(Memory), 예측(Predictions), 불확실성 추정(Uncertainty Estimates)과 결합해야 한다. 효과적인 행동은 충분히 정확한 환경 표현(Environmental Representations)을 유지하면서 추가 관측이나 수정 행동(Corrective Action)이 필요한 시점을 판단하는 능력에 달려 있다.

세계 모델(World Models)은 이러한 예측 능력(Predictive Capability)을 체계화하는 접근법 중 하나이다. 체화 에이전트는 환경 상태(Environmental States), 행동에 따른 상태 전이(Action-Dependent Transitions), 가능한 미래 결과(Future Outcomes)에 대한 표현을 학습할 수 있다. 이러한 모델은 물리적 실행 이전에 미래 상황을 예상하고 계획을 수립하며 대안 행동을 평가하도록 지원한다. 모델의 유용성은 관련 동역학(Relevant Dynamics)을 얼마나 정확하게 표현하고 실제 환경과의 상호작용을 통해 예측을 얼마나 효과적으로 갱신하는지에 달려 있다.

체화 시스템(Embodied Systems)의 학습에는 지도 학습(Supervised Learning), 모방 학습(Imitation Learning), 강화 학습(Reinforcement Learning), 자기지도 학습(Self-Supervised Learning), 그리고 이들의 조합이 활용될 수 있다. 시연(Demonstrations)은 성공적인 행동의 사례를 제공하고, 강화 학습은 상호작용 결과를 활용하여 정책(Policy)을 개선한다. 자기지도 학습은 광범위한 수동 주석(Manual Annotation) 없이 감각 경험에서 유용한 구조를 추출할 수 있다. 각각의 접근법은 인식, 예측, 행동 능력을 획득하는 과정에 서로 다른 방식으로 기여한다.

시뮬레이션(Simulation)은 물리적 상호작용이 비용이 많이 들고 시간이 오래 걸리거나 위험할 수 있기 때문에 체화 인공지능(Embodied AI)에서 중요한 역할을 수행한다. 시뮬레이션 환경(Simulated Environments)은 에이전트가 다양한 상황을 경험하고 행동을 연습하며 실제 배치(Deployment) 이전에 정책을 평가할 수 있도록 한다. 그러나 시뮬레이션 환경과 실제 환경의 차이는 성능에 영향을 줄 수 있다. 성공적인 전이(Transfer)를 위해서는 물리 동역학(Physical Dynamics), 센서 특성(Sensor Characteristics), 환경 변동성(Environmental Variability), 시뮬레이션 경험의 한계를 고려해야 한다.

체화 인공지능(Embodied AI)과 로보틱스(Robotics)는 밀접하게 관련되어 있지만 동일한 개념으로 취급해서는 안 된다. 로보틱스는 학습 기반 지능(Learning-Based Intelligence)을 사용하지 않는 시스템까지 포함하여 기계 설계(Mechanical Design), 구동(Actuation), 센싱(Sensing), 제어(Control), 통합(Integration), 물리적 기계 운영(Physical Machine Operation)을 포괄한다. 체화 인공지능은 신체적 상호작용을 통해 발전하는 지능적 행동에 중점을 둔다. 두 분야의 교차 영역에는 물리적 환경에서 작업을 수행하면서 인식하고 학습하며 추론하고 적응하는 로봇이 포함된다.

피지컬 인공지능(Physical AI)은 체화 지능(Embodied Intelligence)을 물리적 세계의 실제 운영과 통합하기 위한 보다 포괄적인 시스템 관점(Systems Perspective)을 제공한다. 피지컬 인공지능은 인식(Perception), 예측 모델링(Predictive Modeling), 의사결정(Decision-Making), 계획(Planning), 제어(Control), 컴퓨팅(Computing), 안전(Safety)을 운영 아키텍처(Operational Architecture) 안에서 결합한다. 체화 인공지능은 상호작용적 지능의 개념적 기반과 학습 기반을 제공하며, 로보틱스는 다양한 피지컬 인공지능 능력을 구현하기 위한 물리적 메커니즘과 엔지니어링 인프라를 제공한다.

이러한 구분은 자율성(Autonomy)을 평가할 때 특히 중요하다. 사전에 정의된 궤적(Predefined Trajectories)을 실행하는 로봇은 상당한 수준의 엔지니어링 기술을 보여줄 수 있지만, 적응형 지능(Adaptive Intelligence)은 제한적일 수 있다. 반대로 체화 학습 에이전트(Embodied Learning Agent)는 시뮬레이션에서 유연한 행동을 보여주더라도 실제 운영 요구사항(Real-World Operational Requirements)을 충족하지 못할 수 있다. 피지컬 인공지능은 적응 능력을 신뢰할 수 있는 실행, 환경 인식, 물리적 제약, 배치된 시스템의 측정 가능한 작업 성능과 통합하는 것을 목표로 한다.

실시간 운영(Real-Time Operation)은 실용적인 체화 지능(Practical Embodied Intelligence)을 추상적인 인지 모델(Abstract Cognitive Models)과 구별하는 추가 요구사항을 도입한다. 에이전트가 의사결정을 계산하는 동안에도 물리적 환경은 계속 변화하므로 지연 시간(Latency)과 타이밍(Timing)은 성공적인 행동의 핵심 요소가 된다. 센서 처리(Sensor Processing), 상태 추정(State Estimation), 계획(Planning), 제어(Control)는 적절한 시간 제약(Deadlines) 내에서 작동해야 한다. 따라서 계산 복잡도(Computational Complexity)는 응답성(Responsiveness), 에너지 소비(Energy Consumption), 물리적 상호작용의 안정성(Stability)과 균형을 이루어야 한다.

안전(Safety) 역시 체화된 행동이 되돌릴 수 없는 결과(Irreversible Consequences)를 초래할 수 있기 때문에 근본적인 요소이다. 잘못된 움직임은 장비를 손상시키거나 로봇을 불안정하게 만들고 주변 사람을 위험에 빠뜨릴 수 있다. 지능적 행동은 충돌 회피(Collision Avoidance), 액추에이터 제한(Actuator Restrictions), 비상 정지(Emergency Stopping), 복구 절차(Recovery Procedures)를 포함하여 물리적 한계와 적절한 안전 제약(Safety Constraints) 내에서 수행되어야 한다. 학습 기반 적응(Learning-Based Adaptation)은 독립적으로 정당성이 입증된 보호 메커니즘(Protective Mechanisms)을 대체하는 것이 아니라 보완해야 한다.

체화 지능(Embodied Intelligence)은 작업과 물리적 플랫폼 전반의 일반화(Generalization)를 이해하기 위한 기반도 제공한다. 상호작용을 통해 획득한 기술(Skills)에는 기하학(Geometry), 접촉(Contact), 움직임(Movement), 물체 행동(Object Behavior)에 관한 재사용 가능한 지식이 포함될 수 있다. 그러나 이러한 지식을 서로 다른 신체 구조 사이에서 전이하려면 운동학(Kinematics), 동역학(Dynamics), 센서(Sensors), 행동 공간(Action Spaces)의 차이를 고려해야 한다. 따라서 일반화는 공유된 환경 이해(Shared Environmental Understanding)와 신체 구조별 적응(Embodiment-Specific Adaptation)을 모두 포함한다.

기반 모델(Foundation Models)과 멀티모달 학습(Multimodal Learning)을 활용하는 최근 접근법은 언어(Language), 시각 관측(Visual Observations), 행동 표현(Action Representations)을 연결함으로써 체화 인공지능(Embodied AI)의 가능성을 확장하고 있다. 시각-언어 모델(Vision-Language Models, VLM)은 의미적 해석(Semantic Interpretation)과 작업 이해(Task Understanding)를 지원할 수 있으며, 시각-언어-행동 모델(Vision-Language-Action Models, VLA)은 멀티모달 입력을 실행 가능한 행동과 연결하려고 시도한다. 이러한 접근법은 더욱 유연한 에이전트로 발전할 수 있는 경로를 제공하지만, 신뢰할 수 있는 물리적 기반화(Physical Grounding)와 강건한 실행(Robust Execution)은 여전히 중요한 과제로 남아 있다.

궁극적으로 체화 지능(Embodied Intelligence)은 지능적 행동(Intelligent Behavior)을 세계와의 상호작용과 독립적으로 완전히 이해할 수 없다는 점을 강조한다. 인식(Perception)은 정보를 제공하고, 행동(Action)은 경험을 생성하며, 물리적 체화(Physical Embodiment)는 이 두 과정의 특성을 결정한다. 피지컬 인공지능(Physical AI)은 이러한 원리를 기반으로 체화 학습(Embodied Learning)과 추론(Reasoning)을 신뢰할 수 있는 운영이 가능한 엔지니어링 시스템(Engineered Systems)과 연결한다. 이러한 개념들은 점차 높은 적응성(Adaptability), 자율성(Autonomy), 물리적 수행 능력(Physical Competence)을 갖춘 지능형 기계(Intelligent Machines)의 발전을 위한 기반을 형성한다.

06.02. Physical AI vs Embodied AI

피지컬 인공지능(Physical AI)과 체화 인공지능(Embodied AI)은 물리적 세계(Physical World)와의 상호작용을 통해 작동하는 지능을 설명하는 밀접하게 관련된 개념이지만, 지능형 시스템(Intelligent Systems)의 서로 다른 측면을 강조한다. 체화 인공지능은 에이전트(Agent)의 신체(Body), 인식(Perception), 행동(Action), 환경(Environment) 사이의 관계를 통해 지능이 어떻게 발전하는지에 초점을 맞춘다. 반면 피지컬 인공지능은 이러한 능력을 통합하여 실제 환경의 제약 조건(Real-World Constraints) 아래에서 인식하고 예측하며 판단하고 행동하는 운영 시스템(Operational Systems)을 구현하는 데 중점을 둔다.

체화 인공지능(Embodied AI)은 인지(Cognition)를 신체적 경험(Bodily Experience)과 완전히 분리할 수 없다는 원리에서 출발한다. 지능형 에이전트(Intelligent Agent)는 감각운동 상호작용(Sensorimotor Interaction)을 통해 지식을 획득하고, 자신의 행동이 환경 조건(Environmental Conditions)에 어떤 영향을 미치는지 학습한다. 신체의 형태(Morphology), 감각 능력(Sensing Capabilities), 운동 제약(Movement Limitations)은 에이전트의 세계 이해(World Understanding)를 형성한다. 따라서 지능은 독립적인 계산(Isolated Computation)이 아니라 지속적인 상호작용에서 나타나는 과정으로 해석된다.

피지컬 인공지능(Physical AI)은 이러한 상호작용 중심 관점(Interaction-Centered Perspective)을 지능형 물리 시스템(Intelligent Physical Systems)의 엔지니어링 영역으로 확장한다. 주요 관심사는 에이전트가 경험을 통해 학습하는 방식뿐 아니라 지능을 기계(Machines), 인프라(Infrastructure), 운영 환경(Operational Environments)에 어떻게 신뢰성 있게 구현할 수 있는가에 있다. 피지컬 인공지능은 인식(Perception), 세계 모델링(World Modeling), 추론(Reasoning), 계획(Planning), 제어(Control), 컴퓨팅(Computing), 안전(Safety)을 지속적인 물리적 운영이 가능한 아키텍처(Architecture)로 통합한다.

두 개념의 차이는 각각의 개념적 경계(Conceptual Boundaries)를 살펴보면 더욱 명확해진다. 체화 인공지능(Embodied AI)은 시뮬레이션 에이전트(Simulated Agents)와 실험용 로봇 플랫폼(Experimental Robotic Platforms)을 포함하여 신체적 상호작용에 기반한 지능을 주로 연구한다. 피지컬 인공지능(Physical AI)은 체화 지능(Embodied Intelligence)을 포괄하면서 시스템 통합(System Integration), 분산 컴퓨팅(Distributed Computing), 운영 조정(Operational Coordination), 배치 제약(Deployment Constraints)까지 다룬다. 두 범주는 상당 부분 중첩되며, 그 경계는 연구자와 실무자가 채택하는 용어 체계에 따라 달라질 수 있다.

체화(Embodiment)는 물리적 구조(Physical Structure)가 인식과 행동에 직접적인 영향을 미치기 때문에 체화 인공지능(Embodied AI)의 핵심 요소이다. 로봇의 기하학적 구조(Geometry), 자유도(Degrees of Freedom), 액추에이터 특성(Actuator Characteristics), 센서 구성(Sensor Configuration)은 가능한 상호작용을 결정한다. 휴머노이드(Humanoid)와 바퀴형 이동 로봇(Wheeled Mobile Robot)은 동일한 환경을 접하더라도 서로 다른 행동 기회(Action Opportunities)를 경험할 수 있다. 각각의 지능은 고유한 물리적 능력과 한계에 따라 발전한다.

피지컬 인공지능(Physical AI) 역시 체화(Embodiment)의 중요성을 인정하지만, 이를 보다 광범위한 운영 아키텍처(Operational Architecture)의 구성 요소 중 하나로 취급한다. 지능적 행동(Intelligent Behavior)은 센싱 하드웨어(Sensing Hardware), 컴퓨팅 자원(Computational Resources), 예측 모델(Predictive Models), 의사결정 메커니즘(Decision Mechanisms), 물리적 액추에이터(Physical Actuators)의 조정에 의존한다. 시스템은 통신 지연(Communication Delays), 에너지 제약(Energy Limitations), 환경 교란(Environmental Disturbances), 안전 요구사항(Safety Requirements)을 고려해야 한다. 성공적인 운영에는 지능형 알고리즘과 신뢰할 수 있는 엔지니어링 통합이 모두 필요하다.

체화 인공지능(Embodied AI)은 감각과 움직임 사이의 지속적인 관계인 인식-행동 결합(Perception-Action Coupling)을 특히 강조한다. 행동은 환경을 변화시키고 그 결과 미래의 관측(Future Observations)을 수정하며, 에이전트가 학습하고 적응하는 피드백 과정(Feedback Process)을 형성한다. 움직임을 통해 감각 정보를 개선할 수 있으므로 인식은 단순한 수동적 데이터 획득(Passive Data Acquisition)이 아니다. 이러한 상호작용 관계는 환경에 기반한 지능(Grounded Intelligence)을 발전시키는 근본적인 메커니즘을 구성한다.

피지컬 인공지능(Physical AI)은 인식-행동 결합(Perception-Action Coupling)을 보다 광범위한 감지-모델링-예측-계획-행동-학습(Sense-Model-Predict-Plan-Act-Learn) 과정에 통합한다. 감각 관측(Sensory Observations)은 환경 표현(Environmental Representations)으로 변환되고, 예측 모델(Predictive Models)은 가능한 결과를 추정하며, 계획 메커니즘(Planning Mechanisms)은 운영 목표(Operational Objectives)에 부합하는 행동을 선택한다. 피드백(Feedback)은 지속적인 수정과 적응을 지원한다. 전체 과정은 물리 동역학(Physical Dynamics)과 변화하는 환경 조건에 적절하게 대응할 수 있어야 한다.

학습 목표(Learning Objectives)는 두 개념을 구분하는 또 다른 유용한 기준이다. 체화 인공지능(Embodied AI)은 에이전트가 재사용 가능한 기술(Reusable Skills)을 획득하고, 행동 가능성(Affordances)을 발견하며, 감각운동 표현(Sensorimotor Representations)을 발전시키고, 경험 전반에 걸쳐 일반화(Generalization)하는 방식을 자주 연구한다. 이러한 연구는 지능적 상호작용의 메커니즘을 이해하는 데 우선순위를 둘 수 있다. 피지컬 인공지능(Physical AI)은 학습된 능력이 작업 완료(Task Completion), 신뢰성(Reliability), 지연 시간(Latency), 안전(Safety), 운영 효율성(Operational Efficiency)에 대한 측정 가능한 요구사항을 충족하는지도 강조한다.

시뮬레이션(Simulation)은 두 분야의 연구 우선순위가 어떻게 달라질 수 있는지를 보여준다. 체화 인공지능(Embodied AI)은 학습(Learning), 탐색(Exploration), 내비게이션(Navigation), 조작(Manipulation), 일반화(Generalization)를 연구하기 위해 시뮬레이션 환경(Simulated Environments)을 널리 활용한다. 이러한 환경은 지능에 관한 가설을 검증하기 위한 통제된 실험 조건(Controlled Settings)을 제공한다. 피지컬 인공지능(Physical AI) 역시 시뮬레이션을 활용하지만, 학습된 행동이 현실적인 교란과 엔지니어링 제약 아래에서 작동하는 물리 시스템으로 신뢰성 있게 전이되는지를 검증하는 데 추가적인 중점을 둔다.

세계 모델(World Models)은 체화 인공지능(Embodied AI)과 피지컬 인공지능(Physical AI)을 연결하는 중요한 요소이다. 체화 학습(Embodied Learning)에서 세계 모델은 에이전트가 관측(Observations), 행동(Actions), 환경 상태 전이(Environmental Transitions) 사이의 관계를 이해하도록 지원한다. 또한 경험에 기반한 내부 표현(Internal Representations)의 발전과 예측(Prediction)을 가능하게 한다. 피지컬 인공지능에서는 이러한 모델이 선제적 계획(Anticipatory Planning), 위험 평가(Risk Assessment), 궤적 평가(Trajectory Evaluation), 적응형 제어(Adaptive Control)를 포함하는 운영 기능도 수행한다.

두 분야의 차이는 자율성(Autonomy)을 다루는 방식에서도 나타난다. 체화 인공지능(Embodied AI)은 에이전트가 상호작용과 학습을 통해 목표 지향적 행동(Goal-Directed Behavior)을 발전시키는 방식을 연구한다. 피지컬 인공지능(Physical AI)은 불확실성(Uncertainty), 교란(Disturbances), 불완전한 정보(Incomplete Information)에도 불구하고 지속적인 운영 중에 자율적 능력을 유지하는 방법을 검토한다. 이를 위해 지능형 의사결정(Intelligent Decision-Making)을 상태 추정(State Estimation), 고장 감지(Fault Detection), 복구 절차(Recovery Procedures), 물리적 실행 감독 메커니즘(Supervision Mechanisms)과 결합해야 한다.

실시간 제약(Real-Time Constraints)은 실용적인 피지컬 인공지능(Physical AI) 시스템에서 특히 중요하다. 물리적 환경은 지속적으로 변화하며, 지연된 의사결정(Delayed Decisions)은 성능을 저하시키거나 위험한 상황을 초래할 수 있다. 인식(Perception), 추론(Inference), 계획(Planning), 제어(Control)는 적절한 시간 요구사항(Timing Requirements) 내에서 수행되어야 한다. 체화 인공지능(Embodied AI) 역시 시간적 상호작용(Temporal Interaction)을 다루지만, 피지컬 인공지능은 계산 스케줄링(Computational Scheduling), 통신 지연(Communication Latency), 처리 용량(Processing Capacity), 실행 마감시간(Execution Deadlines)을 명시적인 엔지니어링 요구사항으로 강조한다.

안전(Safety)은 두 분야를 비교하는 또 다른 중요한 차원이다. 체화 인공지능(Embodied AI) 연구는 안전한 탐색(Safe Exploration), 제약 기반 학습(Constrained Learning), 불확실성 아래에서의 행동을 검토할 수 있다. 피지컬 인공지능(Physical AI)은 안전 원칙을 사람, 장비, 환경을 보호하는 운영 메커니즘(Operational Mechanisms)으로 구체화해야 한다. 이러한 메커니즘에는 충돌 회피(Collision Avoidance), 액추에이터 제한(Actuator Limits), 비상 정지(Emergency Stopping), 런타임 모니터링(Runtime Monitoring), 대체 동작(Fallback Behavior)이 포함된다. 안전은 단순한 학습 목표가 아니라 아키텍처 요구사항(Architectural Requirement)이 된다.

체화 인공지능(Embodied AI)은 주변 환경과 상호작용하는 개별 에이전트(Individual Agent) 수준에서 지능을 연구하는 경우가 많다. 피지컬 인공지능(Physical AI)은 이러한 관점을 조정된 에이전트 집합(Coordinated Collections of Agents), 공유 인프라(Shared Infrastructure), 분산 지능(Distributed Intelligence)으로 확장할 수 있다. 여러 로봇은 관측 정보를 교환하고, 공유 환경 표현(Shared Environmental Representations)을 유지하며, 로컬 또는 중앙집중형 시스템(Local or Centralized Systems)을 통해 행동을 조정할 수 있다. 집단 운영(Collective Operation)은 통신, 동기화, 자원 할당, 시스템 수준의 신뢰성 요구사항을 추가로 발생시킨다.

기반 모델(Foundation Models)의 발전에 따라 두 분야의 관계는 더욱 중요해지고 있다. 체화 인공지능(Embodied AI)은 멀티모달 표현(Multimodal Representations)과 학습된 정책(Learned Policies)이 다양한 작업과 환경에서 유연한 상호작용을 지원하는 방식을 연구한다. 피지컬 인공지능(Physical AI)은 이러한 모델을 실시간 인식(Real-Time Perception), 물리적 제어(Physical Control), 안전 메커니즘(Safety Mechanisms), 컴퓨팅 인프라(Computational Infrastructure)와 통합하는 방법을 다룬다. 모델의 지능(Model Intelligence)만으로는 신뢰할 수 있는 물리적 실행(Dependable Physical Execution)이 보장되지 않는다.

시각-언어-행동 모델(Vision-Language-Action Models, VLA)은 이러한 융합을 보여주는 대표적인 사례이다. 이러한 모델은 시각 관측(Visual Observations), 언어 명령(Language Instructions), 행동 생성(Action Generation)을 공유 학습 프레임워크(Shared Learning Framework) 안에서 연결하려고 시도한다. 체화 인공지능(Embodied AI)의 관점에서는 의미적 이해(Semantic Understanding)를 물리적 행동(Physical Behavior)에 기반화하는 메커니즘을 제공한다. 피지컬 인공지능(Physical AI)의 관점에서는 로봇 하드웨어(Robot Hardware), 제어 시스템(Control Systems), 운영 제약(Operational Constraints), 런타임 보증(Runtime Assurance)과 통합해야 하는 구성 요소를 의미한다.

신체 구조 간 일반화(Cross-Embodiment Generalization)는 두 분야가 공유하는 또 다른 연구 목표이다. 체화 인공지능(Embodied AI)은 하나의 신체 구조를 통해 획득한 지식이 서로 다른 형태(Morphologies)와 행동 능력(Action Capabilities)을 가진 에이전트로 전이될 수 있는지를 탐구한다. 피지컬 인공지능(Physical AI)은 이러한 전이 가능한 지능(Transferable Intelligence)을 이기종 플랫폼(Heterogeneous Platforms)에 배치하기 위한 추가적인 엔지니어링 요구사항을 고려한다. 공유 표현(Shared Representations)은 신체 구조별 제어(Embodiment-Specific Control), 센서 보정(Sensor Calibration), 기계적 한계(Mechanical Limitations), 플랫폼별 안전 제약(Platform-Dependent Safety Constraints)과 공존해야 한다.

평가 방법(Evaluation Methods)은 두 분야의 상호 보완적인 우선순위를 반영한다. 체화 인공지능(Embodied AI)은 일반적으로 작업 성공률(Task Success), 학습 효율성(Learning Efficiency), 탐색 능력(Exploration Capability), 적응(Adaptation), 일반화(Generalization)를 측정한다. 피지컬 인공지능(Physical AI)은 운영 가용성(Operational Availability), 실행 지연 시간(Execution Latency), 에너지 소비(Energy Consumption), 고장 복구(Failure Recovery), 안전 준수(Safety Compliance), 장기 신뢰성(Long-Term Reliability)도 고려한다. 시스템이 통제된 실험에서 우수한 학습 성능을 보여주더라도 지속적인 실제 환경 배치에는 적합하지 않을 수 있다.

이러한 차이를 한 분야가 다른 분야를 완전히 대체하는 엄격한 계층 구조(Rigid Hierarchy)로 해석해서는 안 된다. 체화 인공지능(Embodied AI)과 피지컬 인공지능(Physical AI)은 상당한 이론적 기반(Theoretical Foundations), 알고리즘(Algorithms), 실험 방법(Experimental Methods)을 공유한다. 두 분야의 관계는 서로 다른 강조점을 가진 중첩된 관점(Overlapping Perspectives)으로 이해하는 것이 적절하다. 체화 인공지능은 지능이 상호작용에 어떻게 기반을 두게 되는지를 설명하고, 피지컬 인공지능은 그러한 지능이 엔지니어링된 물리 시스템(Engineered Physical Systems) 안에서 어떻게 기능하는지를 강조한다.

궁극적으로 체화 인공지능(Embodied AI)은 상황 기반 학습(Situated Learning), 감각운동 지능(Sensorimotor Intelligence), 행동 가능성 이해(Affordance Understanding), 적응적 상호작용(Adaptive Interaction)의 원리를 제공한다. 피지컬 인공지능(Physical AI)은 이러한 원리를 예측 추론(Predictive Reasoning), 제어(Control), 컴퓨팅 인프라(Computational Infrastructure), 안전(Safety), 운영 엔지니어링(Operational Engineering)과 통합한다. 두 분야의 융합(Convergence)은 개별적인 실험 시연(Isolated Demonstrations)을 넘어 물리적 세계에서 신뢰성 있고 적응적이며 점차 범용적인 능력을 갖춘 지능형 기계(Intelligent Machines)의 발전을 지원한다.

06.03. Physical AI vs Classical Robotics

피지컬 인공지능(Physical AI)과 고전적 로보틱스(Classical Robotics)는 기계가 물리적 세계(Physical World)와 상호작용하도록 한다는 공통 목표를 가지고 있지만, 지능(Intelligence), 적응성(Adaptability), 자율성(Autonomy)을 구현하는 방식에서 차이가 있다. 고전적 로보틱스는 전통적으로 수학적 모델링(Mathematical Modeling), 결정론적 제어(Deterministic Control), 명시적으로 프로그래밍된 행동(Explicitly Programmed Behaviors)을 강조한다. 피지컬 인공지능은 이러한 엔지니어링 기반에 학습(Learning), 예측 추론(Predictive Reasoning), 환경 이해(Environmental Understanding), 적응형 의사결정(Adaptive Decision-Making)을 통합하여 더욱 유연한 물리적 운영을 지원한다.

고전적 로보틱스(Classical Robotics)는 역학(Mechanics), 운동학(Kinematics), 동역학(Dynamics), 피드백 제어(Feedback Control), 자동화된 운동(Automated Motion)의 원리를 중심으로 발전하였다. 엔지니어는 수학 방정식(Mathematical Equations), 기하학적 표현(Geometric Representations), 사전에 정의된 운영 순서(Predefined Operational Sequences)를 통해 로봇의 행동을 기술한다. 로봇은 프로그래밍된 규칙과 측정된 시스템 상태(System States)에 따라 명령을 실행한다. 이러한 접근법은 운영 조건이 설정된 가정 범위 내에 유지될 때 예측 가능한 행동, 정밀한 움직임, 반복 가능한 성능을 제공한다.

피지컬 인공지능(Physical AI)은 시스템이 불확실한 환경(Uncertain Environments)을 해석하고 변화하는 상황에 따라 행동을 조정할 수 있도록 함으로써 이러한 능력을 확장한다. 사전에 정의된 명령(Predefined Instructions)에만 의존하는 대신, 피지컬 인공지능은 학습된 표현(Learned Representations), 확률적 추정(Probabilistic Estimation), 상황 의존적 정책(Context-Dependent Policies)을 통합할 수 있다. 그 목적은 수학적 제어(Mathematical Control)를 제거하는 것이 아니라 기존 엔지니어링 방법을 익숙하지 않은 상황에도 대응할 수 있는 적응형 지능(Adaptive Intelligence)과 결합하는 것이다.

이러한 차이는 환경 인식(Environmental Perception)에서 특히 뚜렷하게 나타난다. 고전적 로봇 시스템(Classical Robotic Systems)은 구조화된 환경(Structured Environments), 보정된 센서(Calibrated Sensors), 알려진 물체 위치(Known Object Locations), 명시적으로 구축된 기하학적 지도(Geometric Maps)에 의존하는 경우가 많다. 피지컬 인공지능(Physical AI)은 기계학습(Machine Learning)과 멀티모달 인식(Multimodal Perception)을 활용하여 물체를 인식하고, 장면을 해석하며, 환경 상태를 추정하고, 관련된 관계를 식별할 수 있다. 이러한 능력은 환경 정보가 불완전하거나 지속적으로 변화하는 상황에서도 로봇이 작동하도록 지원한다.

운동 계획(Motion Planning)은 두 접근법을 비교하는 또 다른 중요한 영역이다. 고전적 로보틱스(Classical Robotics)는 일반적으로 기하학적 경로 계획(Geometric Path Planning), 궤적 최적화(Trajectory Optimization), 역운동학(Inverse Kinematics), 모델 기반 제어(Model-Based Control)를 활용하여 실행 가능한 움직임을 생성한다. 피지컬 인공지능(Physical AI)은 이러한 방법에 학습된 정책(Learned Policies), 예측 세계 모델(Predictive World Models), 경험 기반 계획(Experience-Driven Planning)을 추가할 수 있다. 이러한 결합을 통해 시스템은 환경의 불확실성, 작업 목표, 이전에 경험한 상황을 고려하여 행동을 평가할 수 있다.

고전적 로보틱스(Classical Robotics)의 제어 알고리즘(Control Algorithms)은 로봇 동역학(Robot Dynamics)에 대한 수학적 설명과 피드백 신호(Feedback Signals)에 의존하는 경우가 많다. 비례-적분-미분 제어(Proportional-Integral-Derivative Control, PID), 상태 공간 제어(State-Space Control), 모델 예측 제어(Model Predictive Control, MPC)는 움직임을 조절하고 안정성을 유지하기 위한 체계적인 접근법을 제공한다. 피지컬 인공지능(Physical AI)은 이러한 기술의 중요성을 유지하면서, 측정 가능한 이점을 제공하는 경우 학습된 동역학(Learned Dynamics), 적응형 정책(Adaptive Policies), 지능형 감독 메커니즘(Intelligent Supervisory Mechanisms)을 도입한다.

학습(Learning)은 두 패러다임(Paradigms) 사이에서 강조점이 크게 다른 영역이다. 고전적 로봇 시스템(Classical Robotic Systems)은 주로 엔지니어링 설계(Engineering Design), 매개변수 조정(Parameter Tuning), 보정(Calibration), 명시적 프로그래밍(Explicit Programming)을 통해 구성된다. 피지컬 인공지능(Physical AI)은 인식, 예측, 계획, 행동 선택(Action Selection)을 개선하기 위해 데이터 기반 학습(Data-Driven Learning)을 점차 적극적으로 활용한다. 시연(Demonstrations), 시뮬레이션(Simulations), 실제 환경 운영(Real-World Operation)에서 수집된 경험은 행동 적응(Behavioral Adaptation)에 기여할 수 있지만, 학습 자체가 일반화(Generalization)를 자동으로 보장하지는 않는다.

모델(Models)과 경험(Experience) 사이의 관계도 변화한다. 고전적 로보틱스(Classical Robotics)는 일반적으로 기하학(Geometry), 운동 제약(Motion Constraints), 물리 동역학(Physical Dynamics)에 대한 명시적 표현(Explicit Representations)에서 출발한다. 피지컬 인공지능(Physical AI)은 이러한 해석적 모델(Analytical Models)을 관측과 상호작용을 통해 학습한 표현과 결합할 수 있다. 하이브리드 접근법(Hybrid Approaches)은 특히 유용한데, 물리 방정식(Physical Equations)은 구조와 해석 가능성(Interpretability)을 제공하고, 학습된 구성 요소(Learned Components)는 수작업으로 모델링하기 어려운 환경의 복잡성을 포착할 수 있기 때문이다.

불확실성(Uncertainty)은 여러 구현 방식에서 서로 다르게 처리된다. 고전적 로보틱스(Classical Robotics)에는 칼만 필터링(Kalman Filtering), 베이지안 추정(Bayesian Estimation), 동시적 위치 추정 및 지도 작성(Simultaneous Localization and Mapping, SLAM)과 같은 확립된 확률적 방법(Probabilistic Methods)이 포함된다. 피지컬 인공지능(Physical AI)은 이러한 기반 위에 불확실성 인식 학습(Uncertainty-Aware Learning), 예측 모델링(Predictive Modeling), 적응형 의사결정 정책(Adaptive Decision Policies)을 통합한다. 따라서 중요한 차이는 불확실성을 고려하는지 여부가 아니라, 불확실성이 인식, 추론, 계획, 자율적 행동에 어떤 영향을 미치는지에 있다.

작업 실행(Task Execution)은 이러한 차이가 운영에 미치는 영향을 보여준다. 기존 산업용 로봇(Industrial Robot)은 통제된 작업 공간(Controlled Workspace)에서 프로그래밍된 조립 순서(Programmed Assembly Sequence)를 높은 정밀도로 반복 수행할 수 있다. 피지컬 인공지능 기반 시스템(Physical AI-Enabled System)은 물체 배치의 변화를 식별하고, 적절한 조작 전략(Manipulation Strategies)을 추론하며, 관측된 결과에 따라 실행을 조정할 수 있다. 이러한 유연성은 시스템이 충분한 학습과 검증(Validation)을 거쳤다는 전제하에 경직된 환경 구성에 대한 의존도를 줄일 수 있다.

자율성(Autonomy) 개념 역시 신중하게 해석해야 한다. 고전적 로보틱스(Classical Robotics)에는 이미 자율 내비게이션(Autonomous Navigation), 장애물 회피(Obstacle Avoidance), 피드백 기반 적응(Feedback-Based Adaptation), 정교한 의사결정 시스템(Decision Systems)이 포함되어 있다. 피지컬 인공지능(Physical AI)이 자율성을 완전히 새로운 능력으로 도입하는 것은 아니다. 대신 더욱 폭넓은 환경 이해, 학습된 행동 유연성(Learned Behavioral Flexibility), 예측 추론(Predictive Reasoning), 지속적으로 운영되는 물리 시스템 안에서 여러 지능형 기능의 통합을 강조한다.

세계 모델(World Models)은 특히 중요한 확장 요소를 제공한다. 전통적인 로봇 시스템(Traditional Robotic Systems)은 명시적인 운동학 및 동역학 방정식(Kinematic and Dynamic Equations)을 사용하여 미래 움직임을 예측할 수 있다. 피지컬 인공지능(Physical AI)은 학습 기반 또는 하이브리드 세계 모델(Learned or Hybrid World Models)을 활용하여 서로 다른 행동에 따라 물체, 에이전트, 환경이 어떻게 변화할 수 있는지 추정할 수 있다. 이러한 예측은 선제적 행동(Anticipatory Behavior), 장기 계획(Longer-Horizon Planning), 물리적 실행 이전의 대안 전략 평가를 지원한다.

인식-행동 통합(Perception-Action Integration)은 고도화된 피지컬 인공지능 아키텍처(Physical AI Architectures)를 더욱 구별하는 요소이다. 고전적 로보틱스(Classical Robotics)는 센싱(Sensing), 계획(Planning), 제어(Control)를 명확하게 정의된 인터페이스(Interfaces)를 가진 전문화된 모듈(Specialized Modules)로 구성하는 경우가 많다. 피지컬 인공지능(Physical AI)은 이러한 모듈식 구성(Modular Organization)을 유지하면서 공유 표현(Shared Representations)과 긴밀하게 결합된 학습 과정(Tightly Coupled Learning Processes)을 도입할 수 있다. 인식은 탐색을 능동적으로 안내하고, 계획된 행동은 환경 이해와 후속 의사결정을 개선하는 새로운 관측을 생성할 수 있다.

시뮬레이션(Simulation)은 오랫동안 고전적 로보틱스(Classical Robotics)에서 기계 설계(Mechanical Design), 운동 검증(Motion Verification), 제어기 개발(Controller Development), 시스템 시험(System Testing)을 위한 필수적인 도구였다. 피지컬 인공지능(Physical AI)은 그 역할을 대규모 데이터 생성(Large-Scale Data Generation), 정책 학습(Policy Training), 강화 학습(Reinforcement Learning), 도메인 무작위화(Domain Randomization)로 확장한다. 시뮬레이션 상호작용(Simulated Interaction)은 실제 배치 이전에 에이전트가 다양한 조건을 경험하도록 한다. 그러나 시뮬레이션과 현실 사이의 차이(Simulation-to-Reality Differences)로 인해 시뮬레이션에서 성공한 행동이 실제 환경으로 신뢰성 있게 전이되지 않을 수 있으므로 체계적인 검증이 필요하다.

기반 모델(Foundation Models)은 새롭게 부각되는 또 다른 차이를 보여준다. 고전적 로봇 소프트웨어(Classical Robotic Software)는 일반적으로 전문화된 알고리즘(Specialized Algorithms)과 작업별 프로그래밍(Task-Specific Programming)을 중심으로 설계된다. 피지컬 인공지능(Physical AI)은 시각-언어 모델(Vision-Language Models, VLM), 시각-언어-행동 모델(Vision-Language-Action Models, VLA), 범용 정책(Generalist Policies)을 통합하여 명령을 해석하고 다양한 작업을 지원할 수 있다. 이러한 모델은 유연성을 향상시킬 수 있지만, 출력 결과는 물리적 제약(Physical Constraints), 저수준 제어(Low-Level Control), 운영 안전 요구사항(Operational Safety Requirements)과 호환되어야 한다.

실시간 성능(Real-Time Performance)은 두 분야가 공유하는 엔지니어링 과제이다. 고전적 로보틱스(Classical Robotics)는 결정론적 스케줄링(Deterministic Scheduling), 피드백 안정성(Feedback Stability), 예측 가능한 제어 실행(Predictable Control Execution)을 위한 엄격한 방법을 발전시켜 왔다. 피지컬 인공지능(Physical AI)은 신경망 추론(Neural Inference), 멀티모달 처리(Multimodal Processing), 예측 추론(Predictive Reasoning)을 통해 추가적인 계산 요구사항(Computational Demands)을 발생시킨다. 실용적인 아키텍처는 핵심 제어 기능(Critical Control Functions)을 손상시키지 않으면서 지능을 지연 시간(Latency), 처리 용량(Processing Capacity), 에너지 소비(Energy Consumption), 통신 제약(Communication Constraints)과 균형 있게 조정해야 한다.

안전(Safety)과 신뢰성(Reliability) 역시 피지컬 인공지능(Physical AI)을 고전적 로보틱스(Classical Robotics)의 대체물이 아니라 확장으로 이해해야 하는 이유를 보여준다. 확립된 로봇 엔지니어링(Robotic Engineering)은 보호 메커니즘(Protective Mechanisms), 액추에이터 제약(Actuator Constraints), 비상 정지(Emergency Stopping), 검증된 제어 기능(Verified Control Functions)을 제공한다. 학습 기반 구성 요소(Learning-Based Components)는 추가적인 불확실성을 도입하므로 모니터링(Monitoring), 검증(Validation), 대체 전략(Fallback Strategies)이 필요하다. 신뢰할 수 있는 피지컬 인공지능은 적응 능력(Adaptive Capabilities)을 독립적으로 정당성이 입증된 안전 메커니즘과 결합하는 데 달려 있다.

평가 우선순위(Evaluation Priorities)는 두 분야의 상호 보완적인 강점을 반영한다. 고전적 로보틱스(Classical Robotics)는 일반적으로 위치 정확도(Positioning Accuracy), 반복 정밀도(Repeatability), 궤적 추종(Trajectory Tracking), 안정성(Stability), 기계적 성능(Mechanical Performance)을 강조한다. 피지컬 인공지능(Physical AI)은 익숙하지 않은 조건에 대한 적응(Adaptation), 작업 일반화(Task Generalization), 예측 품질(Prediction Quality), 의사결정 강건성(Decision Robustness), 학습 효율성(Learning Efficiency)도 평가한다. 운영 평가(Operational Assessment)는 이러한 지능적 능력을 신뢰성, 안전, 에너지 효율성, 지속적인 작업 완료에 대한 기존 지표와 결합해야 한다.

따라서 고전적 로보틱스(Classical Robotics)에서 피지컬 인공지능(Physical AI)으로의 전환은 절대적인 단절이 아니라 진화적 변화(Evolutionary Transition)이다. 많은 고급 로봇(Advanced Robots)은 이미 확률적 추정(Probabilistic Estimation), 기계학습(Machine Learning), 자율 계획(Autonomous Planning), 적응형 제어(Adaptive Control)를 통합하고 있다. 마찬가지로 피지컬 인공지능 시스템은 기계 설계(Mechanical Design), 운동 실행(Motion Execution), 피드백 조절(Feedback Regulation), 물리적 안정성(Physical Stability)을 위해 여전히 고전적 로보틱스에 의존한다. 이러한 차이는 기계 세대 사이의 엄격한 구분이 아니라 아키텍처의 강조점이 변화하는 현상을 설명한다.

궁극적으로 고전적 로보틱스(Classical Robotics)는 신뢰할 수 있는 물리적 행동(Dependable Physical Action)에 필요한 수학적(Mathematical), 기계적(Mechanical), 제어적(Control) 기반을 확립한다. 피지컬 인공지능(Physical AI)은 이러한 기반 위에 학습(Learning), 세계 이해(World Understanding), 예측(Prediction), 추론(Reasoning), 적응형 자율성(Adaptive Autonomy)을 운영 시스템(Operational Systems)에 통합한다. 두 분야의 융합(Convergence)은 로봇이 정밀도(Precision)와 신뢰성(Reliability)을 유지하면서 불확실한 환경에서 더욱 높은 유연성(Flexibility)을 발전시키도록 하며, 점차 고도화된 능력과 지능을 갖춘 물리적 기계(Intelligent Physical Machines)의 발전을 지원한다.

06.04. Situated and Enactive Intelligence

상황적 지능(Situated Intelligence)은 지능적 행동(Intelligent Behavior)이 고립된 내부 계산(Isolated Internal Computation)이 아니라 에이전트(Agent)와 환경(Environment) 사이의 지속적인 관계에서 나타난다는 원리를 의미한다. 에이전트의 의사결정(Decision-Making)은 물리적 위치(Physical Location), 주변 물체(Surrounding Objects), 이용 가능한 자원(Available Resources), 즉각적인 상황(Immediate Circumstances)에 따라 달라진다. 따라서 지능은 인식(Perception), 행동(Action), 환경 조건(Environmental Conditions)이 공동으로 행동을 형성하는 상황 의존적 활동(Context-Dependent Activity)으로 이해된다.

상황적 지능(Situated Intelligence)은 인지(Cognition)를 세계와 독립적으로 수행되는 추상적 연산(Abstract Operations)의 연속으로 취급하는 전통적인 모델(Traditional Models)에 도전한다. 대신 의미 있는 추론(Meaningful Reasoning)이 물리적 제약(Physical Constraints)과 실제 목표(Practical Objectives)가 존재하는 구체적인 상황에서 이루어진다는 점을 강조한다. 예를 들어 창고를 이동하는 자율 로봇(Autonomous Robot)은 변화하는 장애물(Changing Obstacles), 사람의 움직임(Human Movements), 작업 우선순위(Task Priorities)를 해석하면서 자신의 행동을 지속적으로 조정해야 한다.

행위생성적 지능(Enactive Intelligence)은 인지(Cognition)가 환경과의 능동적 관여(Active Engagement)를 통해 발전한다고 제안함으로써 이러한 관점을 확장한다. 에이전트는 수동적인 감각 입력(Passive Sensory Inputs)만으로 지식을 구성하는 것이 아니라 자신의 행동을 통해 의미 있는 경험(Meaningful Experience)을 생성한다. 인식(Perception)과 움직임(Movement)은 상호 의존적인 과정이 되며, 에이전트는 물체(Objects), 표면(Surfaces), 장애물(Obstacles), 다른 에이전트와의 반복적인 상호작용을 통해 실질적인 이해(Practical Understanding)를 발전시킨다.

상황적 지능(Situated Intelligence)과 행위생성적 지능(Enactive Intelligence)의 차이는 메커니즘을 엄격하게 분리하는 것이 아니라 각각의 주요 강조점에 있다. 상황적 지능은 환경적 맥락(Environmental Context)과 행동이 발생하는 조건의 중요성을 강조한다. 행위생성적 지능은 에이전트가 감각운동 관여(Sensorimotor Engagement)를 통해 주변 환경과 의미 있는 관계를 능동적으로 형성하는 방식을 강조한다. 두 관점 모두 지능적 행동을 계산(Computation)만으로 완전히 설명할 수 있다는 가정을 거부한다.

체화(Embodiment)는 상황적 지능(Situated Intelligence)과 행위생성적 지능(Enactive Intelligence) 모두에 필수적인 기반을 제공한다. 에이전트의 물리적 특성(Physical Characteristics)은 환경을 경험하는 방식과 수행할 수 있는 행동을 결정한다. 신체 기하학(Body Geometry), 센서 배치(Sensor Placement), 액추에이터 능력(Actuator Capabilities), 기계적 순응성(Mechanical Compliance)은 상호작용의 구조에 영향을 미친다. 따라서 동일한 환경에서 작동하는 두 에이전트도 서로 다른 신체 구조가 서로 다른 경험 형태를 지원하기 때문에 상이한 전략을 발전시킬 수 있다.

인식-행동 결합(Perception-Action Coupling)은 상황적 행동(Situated Behavior)과 행위생성적 행동(Enactive Behavior)의 핵심 요소이다. 에이전트는 환경 조건(Environmental Conditions)을 관측하고 행동을 수행한 다음, 그 행동의 결과로 발생하는 새로운 감각 정보(Sensory Information)를 수신한다. 이러한 지속적인 피드백 과정(Feedback Process)은 변화하는 상황에 적절하게 대응하는 행동을 가능하게 한다. 인식은 단순히 의사결정 이전의 입력 단계(Input Stage)가 아니며, 행동은 관측 가능한 정보와 환경 정보의 해석 방식을 의도적으로 변화시킬 수 있다.

능동 인식(Active Perception)은 이러한 원리의 실질적인 중요성을 보여준다. 이동 로봇(Mobile Robot)은 가려진 통로(Occluded Passage)를 검사하기 위해 자신의 위치를 변경할 수 있으며, 매니퓰레이터(Manipulator)는 적절한 파지 표면(Grasping Surface)을 식별하기 위해 물체를 회전시킬 수 있다. 이러한 행동은 최종 작업을 직접 수행하기보다 지식을 개선하기 위한 목적으로 부분적으로 선택된다. 따라서 지능은 물리적 환경을 변화시키는 행동을 선택하는 것뿐 아니라 정보 획득(Information Acquisition)을 제어하는 능력도 포함한다.

상황적 지능(Situated Intelligence)은 지능적 행동을 단순화하는 데 환경 구조(Environmental Structure)가 수행하는 역할도 강조한다. 에이전트는 모든 환경적 세부 사항에 대한 완전한 내부 표현(Internal Representations)을 유지하는 대신 안정적인 랜드마크(Stable Landmarks), 예측 가능한 공간 배치(Predictable Spatial Arrangements), 물리적 제약(Physical Constraints)을 활용할 수 있다. 내비게이션 시스템(Navigation System)은 복도와 벽을 이동 안내에 활용할 수 있으며, 조작 시스템(Manipulation System)은 물체를 안정화하기 위해 지지 표면(Supporting Surfaces)을 이용할 수 있다. 환경의 조직화(Environmental Organization)는 인지를 위한 자원(Resource for Cognition)이 된다.

행위생성적 지능(Enactive Intelligence)은 상호작용을 통한 의미 형성(Meaning Formation)에 추가적인 중점을 둔다. 물체는 시각적 외형(Visual Appearance)이나 기하학적 설명(Geometric Description)만으로 이해되는 것이 아니라, 허용하는 행동과 그 행동이 만들어 내는 결과를 통해서도 이해된다. 손잡이(Handle)는 파지와 당기기(Grasping and Pulling)를 통해 의미를 갖게 되며, 표면(Surface)은 움직임이나 접촉을 지지하는 기능을 통해 의미를 갖게 된다. 이러한 관계는 환경 이해(Environmental Understanding)를 실제 수행 능력(Practical Capabilities)과 연결한다.

행동 가능성(Affordances) 개념은 상황적 관점(Situated Perspective)과 행위생성적 관점(Enactive Perspective)을 연결하는 유용한 개념적 가교(Conceptual Bridge)를 제공한다. 행동 가능성은 환경의 속성(Environmental Properties)과 에이전트의 능력(Agent Abilities) 사이의 관계에서 발생하는 행동 기회(Action Opportunities)를 설명한다. 좁은 개구부(Narrow Opening)는 소형 이동 로봇(Compact Mobile Robot)에게는 통과 가능한 경로일 수 있지만 더 큰 플랫폼에는 접근할 수 없는 공간일 수 있다. 따라서 행동 가능성 이해(Affordance Understanding)는 물리적 맥락(Physical Context)과 체화(Embodiment)에 모두 의존하며, 에이전트가 실행 가능한 행동을 기준으로 환경을 해석하도록 한다.

상황적 환경(Situated Environments)에서의 학습은 실제 상호작용 중에 경험하는 조건에 맞추어 행동을 적응시키는 과정을 포함한다. 에이전트는 특정 바닥 표면(Floor Surface)이 접지력(Traction)을 감소시키거나, 출입구(Doorway)가 특정 시간대에 혼잡해지거나, 물체를 조작하기 위해 추가적인 힘(Force)이 필요하다는 사실을 발견할 수 있다. 이러한 경험은 미래의 행동 선택(Action Selection)을 변화시킬 수 있다. 학습은 외부에서 제공된 레이블(Externally Supplied Labels)에만 의존하는 것이 아니라 운영 결과(Operational Consequences)에 기반하게 된다.

행위생성적 학습(Enactive Learning)은 반복적인 행동을 통한 감각운동 규칙성(Sensorimotor Regularities)의 형성을 더욱 강조한다. 움직임이 감각 관측(Sensory Observations)에 어떤 영향을 미치는지 탐색함으로써 에이전트는 환경 반응(Environmental Responses)에 대한 기대(Expectations)를 획득할 수 있다. 이러한 기대는 예측(Prediction), 조정(Coordination), 적응형 제어(Adaptive Control)를 지원한다. 그 결과 형성된 지식은 에이전트의 능력과 밀접하게 연결되므로 접촉(Contact), 보행(Locomotion), 내비게이션(Navigation), 조작(Manipulation)이 포함된 작업에서 특히 유용하다.

상황적 접근법(Situated Approaches)과 행위생성적 접근법(Enactive Approaches)이 반드시 내부 표현(Internal Representations)이나 계산 모델(Computational Models)을 제거해야 한다는 의미는 아니다. 대신 표현이 지속적인 상호작용(Ongoing Interaction)과 실제 행동(Practical Action)에 연결되어 있어야 한다는 점을 강조한다. 세계 모델(World Models), 공간 지도(Spatial Maps), 예측 표현(Predictive Representations)은 감각 피드백(Sensory Feedback)을 통해 지속적으로 갱신될 때 지능적 행동을 지원할 수 있다. 이러한 모델의 가치는 변화하는 물리적 환경 조건에서 의사결정을 얼마나 효과적으로 안내하는지에 달려 있다.

불확실성(Uncertainty)은 상황적 운영(Situated Operation)에서 피할 수 없는 특성이다. 환경 상태(Environmental States)는 부분적으로만 관측 가능할 수 있고, 센서는 잡음이 포함된 측정값(Noisy Measurements)을 생성할 수 있으며, 다른 에이전트는 예측하기 어려운 행동을 보일 수 있다. 지능형 시스템(Intelligent Systems)은 현재 관측(Current Observations)을 기억(Memory), 예측(Prediction), 추가적인 정보 수집 행동(Information-Gathering Actions)과 결합하여 대응해야 한다. 행위생성적 전략(Enactive Strategies)은 목적 지향적 탐색(Purposeful Exploration)을 통해 불확실성을 줄일 수 있으며, 상황적 추론(Situated Reasoning)은 즉각적인 상황에 어떤 관측과 행동이 관련되는지 평가한다.

이러한 관점은 자율 로보틱스(Autonomous Robotics)에 중요한 시사점을 제공한다. 고전적 제어 방법(Classical Control Methods)은 정밀한 운동 실행(Precise Motion Execution)을 제공할 수 있으며, 상황적 추론(Situated Reasoning)은 맥락에 민감한 작업 선택(Context-Sensitive Task Selection)과 환경 해석(Environmental Interpretation)을 지원한다. 행위생성적 메커니즘(Enactive Mechanisms)은 능동적 탐색(Active Exploration), 상호작용 기반 학습(Interactive Learning), 적응형 감각운동 조정(Adaptive Sensorimotor Coordination)에 기여한다. 이러한 능력을 결합하면 로봇은 사전에 정의된 운영 규칙(Predefined Operational Rules)만으로 완전히 예상할 수 없는 상황에도 대응할 수 있다.

피지컬 인공지능(Physical AI)은 상황적 원리(Situated Principles)와 행위생성적 원리(Enactive Principles)를 인식(Perception), 예측(Prediction), 계획(Planning), 제어(Control), 학습(Learning)을 위한 보다 광범위한 아키텍처(Architectures)에 통합한다. 상황적 지능(Situated Intelligence)은 특정 작업에서 어떤 환경 조건이 중요한지 결정하는 데 도움을 주며, 행위생성적 지능(Enactive Intelligence)은 상호작용이 유용한 지식을 생성하는 방식을 설명한다. 예측 모델(Predictive Models)과 제어 메커니즘(Control Mechanisms)은 이러한 지식을 실행 가능한 행동(Executable Behavior)으로 변환한다. 그 결과 시스템은 물리적 제약(Physical Constraints)을 인식하면서 자신의 행동을 적응시킬 수 있다.

실시간 운영(Real-Time Operation)은 의사결정이 계산되는 동안에도 환경적 맥락(Environmental Context)이 변화하기 때문에 상황적 지능(Situated Intelligence)의 중요성을 더욱 높인다. 로봇은 오래된 가정(Outdated Assumptions)에 의존하지 않고 이동 장애물(Moving Obstacles), 예상하지 못한 인간 활동(Unexpected Human Activity), 물리적 조건의 변화(Variations in Physical Conditions)에 대응해야 한다. 행위생성적 상호작용(Enactive Interaction)은 이해를 개선할 수 있지만, 탐색 행동(Exploratory Actions)은 시간 요구사항(Timing Requirements)과 안전 제약(Safety Constraints)을 충족해야 한다. 따라서 지능적 적응(Intelligent Adaptation)은 정보 획득(Information Acquisition)과 운영 응답성(Operational Responsiveness) 사이의 균형을 유지해야 한다.

안전(Safety) 역시 상황적 지능(Situated Intelligence)과 행위생성적 지능(Enactive Intelligence)의 적용 방식을 결정한다. 능동적 탐색(Active Exploration)은 환경 이해를 개선할 수 있지만, 주변에 물체, 사람, 기계가 존재하는 경우 물리적 실험(Physical Experiments)은 위험을 초래할 수 있다. 피지컬 인공지능(Physical AI) 시스템은 충돌 회피(Collision Avoidance), 힘 제한(Force Limits), 감독하 실행(Supervised Execution), 적절한 대체 메커니즘(Fallback Mechanisms)을 통해 탐색 행동을 제한해야 한다. 상호작용을 통한 학습은 에이전트와 주변 환경을 모두 보호하는 운영 경계(Operational Boundaries) 안에서 이루어져야 한다.

다중 에이전트 환경(Multi-Agent Environments)은 상황적 지능(Situated Intelligence)에 추가적인 차원을 도입한다. 각 에이전트는 다른 로봇, 사람, 인프라 시스템(Infrastructure Systems)의 행동에 영향을 받는 로컬 맥락(Local Context) 안에서 작동한다. 조정(Coordination)을 위해서는 공유 공간(Shared Spaces)을 해석하고, 상호작용을 예측하며, 집단적 조건(Collective Conditions)에 적응해야 한다. 행위생성적 메커니즘(Enactive Mechanisms)은 통신(Communication)과 조정된 행동(Coordinated Action)을 통해 협력을 지원할 수 있으며, 분산 표현(Distributed Representations)은 참여 에이전트 사이의 일관성(Consistency)을 유지하는 데 도움을 준다.

상황적 지능(Situated Intelligence)과 행위생성적 지능(Enactive Intelligence)의 평가는 개별 작업 정확도(Isolated Task Accuracy) 이상의 요소를 고려해야 한다. 관련 지표에는 환경 변화에 대한 적응(Adaptation to Environmental Changes), 능동 인식의 효과(Effectiveness of Active Perception), 예상하지 못한 교란으로부터의 복구(Recovery from Unexpected Disturbances), 환경 구조 활용 능력(Ability to Exploit Environmental Structure)이 포함된다. 상호작용 효율성(Interaction Efficiency), 작업 완료(Task Completion), 불확실성 아래에서의 강건성(Robustness under Uncertainty)은 실질적인 수행 능력(Practical Competence)에 대한 추가적인 근거를 제공한다. 피지컬 인공지능(Physical AI) 평가는 지연 시간(Latency), 안전(Safety), 신뢰성(Reliability), 지속적인 운영 성능(Sustained Operational Performance)도 고려해야 한다.

궁극적으로 상황적 지능(Situated Intelligence)은 지능적 행동(Intelligent Behavior)을 실제 환경(Actual Environments)의 맥락 안에서 이해해야 하는 이유를 설명하며, 행위생성적 지능(Enactive Intelligence)은 지식(Knowledge)과 의미(Meaning)가 행동을 통해 어떻게 발전하는지를 강조한다. 두 개념은 상호작용적(Interactive), 적응적(Adaptive), 물리적 기반을 갖춘 인지(Physically Grounded Cognition)의 토대를 함께 형성한다. 피지컬 인공지능(Physical AI)은 이러한 원리를 실제 환경의 제약 조건(Real-World Constraints) 아래에서 환경 인식(Environmental Awareness), 학습(Learning), 예측(Prediction), 신뢰할 수 있는 물리적 실행(Reliable Physical Execution)을 결합하는 엔지니어링 시스템(Engineered Systems)으로 확장한다.

06.05. Perception Action Coupling

인식-행동 결합(Perception-Action Coupling)은 지능형 에이전트(Intelligent Agent)의 감각 관측(Sensory Observations)과 물리적 행동(Physical Actions) 사이의 지속적인 관계를 설명한다. 인식(Perception)은 행동(Behavior)에 필요한 정보를 제공하며, 행동은 환경(Environment)을 변화시키고 이후의 관측에 영향을 미친다. 이러한 상호적 과정(Reciprocal Process)은 체화 지능(Embodied Intelligence)과 피지컬 인공지능(Physical AI)의 기본 메커니즘(Fundamental Mechanism)을 형성하며, 에이전트가 행동과 독립적으로 감각 정보만 처리하는 것이 아니라 동적 환경(Dynamic Environments)과 상호작용하도록 한다.

전통적인 계산 아키텍처(Traditional Computational Architectures)는 인식(Perception)과 행동(Action)을 순차적 처리(Sequential Processing)를 통해 연결되는 별도의 단계로 표현하는 경우가 많다. 센서(Sensors)는 환경 정보(Environmental Information)를 획득하고, 알고리즘(Algorithms)은 표현(Representations)을 구성하며, 제어기(Controllers)는 사전에 정의된 명령(Predefined Commands)을 실행한다. 이러한 아키텍처도 효과적인 피드백 제어(Feedback Control)를 지원할 수 있지만, 인식-행동 결합(Perception-Action Coupling)은 감지(Sensing)와 행동(Acting)이 상호 의존적인 과정이며, 이들의 상호작용이 지능적 행동(Intelligent Behavior)에 지속적으로 영향을 미친다는 점을 강조한다.

인식-행동 루프(Perception-Action Loop)는 센서(Sensors)가 환경 조건(Environmental Conditions)을 관측하고 작업과 관련된 정보(Task-Relevant Information)를 추정하면서 시작된다. 에이전트(Agent)는 이러한 관측을 해석하고 행동을 선택한 다음, 액추에이터(Actuators)를 통해 물리적 변화(Physical Change)를 발생시킨다. 그 결과 나타나는 환경 반응(Environmental Response)은 새로운 감각 측정값(Sensory Measurements)을 생성하며, 이는 에이전트의 이해를 갱신한다. 반복적인 순환 과정(Repeated Cycles)을 통해 행동은 외란(Disturbances), 변화하는 목표(Changing Objectives), 예상하지 못한 물리적 상호작용(Unexpected Physical Interactions)에 적응할 수 있다.

폐루프 제어(Closed-Loop Control)는 인식-행동 결합(Perception-Action Coupling)의 중요한 엔지니어링 기반(Engineering Foundation)을 제공한다. 폐루프 시스템(Closed-Loop System)은 행동의 결과를 고려하지 않고 실행하는 대신, 관측된 상태(Observed States)와 목표 조건(Desired Conditions)을 지속적으로 비교한다. 예상 결과(Expected Outcomes)와 실제 결과(Actual Outcomes) 사이의 차이는 교정 행동(Corrective Behavior)을 안내한다. 피지컬 인공지능(Physical AI)은 학습된 표현(Learned Representations), 예측 추론(Predictive Reasoning), 적응형 의사결정 정책(Adaptive Decision Policies)을 피드백 과정(Feedback Process)에 통합하여 이러한 원리를 확장한다.

인식-행동 결합(Perception-Action Coupling)은 환경 정보(Environmental Information)를 획득하는 방식도 변화시킨다. 에이전트(Agent)는 움직임을 통해 이전에는 얻을 수 없었던 정보를 발견할 수 있으므로 주변 환경을 관측하는 동안 반드시 정지 상태를 유지할 필요가 없다. 이동 로봇(Mobile Robot)은 가려진 복도(Obstructed Corridor)를 검사하기 위해 관측 시점(Viewpoint)을 변경할 수 있으며, 매니퓰레이터(Manipulator)는 파지 기회(Grasping Opportunity)를 식별하기 위해 물체의 위치나 자세를 변경할 수 있다. 따라서 행동은 운영 목적(Operational Purposes)과 정보 수집 목적(Information-Gathering Purposes)을 동시에 수행한다.

이러한 관계는 에이전트가 감각 정보(Sensory Information)의 품질이나 관련성을 개선하기 위해 의도적으로 행동을 선택하는 능동 인식(Active Perception)과 밀접하게 연결된다. 카메라 방향(Camera Orientation), 로봇 위치(Robot Position), 매니퓰레이터 움직임(Manipulator Movement), 센서 구성(Sensor Configuration)은 불확실성(Uncertainty)을 줄이기 위해 조정될 수 있다. 효과적인 능동 인식은 행동을 통해 기대되는 정보적 이점(Informational Benefit)을 실행 비용(Execution Cost), 물리적 실행 가능성(Physical Feasibility), 시간 요구사항(Timing Requirements), 안전 영향(Safety Implications)과 균형 있게 고려해야 한다.

감각운동 조정(Sensorimotor Coordination)은 인식-행동 결합(Perception-Action Coupling)의 또 다른 필수 요소이다. 성공적인 움직임을 위해서는 시각(Visual), 관성(Inertial), 촉각(Tactile), 고유수용감각(Proprioceptive) 및 기타 감각 신호(Sensory Signals)를 운동 명령(Motor Commands)과 통합해야 한다. 삽입 작업(Insertion)을 수행하는 로봇 팔(Robotic Arm)은 접촉력(Contact Forces)과 위치 편차(Positional Deviations)를 지속적으로 해석해야 한다. 마찬가지로 이동 로봇(Mobile Robot)은 안정적이고 목적 지향적인 움직임을 유지하기 위해 환경 관측을 속도(Velocity) 및 조향 조정(Steering Adjustments)과 조화시켜야 한다.

행동 가능성(Affordances) 개념은 인식-행동 결합(Perception-Action Coupling)을 실질적인 환경 이해(Practical Environmental Understanding)와 연결한다. 물체(Objects)와 표면(Surfaces)은 외형(Appearance)뿐 아니라 실행할 수 있도록 허용하는 행동에 따라서도 해석된다. 손잡이(Handle)는 파지(Grasping)를 가능하게 하고, 평평한 표면(Flat Surface)은 지지(Support)를 제공할 수 있으며, 개구부(Opening)는 통과(Passage)를 허용할 수 있다. 이러한 가능성은 에이전트의 체화(Embodiment)에 따라 달라지므로 행동 능력(Action Capabilities)은 지각적 해석(Perceptual Interpretation)에 중요한 영향을 미친다.

체화(Embodiment)는 인식-행동 결합(Perception-Action Coupling)의 구조와 한계를 결정한다. 센서 배치(Sensor Placement)는 관측 가능한 정보(Observable Information)에 영향을 미치며, 기계적 형상(Mechanical Geometry)과 액추에이터 능력(Actuator Capabilities)은 사용 가능한 대응 행동(Available Responses)을 결정한다. 바퀴형 로봇(Wheeled Robot), 사족보행 로봇(Quadruped), 휴머노이드(Humanoid)는 유사한 장애물을 인식하더라도 서로 다른 이동 전략(Movement Strategies)을 필요로 할 수 있다. 이들의 물리적 특성(Physical Characteristics)은 감각 정보, 행동 선택(Action Selection), 환경적 결과(Environmental Consequences) 사이의 관계를 형성한다.

학습(Learning)은 경험(Experience)을 통해 인식-행동 관계(Perception-Action Relationships)를 개선할 수 있도록 한다. 에이전트(Agent)는 행동이 이후의 감각 상태(Sensory States)에 어떤 영향을 미치는지 관측함으로써 환경 동역학(Environmental Dynamics)의 모델을 획득하고 제어 정책(Control Policies)을 개선할 수 있다. 반복적인 상호작용(Repeated Interactions)은 움직임(Motion), 접촉(Contact), 마찰(Friction), 물체 행동(Object Behavior)에 관한 패턴을 드러낸다. 이러한 학습된 관계(Learned Relationships)는 변화하는 운영 조건(Operating Conditions)에서 더욱 정확한 예측과 효과적인 행동 선택을 지원한다.

예측 세계 모델(Predictive World Models)은 인식-행동 결합(Perception-Action Coupling)을 즉각적인 피드백(Immediate Feedback)의 범위 이상으로 확장한다. 에이전트(Agent)는 서로 다른 후보 행동(Candidate Actions)을 수행한 후 환경 상태(Environmental States)가 어떻게 변화할지 추정하고, 실행 전에 가능한 결과(Possible Outcomes)를 비교할 수 있다. 이러한 예측은 선제적 제어(Anticipatory Control), 장애물 회피(Obstacle Avoidance), 장기 계획(Longer-Horizon Planning)을 지원한다. 모델 예측(Model Predictions)은 실제 물리적 행동(Actual Physical Behavior)과 다를 수 있으므로 지속적인 교정과 적응을 위한 피드백은 여전히 필수적이다.

부분 관측 가능성(Partial Observability)은 인식-행동 결합(Perception-Action Coupling)에 추가적인 복잡성을 도입한다. 센서(Sensors)는 불완전하고 잠재적으로 잡음이 포함된 정보(Noisy Information)를 제공하며, 환경 변화(Environmental Changes)는 관측 가능한 영역(Observable Region) 밖에서 발생할 수 있다. 에이전트는 현재 측정값(Current Measurements)을 기억(Memory), 불확실성 추정(Uncertainty Estimates), 예측(Predictions)과 결합해야 한다. 정보가 충분하지 않은 경우 에이전트는 중요한 물리적 작업(Physical Operation)을 수행하기 전에 상태 추정(State Estimation)을 개선하는 탐색 행동(Exploratory Actions)을 선택할 수 있다.

인식-행동 결합(Perception-Action Coupling)의 시간적 구조(Temporal Structure)는 실시간 시스템(Real-Time Systems)에서 특히 중요하다. 센서 획득(Sensor Acquisition), 계산(Computation), 통신(Communication), 액추에이터 응답(Actuator Response)은 관측과 물리적 실행 사이에 지연(Delays)을 발생시킨다. 과도한 지연 시간(Latency)은 오래된 환경 정보(Outdated Environmental Information)에 기반한 의사결정을 초래할 수 있다. 피지컬 인공지능 아키텍처(Physical AI Architectures)는 응답성(Responsiveness)과 안정적인 행동(Stable Behavior)을 유지하기 위해 처리 주파수(Processing Frequencies), 예측 지평(Prediction Horizons), 제어 마감시간(Control Deadlines)을 조정해야 한다.

인식-행동 결합(Perception-Action Coupling)은 여러 시간적 및 계산적 규모(Temporal and Computational Scales)에서 작동한다. 저수준 제어기(Low-Level Controllers)는 빠른 피드백(Rapid Feedback)을 통해 모터 동작(Motor Behavior)을 조절하고, 상위 수준 프로세스(Higher-Level Processes)는 장면(Scenes)을 해석하고 목표(Objectives)를 선택하며 계획(Plans)을 생성한다. 중간 수준 메커니즘(Intermediate Mechanisms)은 궤적(Trajectories)과 국소 환경 반응(Local Environmental Responses)을 조정한다. 효과적인 통합(Effective Integration)을 위해서는 느린 추론 구성 요소(Slower Reasoning Components)가 시간에 민감한 제어 기능(Time-Critical Control Functions)을 손상시키지 않으면서 관련 정보를 교환해야 한다.

시뮬레이션(Simulation)은 인식-행동 관계(Perception-Action Relationships)를 연구하고 학습하기 위한 실용적인 환경을 제공한다. 에이전트(Agents)는 물리적 장비(Physical Equipment)를 불필요한 위험에 노출하지 않고 반복적으로 행동을 실행하고 결과를 관측하며 다양한 환경 조건(Environmental Conditions)을 탐색할 수 있다. 시뮬레이션은 강화 학습(Reinforcement Learning), 모방 학습(Imitation Learning), 정책 평가(Policy Evaluation)를 지원한다. 그러나 센서 동작(Sensor Behavior), 접촉 동역학(Contact Dynamics), 환경 변동성(Environmental Variability)의 차이는 실제 환경으로의 전이(Real-World Transfer)를 제한할 수 있다.

학습 기반 인식(Learned Perception)과 제어(Control)의 통합은 기회와 과제를 동시에 제공한다. 신경망(Neural Networks)은 유용한 환경 특징(Environmental Features)을 추출하고 적응형 행동 정책(Adaptive Action Policies)을 생성할 수 있으며, 기존 제어기(Conventional Controllers)는 구조화된 운동 조절(Structured Motion Regulation)을 제공한다. 하이브리드 아키텍처(Hybrid Architectures)는 확립된 제어 원리(Established Control Principles)를 포기하지 않으면서 유연성을 개선하기 위해 이러한 능력을 결합한다. 그 효과는 신뢰할 수 있는 인터페이스(Reliable Interfaces), 적절한 검증(Validation), 불확실성(Uncertainty)에 대한 신중한 처리에 달려 있다.

인식-행동 결합(Perception-Action Coupling)은 조작 지능(Manipulation Intelligence)의 기본 요소이기도 하다. 파지(Grasping), 밀기(Pushing), 삽입(Insertion), 조립(Assembly)은 물체 움직임(Object Motion)과 접촉 조건(Contact Conditions)에 대한 지속적인 해석을 요구한다. 시각 관측(Visual Observations)은 접근 궤적(Approach Trajectories)을 안내하며, 촉각 및 힘 피드백(Tactile and Force Feedback)은 접촉에 민감한 조정(Contact-Sensitive Adjustments)을 지원한다. 성공적인 조작은 최초에 계획된 움직임이 계속 유효할 것이라고 가정하는 대신, 물리적 상호작용이 발생하는 동안 이에 대응하는 능력에 달려 있다.

자율 내비게이션(Autonomous Navigation)에서 인식-행동 결합(Perception-Action Coupling)은 위치 추정(Localization), 장애물 감지(Obstacle Detection), 경로 계획(Route Planning), 운동 실행(Motion Execution)을 연결한다. 로봇은 목적지(Destination)를 향해 이동하는 동안 주변 장애물(Nearby Obstacles)과 주행 가능한 공간(Traversable Space)에 대한 이해를 지속적으로 갱신한다. 예상하지 못한 보행자(Pedestrians), 이동 장비(Moving Equipment), 바닥 상태(Floor Conditions)의 변화는 즉각적인 조정을 요구할 수 있다. 그 결과 나타나는 행동은 환경 해석(Environmental Interpretation)과 물리적 움직임(Physical Movement) 사이의 반복적인 조정에서 형성된다.

안전(Safety)은 인식-행동 결합(Perception-Action Coupling)에 필수적인 경계 조건(Essential Boundaries)을 부여한다. 잘못된 관측(Incorrect Observations), 지연된 응답(Delayed Responses), 부적절한 행동(Unsuitable Actions)은 위험한 물리적 결과(Hazardous Physical Consequences)를 초래할 수 있다. 시스템은 적절한 속도 제한(Speed Limits), 충돌 제약(Collision Constraints), 액추에이터 제한(Actuator Restrictions), 비상 대응(Emergency Responses)을 강제해야 한다. 실행 중 모니터링(Runtime Monitoring)은 예측된 행동(Predicted Behavior)과 관측된 행동(Observed Behavior) 사이의 불일치를 식별할 수 있으며, 대체 메커니즘(Fallback Mechanisms)은 인식이나 의사결정의 신뢰성이 저하될 때 통제된 대응을 제공한다.

다중 에이전트 피지컬 인공지능(Multi-Agent Physical AI)은 인식-행동 결합(Perception-Action Coupling)을 개별 로봇의 범위를 넘어 확장한다. 한 에이전트의 행동은 동일한 환경을 공유하는 다른 에이전트의 관측과 사용 가능한 선택지(Available Choices)를 변화시킬 수 있다. 따라서 협력 내비게이션(Coordinated Navigation), 협업 조작(Collaborative Manipulation), 플릿 운영(Fleet Operation)은 상호작용하는 행동(Interacting Behaviors)에 대한 인식을 필요로 한다. 통신(Communication)과 공유 환경 표현(Shared Environmental Representations)은 조정을 지원할 수 있지만, 정보가 지연되거나 불완전한 경우에는 국소 피드백(Local Feedback)이 여전히 필요하다.

인식-행동 결합(Perception-Action Coupling)의 평가는 변화하는 조건에서 에이전트가 관측을 적절한 행동으로 얼마나 효과적으로 변환하는지 검토해야 한다. 관련 지표에는 응답 지연 시간(Response Latency), 궤적 정확도(Trajectory Accuracy), 작업 완료(Task Completion), 외란 적응(Adaptation to Disturbances), 불확실성 감소(Uncertainty Reduction)가 포함된다. 시험(Testing)은 센서 성능 저하(Sensor Degradation)와 예상하지 못한 상호작용(Unexpected Interactions)에 대한 강건성(Robustness)도 고려해야 한다. 피지컬 인공지능 평가(Physical AI Evaluation)는 이러한 지표를 안전(Safety), 신뢰성(Reliability), 지속적인 운영 성능(Sustained Operational Performance)과 결합한다.

궁극적으로 인식-행동 결합(Perception-Action Coupling)은 지능(Intelligence)을 감지(Sensing), 행동(Acting), 결과 관측(Observing Consequences), 행동 적응(Adapting Behavior)이 지속적으로 이루어지는 과정으로 확립한다. 이는 체화된 경험(Embodied Experience)을 환경 이해(Environmental Understanding)와 연결하고, 인식(Perception)을 수동적인 정보 처리(Passive Information Processing)에서 제어(Control)의 능동적 구성 요소(Active Component)로 전환한다. 피지컬 인공지능(Physical AI)은 예측 모델(Predictive Models), 학습(Learning), 계획(Planning), 신뢰할 수 있는 실행(Reliable Execution)을 통해 이러한 관계를 발전시킴으로써 물리적 세계(Physical World)와의 점점 더 적응적인 상호작용(Adaptive Interaction)을 가능하게 한다.

06.06. Sensorimotor Learning

감각운동 학습(Sensorimotor Learning)은 지능형 에이전트(Intelligent Agents)가 감각 관측(Sensory Observations)과 운동 행동(Motor Actions) 사이의 관계를 발견함으로써 행동을 획득하고 개선하는 과정을 설명한다. 반복적인 상호작용(Repeated Interaction)을 통해 에이전트는 자신의 움직임이 환경(Environment)에 어떤 영향을 미치는지, 그리고 그 결과 발생하는 감각 변화(Sensory Changes)가 후속 의사결정(Decision-Making)에 어떻게 반영되어야 하는지를 학습한다. 이러한 과정은 인식(Perception), 행동(Action), 경험(Experience)을 연결하며, 체화 지능(Embodied Intelligence)과 적응형 피지컬 인공지능 시스템(Adaptive Physical AI Systems)의 기본 메커니즘(Fundamental Mechanism)을 제공한다.

정적 데이터셋(Static Datasets)에만 기반한 학습 접근법과 달리, 감각운동 학습(Sensorimotor Learning)은 물리적 상호작용(Physical Interaction)을 통해 생성되는 경험을 강조한다. 에이전트(Agent)는 행동을 수행하고 그 결과를 관측한 다음 내부 표현(Internal Representations)이나 제어 정책(Control Policies)을 갱신한다. 따라서 학습은 에이전트의 동역학(Agent Dynamics), 환경 동역학(Environmental Dynamics), 그리고 양자 사이의 상호작용에 의존한다. 그 결과 형성된 지식(Knowledge)은 고립된 기호적 설명(Symbolic Descriptions)이 아니라 물리적 결과(Physical Consequences)에 기반한다.

감각운동 학습 주기(Sensorimotor Learning Cycle)는 카메라(Cameras), 관성 센서(Inertial Sensors), 관절 엔코더(Joint Encoders), 촉각 장치(Tactile Devices), 기타 감지 메커니즘(Sensing Mechanisms)에서 획득한 관측으로 시작된다. 이러한 측정값(Measurements)은 에이전트의 신체(Body)와 주변 환경(Surrounding Environment)에 관한 정보를 제공한다. 이후 운동 명령(Motor Commands)은 움직임이나 접촉을 발생시키고 새로운 관측을 생성한다. 예측된 결과(Predicted Outcomes)와 관측된 결과(Observed Outcomes) 사이의 차이는 미래의 인식과 행동을 개선할 수 있는 학습 신호(Learning Signals)를 제공한다.

체화(Embodiment)는 에이전트의 물리적 구조(Physical Structure)가 사용 가능한 행동과 감각 경험을 결정하기 때문에 감각운동 학습(Sensorimotor Learning)에 강한 영향을 미친다. 관절 배치(Joint Arrangements), 액추에이터 특성(Actuator Characteristics), 신체 기하학(Body Geometry), 센서 배치(Sensor Placement)는 학습할 수 있는 관계를 제한한다. 바퀴형 로봇(Wheeled Robot), 로봇 팔(Robotic Arm), 사족보행 로봇(Quadruped)은 동일한 물체를 접하더라도 움직임 능력(Movement Capabilities)과 감각 피드백(Sensory Feedback)이 다르기 때문에 서로 다른 상호작용 전략(Interaction Strategies)을 발전시킬 수 있다.

감각운동 수반관계(Sensorimotor Contingencies)는 행동과 그 결과 발생하는 감각 변화 사이의 체계적인 관계(Systematic Relationships)를 설명한다. 에이전트(Agent)가 카메라를 회전시키면 시각적 특징(Visual Features)은 영상 내에서 예측 가능한 방식으로 이동한다. 매니퓰레이터(Manipulator)가 물체와 접촉하면 힘 측정값(Force Measurements)은 접촉 조건(Contact Conditions)에 따라 변화한다. 이러한 규칙성(Regularities)을 학습하면 에이전트는 자신이 발생시킨 감각 변화(Self-Generated Sensory Changes)를 외부 사건(External Events)과 구별할 수 있으며, 환경 동역학(Environmental Dynamics)을 더욱 정확하게 해석할 수 있다.

운동 탐색(Motor Exploration)은 학습 경험(Training Experience)의 중요한 원천을 제공한다. 에이전트(Agents)는 제어된 움직임(Controlled Movements)을 실행하여 액추에이터 응답(Actuator Responses), 환경 제약(Environmental Constraints), 상호작용 가능성(Interaction Possibilities)을 발견할 수 있다. 초기 탐색(Early Exploration)은 단순한 움직임으로 구성될 수 있으며, 이후의 행동은 학습된 기술(Learned Skills)을 더욱 복잡한 순서로 결합한다. 특히 로봇이 깨지기 쉬운 물체(Fragile Objects), 기계(Machinery), 사람(People)과 상호작용하는 경우 탐색은 물리적 안전 제약(Physical Safety Constraints) 안에서 이루어져야 한다.

자기지도 학습(Self-Supervised Learning)은 물리적 상호작용이 관측과 행동의 쌍(Paired Observations and Actions)을 자연스럽게 생성한다는 점에서 특히 중요하다. 에이전트(Agent)는 수작업으로 레이블이 부여된 사례(Manually Labeled Examples) 없이도 미래 센서 측정값(Future Sensor Readings)을 예측하고, 움직임의 결과(Movement Consequences)를 추정하거나, 누락된 관측(Missing Observations)을 복원하도록 학습할 수 있다. 예측 오차(Prediction Errors)는 학습된 표현(Learned Representations)을 개선하는 학습 신호(Training Signals)를 제공한다. 이러한 방법은 데이터 주석 요구사항(Annotation Requirements)을 줄이면서 물리적 관계(Physical Relationships)에 대한 이해를 향상시킬 수 있다.

강화 학습(Reinforcement Learning)은 감각운동 적응(Sensorimotor Adaptation)을 위한 또 다른 프레임워크(Framework)를 제공한다. 에이전트(Agents)는 행동을 선택하고 보상(Rewards)이나 비용(Costs)을 통해 피드백을 받은 다음 경험한 결과에 따라 정책(Policies)을 개선한다. 보상 함수(Reward Functions)는 작업 완료(Task Completion), 에너지 효율성(Energy Efficiency), 안정성(Stability), 상호작용 품질(Interaction Quality)을 나타낼 수 있다. 그러나 성공적인 강화 학습을 위해서는 탐색 안전성(Exploration Safety), 샘플 효율성(Sample Efficiency), 보상 설계(Reward Design), 실제 환경으로의 전이(Transfer to Real Environments)를 신중하게 고려해야 한다.

모방 학습(Imitation Learning)은 에이전트가 사람이나 다른 로봇이 수행한 시연(Demonstrations)으로부터 감각운동 기술(Sensorimotor Skills)을 획득하도록 한다. 시연은 감각 조건(Sensory Conditions)을 해당 행동(Corresponding Actions)과 연결하여 효과적인 행동의 사례를 제공한다. 행동 복제(Behavioral Cloning)와 관련 방법은 초기 기술 습득(Initial Skill Acquisition)을 가속할 수 있다. 그러나 모방 정책(Imitation Policies)은 익숙하지 않은 상태(Unfamiliar States)에서 어려움을 겪을 수 있으므로 추가적인 상호작용, 교정 피드백(Corrective Feedback), 적응형 학습(Adaptive Learning)이 필요할 수 있다.

예측 모델(Predictive Models)은 고급 감각운동 학습(Advanced Sensorimotor Learning)에서 핵심적인 역할을 수행한다. 에이전트(Agent)는 행동이 미래 관측(Future Observations)을 어떻게 변화시키는지 추정함으로써 움직임을 실행하기 전에 환경 반응(Environmental Responses)을 예측할 수 있다. 학습된 동역학 모델(Learned Dynamics Models)은 궤적 계획(Trajectory Planning), 접촉 예측(Contact Prediction), 적응형 제어(Adaptive Control)를 지원할 수 있다. 부정확한 예측은 부적절한 행동이나 불안정한 동작(Unstable Behavior)을 초래할 수 있으므로 운영 조건(Operating Conditions)이 변화하면 이러한 모델을 갱신해야 한다.

표현 학습(Representation Learning)은 원시 감각 측정값(Raw Sensory Measurements)을 행동 선택(Action Selection)에 유용한 정보로 변환하는 데 도움을 준다. 시각적 특징(Visual Features), 관절 상태(Joint States), 접촉력(Contact Forces), 운동 추정값(Motion Estimates)은 관련된 물리적 조건(Physical Conditions)을 나타내는 압축 표현(Compact Representations)으로 통합될 수 있다. 효과적인 표현은 불필요한 복잡성을 줄이면서 제어(Control)에 필요한 정보를 보존한다. 이러한 표현의 유용성은 신뢰할 수 있는 예측(Prediction), 일반화(Generalization), 작업 실행(Task Execution)을 얼마나 효과적으로 지원하는지에 달려 있다.

시간적 학습(Temporal Learning)은 감각운동 관계(Sensorimotor Relationships)가 서로 다른 시간 척도(Timescales)에 걸쳐 전개되기 때문에 필수적이다. 빠른 피드백(Rapid Feedback)은 균형(Balance)과 접촉(Contact)을 조절하는 반면, 느린 프로세스(Slower Processes)는 내비게이션(Navigation), 조작 순서(Manipulation Sequences), 전략적 계획(Strategic Planning)을 지원한다. 학습 시스템(Learning Systems)은 즉각적인 결과(Immediate Consequences)와 지연된 효과(Delayed Effects)를 모두 포착해야 한다. 시간적 추상화(Temporal Abstraction)는 반복적인 행동 패턴(Action Patterns)을 재사용 가능한 기술(Reusable Skills)로 조직하여 에이전트가 저수준 움직임(Low-Level Movements)을 상위 수준 목표(Higher-Level Objectives)와 조정하도록 한다.

센서 융합(Sensor Fusion)은 상호 보완적인 정보원(Complementary Information Sources)을 결합함으로써 감각운동 학습(Sensorimotor Learning)을 강화한다. 카메라(Cameras)는 시각적 맥락(Visual Context)을 제공하고, 관성 센서(Inertial Sensors)는 움직임을 추정하며, 관절 엔코더(Joint Encoders)는 신체 구성(Body Configuration)을 설명하고, 촉각 센서(Tactile Sensors)는 접촉 조건(Contact Conditions)을 드러낸다. 통합된 관측(Integrated Observations)은 상태 추정(State Estimation)을 개선하고 모호성(Ambiguity)을 줄일 수 있다. 학습 알고리즘(Learning Algorithms)은 샘플링 주파수(Sampling Frequency), 측정 불확실성(Measurement Uncertainty), 보정(Calibration), 통신 지연(Communication Delay)의 차이도 고려해야 한다.

접촉이 풍부한 조작(Contact-Rich Manipulation)은 피지컬 인공지능(Physical AI)에서 감각운동 학습(Sensorimotor Learning)의 중요성을 보여준다. 파지(Grasping), 삽입(Insertion), 밀기(Pushing), 조립(Assembly)은 움직임(Motion), 힘(Force), 마찰(Friction), 물체 기하학(Object Geometry) 사이의 복잡한 관계를 포함한다. 에이전트(Agent)는 물체가 미끄러지기 시작하면 파지력(Grip Strength)을 조정하거나, 예상하지 못한 저항(Unexpected Resistance)이 발생하면 삽입 궤적(Insertion Trajectories)을 수정하는 방법을 학습할 수 있다. 이러한 적응은 물리적 상호작용 중 발생하는 감각적 결과(Sensory Consequences)를 해석하는 능력에 달려 있다.

이동 운동(Locomotion)은 또 다른 중요한 응용 분야이다. 다족보행 로봇(Legged Robots)은 변화하는 조건에서 신체 움직임(Body Motion), 지면 접촉(Ground Contact), 균형(Balance), 지형 적응(Terrain Adaptation)을 조정해야 한다. 감각운동 학습(Sensorimotor Learning)은 경사면(Slopes), 불규칙한 표면(Uneven Surfaces), 외란(Disturbances)에 대응하는 이동 정책(Movement Policies)의 개발을 지원할 수 있다. 바퀴형 플랫폼(Wheeled Platforms)도 접지력에 민감한 제어 전략(Traction-Sensitive Control Strategies)을 학습할 수 있다. 이러한 능력은 해석적 동역학 모델(Analytical Dynamics Models)과 기존 피드백 제어기(Established Feedback Controllers)를 보완한다.

시뮬레이션(Simulation)은 모든 실험을 물리적 하드웨어(Physical Hardware)에서 수행하지 않고도 반복적인 상호작용을 통해 감각운동 학습(Sensorimotor Learning)을 가능하게 한다. 가상 환경(Virtual Environments)은 다양한 지형 조건(Terrain Conditions), 물체 구성(Object Configurations), 동적 외란(Dynamic Disturbances)을 생성할 수 있다. 도메인 무작위화(Domain Randomization)와 시뮬레이션된 센서 잡음(Simulated Sensor Noise)은 강건성(Robustness)을 향상시킬 수 있다. 그러나 마찰(Friction), 접촉 동역학(Contact Dynamics), 액추에이터 동작(Actuator Behavior), 인식(Perception)의 차이 때문에 시뮬레이션에서 현실로의 전이 검증(Simulation-to-Reality Validation)을 신중하게 수행해야 한다.

전이 학습(Transfer Learning)은 획득한 감각운동 기술(Sensorimotor Skills)을 새로운 환경, 물체, 로봇 플랫폼(Robotic Platforms)에 적용하는 과제를 다룬다. 공유 표현(Shared Representations)과 적응 가능한 정책(Adaptable Policies)은 관련 작업 사이의 재사용을 지원할 수 있다. 그러나 체화(Embodiment), 액추에이터 한계(Actuator Limits), 센서 구성(Sensor Configurations)의 차이는 전이를 제한할 수 있다. 성공적인 적응을 위해서는 보정(Calibration), 추가 경험(Additional Experience), 플랫폼별 물리적 제약(Platform-Specific Physical Constraints)에 대한 명시적인 고려가 필요한 경우가 많다.

지속적 감각운동 학습(Continual Sensorimotor Learning)은 배치(Deployment) 이후 환경과 운영 조건이 변화함에 따라 에이전트가 행동을 지속적으로 개선하도록 한다. 로봇은 새로운 표면(New Surfaces), 변화하는 적재 하중(Changing Payloads), 부품 마모(Component Wear), 익숙하지 않은 물체 배치(Unfamiliar Object Arrangements)를 경험할 수 있다. 온라인 적응(Online Adaptation)은 성능을 개선할 수 있지만, 통제되지 않은 모델 갱신(Uncontrolled Model Updates)은 불안정성을 초래하거나 이전에 획득한 기술(Previously Acquired Skills)의 성능을 저하시킬 수 있다. 따라서 실용적인 시스템에는 모니터링(Monitoring), 통제된 갱신(Controlled Updates), 신뢰할 수 있는 행동을 보존하는 메커니즘(Mechanisms for Preserving Reliable Behavior)이 필요하다.

안전(Safety)은 감각운동 학습(Sensorimotor Learning)이 물리적 행동(Physical Actions)에 직접적인 영향을 미치기 때문에 기본적인 요구사항이다. 탐색(Exploration)과 정책 적응(Policy Adaptation)은 충돌 제약(Collision Constraints), 힘 제한(Force Limits), 작업 공간 경계(Workspace Boundaries), 비상 절차(Emergency Procedures)를 준수해야 한다. 감독 제어기(Supervisory Controllers)는 학습 구성 요소(Learning Components)가 허용된 운영 영역(Permitted Operating Regions) 안에서 개선되는 동안 안전하지 않은 명령(Unsafe Commands)을 제한할 수 있다. 검증(Validation)은 예상되는 성능(Expected Performance)뿐 아니라 예상하지 못한 감각 조건(Sensory Conditions)이나 환경 조건(Environmental Conditions)에서의 행동도 검토해야 한다.

다중 에이전트 감각운동 학습(Multi-Agent Sensorimotor Learning)은 이러한 원리를 조정된 물리 시스템(Coordinated Physical Systems)으로 확장한다. 로봇은 자신의 행동이 공유 물체(Shared Objects), 주변 에이전트(Surrounding Agents), 집단적 작업 결과(Collective Task Outcomes)에 어떤 영향을 미치는지 학습할 수 있다. 협업 조작(Cooperative Manipulation)과 플릿 내비게이션(Fleet Navigation)은 개별 감각 피드백(Individual Sensory Feedback)과 상호작용 효과(Interaction Effects)를 모두 해석해야 한다. 통신(Communication)은 공유 학습(Shared Learning)을 지원할 수 있지만, 지연되거나 불완전한 정보(Delayed or Incomplete Information)로 인해 강건한 국소 적응(Robust Local Adaptation)이 필수적이다.

감각운동 학습(Sensorimotor Learning)의 평가는 학습 정확도(Training Accuracy)나 누적 보상(Accumulated Reward) 이상의 요소를 측정해야 한다. 관련 평가 기준(Evaluation Criteria)에는 작업 성공률(Task Success), 적응 속도(Adaptation Speed), 샘플 효율성(Sample Efficiency), 예측 정확도(Prediction Accuracy), 외란 복구(Disturbance Recovery), 전이 성능(Transfer Performance)이 포함된다. 시험(Testing)은 센서 성능 저하(Sensor Degradation)와 물리 동역학(Physical Dynamics)의 변화에 대한 강건성(Robustness)도 검토해야 한다. 피지컬 인공지능 시스템(Physical AI Systems)은 학습된 행동(Learned Behavior)이 지속적인 운영(Sustained Operation) 중에도 안전하고 신뢰할 수 있으며 효과적이라는 근거를 필요로 한다.

궁극적으로 감각운동 학습(Sensorimotor Learning)은 물리적 경험(Physical Experience)과 지능적 행동(Intelligent Behavior) 사이에 직접적인 연결을 확립한다. 이는 에이전트가 행동의 결과(Action Consequences)를 발견하고, 예측 표현(Predictive Representations)을 개발하며, 운동 기술(Motor Skills)을 개선하고, 변화하는 환경(Changing Environments)에 적응하도록 한다. 피지컬 인공지능(Physical AI)은 이러한 능력을 인식(Perception), 세계 모델링(World Modeling), 계획(Planning), 기존 제어 방법(Established Control Methods)과 통합함으로써 물리적 세계(Physical World)와의 상호작용을 통해 지능이 발전하는 더욱 자율적인 시스템(Autonomous Systems)을 지원한다.

06.07. Affordances and Active Perception

행동 가능성(Affordances)은 에이전트(Agent)의 능력과 환경적 속성(Environmental Properties) 사이의 관계에서 발생하는 행동 기회(Opportunities for Action)를 설명한다. 표면(Surface)은 이동을 지지하고, 손잡이(Handle)는 파지(Grasping)를 가능하게 하며, 개구부(Opening)는 통과(Passage)를 허용할 수 있다. 이러한 가능성은 물체 자체만으로 결정되지 않으며, 에이전트의 신체(Body), 센서(Sensors), 액추에이터(Actuators), 현재 목표(Current Objectives)가 어떤 행동을 실행할 수 있는지에 영향을 미친다. 행동 가능성 이해(Affordance Understanding)는 인식(Perception)을 실제 행동(Practical Behavior)과 직접 연결한다.

행동 가능성(Affordances) 개념은 생태학적 인식 접근법(Ecological Approaches to Perception)에서 유래하였으며, 이는 유기체(Organisms)가 상호작용 가능성(Possibilities for Interaction)을 통해 환경을 해석하는 방식을 강조한다. 이러한 관점은 인식(Perception)을 객관적인 기하학적 설명(Objective Geometric Descriptions)을 재구성하는 과정으로만 보는 대신, 환경적 특징(Environmental Features)이 에이전트의 목표 달성에 무엇을 가능하게 하는지 고려한다. 피지컬 인공지능(Physical AI)은 이러한 원리를 변화하는 물리적 조건(Physical Conditions)에서 실행 가능한 행동 기회(Actionable Opportunities)를 식별해야 하는 로봇 시스템(Robotic Systems)으로 확장한다.

행동 가능성(Affordances)은 물체의 고정된 속성(Fixed Properties)이 아니라 관계적 속성(Relational Properties)이다. 계단(Staircase)은 다족보행 로봇(Legged Robot)에게 이동을 가능하게 하지만 일반적인 바퀴형 플랫폼(Wheeled Platform)에는 접근할 수 없는 구조일 수 있다. 용기(Container)는 한 매니퓰레이터(Manipulator)로 파지할 수 있지만 다른 로봇의 가반하중 용량(Payload Capacity)을 초과할 수 있다. 따라서 행동 가능성 인식(Affordance Perception)은 기계적 제약(Mechanical Constraints), 센서 한계(Sensor Limitations), 사용 가능한 제어 능력(Control Capabilities)을 포함하여 환경적 특성(Environmental Characteristics)과 체화(Embodiment)에 대한 지식을 모두 필요로 한다.

능동 인식(Active Perception)은 환경 이해(Environmental Understanding)를 개선하기 위해 감지 행동(Sensing Actions)을 의도적으로 선택하는 과정을 설명한다. 에이전트(Agent)는 더욱 유용한 관측(Informative Observations)을 얻기 위해 카메라를 움직이거나 신체 위치를 변경하거나 물체를 조작할 수 있다. 수동 감지(Passive Sensing)와 달리 능동 인식은 정보 획득(Information Acquisition)을 지능적 행동(Intelligent Behavior)의 일부로 취급한다. 에이전트는 관측에 어떻게 대응할지만 결정하는 것이 아니라 후속 의사결정(Subsequent Decisions)에 필요한 정보를 어떤 행동을 통해 발견할 수 있는지도 결정한다.

행동 가능성 이해(Affordance Understanding)와 능동 인식(Active Perception)은 서로를 강화한다. 에이전트(Agent)는 가능한 파지 영역(Grasping Region)을 식별하더라도 그 기하학적 구조(Geometry)나 접근 가능성(Accessibility)에 대해 불확실할 수 있다. 관측 시점(Viewpoint)을 변경하거나 물체를 접촉함으로써 제안된 행동(Proposed Action)에 관한 증거(Evidence)를 수집할 수 있다. 개선된 관측은 행동 가능성 추정(Affordance Estimates)을 정교하게 만들고, 후보 행동 가능성(Candidate Affordances)은 추가적인 감지(Sensing)를 안내한다. 이러한 상호적 과정(Reciprocal Process)은 환경 해석(Environmental Interpretation)을 목적 지향적 탐색(Purposeful Exploration)과 연결한다.

시각적 행동 가능성 인식(Visual Affordance Perception)은 가능한 행동과 관련된 특징(Features)을 인식하는 과정을 포함한다. 형상(Shape), 방향(Orientation), 표면 구조(Surface Structure), 물체 경계(Object Boundaries), 공간적 관계(Spatial Relationships)는 파지(Grasping), 밀기(Pushing), 지지(Supporting), 통과(Traversing)의 기회를 나타낼 수 있다. 현대 피지컬 인공지능 시스템(Physical AI Systems)은 시연(Demonstrations)과 상호작용 데이터(Interaction Data)에서 이러한 연관성을 학습할 수 있다. 그러나 성공적인 행동이 마찰(Friction), 질량(Mass), 순응성(Compliance), 숨겨진 기하학적 구조(Hidden Geometry)에 의존하는 경우 시각적 외형만으로는 충분하지 않을 수 있다.

촉각 인식(Tactile Perception)은 카메라가 항상 제공할 수 없는 정보를 보완한다. 접촉 센서(Contact Sensors)는 표면 질감(Surface Texture), 국소 변형(Local Deformation), 압력 분포(Pressure Distribution), 미끄러짐 거동(Slipping Behavior)을 파악할 수 있다. 조작(Manipulation) 과정에서 이러한 측정값은 물체를 안정적으로 잡을 수 있는지 또는 추가적인 조정(Adjustment)이 필요한지를 판단하는 데 도움을 준다. 시각 정보(Visual Information)와 촉각 정보(Tactile Information)를 결합하면 외형에만 의존하지 않고 실제 물리적 상호작용(Physical Interaction)에 기반한 행동 가능성 추정(Affordance Estimates)을 수행할 수 있다.

능동 인식(Active Perception)은 불확실성(Uncertainty)과 정보 가치(Information Value)를 포함하는 의사결정 문제(Decision Problem)로 정식화할 수 있다. 에이전트(Agent)는 추가 관측(Additional Observations)이 필요한 움직임, 시간, 에너지를 정당화할 만큼 환경 이해를 개선할 가능성이 있는지 평가한다. 이동 로봇(Mobile Robot)은 좁은 통로(Narrow Passage)에 진입하기 전에 이를 검사할 수 있으며, 매니퓰레이터(Manipulator)는 익숙하지 않은 물체(Unfamiliar Object)를 파지하기 전에 회전시킬 수 있다. 선호되는 감지 행동(Preferred Sensing Action)은 예상 정보 이득(Expected Information Gain)과 운영 제약(Operational Constraints)에 따라 결정된다.

행동 가능성(Affordances)과 작업 목표(Task Objectives) 사이의 관계는 특히 중요하다. 하나의 물체가 여러 행동을 지원할 수 있지만, 그중 일부만 현재 목표(Current Goal)와 관련된다. 상자(Box)는 밀거나 들어 올리거나 열거나 임시 지지대(Temporary Support)로 사용할 수 있다. 피지컬 인공지능 시스템(Physical AI Systems)은 사용 가능한 자원(Available Resources)과 안전 요구사항(Safety Requirements)을 준수하면서 어떤 행동 기회(Action Opportunities)가 작업 완료(Task Completion)에 기여하는지 평가해야 한다. 따라서 행동 가능성 선택(Affordance Selection)은 인식(Perception)을 계획(Planning) 및 의사결정(Decision-Making)과 연결한다.

행동 가능성 학습(Affordance Learning)은 환경 관측(Environmental Observations)을 행동 결과(Action Outcomes)와 연관시키는 과정을 필요로 한다. 반복적인 상호작용(Repeated Interaction)을 통해 에이전트(Agent)는 어떤 파지가 성공하는지, 어떤 표면이 접지력(Traction)을 제공하는지, 어떤 개구부가 안전한 내비게이션(Safe Navigation)을 허용하는지 발견할 수 있다. 성공과 실패한 시도(Successful and Unsuccessful Attempts)는 모두 유용한 증거를 제공한다. 학습 방법(Learning Methods)은 관측된 결과(Observed Consequences)에 따라 행동 가능성 표현(Affordance Representations)을 갱신하여 익숙하지 않은 물체와 변화하는 환경 조건에 적응하도록 한다.

자기지도 학습(Self-Supervised Learning)은 행동 가능성 발견(Affordance Discovery)을 위한 실용적인 접근법을 제공한다. 로봇은 통제된 상호작용(Controlled Interactions) 전후의 관측을 수집하고 그 결과 발생하는 변화를 학습 신호(Learning Signals)로 활용할 수 있다. 파지 시도(Grasp Attempt)는 물체 안정성(Object Stability)을 드러낼 수 있으며, 밀기 행동(Pushing Action)은 마찰(Friction)이나 이동 가능성(Mobility)을 파악하게 할 수 있다. 이러한 경험은 완전한 수작업 주석(Manual Annotation) 없이도 학습을 위한 지도 정보(Supervision)를 생성한다. 그러나 탐색(Exploration)은 검증된 물리적 및 운영적 경계(Validated Physical and Operational Boundaries) 안에서 이루어져야 한다.

예측 세계 모델(Predictive World Models)은 후보 행동(Candidate Actions)의 결과를 추정함으로써 행동 가능성 추론(Affordance Reasoning)을 강화할 수 있다. 물체를 밀기 전에 에이전트(Agent)는 물체의 변위(Displacement), 가능한 충돌(Possible Collisions), 그 결과 변화하는 접근 가능성(Accessibility)을 예측할 수 있다. 표면을 통과하기 전에는 안정성(Stability)과 접지력(Traction)을 추정할 수 있다. 이러한 예측은 겉으로 실행 가능해 보이는 행동과 실제 조건에서 성공할 가능성이 높은 행동을 구별하는 데 도움을 준다. 부정확한 모델을 교정하기 위해서는 피드백(Feedback)이 여전히 필요하다.

능동 인식(Active Perception)은 부분 관측 환경(Partially Observable Environments)에서 특히 유용하다. 가림(Occlusions), 낮은 조도(Poor Lighting), 반사 표면(Reflective Surfaces), 센서 잡음(Sensor Noise)은 행동과 관련된 속성(Action-Relevant Properties)을 숨길 수 있다. 에이전트(Agent)는 불확실성(Uncertainty)을 줄이기 위해 자신의 위치를 변경하거나 여러 센서 양식(Sensor Modalities)을 결합하거나 제한적인 탐색 접촉(Exploratory Contact)을 수행할 수 있다. 이러한 행동은 인식을 신뢰할 수 있는 실행(Reliable Execution)에 필요한 정보를 에이전트가 능동적으로 결정하는 적응형 과정(Adaptive Process)으로 전환한다.

체화(Embodiment)는 행동 가능성 해석(Affordance Interpretation)에 중요한 경계 조건(Boundaries)을 부여한다. 로봇 형상(Robot Geometry), 도달 가능성(Reachability), 관절 한계(Joint Limits), 액추에이터 힘(Actuator Strength), 이동 능력(Mobility)은 겉으로 보이는 행동 기회(Apparent Opportunities)를 실제로 실행할 수 있는지 결정한다. 따라서 동일한 환경도 서로 다른 플랫폼(Platforms)에 상이한 행동 가능성을 제공할 수 있다. 피지컬 인공지능(Physical AI)은 학습된 환경 표현(Learned Environmental Representations)을 플랫폼별 제약(Platform-Specific Constraints)과 연결하여 물리적으로 실현할 수 없는 추상적 가능성(Abstract Possibilities)에 의존한 행동 선택을 방지해야 한다.

행동 가능성 기반 계획(Affordance-Based Planning)은 고립된 기하학적 목적지(Geometric Destinations)가 아니라 달성 가능한 상호작용(Achievable Interactions)을 중심으로 행동을 조직한다. 로봇은 파지가 가능한 방향에서 물체에 접근하거나, 통로를 만들기 위해 장애물을 이동시키거나, 조작 안정성(Manipulation Stability)을 개선하기 위해 자신의 위치를 조정할 수 있다. 따라서 계획(Planning)은 하나의 행동이 후속 행동을 위한 새로운 기회(New Opportunities)를 생성하는 연속적인 과정으로 구성될 수 있다. 이러한 관점은 복잡한 물리적 환경(Complex Physical Environments)에서 적응형 작업 실행(Adaptive Task Execution)을 지원한다.

능동 인식(Active Perception)과 행동 가능성 학습(Affordance Learning)은 내비게이션(Navigation)에도 영향을 미친다. 주행 가능성(Traversability)은 지형 기하학(Terrain Geometry), 표면 조건(Surface Conditions), 로봇 크기(Robot Dimensions), 동적 장애물(Dynamic Obstacles)에 따라 달라진다. 내비게이션 에이전트(Navigation Agent)는 불확실한 지면(Uncertain Ground)을 검사하거나 관측 시점(Viewpoint)을 조정하거나 더 나은 가시성(Visibility)을 제공하는 경로를 선택할 수 있다. 이러한 의사결정은 이동 가능성(Movement Feasibility)과 정보 획득(Information Acquisition)을 결합한다. 그 결과 지도(Maps)가 불완전하거나 환경 조건이 변화하는 경우에도 강건성(Robustness)을 향상시킬 수 있다.

조작(Manipulation)은 또 다른 중요한 응용 분야이다. 성공적인 파지(Grasping)를 위해서는 접촉 영역(Contact Regions)을 식별하고 물체 속성(Object Properties)을 추정하며 불확실한 배치(Uncertain Placement)에 적응해야 한다. 로봇은 시각 관측(Visual Observations)을 활용하여 파지 동작을 제안하고 촉각 피드백(Tactile Feedback)을 통해 안정성(Stability)을 확인할 수 있다. 미끄러짐(Slipping)이 발생하면 시스템은 파지력(Grip Force)이나 접촉 위치(Contact Position)를 수정할 수 있다. 행동 가능성 추론(Affordance Reasoning)은 가능한 상호작용을 식별하고, 능동 인식(Active Perception)은 실행 중 확신도(Confidence)를 높인다.

시뮬레이션(Simulation)은 다양한 물체(Objects), 표면(Surfaces), 작업 구성(Task Configurations)에 걸쳐 로봇이 행동 가능성 관계(Affordance Relationships)를 학습하도록 한다. 가상 상호작용(Virtual Interaction)은 성공하거나 실패한 행동의 사례를 생성하면서 대규모 정책 학습(Large-Scale Policy Training)을 지원할 수 있다. 도메인 무작위화(Domain Randomization)는 환경 변화(Environmental Variation)에 대한 강건성(Robustness)을 향상시킬 수 있다. 그러나 부정확한 접촉 동역학(Contact Dynamics)과 재료 속성(Material Properties)은 학습된 행동 가능성을 왜곡할 수 있으므로 실제 환경 배치(Deployment) 이전에 현실 환경 검증(Real-World Validation)이 필수적이다.

안전(Safety)은 탐색 행동(Exploratory Actions)과 잘못된 행동 가능성 추정(Incorrect Affordance Estimates)이 유해한 물리적 결과(Harmful Physical Consequences)를 초래할 수 있기 때문에 핵심적인 요소이다. 파지할 수 있어 보이는 물체가 실제로는 깨지기 쉽거나 불안정하거나 위험할 수 있으며, 통과할 수 있어 보이는 표면이 로봇의 무게를 지탱하지 못할 수도 있다. 피지컬 인공지능 시스템(Physical AI Systems)은 힘 제한(Force Limits), 충돌 제약(Collision Constraints), 불확실성 임계값(Uncertainty Thresholds), 감독하 탐색(Supervised Exploration)을 적용해야 한다. 신뢰할 수 있는 운영(Reliable Operation)을 위해서는 그럴듯한 행동 기회(Plausible Opportunities)와 충분히 검증된 행동(Sufficiently Verified Actions)을 구별해야 한다.

다중 에이전트 환경(Multi-Agent Environments)은 협력(Cooperation)과 공유 자원(Shared Resources)에 의존하는 행동 가능성(Affordances)을 도입한다. 두 로봇은 개별적으로 이동시킬 수 없는 물체를 공동으로 들어 올릴 수 있으며, 조정된 위치 선정(Coordinated Positioning)은 새로운 내비게이션 기회(Navigation Opportunities)를 생성할 수 있다. 능동 인식(Active Perception)은 에이전트가 협력 상대의 행동(Partner Actions)을 관측하고 공유 상황 인식(Shared Situational Awareness)을 유지하도록 지원할 수 있다. 통신(Communication)과 집단 계획(Collective Planning)은 이러한 상호작용을 지원하지만, 공유 정보(Shared Information)가 불완전한 경우에는 국소 감지(Local Sensing)가 여전히 중요하다.

행동 가능성 이해(Affordance Understanding)의 평가는 예측된 행동 기회(Predicted Action Opportunities)가 실제 물리적 실행(Physical Execution)의 성공과 일치하는지 측정해야 한다. 관련 평가 기준(Evaluation Criteria)에는 파지 성공률(Grasp Success), 주행 가능성 예측(Traversability Prediction), 조작 신뢰성(Manipulation Reliability), 정보 이득(Information Gain), 익숙하지 않은 물체에 대한 적응(Adaptation to Unfamiliar Objects)이 포함된다. 능동 인식(Active Perception) 역시 불확실성 감소(Uncertainty Reduction), 감지 효율성(Sensing Efficiency), 작업 성능 개선(Task Improvement)을 통해 평가해야 한다. 안전(Safety), 지연 시간(Latency), 강건성(Robustness)은 실용적인 피지컬 인공지능 성능(Physical AI Performance)을 판단하는 필수 지표로 유지된다.

궁극적으로 행동 가능성(Affordances)은 환경 인식(Environmental Perception)을 체화된 에이전트(Embodied Agent)가 현실적으로 수행할 수 있는 행동과 연결하며, 능동 인식(Active Perception)은 목적 지향적 움직임(Purposeful Movement)과 상호작용(Interaction)을 통해 에이전트가 정보를 획득하도록 한다. 두 개념은 인식(Perception)을 수동적 관측(Passive Observation)에서 지능적 행동(Intelligent Behavior)의 적응형 구성 요소(Adaptive Component)로 전환한다. 피지컬 인공지능(Physical AI)은 이러한 원리를 학습(Learning), 예측 모델링(Predictive Modeling), 계획(Planning), 제어(Control)와 통합하여 불확실한 물리적 환경(Uncertain Physical Environments)에서 유연하고 신뢰할 수 있는 행동(Flexible and Reliable Action)을 지원한다.

06.08. Robot Learning and Interaction Driven Learning

로봇 학습(Robot Learning)은 명시적 프로그래밍(Explicit Programming)에만 의존하지 않고 데이터(Data), 경험(Experience), 피드백(Feedback)을 통해 로봇의 능력을 획득하고 개선하는 과정을 의미한다. 이를 통해 로봇은 다양한 물리적 조건(Physical Conditions)에 적응하는 인식(Perception), 계획(Planning), 제어 전략(Control Strategies)을 개발할 수 있다. 상호작용 주도 학습(Interaction-Driven Learning)은 환경과의 직접적인 상호작용(Direct Engagement)을 통해 생성되는 경험을 강조하며, 물리적 행동(Physical Actions)의 결과로부터 지능적 행동(Intelligent Behavior)이 형성되도록 한다.

전통적인 로봇 공학(Traditional Robotic Engineering)은 수학적 모델(Mathematical Models), 사전 정의된 제어 규칙(Predefined Control Rules), 정교하게 설계된 작업 순서(Task Sequences)에 의존하는 경우가 많다. 로봇 학습(Robot Learning)은 시연(Demonstrations), 시뮬레이션(Simulations), 운영 경험(Operational Experience)에서 유용한 패턴(Useful Patterns)을 발견함으로써 이러한 방법을 보완한다. 상호작용 주도 접근법(Interaction-Driven Approaches)은 로봇이 자신이 수집하는 데이터에 영향을 미칠 수 있도록 하여 이 과정을 확장한다. 학습은 관측(Observation), 행동(Action), 환경 반응(Environmental Response), 행동 개선(Behavioral Improvement) 사이의 지속적인 관계가 된다.

로봇 학습 과정(Robot Learning Process)은 일반적으로 환경 상태(Environmental States)를 관측하고, 행동을 선택하며, 결과를 평가하고, 행동 표현(Behavioral Representations)을 갱신하는 단계로 이루어진다. 센서(Sensors)는 물체(Objects), 움직임(Motion), 접촉(Contact), 주변 조건(Surrounding Conditions)에 관한 정보를 제공한다. 행동(Actions)은 물리적 환경(Physical Environment)을 변화시키고 추가적인 관측을 생성한다. 학습 알고리즘(Learning Algorithms)은 이러한 경험을 활용하여 예측(Predictions)과 정책(Policies)을 개선함으로써 불확실한 조건(Uncertain Conditions)에서 로봇의 작업 수행 능력을 향상시킨다.

상호작용 주도 학습(Interaction-Driven Learning)은 에이전트(Agent)가 자신의 학습 경험(Learning Experiences)을 생성하는 과정에 직접 참여한다는 점에서 수동적 데이터셋 학습(Passive Dataset Training)과 구별된다. 로봇은 익숙하지 않은 물체(Unfamiliar Object)의 이동 가능성(Mobility)을 추정하기 위해 물체를 밀거나 시각 관측(Visual Observations)을 개선하기 위해 자신의 위치를 조정할 수 있다. 이러한 행동은 정적 이미지(Static Images)만으로는 얻을 수 없는 정보를 제공한다. 따라서 학습 품질(Learning Quality)은 선택된 행동과 그 결과 발생하는 환경 피드백(Environmental Feedback)에 모두 의존한다.

지도 학습(Supervised Learning)은 로봇 인식(Robot Perception)과 행동 예측(Behavior Prediction)을 위한 중요한 기반을 제공한다. 레이블이 부여된 데이터셋(Labeled Datasets)은 물체 인식(Object Recognition), 자세 추정(Pose Estimation), 파지 탐지(Grasp Detection), 움직임 분류(Movement Classification)를 지원할 수 있다. 그러나 지도 학습은 주석이 부여된 사례(Annotated Examples)의 가용성과 품질에 의존한다. 상호작용 주도 학습(Interaction-Driven Learning)은 직접적인 실험(Direct Experimentation)을 통해 물리적 속성(Physical Properties)과 행동 결과(Action Consequences)를 드러내는 관측을 생성함으로써 이러한 데이터셋을 보완할 수 있다.

자기지도 학습(Self-Supervised Learning)은 상호작용 자체에서 학습 신호(Training Signals)를 추출함으로써 수작업으로 레이블이 부여된 데이터(Manually Labeled Data)에 대한 의존도를 줄인다. 로봇은 미래 관측(Future Observations)을 예측하거나 행동 결과(Action Outcomes)를 추정하거나 누락된 감각 정보(Missing Sensory Information)를 복원할 수 있다. 예측(Predictions)과 실제 측정값(Actual Measurements) 사이의 차이는 표현 학습(Representation Learning)을 위한 피드백을 제공한다. 이러한 방법은 에이전트가 일반적인 운영(Ordinary Operation) 중 수집한 경험을 활용하면서 환경 동역학(Environmental Dynamics)에 관한 지식을 획득하도록 돕는다.

강화 학습(Reinforcement Learning)은 로봇이 기대 누적 보상(Expected Cumulative Reward)을 최대화함으로써 행동을 개선하는 프레임워크(Framework)를 제공한다. 에이전트(Agent)는 환경과 상호작용하고 피드백을 수신하며 경험한 결과에 따라 정책(Policy)을 조정한다. 응용 분야에는 이동 운동(Locomotion), 내비게이션(Navigation), 파지(Grasping), 조작(Manipulation)이 포함된다. 실용적인 과제에는 샘플 효율성(Sample Efficiency), 보상 명세(Reward Specification), 탐색 안전성(Exploration Safety), 학습된 정책을 물리적 하드웨어(Physical Hardware)로 전이하는 어려움이 포함된다.

모방 학습(Imitation Learning)은 로봇이 사람의 시연(Human Demonstrations)이나 전문가 제어기(Expert Controllers)로부터 기술을 획득하도록 한다. 시연(Demonstrations)은 특정 감각 조건(Sensory Conditions)에서 적절한 행동의 사례를 제공하여 광범위한 초기 탐색(Initial Exploration)의 필요성을 줄인다. 행동 복제(Behavioral Cloning)와 역강화 학습(Inverse Reinforcement Learning)은 유용한 행동을 추출하는 서로 다른 접근법을 나타낸다. 그러나 모방 학습만으로는 익숙하지 않은 상황(Unfamiliar Situations)이나 자율 실행(Autonomous Execution) 중 누적되는 오류(Accumulating Errors)에 대응하기 어려울 수 있다.

상호작용형 모방 학습(Interactive Imitation Learning)은 정책 개발(Policy Development) 과정에 교정 피드백(Corrective Feedback)을 도입한다. 인간 운영자(Human Operators)나 감독 시스템(Supervisory Systems)은 로봇이 불확실한 상태(Uncertain States)나 부적절한 행동(Unsuitable Actions)에 직면했을 때 개입할 수 있다. 이러한 교정은 학습 데이터 분포(Training Distribution)를 확장하고 반복적인 실수를 줄이는 데 도움을 준다. 이 방법은 시연의 효율성(Efficiency of Demonstrations)과 경험 주도 학습(Experience-Driven Learning)의 적응성(Adaptability)을 결합하지만, 인간의 개입(Human Involvement)은 확장성(Scalability)을 제한할 수 있다.

탐색(Exploration)은 에이전트가 익숙하지 않은 환경이 자신의 행동에 어떻게 반응하는지 발견해야 한다는 점에서 상호작용 주도 학습(Interaction-Driven Learning)의 핵심이다. 무작위 탐색(Random Exploration)은 다양한 경험을 생성할 수 있지만 비효율적이거나 안전하지 않을 수 있다. 목표 지향적 탐색(Goal-Directed Exploration)은 예상 학습 가치(Expected Learning Value), 불확실성 감소(Uncertainty Reduction), 작업 관련성(Task Relevance)에 따라 행동을 선택한다. 피지컬 인공지능 시스템(Physical AI Systems)은 탐색과 운영 요구사항(Operational Requirements), 자원 제약(Resource Limitations), 안전 제약(Safety Constraints) 사이의 균형을 유지해야 한다.

호기심 주도 학습(Curiosity-Driven Learning)은 자율 탐색(Autonomous Exploration)을 위한 추가적인 메커니즘(Mechanism)을 제공한다. 에이전트(Agent)는 예상하지 못한 관측(Unexpected Observations)을 생성하거나 충분히 이해되지 않은 동역학(Poorly Understood Dynamics)을 드러내는 경험을 우선할 수 있다. 예측 오차(Prediction Errors)와 정보 이득(Information Gain)은 내재적 학습 신호(Intrinsic Learning Signals)로 활용될 수 있다. 그러나 새로움(Novelty)이 항상 유용한 지식(Useful Knowledge)에 해당하는 것은 아니므로 호기심 메커니즘(Curiosity Mechanisms)은 의미 있는 작업(Meaningful Tasks)과 정렬되고 물리적 안전 요구사항(Physical Safety Requirements)에 의해 제한되어야 한다.

세계 모델(World Models)은 다양한 행동에 따라 환경 상태(Environmental States)가 어떻게 변화하는지 표현함으로써 로봇 학습(Robot Learning)을 강화한다. 학습된 동역학 모델(Learned Dynamics Models)은 물체 움직임(Object Motion), 접촉 결과(Contact Outcomes), 미래 감각 관측(Future Sensory Observations)을 예측할 수 있다. 이러한 예측은 계획(Planning)을 지원하고 반복적인 물리적 실험(Physical Experimentation)의 필요성을 줄인다. 상호작용 주도 학습(Interaction-Driven Learning)은 새로운 경험을 통해 세계 모델을 개선하며, 갱신된 모델은 유용한 정보를 제공하고 효과적인 행동을 선택하도록 안내한다.

모델 기반 강화 학습(Model-Based Reinforcement Learning)은 예측 환경 모델(Predictive Environmental Models)과 정책 최적화(Policy Optimization)를 결합한다. 에이전트(Agent)는 직접적인 시행착오(Trial and Error)에만 의존하는 대신 시뮬레이션되거나 예측된 결과(Simulated or Predicted Outcomes)를 활용하여 후보 행동(Candidate Actions)을 평가할 수 있다. 이러한 접근법은 특히 물리적 실험(Physical Experiments)에 높은 비용이 필요한 경우 데이터 효율성(Data Efficiency)을 향상시킬 수 있다. 그러나 부정확한 모델(Inaccurate Models)은 계획 오류(Planning Errors)를 발생시킬 수 있으므로 실제 관측(Real Observations)에 대한 지속적인 검증(Continuous Validation)이 필수적이다.

표현 학습(Representation Learning)은 고차원 감각 데이터(High-Dimensional Sensory Data)를 행동과 관련된 압축 정보(Compact Information)로 변환함으로써 로봇 학습(Robot Learning)을 지원한다. 영상(Images), 깊이 측정값(Depth Measurements), 관절 상태(Joint States), 촉각 신호(Tactile Signals)는 학습된 상태 표현(Learned State Representations)으로 통합될 수 있다. 효과적인 표현(Effective Representations)은 불필요한 복잡성을 줄이면서 작업과 관련된 물리적 관계(Task-Relevant Physical Relationships)를 포착한다. 이러한 표현의 유용성은 예측(Prediction), 의사결정(Decision-Making), 제어(Control), 일반화(Generalization)를 얼마나 잘 지원하는지에 따라 결정된다.

기술 학습(Skill Learning)은 반복적인 상호작용을 재사용 가능한 행동 능력(Reusable Behavioral Capabilities)으로 조직한다. 로봇은 물체에 접근하기(Approaching Objects), 파지하기(Grasping), 들어 올리기(Lifting), 운반하기(Transporting), 배치하기(Placing)에 대한 개별 기술을 획득할 수 있다. 계층적 학습(Hierarchical Learning)은 이러한 능력을 더 긴 작업 순서(Task Sequences)로 결합한다. 시간적 추상화(Temporal Abstraction)는 상위 수준 정책(High-Level Policies)이 기술을 선택하는 동안 하위 수준 제어기(Lower-Level Controllers)가 세부 움직임을 관리하도록 한다. 이러한 구조는 확장성(Scalability)을 개선하고 점점 더 복잡한 물리적 작업(Physical Tasks)을 지원한다.

시뮬레이션(Simulation)은 에이전트가 물리적 장비(Physical Equipment)를 반복적으로 사용하지 않고도 수많은 상호작용을 경험할 수 있는 환경을 제공함으로써 로봇 학습(Robot Learning)에서 중요한 역할을 수행한다. 강화 학습(Reinforcement Learning), 모방 학습(Imitation Learning), 탐색적 정책 학습(Exploratory Policy Training)은 모두 시뮬레이션 경험(Simulated Experience)의 이점을 활용할 수 있다. 도메인 무작위화(Domain Randomization)는 에이전트를 다양한 조건에 노출한다. 그러나 접촉 동역학(Contact Dynamics), 센서 동작(Sensor Behavior), 액추에이터 성능(Actuator Performance)의 차이 때문에 시뮬레이션에서 현실로의 전이 평가(Simulation-to-Reality Evaluation)를 신중하게 수행해야 한다.

전이 학습(Transfer Learning)과 일반화(Generalization)는 획득한 능력이 최초 학습 조건(Original Training Conditions)을 벗어나서도 유용하게 유지되는지를 결정한다. 특정 물체를 대상으로 학습한 조작 정책(Manipulation Policy)은 새로운 형상(Shapes), 재료(Materials), 배치(Placements)에 대한 적응이 필요할 수 있다. 로봇의 체화(Embodiments) 차이는 전이를 더욱 복잡하게 만들 수 있다. 공유 표현(Shared Representations), 적응 가능한 정책(Adaptable Policies), 목표 지향적 미세조정(Targeted Fine-Tuning)은 재사용성을 향상시킬 수 있지만, 물리적 호환성(Physical Compatibility)과 작업별 검증(Task-Specific Validation)은 여전히 필요하다.

지속 학습(Continual Learning)은 환경, 장비, 운영 요구사항(Operational Requirements)이 변화함에 따라 로봇이 배치(Deployment) 이후에도 성능을 개선하도록 한다. 새로운 상호작용은 익숙하지 않은 장애물(Unfamiliar Obstacles), 변화된 표면 속성(Altered Surface Properties), 이전에 관측하지 못한 물체 구성(Previously Unseen Object Configurations)을 드러낼 수 있다. 학습된 모델(Learned Models)을 갱신하면 성능이 향상될 수 있지만, 통제되지 않은 적응(Uncontrolled Adaptation)은 파국적 망각(Catastrophic Forgetting)이나 불안정한 행동(Unstable Behavior)을 초래할 수 있다. 신뢰할 수 있는 시스템(Reliable Systems)에는 통제된 갱신(Controlled Updates), 성능 모니터링(Performance Monitoring), 기존 능력(Established Capabilities)을 보존하는 메커니즘이 필요하다.

안전(Safety)은 상호작용 주도 학습(Interaction-Driven Learning)이 불확실한 물리적 결과(Uncertain Physical Consequences)를 발생시킬 수 있는 행동을 포함하기 때문에 특히 중요하다. 탐색(Exploration)은 충돌 제한(Collision Limits), 작업 공간 경계(Workspace Boundaries), 액추에이터 제약(Actuator Constraints), 인간 안전 요구사항(Human Safety Requirements)을 준수해야 한다. 감독 제어(Supervisory Control)는 허용된 영역(Permitted Regions)에서 학습이 진행되는 동안 안전하지 않은 행동을 제한할 수 있다. 학습 및 배치 절차(Training and Deployment Procedures)는 실험적 정책(Experimental Policies)과 검증된 운영 정책(Validated Operational Policies)을 구별하고 신뢰할 수 있는 대체 메커니즘(Fallback Mechanisms)을 제공해야 한다.

다중 로봇 학습(Multi-Robot Learning)은 여러 에이전트가 환경과 작업을 공유하는 시스템으로 상호작용 주도 접근법(Interaction-Driven Approaches)을 확장한다. 로봇은 관측(Observations), 시연(Demonstrations), 학습된 표현(Learned Representations), 정책 개선 결과(Policy Improvements)를 교환할 수 있다. 협업 조작(Collaborative Manipulation)과 조정된 내비게이션(Coordinated Navigation)은 상호 의존적인 행동(Interdependent Actions)을 포함하는 경험을 생성한다. 분산 학습(Distributed Learning)은 집단적 능력(Collective Capabilities)을 향상시킬 수 있지만, 통신 지연(Communication Delays), 일관되지 않은 관측(Inconsistent Observations), 서로 다른 체화(Differing Embodiments)는 협력 조정(Coordination)을 복잡하게 만든다.

로봇 학습(Robot Learning)의 평가는 학습 보상(Training Reward)이나 예측 정확도(Prediction Accuracy)를 넘어서는 범위를 다루어야 한다. 중요한 측정 지표(Measures)에는 작업 성공률(Task Success), 샘플 효율성(Sample Efficiency), 적응 속도(Adaptation Speed), 일반화(Generalization), 강건성(Robustness), 외란으로부터의 복구(Recovery from Disturbances)가 포함된다. 상호작용 주도 방법(Interaction-Driven Methods)은 탐색 효율성(Exploration Efficiency)과 물리적 행동당 정보 획득량(Information Gained per Physical Action)을 통해서도 평가해야 한다. 안전(Safety), 지연 시간(Latency), 신뢰성(Reliability), 지속적 성능(Sustained Performance)은 학습된 능력이 실제 배치에 적합한지를 결정한다.

궁극적으로 로봇 학습(Robot Learning)은 경험(Experience)을 개선된 물리적 수행 능력(Physical Competence)으로 전환하며, 상호작용 주도 학습(Interaction-Driven Learning)은 환경과의 상호작용(Environmental Engagement)을 통해 그러한 경험을 능동적으로 생성하는 과정을 강조한다. 두 접근법은 인식(Perception), 행동(Action), 예측(Prediction), 적응(Adaptation)을 지속적인 학습 과정(Continuous Learning Process) 안에서 연결한다. 피지컬 인공지능(Physical AI)은 이러한 능력을 세계 모델(World Models), 계획(Planning), 기존 제어 방법(Established Control Methods)과 통합하여 점점 더 유연하고 자율적인 로봇 시스템(Flexible and Autonomous Robotic Systems)을 지원한다.

06.09. World Models for Embodied Systems

세계 모델(World Models)은 체화 시스템(Embodied Systems)에 물리적 환경(Physical Environments)이 시간에 따라 어떻게 변화하는지에 관한 내부 표현(Internal Representations)을 제공한다. 세계 모델은 감각 관측(Sensory Observations), 추정된 상태(Estimated States), 행동(Actions), 예측된 결과(Predicted Consequences)를 통합된 계산 프레임워크(Unified Computational Framework) 안에서 연결한다. 체화된 에이전트(Embodied Agent)는 즉각적인 입력에만 반응하는 대신 세계 모델을 활용하여 미래 조건(Future Conditions)을 예측하고, 가능한 행동을 비교하며, 자신의 행동을 적응적으로 조정할 수 있다. 이러한 능력은 피지컬 인공지능(Physical AI)의 예측 지능(Predictive Intelligence)을 지원한다.

체화된 세계 모델(Embodied World Model)은 물리적 상호작용(Physical Interaction)을 고려해야 한다는 점에서 순수한 시각적 표현(Visual Representation)이나 기호적 표현(Symbolic Representation)과 구별된다. 물체(Objects)는 행동 결과(Action Outcomes)에 영향을 미치는 기하학적 구조(Geometry), 운동(Motion), 질량(Mass), 접촉 속성(Contact Properties)을 가진다. 에이전트 자신의 신체(Body) 역시 움직임(Movement), 힘(Force), 감지(Sensing)를 통해 이러한 동역학(Dynamics)에 참여한다. 따라서 유용한 모델은 환경 상태(Environmental States), 에이전트 능력(Agent Capabilities), 물리적 개입(Physical Interventions)의 결과 사이의 관계를 표현해야 한다.

세계 모델(World Models)은 일반적으로 상태 추정(State Estimation), 동역학 예측(Dynamics Prediction), 관측 생성(Observation Generation)을 위한 메커니즘을 포함한다. 상태 추정은 불완전한 센서 측정값(Incomplete Sensor Measurements)을 관련 환경 조건(Environmental Conditions)의 표현으로 변환한다. 동역학 예측은 행동이나 외부 사건(External Events) 이후 상태가 어떻게 변화하는지 추정한다. 관측 모델(Observation Models)은 물리적 상태(Physical States)가 센서 측정값(Sensor Measurements)을 어떻게 생성하는지 설명한다. 이러한 구성 요소는 불확실성(Uncertainty) 아래에서의 추론(Reasoning)을 지원하고 현재 관측을 넘어서는 예측을 가능하게 한다.

부분 관측성(Partial Observability)은 체화 시스템(Embodied Systems)의 근본적인 과제이다. 카메라(Cameras)는 모든 표면(Surfaces), 가려진 물체(Hidden Objects), 물리적 속성(Physical Properties)을 직접 확인할 수 없으며, 촉각 센서(Tactile Sensors)는 접촉을 통해서만 정보를 제공한다. 따라서 세계 모델(World Model)은 이전 관측(Previous Observations)과 학습된 규칙성(Learned Regularities)을 활용하여 관측되지 않은 조건(Unobserved Conditions)에 대한 추정값을 유지해야 한다. 신념 상태(Belief States)나 확률적 표현(Probabilistic Representations)은 불확실성을 나타내고 완전한 환경 정보가 없는 상황에서 의사결정(Decision-Making)을 지원할 수 있다.

시간적 예측(Temporal Prediction)은 에이전트(Agent)가 서로 다른 미래 시간 범위(Future Horizons)에 걸쳐 환경이 어떻게 변화할지 추정하도록 한다. 단기 예측(Short-Term Predictions)은 충돌 회피(Collision Avoidance), 균형(Balance), 접촉 제어(Contact Control)를 지원할 수 있다. 장기 예측(Longer-Horizon Predictions)은 내비게이션(Navigation), 조작 계획(Manipulation Planning), 작업 조정(Task Coordination)을 지원할 수 있다. 예측 기간이 길어질수록 불확실성(Uncertainty)이 누적되고 환경 상호작용(Environmental Interactions)이 더욱 복잡해지기 때문에 예측 정확도(Prediction Accuracy)를 유지하기가 일반적으로 어려워진다.

행동 조건부 예측(Action-Conditioned Prediction)은 체화된 에이전트(Embodied Agents)가 주변 환경에 능동적으로 영향을 미친다는 점에서 특히 중요하다. 모델은 자연적으로 발생할 수 있는 변화뿐 아니라 에이전트가 특정 행동(Particular Action)을 실행했을 때 발생할 결과도 추정해야 한다. 물체를 밀거나 문을 열거나 이동 방향을 변경하면 서로 다른 미래 상태(Future States)가 생성된다. 에이전트는 이러한 가능성을 비교함으로써 예상 결과(Expected Outcomes), 운영 제약(Operational Constraints), 작업 목표(Task Objectives)에 따라 행동을 선택할 수 있다.

세계 모델 학습(World Model Learning)은 관측(Observations), 행동(Actions), 후속 환경 변화(Subsequent Environmental Changes)를 연결하는 경험을 필요로 한다. 상호작용 데이터셋(Interaction Datasets)에는 영상(Images), 깊이 측정값(Depth Measurements), 관절 상태(Joint States), 촉각 신호(Tactile Signals), 실행된 명령(Executed Commands)이 포함될 수 있다. 학습 목표(Training Objectives)에는 다음 상태 예측(Next-State Prediction), 관측 재구성(Observation Reconstruction), 다단계 예측(Multi-Step Forecasting)이 포함될 수 있다. 결과적으로 모델은 기록된 관측의 통계적 패턴(Statistical Patterns)을 단순히 재현하는 것이 아니라 물리적으로 의미 있는 관계(Physically Meaningful Relationships)를 포착해야 한다.

잠재 세계 모델(Latent World Models)은 복잡한 감각 정보(Complex Sensory Information)를 압축된 학습 상태 공간(Compact Learned State Spaces) 안에서 표현한다. 모델은 모든 픽셀(Pixels)을 직접 예측하는 대신 관측을 동역학(Dynamics)과 제어(Control)에 관련된 정보를 보존하는 잠재 변수(Latent Variables)로 인코딩할 수 있다. 이러한 접근법은 계산 요구량(Computational Requirements)을 줄이고 효율적인 계획(Efficient Planning)을 지원할 수 있다. 그러나 압축된 표현(Compressed Representations)은 장애물(Obstacles), 접촉(Contacts), 물체 정체성(Object Identity), 안전 관련 변화(Safety-Relevant Changes)에 관한 핵심 정보를 유지해야 한다.

시각 세계 모델(Visual World Models)은 현재 조건(Current Conditions)과 행동(Actions)을 바탕으로 미래 영상 관측(Future Image Observations)이나 구조화된 장면 표현(Structured Scene Representations)을 예측한다. 이러한 모델은 물체 추적(Object Tracking), 움직임 예측(Motion Anticipation), 시각 기반 계획(Visual Planning)을 지원할 수 있다. 비디오 예측 모델(Video Prediction Models)은 대규모 관측 데이터셋(Large Observation Datasets)에서 유용한 규칙성을 학습할 수 있다. 그러나 시각적으로 그럴듯한 예측(Visually Plausible Predictions)이 반드시 물리적 일관성(Physical Consistency)을 보장하는 것은 아니며, 특히 숨겨진 힘(Hidden Forces), 마찰(Friction), 변형(Deformation), 복잡한 접촉 동역학(Complex Contact Dynamics)이 포함된 상호작용에서 이러한 문제가 두드러진다.

물리 지식 기반 세계 모델(Physics-Informed World Models)은 기계적 관계(Mechanical Relationships), 보존 법칙(Conservation Principles), 기존 동역학 방정식(Established Dynamics Equations)에 관한 지식을 통합한다. 이러한 모델은 해석적 구성 요소(Analytical Components)와 불확실한 효과(Uncertain Effects)에 대한 학습된 보정(Learned Corrections)을 결합할 수 있다. 하이브리드 접근법(Hybrid Approaches)은 적절한 가정(Assumptions)이 존재하는 경우 데이터 효율성(Data Efficiency)과 물리적 일관성(Physical Consistency)을 향상시킬 수 있다. 그 효과는 모델링된 물리 법칙이 실제 로봇, 물체, 운영 환경(Operating Environment)을 얼마나 적절하게 표현하는지에 달려 있다.

물체 중심 세계 모델(Object-Centric World Models)은 개별 물체(Individual Objects)와 그 관계(Relationships)를 중심으로 환경 정보를 조직한다. 이러한 표현은 장면 요소(Scene Elements)의 위치(Positions), 속도(Velocities), 속성(Attributes), 상호작용(Interactions)을 설명할 수 있다. 관계형 모델(Relational Models)은 하나의 물체를 이동시키는 행동이 주변 물체나 이용 가능한 경로(Available Pathways)에 어떤 영향을 미치는지 추정할 수 있다. 물체 중심 추론(Object-Centered Reasoning)은 조작(Manipulation)과 작업 계획(Task Planning)에 유용하지만, 신뢰할 수 있는 물체 식별(Object Identification)과 상호작용 모델링(Interaction Modeling)은 여전히 어려운 과제로 남아 있다.

공간 세계 모델(Spatial World Models)은 기하학적 구조(Geometry), 점유 상태(Occupancy), 주행 가능성(Traversability), 환경 변화(Environmental Changes)를 표현함으로써 내비게이션(Navigation)을 지원한다. 이러한 모델은 지도 작성(Mapping)을 이동 장애물(Moving Obstacles)과 미래 자유 공간(Future Free Space)에 대한 예측과 결합할 수 있다. 이동 로봇(Mobile Robots)의 경우 유용한 표현은 공간 구조(Spatial Structure)를 로봇 크기(Robot Dimensions), 운동 제약(Motion Constraints), 위치 추정 불확실성(Localization Uncertainty)과 연결해야 한다. 예측적 공간 추론(Predictive Spatial Reasoning)은 현재 장애물뿐 아니라 예상되는 환경 동역학(Anticipated Environmental Dynamics)을 고려한 경로 계획(Route Planning)을 가능하게 한다.

세계 모델(World Models)은 접촉 사건(Contact Events), 물체 변위(Object Displacement), 가능한 파지 결과(Possible Grasp Outcomes)를 예측함으로써 조작(Manipulation)도 지원한다. 매니퓰레이터(Manipulator)는 물리적 상호작용을 시도하기 전에 후보 행동(Candidate Actions)을 시뮬레이션할 수 있다. 예측은 안정적인 파지(Stable Grasps), 적절한 접근 방향(Suitable Approach Directions), 예상 충돌 조건(Likely Collision Conditions)을 식별하는 데 도움을 줄 수 있다. 접촉 동역학(Contact Dynamics)을 정확하게 추정하기는 어렵기 때문에 실행 중에는 힘 센서(Force Sensors), 촉각 센서(Tactile Sensors), 시각 센서(Visual Sensors)의 피드백이 필수적이다.

모델 기반 계획(Model-Based Planning)은 행동을 선택하기 전에 세계 모델(World Models)을 사용하여 가능한 행동 순서(Action Sequences)를 평가한다. 에이전트(Agent)는 후보 궤적(Candidate Trajectories)을 생성하고 그 결과를 예측한 다음 작업 목표(Task Objectives)에 따라 비교할 수 있다. 모델 예측 제어(Model Predictive Control)는 새로운 관측이 제공될 때마다 계획을 반복적으로 갱신한다. 이러한 폐루프 접근법(Closed-Loop Approach)은 교정되지 않은 장기 예측(Long, Uncorrected Predictions)에 대한 의존도를 줄이고 불확실성이나 변화하는 환경 조건(Changing Environmental Conditions)을 보완하는 데 도움을 준다.

불확실성 추정(Uncertainty Estimation)은 학습된 세계 모델(Learned World Models)이 학습 데이터 분포(Training Distributions)를 벗어난 상황에서 잘못된 예측을 생성할 수 있기 때문에 필수적이다. 익숙하지 않은 물체(Unfamiliar Objects), 비정상적인 접촉 조건(Unusual Contact Conditions), 센서 고장(Sensor Failures)은 모델 가정(Model Assumptions)을 무효화할 수 있다. 확률적 예측(Probabilistic Predictions), 신뢰도 추정(Confidence Estimates), 모델 앙상블(Model Ensembles) 간의 불일치(Disagreement)는 불확실한 결과를 식별하는 데 도움을 줄 수 있다. 에이전트는 이러한 정보를 활용하여 추가 관측을 요청하거나 행동의 공격성(Action Aggressiveness)을 줄이거나 더 안전한 대체 행동(Safer Fallback Behavior)을 활성화해야 한다.

능동 인식(Active Perception)과 세계 모델링(World Modeling)은 상호 보완적인 관계(Reciprocal Relationship)를 형성한다. 모델은 신뢰할 수 있는 계획(Reliable Planning)을 제한하는 누락된 정보(Missing Information)를 식별할 수 있으며, 감지 행동(Sensing Actions)은 관련 환경 속성(Environmental Properties)에 대한 불확실성을 줄일 수 있다. 에이전트(Agent)는 가려진 장애물(Occluded Obstacle)을 검사하기 위해 관측 시점(Viewpoint)을 변경하거나 물체 저항(Object Resistance)을 추정하기 위해 통제된 접촉(Controlled Contact)을 수행할 수 있다. 그 결과 획득한 관측은 세계 모델을 갱신하고 후속 행동 예측(Subsequent Action Predictions)을 개선한다.

시뮬레이션(Simulation)은 세계 모델(World Models)을 학습하고 평가하기 위한 주요 경험 원천(Source of Experience)을 제공한다. 가상 환경(Virtual Environments)은 서로 다른 물체(Objects), 지형(Terrains), 센서 조건(Sensor Conditions), 상호작용 결과(Interaction Outcomes)를 포함하는 궤적(Trajectories)을 생성할 수 있다. 시뮬레이션 경험(Simulated Experience)은 통제된 실험(Controlled Experimentation)과 광범위한 시나리오 적용 범위(Broad Scenario Coverage)를 지원한다. 그러나 시뮬레이션 동역학(Simulated Dynamics)과 실제 물리 동역학(Physical Dynamics) 사이의 차이는 체계적인 예측 오차(Systematic Prediction Errors)를 발생시킬 수 있으므로 실제 환경 보정(Real-World Calibration)과 검증(Validation)이 필요하다.

지속적인 세계 모델 적응(Continual World Model Adaptation)은 체화 시스템(Embodied Systems)이 변화하는 운영 조건(Operating Conditions)에 대응하도록 한다. 로봇은 새로운 적재 하중(New Payloads), 마모된 액추에이터(Worn Actuators), 변화된 표면(Altered Surfaces), 익숙하지 않은 환경(Unfamiliar Environments)을 경험할 수 있다. 갱신된 관측(Updated Observations)은 모델 매개변수(Model Parameters)를 개선하고 미래 예측(Future Predictions)의 정확도를 높일 수 있다. 그러나 제한 없는 적응(Unrestricted Adaptation)은 이전에 신뢰할 수 있었던 지식(Previously Reliable Knowledge)을 저하시킬 수 있으므로 통제된 갱신(Controlled Updates), 회귀 시험(Regression Testing), 예측 품질 모니터링(Prediction Quality Monitoring)이 필요하다.

다중 에이전트 세계 모델(Multi-Agent World Models)은 여러 로봇이나 사람이 상호작용하는 환경으로 예측 범위를 확장한다. 이러한 모델은 개별 궤적(Individual Trajectories), 공유 물체 동역학(Shared Object Dynamics), 조정된 행동(Coordinated Actions)의 결과를 추정할 수 있다. 집단적 표현(Collective Representations)은 플릿 내비게이션(Fleet Navigation)과 협력 조작(Cooperative Manipulation)을 지원할 수 있다. 그러나 관측 차이(Differences in Observations), 통신 지연(Communication Delays), 불확실한 의도(Uncertain Intentions)는 예측을 더욱 어렵게 하므로 강건한 국소 추론(Robust Local Reasoning)과 주기적인 모델 동기화(Periodic Model Synchronization)가 필요하다.

안전 인식 세계 모델링(Safety-Aware World Modeling)은 예측 오차(Prediction Errors)와 그 물리적 결과(Physical Consequences)에 명시적으로 주의를 기울여야 한다. 계획에 사용되는 모델은 충돌 위험(Collision Risks), 액추에이터 한계(Actuator Limitations), 접촉력(Contact Forces), 불확실성 경계(Uncertainty Boundaries)를 고려해야 한다. 안전 제어기(Safety Controllers)는 학습된 예측(Learned Predictions)이 신뢰할 수 없는 경우에도 행동을 제한할 수 있어야 한다. 세계 모델은 위험 평가(Risk Assessment)를 지원할 수 있지만 독립적인 안전 메커니즘(Independent Safety Mechanisms)이나 체계적인 물리적 검증(Systematic Physical Validation)을 대체하지는 않는다.

평가(Evaluation)는 예측 정확도(Prediction Accuracy), 물리적 일관성(Physical Consistency), 계획 효과성(Planning Effectiveness), 환경 간 일반화(Generalization Across Environments)를 검토해야 한다. 관련 측정 지표(Measurements)에는 궤적 오차(Trajectory Error), 상태 추정 품질(State Estimation Quality), 다단계 예측 신뢰성(Multi-Step Prediction Reliability), 계산 지연 시간(Computational Latency), 작업 성공률(Task Success)이 포함된다. 시험(Testing)은 데이터 분포 변화(Distribution Shifts)와 예상하지 못한 상호작용(Unexpected Interactions)에서의 강건성(Robustness)도 측정해야 한다. 시각적으로 정확한 모델이라도 안전하고 효과적인 물리적 의사결정(Physical Decisions)을 지원하지 못한다면 충분하지 않다.

궁극적으로 세계 모델(World Models)은 체화 시스템(Embodied Systems)에 환경과 자신의 행동 결과에 대한 예측적 이해(Predictive Understanding)를 제공한다. 세계 모델은 축적된 경험(Accumulated Experience)을 미래 예측(Anticipation), 계획(Planning), 적응(Adaptation), 제어(Control)를 지원하는 표현으로 변환한다. 피지컬 인공지능(Physical AI)은 이러한 모델을 인식(Perception), 감각운동 학습(Sensorimotor Learning), 피드백 메커니즘(Feedback Mechanisms)과 결합하여 실제 물리적 상호작용(Physical Interaction)에 기반하면서 가능한 미래(Possible Futures)를 추론할 수 있는 에이전트를 개발한다.

06.10. Foundation Models VLM and VLA

파운데이션 모델(Foundation Models)은 다양한 데이터셋(Datasets)을 기반으로 학습하여 여러 후속 작업(Downstream Tasks)을 지원할 수 있는 표현(Representations)을 획득하는 대규모 기계 학습 시스템(Large-Scale Machine Learning Systems)이다. 체화 지능(Embodied Intelligence)에서 이러한 모델은 물체(Objects), 환경(Environments), 언어(Language), 행동(Behavior)에 관한 재사용 가능한 지식(Reusable Knowledge)을 제공한다. 피지컬 인공지능(Physical AI)에서 파운데이션 모델의 중요성은 범용적 이해(General-Purpose Understanding)를 인식(Perception) 및 행동(Action)과 연결하여 개별 로봇 작업마다 별도의 모델을 개발해야 하는 필요성을 줄일 수 있다는 데 있다.

전통적인 로봇 학습(Traditional Robotic Learning)은 특정 환경, 물체, 제어 목표(Control Objectives)를 위해 설계된 특화 모델(Specialized Models)을 생성하는 경우가 많다. 반면 파운데이션 모델(Foundation Models)은 대규모 사전학습(Large-Scale Pretraining)과 후속 적응(Subsequent Adaptation)을 통해 전이 가능한 능력(Transferable Capabilities)을 확보하고자 한다. 이러한 모델은 익숙하지 않은 물체를 인식하거나 명령을 해석하거나 다양한 상황에서 작업 계획(Task Planning)을 지원할 수 있다. 그러나 광범위한 통계적 지식(Statistical Knowledge)이 물리적 수행 능력(Physical Competence)이나 신뢰할 수 있는 실행(Reliable Execution)을 자동으로 보장하는 것은 아니다.

비전-언어 모델(Vision-Language Models, VLMs)은 시각 관측(Visual Observations)과 자연어 표현(Natural Language Representations)을 통합한다. 이러한 모델은 영상(Images)을 해석하고, 장면(Scenes)을 설명하며, 보이는 물체에 관한 질문에 답하고, 언어적 명령(Linguistic Instructions)을 환경 정보(Environmental Information)와 연결할 수 있다. 체화 시스템(Embodied Systems)에서 VLM은 인간 의사소통(Human Communication)과 로봇 인식(Robotic Perception) 사이의 연결 역할을 수행한다. 그 출력은 의미적 이해(Semantic Understanding), 작업 해석(Task Interpretation), 상위 수준 의사결정(High-Level Decision-Making)을 지원할 수 있다.

비전-언어 모델(VLM)은 로봇이 요청된 물체(Requested Object)를 식별하거나 공간적 관계(Spatial Relationships)를 해석하거나 작업과 관련된 환경적 특징(Environmental Features)을 결정하도록 지원할 수 있다. 예를 들어 용기를 가져오라는 명령은 언어(Language)를 물체 정체성(Object Identity)과 위치(Location)에 관한 시각적 증거(Visual Evidence)와 연결해야 한다. 그러나 시각-언어 이해(Visual-Language Understanding)만으로는 로봇이 식별된 물체를 실제로 파지(Grasping), 운반(Transporting), 조작(Manipulation)할 수 있는지 판단할 수 없다.

비전-언어-행동 모델(Vision-Language-Action Models, VLAs)은 시각 관측(Visual Observations)과 언어 명령(Language Instructions)을 로봇 행동(Robotic Actions)과 연관시킴으로써 다중모달 학습(Multimodal Learning)을 물리적 행동(Physical Behavior)으로 확장한다. 이러한 모델은 작업 설명(Task Descriptions)과 감각 입력(Sensory Inputs)을 실행 가능한 행동 표현(Executable Action Representations)으로 변환하는 것을 목표로 한다. 아키텍처(Architecture)에 따라 출력에는 행동 토큰(Action Tokens), 목표 자세(Target Poses), 운동 명령 시퀀스(Sequences of Motor Commands)가 포함될 수 있다. 따라서 VLA 시스템은 의미적 이해(Semantic Understanding)를 학습된 제어 행동(Learned Control Behavior)과 연결한다.

비전-언어 모델(VLM)과 비전-언어-행동 모델(VLA)의 차이는 주요 출력(Primary Outputs)과 학습 목표(Training Objectives)에 있다. VLM은 일반적으로 시각-언어 해석(Visual-Language Interpretation)과 추론(Reasoning)을 강조하는 반면, VLA는 관측(Observations), 명령(Instructions), 행동(Actions) 사이의 관계를 명시적으로 학습한다. VLM은 물체를 파지하도록 제안할 수 있지만, VLA는 이에 대응하는 행동 시퀀스(Action Sequence)를 생성할 수 있다. 그러나 두 접근법 모두 적절한 물리적 검증(Physical Validation) 없이는 실행 가능성(Feasibility), 안정성(Stability), 안전성(Safety)을 본질적으로 보장하지 않는다.

파운데이션 모델 아키텍처(Foundation Model Architectures)는 다중모달 정보(Multimodal Information)의 시퀀스를 처리하기 위해 트랜스포머(Transformers)를 사용하는 경우가 많다. 시각 인코더(Visual Encoders)는 영상 특징(Image Features)을 추출하고, 언어 구성 요소(Language Components)는 명령을 표현하며, 행동 모듈(Action Modules)은 행동 출력(Behavioral Outputs)을 생성한다. 교차 모달 어텐션(Cross-Modal Attention)은 물체(Objects), 단어(Words), 작업 관련 관측(Task-Relevant Observations)을 연결할 수 있다. 아키텍처 선택(Architectural Choices)은 계산 요구사항(Computational Requirements), 시간적 이해(Temporal Understanding), 연속적인 물리적 행동(Continuous Physical Actions)을 표현하는 능력에 영향을 미친다.

학습 데이터(Training Data)는 체화 파운데이션 모델(Embodied Foundation Models)의 능력과 한계를 크게 결정한다. 인터넷 규모의 영상 및 텍스트(Internet-Scale Images and Text)는 광범위한 의미적 지식(Semantic Knowledge)을 제공할 수 있으며, 로봇 시연(Robot Demonstrations)은 물리적 행동(Physical Behavior)의 사례를 제공한다. 추가적인 데이터 원천에는 비디오(Videos), 궤적(Trajectories), 고유수용성 측정값(Proprioceptive Measurements), 상호작용 결과(Interaction Outcomes)가 포함될 수 있다. 효과적인 학습을 위해서는 시각적 개연성(Visual Plausibility)을 물리적으로 실행 가능한 행동(Physically Executable Behavior)과 혼동하지 않으면서 이러한 이질적인 데이터 원천(Heterogeneous Sources)을 연결해야 한다.

행동 표현(Action Representation)은 비전-언어-행동 시스템(VLA Systems)의 주요 설계 과제이다. 로봇 명령(Robotic Commands)은 관절 위치(Joint Positions), 속도(Velocities), 말단효과기 자세(End-Effector Poses), 그리퍼 상태(Gripper States), 상위 수준 기술(Higher-Level Skills)을 설명할 수 있다. 서로 다른 플랫폼(Platforms)은 상이한 액추에이터 구성(Actuator Configurations)과 제어 인터페이스(Control Interfaces)를 가진다. 따라서 하나의 행동 공간(Action Space)에서 학습한 모델은 다른 로봇을 작동시키기 전에 적응(Adaptation)이 필요할 수 있다. 일관된 행동 의미 체계(Consistent Action Semantics)와 체화 인식 인터페이스(Embodiment-Aware Interfaces)는 신뢰할 수 있는 전이(Reliable Transfer)에 필수적이다.

시간적 추론(Temporal Reasoning) 역시 로봇 작업(Robotic Tasks)이 관측과 행동의 연속적인 시퀀스(Sequences of Observations and Actions)를 통해 진행되기 때문에 중요하다. 로봇은 작업 맥락(Task Context)을 유지하고, 이전 움직임(Previous Movements)으로 발생한 변화를 해석하며, 새로운 정보가 제공될 때 행동을 조정해야 한다. 고립된 영상(Isolated Images)만 처리하는 모델은 중요한 동역학(Dynamics)을 놓칠 수 있다. 행동 이력(Action Histories), 시간적 관측(Temporal Observations), 예측 표현(Predictive Representations)을 통합하면 장시간에 걸친 조작(Manipulation)과 내비게이션(Navigation) 작업에서 연속성(Continuity)을 개선할 수 있다.

언어 조건화(Language Conditioning)는 사용자가 모든 움직임을 수동으로 프로그래밍하지 않고도 목표(Goals)를 지정할 수 있도록 한다. 물체를 분류하거나 작업 공간을 정리하는 등의 명령은 작업 선택(Task Selection)과 행동 생성(Behavior Generation)을 안내할 수 있다. 그러나 자연어(Natural Language)는 모호하거나 불완전한 경우가 많다. 피지컬 인공지능 시스템(Physical AI Systems)은 실제 세계에 영향을 미치는 행동으로 명령을 변환하기 전에 참조 대상(References)을 명확히 하고, 누락된 제약(Missing Constraints)을 식별하며, 환경 조건(Environmental Conditions)을 검증해야 한다.

일반화(Generalization)는 체화 파운데이션 모델(Embodied Foundation Models)의 핵심 목표이다. 이상적으로 학습된 표현(Learned Representations)은 새로운 물체(Objects), 환경(Environments), 명령(Instructions), 익숙한 기술의 새로운 조합(Combinations of Familiar Skills)을 지원해야 한다. 대규모 사전학습(Large-Scale Pretraining)은 이러한 전이(Transfer)를 개선할 수 있지만, 익숙하지 않은 조명(Lighting), 기하학적 구조(Geometry), 재료(Materials), 로봇 구성(Robot Configurations)에서는 성능이 저하될 수 있다. 따라서 범용 능력(General-Purpose Capability)에 관한 주장은 언어 벤치마크(Language Benchmarks)만이 아니라 의미 있는 물리적 변화(Meaningful Physical Variations)에 걸쳐 평가되어야 한다.

미세조정(Fine-Tuning)과 적응(Adaptation)은 사전학습된 파운데이션 모델(Pretrained Foundation Models)을 특정 로봇 플랫폼(Robotic Platforms) 및 운영 환경(Operating Environments)과 연결한다. 시연 데이터(Demonstration Data), 작업별 궤적(Task-Specific Trajectories), 교정 상호작용 피드백(Corrective Interaction Feedback)은 실행 품질(Execution Quality)을 개선할 수 있다. 매개변수 효율적 적응(Parameter-Efficient Adaptation)은 계산 및 데이터 요구사항(Computational and Data Requirements)을 줄일 수 있다. 그러나 모델 갱신(Updates)은 하드웨어 제약(Hardware Constraints), 안전 요구사항(Safety Requirements), 변화하는 환경 조건(Changing Environmental Conditions)을 고려하면서 이전에 유용했던 능력(Previously Useful Capabilities)을 보존해야 한다.

세계 모델(World Models)은 제안된 행동(Proposed Actions)의 결과를 예측함으로써 비전-언어 모델(VLMs)과 비전-언어-행동 모델(VLAs)을 보완할 수 있다. 언어 조건부 정책(Language-Conditioned Policy)은 조작 시퀀스(Manipulation Sequence)를 생성하고, 예측 모델(Predictive Model)은 물체 움직임(Object Movement), 접촉 사건(Contact Events), 가능한 충돌(Possible Collisions)을 추정할 수 있다. 이러한 기능 분리(Separation)는 계획(Planning)과 검증(Verification)을 개선할 수 있다. 그러나 학습된 예측(Learned Predictions)에는 여전히 불확실성(Uncertainty)이 존재하므로 실행 중에는 물리적 피드백(Physical Feedback)과 독립적인 안전 제어(Independent Safety Controls)가 필요하다.

계층적 아키텍처(Hierarchical Architectures)는 파운데이션 모델(Foundation Models)을 기존 로봇 제어(Established Robotic Control)와 통합하는 실용적인 방법을 제공한다. 비전-언어 모델(VLM)이나 언어 모델(Language Model)은 목표를 해석하고 작업을 선택할 수 있으며, 비전-언어-행동 모델(VLA)이나 특화 정책(Specialized Policy)은 행동 목표(Action Targets)를 생성할 수 있다. 이후 하위 수준 제어기(Lower-Level Controllers)는 궤적 추종(Trajectory Tracking), 힘 조절(Force Regulation), 액추에이터 제약(Actuator Constraints)을 관리한다. 이러한 기능 분해(Decomposition)는 광범위한 추론 능력(Broad Reasoning Capabilities)이 결정론적 제어(Deterministic Control) 및 명시적 안전 메커니즘(Explicit Safety Mechanisms)과 공존하도록 한다.

계산 배치(Computational Deployment)는 대규모 다중모달 모델(Large Multimodal Models)이 상당한 메모리(Memory), 처리 능력(Processing Power), 통신 대역폭(Communication Bandwidth)을 요구할 수 있기 때문에 추가적인 과제를 제시한다. 클라우드 실행(Cloud Execution)은 복잡한 추론(Complex Reasoning)을 지원할 수 있지만 네트워크 의존성(Network Dependence)과 가변적인 지연 시간(Variable Latency)을 초래한다. 엣지 배치(Edge Deployment)는 통신 지연(Communication Delays)을 줄일 수 있지만 자원 제약(Resource Limitations)에 직면한다. 실용적인 피지컬 인공지능 아키텍처(Physical AI Architectures)는 응답 시간 요구사항(Response-Time Requirements), 신뢰성(Reliability), 운영 제약(Operational Constraints)에 따라 계산 작업을 분산해야 한다.

안전성(Safety)과 신뢰성(Reliability)은 파운데이션 모델 기반 로보틱스(Foundation-Model-Driven Robotics)에서 여전히 해결되지 않은 과제이다. 모델은 물체를 잘못 식별하거나 명령을 오해하거나 부적절한 행동을 생성하거나 익숙하지 않은 조건에서 예측하기 어려운 방식으로 동작할 수 있다. 신뢰도 추정(Confidence Estimates)만으로는 물리적 안전성(Physical Safety)을 확립할 수 없다. 시스템에는 모델이 생성한 권고(Model-Generated Recommendations)와 독립적으로 효과를 유지하는 행동 검증(Action Validation), 충돌 검사(Collision Checking), 감독 제어(Supervisory Control), 운영 경계(Operational Boundaries), 비상 절차(Emergency Procedures)가 필요하다.

평가(Evaluation)는 의미적 능력(Semantic Competence)과 물리적 작업 수행 성능(Physical Task Performance)을 구별해야 한다. 관련 측정 지표(Measurements)에는 명령 이해(Instruction Understanding), 물체 그라운딩(Object Grounding), 행동 성공률(Action Success), 일반화(Generalization), 실행 지연 시간(Execution Latency), 실패 복구(Recovery from Failures)가 포함된다. 시험(Testing)은 익숙하지 않은 환경(Unfamiliar Environments), 모호한 명령(Ambiguous Commands), 센서 성능 저하(Sensor Degradation), 예상하지 못한 접촉 사건(Unexpected Contact Events)을 검토해야 한다. 벤치마크 결과(Benchmark Results)는 재현 가능한 물리적 시험(Reproducible Physical Trials)과 명확하게 정의된 안전 조건(Safety Conditions)을 포함할 때 더욱 의미가 있다.

데이터 거버넌스(Data Governance) 역시 체화 파운데이션 모델(Embodied Foundation Models)의 개발에 영향을 미친다. 학습 데이터셋(Training Datasets)에는 저작권 보호 자료(Copyrighted Material), 민감한 환경 기록(Sensitive Environmental Recordings), 독점적 시연(Proprietary Demonstrations), 일관되지 않은 행동 레이블(Inconsistent Action Labels)이 포함될 수 있다. 책임 있는 개발(Responsible Development)을 위해서는 적절한 데이터 사용 권한(Data Permissions), 출처 추적(Provenance Tracking), 품질 평가(Quality Assessment), 한계에 관한 문서화(Documented Limitations)가 필요하다. 데이터셋 다양성(Dataset Diversity)과 투명한 평가(Transparent Evaluation)는 학습된 능력이 어떤 상황에서 실패할 수 있는지 이해하는 데 중요하다.

다중 로봇 파운데이션 모델(Multi-Robot Foundation Models)은 서로 다른 체화(Embodiments)와 작업 영역(Task Domains)에 걸쳐 재사용 가능한 표현(Reusable Representations)을 확보하고자 한다. 공유된 시각-언어 지식(Shared Visual-Language Knowledge)은 로봇마다 기하학적 구조(Geometry), 이동 능력(Mobility), 구동 방식(Actuation)이 다르기 때문에 저수준 운동 명령(Low-Level Motor Commands)보다 쉽게 전이될 수 있다. 체화 조건부 정책(Embodiment-Conditioned Policies)과 표준화된 기술 인터페이스(Standardized Skill Interfaces)는 플랫폼 간 재사용(Cross-Platform Reuse)을 개선할 수 있다. 그러나 성공적인 전이를 위해서는 물리적 실행 가능성(Physical Feasibility)과 플랫폼별 실행 제약(Platform-Specific Execution Constraints)에 대한 명시적인 검증이 필요하다.

지속적 개선(Continual Improvement)은 대규모 사전학습(Large-Scale Pretraining)과 배치 이후의 상호작용 주도 학습(Interaction-Driven Learning)을 결합할 수 있다. 운영 경험(Operational Experience)은 새로운 물체(New Objects), 익숙하지 않은 조건(Unfamiliar Conditions), 체계적인 정책 오류(Systematic Policy Errors)를 드러낼 수 있다. 신중하게 검증된 갱신(Carefully Validated Updates)은 시간이 지남에 따라 성능을 개선할 수 있다. 그러나 제한 없는 온라인 적응(Unrestricted Online Adaptation)은 성능 회귀(Regressions)나 안전하지 않은 행동(Unsafe Behavior)을 초래할 수 있다. 따라서 통제된 데이터 수집(Controlled Data Collection), 평가(Evaluation), 버전 관리(Version Management), 롤백 절차(Rollback Procedures)가 필수적이다.

궁극적으로 파운데이션 모델(Foundation Models), 비전-언어 모델(VLMs), 비전-언어-행동 모델(VLAs)은 체화 지능(Embodied Intelligence)을 위한 상호 보완적인 능력(Complementary Capabilities)을 제공한다. 파운데이션 모델은 전이 가능한 표현(Transferable Representations)을 제공하고, VLM은 언어(Language)를 시각적 이해(Visual Understanding)와 연결하며, VLA는 다중모달 학습(Multimodal Learning)을 물리적 행동(Physical Action)으로 확장한다. 피지컬 인공지능(Physical AI)은 이러한 능력을 세계 모델(World Models), 감각운동 학습(Sensorimotor Learning), 계획(Planning), 피드백 제어(Feedback Control), 안전 공학(Safety Engineering)과 통합하여 실제 세계와의 상호작용(Real-World Interaction)에 기반한 더욱 적응적인 로봇 시스템(Adaptable Robotic Systems)을 지원한다.

06.11. Robot Agents and Physical Agents

로봇 에이전트(Robot Agents)는 주변 환경을 인식하고, 의사결정을 수행하며, 로봇 하드웨어(Robotic Hardware)를 통해 행동을 실행하는 자율 또는 반자율 시스템(Autonomous or Semi-Autonomous Systems)이다. 물리적 에이전트(Physical Agents)는 감지(Sensing), 추론(Reasoning), 행동(Action)을 통해 물리적 세계(Physical World)에 영향을 미칠 수 있는 지능적 개체(Intelligent Entities)를 포괄하는 더 넓은 범주이다. 두 개념 모두 폐루프 상호작용(Closed-Loop Interaction)을 강조하지만, 체화(Embodiment), 구동(Actuation), 자율성(Autonomy), 물리적 인프라 전반에 걸친 지능의 분산(Distribution of Intelligence)에 따라 적용 범위가 달라질 수 있다.

로봇 에이전트(Robot Agent)는 일반적으로 식별 가능한 로봇 플랫폼(Robotic Platform) 안에 센서(Sensors), 액추에이터(Actuators), 연산 장치(Computation), 제어 메커니즘(Control Mechanisms)을 결합한다. 이동 로봇(Mobile Robots), 매니퓰레이터(Manipulators), 휴머노이드(Humanoids), 사족보행 로봇(Quadrupeds)이 대표적인 사례이다. 물리적 에이전트(Physical Agent)가 반드시 하나의 이동 로봇에 대응해야 하는 것은 아니다. 지능형 기계(Intelligent Machinery), 고정형 감지 및 구동 시스템(Fixed Sensing and Actuation Systems), 또는 조정된 의사결정(Coordinated Decision-Making)에 따라 물리적 작업을 공동 수행하는 분산 구성 요소(Distributed Components)를 포함할 수 있다.

에이전트(Agent)의 핵심적인 특성은 관측(Observations), 목표(Objectives), 운영 조건(Operating Conditions)에 따라 행동을 선택하는 능력이다. 수동적인 센서(Passive Sensor)나 미리 결정된 기계적 시퀀스(Predetermined Mechanical Sequence)와 달리 지능형 에이전트(Intelligent Agent)는 이용 가능한 정보를 평가하고 적절한 행동을 결정한다. 따라서 에이전트성(Agency)은 인식(Perception), 상태 추정(State Estimation), 의사결정(Decision-Making), 실행(Execution), 피드백(Feedback)을 포함하지만, 자율성의 정도(Degree of Autonomy)는 구현 방식에 따라 상당히 달라질 수 있다.

로봇 에이전트(Robot Agents)는 연속적인 인식-행동 루프(Perception-Action Loop)를 통해 작동한다. 센서(Sensors)는 환경 및 내부 조건(Environmental and Internal Conditions)을 수집하고, 계산 과정(Computational Processes)은 관련 상태를 추정하며, 정책(Policies)이나 계획기(Planners)는 행동을 선택한다. 이후 액추에이터(Actuators)는 로봇이나 주변 환경을 변화시켜 새로운 관측을 생성한다. 이러한 피드백 순환(Feedback Cycle)은 교란(Disturbances)과 불확실성(Uncertainty)에 대한 적응을 가능하게 하며, 추상적인 의사결정(Abstract Decisions)을 측정 가능한 물리적 결과(Measurable Physical Consequences)와 연결한다.

물리적 에이전트성(Physical Agency)은 지능(Intelligence)과 물리적 능력(Physical Capability) 사이의 관계에 의존한다. 에이전트는 원하는 결과(Desired Outcome)를 정확하게 식별하더라도 이를 달성하는 데 필요한 액추에이터(Actuators), 이동 능력(Mobility), 기계적 도달 범위(Mechanical Reach)가 부족할 수 있다. 반대로 적절한 인식(Perception)과 의사결정(Decision-Making)이 없는 강력한 하드웨어는 적응형 지능(Adaptive Intelligence)을 발휘할 수 없다. 효과적인 피지컬 인공지능(Physical AI)은 계산적 추론(Computational Reasoning), 실행 가능한 행동(Available Actions), 환경 제약(Environmental Constraints), 실행 피드백(Execution Feedback) 사이의 조정을 필요로 한다.

자율성(Autonomy)은 로봇 에이전트(Robot Agents)의 이분법적인 속성이 아니다. 일부 시스템은 사전에 정의된 경로(Predefined Routes)를 따르면서 장애물(Obstacles)에 국소적으로 적응하지만, 다른 시스템은 작업을 선택하고 궤적(Trajectories)을 계획하며 예상하지 못한 사건(Unexpected Events)에서 복구할 수 있다. 위험하거나 불확실한 작업에서는 인간 감독(Human Supervision)이 계속 필요할 수 있다. 따라서 자율성 수준(Degrees of Autonomy)은 의사결정 권한(Decision Authority), 환경 복잡성(Environmental Complexity), 작업 책임(Task Responsibility), 실패 처리 능력(Ability to Handle Failures)에 따라 평가해야 한다.

에이전트 아키텍처(Agent Architectures)는 일반적으로 인식(Perception), 추론(Reasoning), 계획(Planning), 제어(Control)를 상호작용하는 기능적 구성 요소(Functional Components)로 분리한다. 인식은 관련 환경 조건(Environmental Conditions)을 식별하고, 추론은 목표(Goals)와 제약(Constraints)을 해석한다. 계획은 행동 시퀀스(Action Sequences)를 선택하며, 제어는 선택된 행동을 액추에이터 명령(Actuator Commands)으로 변환한다. 피드백 메커니즘(Feedback Mechanisms)은 실행 과정에서 이러한 구성 요소를 연결한다. 모듈형 아키텍처(Modular Architectures)는 유지보수성(Maintainability), 검증(Verification), 기존 로봇 소프트웨어(Established Robotics Software)와의 통합을 개선할 수 있다.

반응형 에이전트(Reactive Agents)는 주로 현재 관측(Current Observations)과 학습되거나 사전에 정의된 반응 규칙(Response Rules)에 따라 행동을 선택한다. 숙고형 에이전트(Deliberative Agents)는 실행 전에 예측(Prediction)과 계획(Planning)을 지원하는 표현(Representations)을 유지한다. 하이브리드 에이전트(Hybrid Agents)는 신속한 반응(Rapid Reactions)과 장기적 추론(Longer-Horizon Reasoning)을 결합한다. 물리적 환경(Physical Environments)에서는 충돌 회피(Collision Avoidance)와 균형(Balance)에 빠른 대응이 필요하고, 내비게이션(Navigation)과 조작(Manipulation)에는 구조화된 계획(Structured Planning)이 유리하기 때문에 하이브리드 운영(Hybrid Operation)이 자주 요구된다.

세계 모델(World Models)은 환경 동역학(Environmental Dynamics)과 미래 행동 결과(Future Action Consequences)에 대한 추정값을 제공함으로써 물리적 에이전트(Physical Agents)의 능력을 강화한다. 에이전트는 대안적인 움직임(Alternative Movements)을 평가하고, 접촉 사건(Contact Events)을 예상하며, 물체 위치(Object Positions)의 변화를 예측할 수 있다. 이러한 모델은 부분 관측성(Partial Observability) 아래에서 정보에 기반한 의사결정(Informed Decisions)을 지원한다. 그러나 예측에는 여전히 불확실성(Uncertainty)이 존재하므로 물리적 실행(Physical Execution) 중 신뢰할 수 있는 행동을 유지하기 위해서는 지속적인 감지(Continuous Sensing)와 피드백(Feedback)이 필수적이다.

학습(Learning)은 로봇 에이전트(Robot Agents)가 시연(Demonstrations), 시뮬레이션(Simulation), 운영 경험(Operational Experience)을 통해 행동을 개선하도록 한다. 강화 학습(Reinforcement Learning)은 작업 결과(Task Outcomes)에 따라 정책(Policies)을 최적화할 수 있으며, 모방 학습(Imitation Learning)은 사례를 통해 기술(Skills)을 전이한다. 자기지도 학습(Self-Supervised Learning)은 감각적 상호작용(Sensory Interaction)에서 지식을 추출한다. 이러한 접근법은 공학적으로 설계된 제어 시스템(Engineered Control Systems)을 보완하지만, 학습된 정책(Learned Policies)은 하드웨어 제약(Hardware Constraints), 데이터 분포 변화(Distribution Shifts), 안전 요구사항(Safety Requirements)에 대한 검증이 필요하다.

작업 지향 에이전트(Task-Oriented Agents)는 상위 수준 목표(High-Level Objectives)를 실행 가능한 물리적 작업(Executable Physical Operations)과 연결한다. 물체를 다른 위치로 이동하라는 요청은 대상 식별(Target Identification), 접근 가능성 확인(Accessibility Checking), 적절한 위치로의 이동(Navigation), 물체 파지(Grasping), 성공적인 배치 확인(Placement Verification)을 요구할 수 있다. 에이전트는 변화하는 조건(Changing Conditions)에 대응하면서 이러한 단계를 조정해야 한다. 따라서 작업 실행(Task Execution)은 의미적 해석(Semantic Interpretation)을 물리적 실행 가능성(Physical Feasibility) 및 피드백 기반 제어(Feedback-Based Control)와 통합하는 데 의존한다.

언어 지원 로봇 에이전트(Language-Enabled Robot Agents)는 인간의 명령(Human Instructions)을 해석하고 이를 구조화된 목표(Structured Goals)나 행동 계획(Action Plans)으로 변환할 수 있다. 비전-언어 모델(Vision-Language Models)은 장면 이해(Scene Understanding)를 지원할 수 있으며, 비전-언어-행동 모델(Vision-Language-Action Models)은 명령(Instructions)과 관측(Observations)을 운동 행동(Motor Behavior)과 연결할 수 있다. 이러한 능력은 작업 유연성(Task Flexibility)을 향상시키지만, 모호한 명령(Ambiguous Commands)과 모델 오류(Model Errors)에서 발생하는 불확실성을 도입한다. 따라서 중요한 물리적 결과를 초래할 수 있는 행동을 실행하기 전에 물리적 검증(Physical Validation)이 필요하다.

계층적 에이전트 구조(Hierarchical Agency)는 복잡한 로봇 행동(Complex Robotic Behavior)을 위한 실용적인 구조를 제공한다. 상위 수준 구성 요소(High-Level Components)는 목표를 해석하고 작업을 선택하며, 중간 수준 구성 요소(Intermediate Components)는 재사용 가능한 기술(Reusable Skills)을 조직하고, 하위 수준 제어기(Low-Level Controllers)는 움직임(Motion)과 힘(Force)을 조절한다. 각 계층은 서로 다른 시간 척도(Timescales)와 계산 요구사항(Computational Requirements)에 따라 작동한다. 이러한 분리는 상위 계층에서 유연한 추론(Flexible Reasoning)과 적응(Adaptation)을 가능하게 하면서 신속한 물리적 제어(Rapid Physical Control)를 유지하도록 돕는다.

분산 물리적 에이전트(Distributed Physical Agents)는 지능(Intelligence)을 개별 로봇 플랫폼(Individual Robotic Platforms)의 범위를 넘어 확장한다. 고정형 센서(Fixed Sensors), 프로젝션 시스템(Projection Systems), 엣지 컴퓨터(Edge Computers), 이동 로봇(Mobile Robots)은 환경 관측(Environmental Observations)을 공유하고 행동을 조정할 수 있다. 일부 구성 요소는 환경을 직접 구동하지 않고 인식(Perception)이나 예측(Prediction)을 제공한다. 이러한 구성 요소의 집단적 운영(Collective Operation)은 의사결정이 승인된 액추에이터(Authorized Actuators) 및 관측 가능한 결과(Observable Outcomes)와 연결될 때 물리적 에이전트성(Physical Agency)을 지원할 수 있다.

다중 에이전트 시스템(Multi-Agent Systems)은 독립적으로 행동하는 로봇이나 물리적 장치 사이의 조정(Coordination)을 도입한다. 에이전트는 상태 추정값(State Estimates)을 교환하고, 작업 할당(Task Assignments)을 협의하며, 공유 자원(Shared Resources)을 중심으로 협력할 수 있다. 플릿 내비게이션(Fleet Navigation)과 협력 조작(Collaborative Manipulation)은 개별 목표(Individual Objectives)와 집단적 제약(Collective Constraints) 사이의 상호작용을 관리해야 한다. 통신(Communication)은 조정을 지원하지만, 각 에이전트는 지연된 메시지(Delayed Messages), 불완전한 정보(Incomplete Information), 국소 안전 요구사항(Local Safety Requirements)도 처리할 수 있어야 한다.

지능형 에이전트(Intelligent Agent)와 일반적인 자동화 장치(Ordinary Automated Device) 사이에는 중요한 차이가 존재한다. 자동화(Automation)는 지정된 조건이 발생할 때마다 미리 결정된 시퀀스(Predetermined Sequence)를 실행할 수 있지만, 지능형 에이전트는 대안을 평가하고 불확실한 상황(Uncertain Situations)에 맞추어 행동을 적응시킬 수 있다. 그러나 두 개념의 경계는 절대적인 구분이 아니라 점진적인 연속성(Gradual Continuum)을 가진다. 많은 실제 로봇 시스템(Practical Robotic Systems)은 결정론적 자동화(Deterministic Automation)를 적응형 의사결정(Adaptive Decision-Making) 및 학습된 구성 요소(Learned Components)와 결합한다.

물리적 에이전트(Physical Agents)는 명시적인 권한 및 책임의 경계(Boundaries of Authority and Responsibility) 안에서 작동해야 한다. 자율 시스템(Autonomous System)은 기술적으로 가능한 모든 행동이 허용된다고 가정해서는 안 된다. 작업 권한(Task Permissions), 작업 공간 제한(Workspace Restrictions), 인간과의 근접성(Human Proximity), 장비 한계(Equipment Limitations)는 허용 가능한 행동(Acceptable Behavior)에 영향을 미친다. 감독 제어(Supervisory Control)와 승인 메커니즘(Authorization Mechanisms)은 지능적 의사결정(Intelligent Decisions)이 운영 규칙(Operational Rules) 및 안전 의무(Safety Obligations)와 일치하도록 보장한다.

안전 공학(Safety Engineering)은 에이전트의 의사결정(Agent Decisions)이 즉각적인 물리적 결과(Physical Consequences)를 초래할 수 있기 때문에 근본적으로 중요하다. 잘못된 인식(Incorrect Perception), 부적절한 계획(Unsuitable Plans), 통신 장애(Communication Failures), 액추에이터 고장(Actuator Faults)은 충돌(Collisions)이나 장비 손상(Equipment Damage)으로 이어질 수 있다. 독립적인 안전 제어기(Independent Safety Controllers), 비상 정지(Emergency Stopping), 충돌 모니터링(Collision Monitoring), 검증된 대체 행동(Validated Fallback Behavior)은 이러한 위험을 줄인다. 학습된 추론(Learned Reasoning)은 안전 필수 제어 메커니즘(Safety-Critical Control Mechanisms)을 대체하기보다 보완해야 한다.

계산 자원의 배치(Computational Placement)는 로봇 에이전트(Robot Agents)와 물리적 에이전트(Physical Agents)의 설계에 영향을 미친다. 온보드 프로세서(Onboard Processors)는 즉각적인 감지(Sensing)와 제어(Control)를 지원하고, 인접한 엣지 인프라(Edge Infrastructure)는 공유 인식(Shared Perception)과 예측 연산(Predictive Computation)을 제공할 수 있다. 온프레미스 시스템(On-Premises Systems)은 여러 플랫폼을 조정할 수 있으며, 클라우드 자원(Cloud Resources)은 더 광범위한 학습(Learning)과 분석(Analysis)을 지원할 수 있다. 책임의 할당(Allocation of Responsibilities)은 지연 시간(Latency), 연결성(Connectivity), 복원력(Resilience), 안전 제약(Safety Constraints)을 반영해야 한다.

에이전트 능력(Agent Capability)의 평가는 개별적인 인식 정확도(Perception Accuracy)나 계획 품질(Planning Quality)을 검토하는 수준을 넘어야 한다. 관련 측정 지표(Measures)에는 작업 완료(Task Completion), 의사결정 지연 시간(Decision Latency), 교란으로부터의 복구(Recovery from Disturbances), 환경 적응(Environmental Adaptation), 자원 효율성(Resource Efficiency)이 포함된다. 다중 에이전트 시스템(Multi-Agent Systems)에는 추가적으로 조정 및 통신 지표(Coordination and Communication Metrics)가 필요하다. 물리적 검증(Physical Validation)은 현실적인 운영 조건(Realistic Operating Conditions)에서 전체 인식-의사결정-행동 과정(Perception-Decision-Action Process)이 신뢰성을 유지한다는 사실을 입증해야 한다.

범용 물리적 에이전트성(General Physical Agency)은 사전에 정의된 고정된 작업 집합(Fixed Collection of Predefined Tasks)을 실행하는 수준을 넘어서는 능력을 요구한다. 에이전트는 익숙하지 않은 상황(Unfamiliar Situations)을 해석하고, 관련된 활동 사이에서 지식을 전이하며, 변화하는 목표(Changing Objectives)에 따라 행동을 선택해야 한다. 또한 불확실성(Uncertainty)과 자신의 한계(Limitations)를 인식해야 한다. 범용성(Generality)을 향한 발전은 전이 가능한 표현(Transferable Representations)을 강건한 물리적 기술(Robust Physical Skills), 예측 모델(Predictive Models), 신뢰할 수 있는 제어(Reliable Control)와 결합하는 데 달려 있다.

궁극적으로 로봇 에이전트(Robot Agents)와 물리적 에이전트(Physical Agents)는 물리적 세계(Physical World)와의 지능적 상호작용(Intelligent Interaction)에 관한 상호 보완적인 관점(Complementary Perspectives)을 제공한다. 로봇 에이전트는 로봇 플랫폼(Robotic Platforms) 내부에 체화된 지능(Embodied Intelligence)을 강조하는 반면, 물리적 에이전트는 감지(Sensing), 연산(Computation), 구동(Actuation)의 더욱 광범위한 구성(Broader Configurations)을 포괄한다. 피지컬 인공지능(Physical AI)은 인식(Perception), 학습(Learning), 추론(Reasoning), 계획(Planning), 통제된 실행(Controlled Execution)을 통해 이러한 에이전트성의 형태를 연결함으로써 점점 더 적응적이고 조정된 물리적 시스템(Adaptive and Coordinated Physical Systems)을 가능하게 한다.

06.12. From Embodied AI to General Physical Intelligence

체화 인공지능(Embodied AI)은 에이전트(Agent)의 신체(Body), 감각 시스템(Sensory Systems), 행동(Actions), 환경(Environment) 사이의 상호작용에서 발현되는 지능(Intelligence)을 연구한다. 범용 물리 지능(General Physical Intelligence)은 이러한 관점을 다양한 물리적 상황(Physical Situations)을 이해하고 행동할 수 있는 시스템으로 확장한다. 이러한 전환에는 인식(Perception)이나 제어(Control)의 개선만으로는 충분하지 않다. 변화하는 조건에서 물리적 결과(Physical Consequences)를 신뢰성 있게 추론할 수 있는 전이 가능한 지식(Transferable Knowledge), 적응형 행동(Adaptive Behavior), 추론 능력(Reasoning Capabilities)이 필요하다.

전통적인 체화 시스템(Embodied Systems)은 제한적으로 정의된 작업(Tasks), 환경(Environments), 로봇 플랫폼(Robotic Platforms) 안에서 능력을 입증하는 경우가 많다. 내비게이션 정책(Navigation Policy)은 익숙한 건물에서는 우수한 성능을 보이지만 낯선 지형에서는 실패할 수 있다. 조작 시스템(Manipulation System)은 알려진 물체를 처리할 수 있지만 서로 다른 재료(Materials)나 기하학적 구조(Geometries)를 가진 물체에는 어려움을 겪을 수 있다. 범용 물리 지능(General Physical Intelligence)은 작업, 체화 형태(Embodiments), 운영 조건(Operating Conditions) 전반에서 유용성을 유지하는 능력을 개발함으로써 이러한 전문화(Specialization)의 한계를 극복하고자 한다.

범용성(Generality)을 무제한적인 자율성(Unlimited Autonomy)이나 보편적 수행 능력(Universal Competence)과 혼동해서는 안 된다. 물리적으로 지능적인 시스템(Physically Intelligent System)은 광범위하게 전이 가능한 능력(Transferable Capabilities)을 보유하면서도 하드웨어(Hardware), 사용 가능한 센서(Available Sensors), 승인된 운영 영역(Authorized Operating Domain)에 의해 제한될 수 있다. 의미 있는 범용성은 익숙하지 않은 상황을 해석하고, 기존 기술(Existing Skills)을 결합하며, 새로운 요구사항(New Requirements)에 적응하는 능력과 관련된다. 물리적 한계(Physical Limitations)와 불확실성(Uncertainty)은 체화된 운영(Embodied Operation)의 근본적인 특성으로 남는다.

범용 물리적 능력(General Physical Capabilities)의 개발은 인식(Perception), 기하학(Geometry), 동역학(Dynamics), 행동(Action)을 연결하는 표현(Representations)에 의존한다. 에이전트는 개별적인 반응을 암기하는 대신 서로 다른 환경에서도 의미를 유지하는 관계(Relationships)를 식별해야 한다. 물체 영속성(Object Permanence), 공간 구조(Spatial Structure), 접촉 행동(Contact Behavior), 인과적 의존성(Causal Dependencies)은 재사용 가능한 지식(Reusable Knowledge)을 제공한다. 이러한 표현은 익숙한 원리(Familiar Principles)가 낯선 물리적 구성(Unfamiliar Physical Configurations)에서 나타날 때 적응을 지원한다.

세계 모델(World Models)은 범용 지능(General Intelligence)이 즉각적인 관측(Immediate Observations)을 넘어 결과를 예측해야 한다는 점에서 중요하다. 예측 표현(Predictive Representations)은 에이전트가 미래 상태(Future States)를 추정하고, 후보 행동(Candidate Actions)을 비교하며, 불확실성(Uncertainty)을 추론하도록 지원할 수 있다. 전이 가능한 세계 모델(Transferable World Model)은 환경 간에 공유되는 규칙성(Regularities)을 포착하면서 재료(Materials), 동역학(Dynamics), 체화 형태(Embodiment)의 차이를 수용해야 한다. 그 유용성은 궁극적으로 실제 물리적 의사결정(Physical Decisions)의 개선 정도를 통해 평가되어야 한다.

감각운동 학습(Sensorimotor Learning)은 범용 물리적 능력(General Physical Capabilities)을 위한 또 다른 기반을 제공한다. 반복적인 상호작용(Repeated Interaction)을 통해 에이전트는 운동 명령(Motor Commands), 감각 피드백(Sensory Feedback), 환경 변화(Environmental Changes) 사이의 관계를 발견한다. 이러한 경험은 익숙하지 않은 하중(Loads), 표면(Surfaces), 물체 속성(Object Properties)에 대한 적응을 지원한다. 학습이 특정 학습 조건(Training Conditions)에 종속된 고정된 움직임 시퀀스(Fixed Movement Sequences)를 재현하는 대신 근본적인 상호작용 원리(Underlying Interaction Principles)를 포착할 때 일반화(Generalization)는 더욱 실용적으로 이루어질 수 있다.

체화 형태 간 전이(Cross-Embodiment Transfer)는 서로 다른 로봇이 상이한 기계적 구조(Mechanical Structures)와 행동 공간(Action Spaces)을 가지기 때문에 중요한 과제를 제시한다. 바퀴형 로봇(Wheeled Robot), 매니퓰레이터(Manipulator), 사족보행 로봇(Quadruped), 휴머노이드(Humanoid)는 동일한 운동 명령(Motor Commands)을 직접 공유할 수 없다. 그러나 공간적 관계(Spatial Relationships), 물체 행동(Object Behavior), 작업 목표(Task Objectives)에 관한 지식은 재사용할 수 있다. 따라서 범용 물리 지능(General Physical Intelligence)은 전이 가능한 작업 지식(Transferable Task Knowledge)을 체화 형태별 실행 메커니즘(Embodiment-Specific Execution Mechanisms)과 분리할 수 있어야 한다.

파운데이션 모델(Foundation Models)은 다양한 데이터 원천(Data Sources)에서 획득한 광범위한 의미적 표현(Semantic Representations)과 인식 표현(Perceptual Representations)을 제공할 수 있다. 비전-언어 모델(Vision-Language Models)은 명령(Instructions)을 환경 관측(Environmental Observations)과 연결하고, 비전-언어-행동 모델(Vision-Language-Action Models)은 다중모달 학습(Multimodal Learning)을 로봇 행동(Robotic Behavior)으로 확장한다. 이러한 접근법은 유연성(Flexibility)과 작업 전이(Task Transfer)를 개선할 수 있다. 그러나 언어적 능력(Linguistic Competence)과 시각적 이해(Visual Understanding)가 물리적 경험(Physical Experience), 물리적 현실에 기반한 제어(Grounded Control), 검증된 실행(Verified Execution)을 대체할 수는 없다.

계층적 기술 구성(Hierarchical Skill Organization)은 복잡한 작업(Complex Tasks)을 재사용 가능한 행동 구성 요소(Reusable Behavioral Components)로 조합할 수 있도록 한다. 상위 수준 추론(High-Level Reasoning)은 목표를 식별하고, 중간 수준 계획(Intermediate Planning)은 적절한 기술을 선택하며, 하위 수준 제어(Low-Level Control)는 물리적 제약(Physical Constraints) 아래에서 움직임을 실행한다. 시스템은 내비게이션(Navigation), 파지(Grasping), 운반(Transport), 배치(Placement)를 결합하여 익숙하지 않은 목표를 달성할 수 있다. 이러한 기술이 경직된 시퀀스로 적용되는 대신 적응되고 검증될 수 있을 때, 기술 조합(Skill Composition)은 범용성을 지원한다.

지속 학습(Continual Learning)은 물리적 에이전트(Physical Agents)가 새로운 환경(Environments), 물체(Objects), 운영 요구사항(Operational Requirements)을 경험하면서 능력을 개선하도록 한다. 경험(Experience)은 예측 모델(Predictive Models), 인식 시스템(Perception Systems), 행동 정책(Action Policies)을 정교화할 수 있다. 그러나 제한 없는 적응(Unrestricted Adaptation)은 파국적 망각(Catastrophic Forgetting), 불안정한 행동(Unstable Behavior), 안전하지 않은 의사결정(Unsafe Decisions)을 초래할 수 있다. 신뢰할 수 있는 지속 학습을 위해서는 통제된 갱신(Controlled Updates), 기존 능력에 대한 평가(Evaluation Against Previous Capabilities), 성능 저하 탐지 메커니즘(Performance Degradation Detection Mechanisms)이 필요하다.

능동 탐색(Active Exploration)은 수동적 관측(Passive Observation)만으로 얻을 수 없는 정보를 에이전트가 수집하도록 함으로써 범용 지능(General Intelligence)에 기여한다. 로봇은 가려진 영역(Occluded Region)을 조사하거나 물체의 저항(Object Resistance)을 시험하거나 불확실성을 해소하기 위해 관측 시점(Viewpoint)을 조정할 수 있다. 이러한 행동은 감지(Sensing)를 의사결정(Decision-Making)의 의도적인 구성 요소로 전환한다. 물리적 실험(Physical Experiments)은 장비를 손상시키거나 환경을 교란하거나 주변 사람을 위험에 빠뜨릴 수 있으므로 탐색은 안전 제약(Safety Constraints) 안에서 수행되어야 한다.

인과적 이해(Causal Understanding)는 강건한 물리적 추론(Robust Physical Reasoning)을 피상적인 패턴 인식(Superficial Pattern Recognition)과 구별한다. 에이전트는 행동이 어떻게 변화를 발생시키고 환경 속성(Environmental Properties)이 결과에 어떤 영향을 미치는지 학습해야 한다. 물체가 이동했다는 사실을 인식하는 것보다 어떤 작용력(Applied Force)이 변위(Displacement)를 발생시켰는지 이해하는 것이 더 많은 정보를 제공한다. 인과 모델(Causal Models)은 반사실적 추론(Counterfactual Reasoning)을 지원하여 대안적인 행동(Alternative Actions)이나 변화된 물리적 조건(Changed Physical Conditions)에서 어떤 일이 발생할 수 있는지 검토하도록 한다.

장기 시간 범위 자율성(Long-Horizon Autonomy)은 복잡한 목표(Complex Objectives)가 서로 연결된 다수의 의사결정을 요구하기 때문에 추가적인 능력을 필요로 한다. 인식(Perception), 계획(Planning), 실행(Execution)의 오류는 장시간 작업(Extended Tasks)에 걸쳐 누적될 수 있다. 범용 물리 지능(General Physical Intelligence)은 작업 맥락(Task Context)을 유지하고, 편차(Deviations)를 탐지하며, 계획을 수정하고, 실패에서 복구할 수 있어야 한다. 따라서 신뢰할 수 있는 성능은 피드백 기반 실행(Feedback-Driven Execution)과 환경 조건이 이전 가정(Earlier Assumptions)을 무효화할 때 목표를 재평가하는 능력에 의존한다.

범용 물리적 능력(General Physical Capabilities)은 고립된 개별 로봇(Isolated Robots)뿐 아니라 조정된 시스템(Coordinated Systems)에서도 나타날 수 있다. 분산 센서(Distributed Sensors), 엣지 연산(Edge Computation), 이동 플랫폼(Mobile Platforms), 공유 환경 표현(Shared Environmental Representations)은 개별 에이전트가 활용할 수 있는 정보를 확장할 수 있다. 집단 학습(Collective Learning)은 하나의 플랫폼에서 획득한 경험이 다른 플랫폼에도 도움이 되도록 할 수 있다. 그러나 분산 지능(Distributed Intelligence)은 통신 지연(Communication Delays), 일관되지 않은 관측(Inconsistent Observations), 동기화(Synchronization), 물리적 행동에 대한 책임(Responsibility for Physical Actions)과 관련된 과제를 수반한다.

자율성(Autonomy)과 범용성(Generality)의 관계는 신중하게 구별해야 한다. 에이전트는 광범위하게 전이 가능한 지능(Broadly Transferable Intelligence)을 갖추지 않고도 제한된 영역(Narrow Domain)에서 독립적으로 작동할 수 있다. 반대로 시스템은 중요한 결과를 초래하는 행동에 인간 감독(Human Supervision)이 필요하면서도 범용 추론(General Reasoning)을 보여줄 수 있다. 따라서 발전 수준(Progress)은 하나의 자율성 등급(Autonomy Label)이 아니라 적응성(Adaptability), 작업 다양성(Task Diversity), 의사결정 권한(Decision Authority), 운영 신뢰성(Operational Reliability)이라는 별도의 차원에서 평가해야 한다.

안전성(Safety)은 물리적 시스템(Physical Systems)이 익숙하지 않은 작업과 환경을 경험할수록 더욱 중요해진다. 일반화(Generalization)는 에이전트를 검증된 학습 데이터 분포(Validated Training Distributions) 밖의 상황에 노출할 수 있으며, 이러한 상황에서 예측 오류(Prediction Errors)는 즉각적인 물리적 결과(Physical Consequences)를 초래할 수 있다. 독립적인 안전 메커니즘(Independent Safety Mechanisms), 불확실성 모니터링(Uncertainty Monitoring), 행동 제약(Action Constraints), 인간 개입 경로(Human Intervention Pathways)는 여전히 필수적이다. 지능의 향상은 안전한 물리적 운영(Safe Physical Operation)에 관한 기존 요구사항을 약화시키지 않으면서 유용한 능력을 확장해야 한다.

범용 물리 지능(General Physical Intelligence)의 평가는 개별적인 인식 정확도(Perception Accuracy)나 단일 작업 성공률(Single-Task Success)을 넘어서는 벤치마크(Benchmarks)를 필요로 한다. 관련 평가에는 작업 간 전이(Cross-Task Transfer), 익숙하지 않은 물체에 대한 적응(Adaptation to Unfamiliar Objects), 환경 변화에 대한 강건성(Robustness Under Environmental Changes), 예상하지 못한 교란으로부터의 복구(Recovery from Unexpected Disturbances)가 포함된다. 시험(Testing)은 이전에 학습한 조건(Previously Trained Conditions)과 실제로 새로운 상황(Genuinely Novel Situations)을 구별해야 한다. 신뢰할 수 있는 비교(Credible Comparisons)를 위해서는 재현 가능한 물리적 시험(Reproducible Physical Trials)과 명확하게 정의된 운영 경계(Operating Boundaries)가 필요하다.

확장성(Scalability)은 다양한 경험(Diverse Experience)을 효율적인 연산(Efficient Computation) 및 전이 가능한 표현(Transferable Representations)과 결합하는 데 의존한다. 시뮬레이션(Simulation)은 광범위한 상호작용 데이터셋(Interaction Datasets)을 생성할 수 있으며, 실제 환경 운영(Real-World Operation)은 물리적 실행 가능성(Physical Feasibility)과 모델 한계(Model Limitations)에 관한 근거를 제공한다. 엣지 시스템(Edge Systems)은 즉각적인 제어(Immediate Control)를 지원할 수 있고, 대규모 컴퓨팅 인프라(Larger Computing Infrastructure)는 학습(Training)과 공유 학습(Shared Learning)을 지원할 수 있다. 효과적인 아키텍처(Effective Architectures)는 계산 비용(Computational Cost), 응답 지연 시간(Response Latency), 신뢰성(Reliability), 물리적 실행 요구사항(Physical Demands of Execution) 사이의 균형을 유지해야 한다.

인간 협업(Human Collaboration)은 범용 물리 시스템(General Physical Systems)의 개발과 배치(Deployment)에서 계속 중심적인 역할을 수행한다. 사람은 목표(Objectives)를 정의하고, 선호사항(Preferences)을 전달하며, 권한(Permissions)을 설정하고, 허용 가능한 결과(Acceptable Outcomes)를 평가한다. 지능형 에이전트(Intelligent Agents)는 모호성(Ambiguity)과 불확실성(Uncertainty)을 인식하면서 이러한 요구사항을 해석해야 한다. 투명한 행동(Transparent Behavior), 이해 가능한 한계(Understandable Limitations), 적절한 인간 감독(Human Oversight)은 물리적 행동을 운영상의 기대(Operational Expectations) 및 사회적 책임(Social Responsibilities)과 일치시키는 데 도움을 준다.

범용 물리 지능(General Physical Intelligence)을 향한 발전은 단일 모델이나 알고리즘(Algorithm)이 아니라 여러 상호 보완적인 기술 발전(Complementary Advances)을 통해 이루어질 가능성이 높다. 다중모달 인식(Multimodal Perception), 세계 모델링(World Modeling), 로봇 학습(Robot Learning), 계획(Planning), 제어(Control)의 개선은 물리적 수행 능력(Physical Competence)의 서로 다른 측면을 해결한다. 성공적인 행동은 다양한 상황에서 지식(Knowledge), 의사결정(Decisions), 실제 환경 상호작용(Actual Environmental Interactions) 사이의 일관성을 유지하는 데 의존하므로 이러한 기술의 통합(Integration)이 필수적이다.

유용한 발전 관점(Developmental Perspective)은 특화된 물리적 수행 능력(Specialized Physical Competence)을 전이 가능하고 적응적인 능력(Transferable and Adaptive Capabilities)과 구별한다. 초기 시스템(Early Systems)은 통제된 조건(Controlled Conditions)에서 사전에 정의된 작업(Predefined Tasks)을 수행할 수 있으며, 더욱 발전된 시스템은 기술을 재사용하고 새로운 목표(Novel Goals)를 해석하며 플랫폼 간 조정(Cross-Platform Coordination)을 수행할 수 있다. 더 광범위한 범용성(Broader Generality)은 증가하는 불확실성(Increasing Uncertainty) 아래에서 강건한 적응(Robust Adaptation)과 신뢰할 수 있는 운영(Reliable Operation)을 요구한다. 이러한 구분은 보편적으로 합의된 척도(Universally Accepted Scale)가 이미 존재한다는 의미가 아니라 능력의 발전 과정(Capability Progression)을 설명한다.

궁극적으로 체화 인공지능(Embodied AI)에서 범용 물리 지능(General Physical Intelligence)으로의 전환은 작업별 상호작용(Task-Specific Interaction)에서 물리적 세계 전반에 걸친 적응적 이해와 행동(Adaptable Understanding and Action)으로의 변화를 의미한다. 그 목표는 무제한적인 기계 자율성(Unrestricted Machine Autonomy)이 아니라 인식(Perception), 예측(Prediction), 학습(Learning), 물리적 실행(Physical Execution)에 기반한 신뢰할 수 있는 지능(Dependable Intelligence)이다. 이러한 비전을 실현하기 위해서는 전이 가능한 지식(Transferable Knowledge)을 체화 인식 제어(Embodiment-Aware Control), 지속적인 피드백(Continuous Feedback), 체계적인 평가(Systematic Evaluation), 엄격한 안전 공학(Rigorous Safety Engineering)과 통합해야 한다.


저자: Richard Minsoo Go

LinkedIn: Richard Minsoo Go

Top comments (0)