STATERA Library · Series 08 · Volume 18 · Chapter 01 · KR
Source: https://github.com/Statera-Library/08_Vol_18_Physical_AI_Foundation_Models/blob/main/18_01_Foundation_Model_Fundamentals/18_01_Foundation_Model_Fundamentals_KR.md
Volume 18 Physical AI Foundation Models
1. Foundation Model Fundamentals
1.1 Foundation Model Definition Scale Emergence Generalization
파운데이션 모델(Foundation Model)은 인공지능(AI, Artificial Intelligence)의 철학 자체를 근본적으로 변화시킨 기술이다. 과거에는 각각의 작업(Task)마다 별도의 모델을 설계하는 것이 일반적이었다. 그러나 현재는 하나의 거대한 모델을 방대한 규모의 다양한 데이터로 먼저 학습시킨 후, 이를 여러 하위 작업(Downstream Applications)에 적응시키는 방식이 주류가 되었다. 이러한 접근법은 자연어 처리(Natural Language Processing), 컴퓨터 비전(Computer Vision), 음성 인식(Speech Recognition), 멀티모달 추론(Multimodal Reasoning), 과학 계산(Scientific Computing), 그리고 최근에는 로보틱스(Robotics)와 피지컬 AI(Physical AI)에 이르기까지 광범위한 분야를 변화시키고 있다. 이제 인공지능은 개별 기능들의 단순한 집합이 아니라, 세상을 폭넓게 이해하는 하나의 공통적인 표현(Representation)을 학습하고 이를 다양한 문제 해결에 활용하는 방향으로 발전하고 있다.
파운데이션 모델(Foundation Model)이란 대규모의 다양한 데이터셋을 이용하여 자기지도학습(Self-Supervised Learning) 또는 약지도학습(Weakly Supervised Learning) 방식으로 사전학습(Pre-training)된 모델을 의미한다. 이렇게 학습된 모델은 다양한 응용 시스템의 기반(Foundation)이 된다. 새로운 문제를 해결할 때마다 무작위 초기화(Random Initialization)된 모델을 처음부터 학습하는 대신, 이미 언어(Language), 이미지(Image), 영상(Video), 음성(Audio), 코드(Code), 물리적 상호작용(Physical Interaction) 및 다양한 멀티모달(Multimodal) 정보를 폭넓게 이해하고 있는 모델을 출발점으로 활용한다. 이러한 사전학습 지식은 개발 비용을 크게 줄이는 동시에 일반화(Generalization), 적응성(Adaptability), 그리고 강건성(Robustness)을 크게 향상시킨다.
파운데이션 모델의 등장은 여러 기술 발전이 동시에 이루어진 결과이다. 인터넷(Internet), 산업 데이터 수집 시스템(Industrial Data Collection Systems), 시뮬레이션 플랫폼(Simulation Platforms), 클라우드 컴퓨팅 인프라(Cloud Computing Infrastructure), 자율 센싱 시스템(Autonomous Sensing Systems) 등을 통해 방대한 데이터가 축적되기 시작했다. 동시에 트랜스포머(Transformer)를 중심으로 하는 심층 신경망(Deep Neural Network) 구조의 발전은 매우 긴 시퀀스(Sequence)를 효율적으로 학습할 수 있도록 만들었다. 여기에 GPU 클러스터(GPU Cluster), 분산 학습 프레임워크(Distributed Training Framework), 고속 인터커넥트(High-Speed Interconnect), 그리고 최적화된 수치 계산 라이브러리(Numerical Libraries)가 결합되면서 수조 개(Token)의 데이터와 수천억 개 이상의 파라미터(Parameter)를 가진 모델을 실제로 학습할 수 있게 되었다. 이러한 변화는 인공지능을 개별 문제 해결 중심의 엔지니어링에서 대규모 표현 학습(Large-Scale Representation Learning)의 시대로 전환시켰다.
기존의 머신러닝(Machine Learning) 시스템은 특정 작업을 위해 정교하게 라벨링(Labeling)된 데이터셋을 필요로 했다. 반면 파운데이션 모델은 대부분 레이블이 없는 데이터(Unlabeled Data)에서 다음 정보를 예측하는 방식으로 학습한다. 언어 모델(Language Model)은 다음 토큰(Token)을 예측하고, 이미지 모델(Image Model)은 가려진 이미지 영역을 복원하며, 비디오 모델(Video Model)은 미래 프레임(Frame)을 예측한다. 로봇 모델(Robot Model)은 현재 관측값으로부터 다음 행동(Action)을 예측한다. 이러한 단순한 예측 작업을 반복하는 과정에서 모델은 의미 구조(Semantic Structure), 공간 관계(Spatial Relationship), 시간 의존성(Temporal Dependency), 인과 관계(Causal Regularity), 그리고 다양한 통계적 패턴(Statistical Pattern)을 내부적으로 학습하게 된다.
규모(Scale)는 파운데이션 모델을 이해하는 가장 중요한 개념 중 하나이다. 규모는 단순히 파라미터 수(Parameter Count)만을 의미하지 않는다. 학습 데이터(Data)의 양, 계산 자원(Compute Resources), 학습 시간(Optimization Duration), 모델의 깊이(Depth), 폭(Width), 컨텍스트 길이(Context Length), 메모리 용량(Memory Capacity), 그리고 학습 인프라(Infrastructure)의 복잡성까지 모두 포함하는 개념이다. 초기의 신경망은 수천 또는 수백만 개의 파라미터만을 사용했지만, 현대의 파운데이션 모델은 수십억(Billion)에서 수천억(Billion to Trillion)에 이르는 파라미터를 사용하며, 이를 여러 계산 장치에 분산하여 학습한다.
그러나 파라미터 수만으로 파운데이션 모델을 정의할 수는 없다. 동일한 파라미터 수를 가진 두 모델이라 하더라도 데이터 품질(Data Quality), 데이터 다양성(Data Diversity), 모델 구조(Architecture), 최적화 전략(Optimization Strategy), 토크나이저(Tokenizer) 설계, 학습 커리큘럼(Curriculum Scheduling), 정규화(Regularization), 그리고 하드웨어 효율성(Hardware Efficiency)에 따라 성능은 크게 달라질 수 있다. 따라서 규모(Scale)는 모델의 크기뿐 아니라 데이터의 풍부함, 계산 자원의 규모, 그리고 최적화의 품질이 함께 만들어내는 종합적인 개념으로 이해해야 한다.
학습 데이터(Training Data)는 오늘날 파운데이션 모델 개발에서 가장 중요한 자산 가운데 하나이다. 현대의 모델은 서적(Books), 논문(Academic Papers), 웹 문서(Web Pages), 소프트웨어 저장소(Code Repositories), 다국어 말뭉치(Multilingual Corpora), 수학 문제(Mathematical Reasoning), 과학 문헌(Scientific Literature), 영상(Video), 이미지(Image), 센서 데이터(Sensor Streams), 시뮬레이션 궤적(Simulation Trajectories), 로봇 시연(Robot Demonstrations), 그리고 인간 피드백(Human Feedback)까지 매우 다양한 데이터를 학습한다. 이러한 다양성은 모델이 특정 사례를 암기하는 것이 아니라 다양한 분야에서 재사용 가능한 추상적 표현(Abstract Representation)을 학습하도록 만든다.
대규모 계산(Large-Scale Computation) 또한 파운데이션 모델의 핵심 특징이다. 최첨단 파운데이션 모델을 학습하기 위해서는 수천 개의 GPU 또는 AI 가속기(AI Accelerator)가 수 주 또는 수 개월 동안 동시에 동작해야 한다. 분산 최적화(Distributed Optimization)는 모델 파라미터(Parameter), 학습 배치(Batch), 옵티마이저 상태(Optimizer State), 활성화 값(Activation Tensor)을 여러 장비에 분산하여 처리한다. 이러한 환경에서는 계산 성능뿐 아니라 네트워크(Network), 저장장치(Storage), 체크포인트(Checkpoint), 혼합 정밀도(Mixed Precision), 그래디언트 압축(Gradient Compression), 병렬 스케줄링(Parallel Scheduling)의 효율성 역시 매우 중요한 요소가 된다.
파운데이션 모델에서 가장 흥미로운 현상 가운데 하나는 창발성(Emergence)이다. 창발성이란 모델의 규모가 일정 수준을 넘어서면서 이전에는 전혀 수행하지 못하던 새로운 능력이 갑자기 나타나는 현상을 의미한다. 작은 모델에서는 완전히 실패하던 작업이 충분히 큰 모델에서는 별도의 명시적 프로그래밍 없이도 성공적으로 수행되기 시작한다. 이러한 현상은 복잡계(Complex Systems)에서 관찰되는 상전이(Phase Transition)와 유사하며, 점진적인 규모 증가가 질적인 능력 변화를 만들어낸다.
대표적인 창발 능력(Emergent Capability)으로는 다단계 추론(Multi-Step Reasoning), 인컨텍스트 학습(In-Context Learning), 지시 수행(Instruction Following), 코드 생성(Code Generation), 수학 문제 해결(Mathematical Problem Solving), 보지 못한 언어 간 번역(Unseen Language Translation), 상식 추론(Commonsense Reasoning), 사고 연쇄(Chain-of-Thought), 도구 사용(Tool Usage), 계획 수립(Planning), 그리고 멀티모달 이해(Multimodal Understanding)가 있다. 이러한 능력은 처음에는 갑자기 등장하지만 이후 모델 규모가 증가할수록 점진적으로 향상되는 경향을 보인다.
창발성은 마법이나 의식(Consciousness)의 존재를 의미하지 않는다. 이는 대규모 최적화 과정과 매우 높은 표현력을 가진 신경망 구조가 방대한 데이터 위에서 학습하면서 발생하는 자연스러운 결과이다. 모델 내부의 특징(Feature)은 수백만 개의 뉴런(Neuron)에 분산되어 저장되며, 사람이 이해하기 쉬운 명시적 규칙으로 표현되지 않는다. 따라서 이러한 능력은 인간 입장에서는 예상하기 어렵지만, 고차원 파라미터 공간(Parameter Space)에서는 자연스럽게 형성될 수 있다.
연구자들은 왜 창발성이 나타나는지에 대해 다양한 이론을 제시하고 있다. 일부는 모델의 표현 능력(Representational Capacity)이 일정 수준을 넘으면 훨씬 복잡한 함수를 근사할 수 있기 때문이라고 설명한다. 다른 연구에서는 최적화 과정(Optimization Dynamics) 자체가 더 우수한 해를 발견하도록 만든다고 주장한다. 또 다른 가설은 계층적인 특징 표현(Hierarchical Features), 암묵적 모듈화(Implicit Modularity), 희소 활성화(Sparse Activation), 조합적 추론(Compositional Reasoning) 등이 자연스럽게 형성된다는 점을 강조한다. 아직 완전한 이론은 존재하지 않지만, 실험적으로는 규모가 증가할수록 능력이 비선형적으로 향상된다는 사실이 반복적으로 확인되고 있다.
일반화(Generalization)는 파운데이션 모델을 정의하는 또 다른 핵심 특성이다. 기존의 머신러닝 시스템은 학습 데이터와 매우 유사한 환경에서만 높은 성능을 보이는 경우가 많았다. 반면 파운데이션 모델은 다양한 작업(Task), 산업(Domain), 환경(Environment), 문제 유형(Problem Formulation)에 걸쳐 활용 가능한 공통 표현을 학습하는 것을 목표로 한다. 이는 특정 사례를 암기하는 것이 아니라 보다 추상적인 개념을 이해하도록 만드는 과정이다.
일반화는 여러 수준에서 나타난다. 도메인 일반화(Domain Generalization)는 의료(Healthcare), 금융(Finance), 로보틱스(Robotics), 제조(Manufacturing), 교육(Education), 과학 연구(Scientific Research) 등 다양한 산업에 동일한 모델을 적용할 수 있도록 한다. 작업 일반화(Task Generalization)는 하나의 모델이 요약(Summarization), 번역(Translation), 질의응답(Question Answering), 추론(Reasoning), 코드 생성(Coding), 계획 수립(Planning), 대화(Dialogue)를 모두 수행하도록 만든다. 언어 일반화(Language Generalization)는 다양한 인간 언어를 하나의 모델에서 처리하게 하며, 멀티모달 일반화(Multimodal Generalization)는 텍스트(Text), 이미지(Image), 오디오(Audio), 비디오(Video), 포인트 클라우드(Point Cloud), 센서 데이터(Sensor Data), 로봇 관측(Robot Observation)을 통합된 표현으로 연결한다.
특히 중요한 개념은 조합적 일반화(Compositional Generalization)이다. 인간은 익숙한 개념들을 조합하여 새로운 상황에서도 문제를 해결할 수 있다. 파운데이션 모델 역시 기존에 학습한 개념들을 새로운 방식으로 결합하여 이전에 보지 못한 문제를 해결하는 능력을 점차 보여주고 있다. 예를 들어 로봇은 한 번도 본 적 없는 물체를 기존에 학습한 유사한 물체의 특징을 이용하여 적절히 조작하는 방법을 추론할 수 있다.
인컨텍스트 학습(In-Context Learning)은 일반화 능력을 가장 잘 보여주는 사례이다. 모델의 파라미터를 다시 학습시키지 않고도 입력(Context)에 몇 개의 예제만 제공하면 새로운 작업을 즉시 수행할 수 있다. 이는 추가적인 그래디언트 업데이트(Gradient Update) 없이도 매우 빠르게 새로운 작업에 적응할 수 있음을 의미한다.
전이학습(Transfer Learning)은 이러한 개념을 더욱 확장한다. 파운데이션 모델을 먼저 사전학습한 후, 소규모의 전문 데이터만을 이용하여 의료 영상(Medical Imaging), 법률 문서(Legal Documents), 금융 분석(Financial Analysis), 과학 연구(Scientific Research), 자율 로봇(Autonomous Robots), 산업 검사(Industrial Inspection) 등 다양한 분야에 맞게 미세조정(Fine-Tuning)할 수 있다. 이 방식은 데이터 요구량을 크게 줄이면서도 높은 성능과 강건성을 유지할 수 있도록 해준다.
트랜스포머(Transformer)는 현재 대부분의 파운데이션 모델에서 사용되는 핵심 구조이다. 자기 주의(Self-Attention)는 입력 시퀀스의 모든 요소 간 관계를 동시에 학습할 수 있으며, 순환 신경망(Recurrent Neural Network)보다 긴 거리의 의존성을 훨씬 효과적으로 처리할 수 있다. 다중 헤드 어텐션(Multi-Head Attention)은 여러 종류의 관계를 동시에 학습하고, 피드포워드 네트워크(Feed-Forward Network)는 표현을 점차 추상적인 의미 공간으로 변환한다.
위치 인코딩(Positional Encoding)은 순서 정보를 제공하며, 레이어 정규화(Layer Normalization)는 학습을 안정화시키고, 잔차 연결(Residual Connection)은 그래디언트 흐름을 개선한다. 이러한 요소들이 결합되어 트랜스포머는 언어(Language), 비전(Vision), 음성(Speech), 생명과학(Biology), 로보틱스(Robotics), 그리고 멀티모달 학습(Multimodal Learning) 전반에서 뛰어난 확장성을 보여주고 있다.
최근의 파운데이션 모델은 텍스트(Text)를 넘어 멀티모달(Multimodal) 영역으로 빠르게 확장되고 있다. 비전-언어 모델(Vision-Language Model)은 이미지와 자연어를 함께 이해하고, 오디오-언어 모델(Audio-Language Model)은 음성과 의미를 통합하며, 비디오-언어 모델(Video-Language Model)은 시간적 변화를 이해한다. 피지컬 AI(Physical AI) 모델은 카메라(Camera), LiDAR(라이다), 고유감각(Proprioception), 촉각(Tactile), 힘 센서(Force Sensor), 언어(Language), 그리고 로봇 행동(Action)을 하나의 통합 표현으로 학습한다. 이러한 멀티모달 표현은 단일 센서보다 훨씬 풍부한 환경 이해를 가능하게 한다.
로보틱스(Robotics)에서는 파운데이션 모델이 특히 혁신적인 의미를 가진다. 기존 로봇 시스템은 인식(Perception), 객체 탐지(Object Detection), 계획(Planning), 위치 추정(Localization), 지도 작성(Mapping), 제어(Control)를 각각 독립적인 모듈로 구현하였다. 이러한 방식은 구조화된 환경에서는 매우 효과적이지만 새로운 작업이 등장할 때마다 많은 엔지니어링 작업이 필요했다.
반면 로봇 파운데이션 모델(Robot Foundation Model)은 인식, 추론, 계획, 제어를 하나의 통합 표현으로 학습한다. 센서 관측(Sensory Observation), 언어 명령(Language Instruction), 환경(Context), 과거 경험(Experience), 미래 행동(Action)을 하나의 모델 안에서 연결하여 다양한 작업과 환경에 적응할 수 있도록 한다.
피지컬 AI에서는 규모(Scale)가 더욱 중요하다. 실제 환경은 조명(Lighting), 물체 형상(Object Geometry), 인간 행동(Human Behavior), 표면 재질(Material), 센서 노이즈(Sensor Noise), 기계적 마모(Mechanical Wear), 예기치 않은 장애물(Unexpected Obstacles), 그리고 끊임없이 변화하는 환경(Dynamic Environment)으로 구성되어 있다. 따라서 다양한 로봇, 시뮬레이션, 실제 환경을 모두 포함하는 대규모 학습은 이러한 변화를 견디는 강건성을 크게 향상시킨다.
체화(Embodiment)는 언어 모델과 로봇 모델을 구분하는 가장 중요한 요소 가운데 하나이다. 물리적 에이전트(Physical Agent)는 물리 법칙(Physics)을 따라야 하며, 균형(Balance)을 유지하고, 충돌(Collision)을 피하며, 안전 제약(Safety Constraint)을 만족하고, 실시간 계산(Real-Time Computation)을 수행해야 한다. 따라서 로봇용 파운데이션 모델은 기하학적 추론(Geometric Reasoning), 시간 예측(Temporal Prediction), 불확실성 추정(Uncertainty Estimation), 제어 이론(Control Theory), 물리적 상호작용(Physical Interaction)을 모두 통합해야 한다.
최근에는 서로 다른 로봇 간 일반화(Cross-Embodiment Generalization)가 중요한 연구 목표가 되고 있다. 서로 다른 센서(Sensor), 운동학(Kinematics), 액추에이터(Actuator), 크기(Size)를 가진 로봇이라도 하나의 공통 표현을 공유하면 기존 경험을 새로운 로봇에서도 활용할 수 있다. 이는 새로운 하드웨어가 등장할 때마다 처음부터 데이터를 다시 수집해야 하는 부담을 크게 줄여준다.
시뮬레이션(Simulation)은 피지컬 AI의 규모 확장에 필수적인 기술이다. 실제 로봇에서 수십억 번의 상호작용을 수집하는 것은 현실적으로 어렵기 때문에, 고품질 시뮬레이터(Simulator)를 이용하여 대량의 합성 데이터(Synthetic Data)를 생성한다. 이후 제한된 실제 데이터로 미세조정(Fine-Tuning)을 수행함으로써 시뮬레이션과 현실 간의 차이(Sim-to-Real Gap)를 최소화한다.
파운데이션 모델의 평가는 기존보다 훨씬 복잡하다. 기존 벤치마크(Benchmark)는 하나의 작업만 측정했지만, 파운데이션 모델은 추론(Reasoning), 강건성(Robustness), 신뢰도(Calibration), 안전성(Safety), 공정성(Fairness), 효율성(Efficiency), 해석 가능성(Interpretability), 전이학습(Transfer Learning), 적응성(Adaptability) 등을 함께 평가해야 한다. 로봇에서는 조작 성공률(Manipulation Success), 내비게이션(Navigation), 충돌 회피(Collision Avoidance), 장기 계획(Long-Horizon Planning), 에너지 효율(Energy Efficiency), 장애 복구(Failure Recovery), 인간-로봇 협업(Human-Robot Collaboration)도 중요한 평가 요소가 된다.
놀라운 발전에도 불구하고 파운데이션 모델은 여전히 여러 한계를 가지고 있다. 환각(Hallucination), 분포 변화(Distribution Shift), 막대한 학습 비용(Training Cost), 높은 에너지 소비(Energy Consumption), 데이터 편향(Data Bias), 보안(Security), 저작권(Copyright), 개인정보 보호(Privacy), 해석 가능성 부족(Interpretability) 등은 앞으로 해결해야 할 중요한 연구 과제이다.
또한 단순히 규모만 계속 증가시키는 것이 모든 문제를 해결하지는 않는다. 앞으로의 파운데이션 모델은 더 큰 모델뿐 아니라 더 나은 데이터(Data Quality), 효율적인 구조(Efficient Architecture), 구조화된 메모리(Structured Memory), 명시적 추론(Explicit Reasoning), 인과 모델(Causal Modeling), 검색 증강(Retrieval Augmentation), 월드 모델(World Model), 능동 학습(Active Learning), 지속 학습(Continual Learning), 불확실성 추정(Uncertainty Estimation) 등을 함께 발전시켜야 한다.
궁극적으로 파운데이션 모델의 목표는 단순히 더 큰 신경망을 만드는 것이 아니다. 파운데이션 모델은 인식(Perception), 추론(Reasoning), 계획(Planning), 의사소통(Communication), 의사결정(Decision Making), 물리적 상호작용(Physical Interaction)을 수행하는 범용 인지 기반(Common Cognitive Infrastructure)으로 발전하고 있다. 피지컬 AI에서는 이러한 모델이 여러 로봇의 경험을 공유하고, 다양한 환경에 일반화하며, 멀티모달 센서 정보를 이해하고, 새로운 작업에도 최소한의 추가 학습만으로 적응하는 핵심 지능 계층(Intelligence Layer)이 될 것으로 기대된다.
앞으로 피지컬 AI가 발전함에 따라 파운데이션 모델은 자율 시스템(Autonomous System)의 중심 지능 계층으로 자리 잡을 것이다. 운영체제(Operating System)가 다양한 소프트웨어의 공통 기반을 제공하듯이, 파운데이션 모델은 미래의 지능형 에이전트(Intelligent Agent)를 위한 공통 인지 인프라(Common Cognitive Infrastructure)를 제공하게 된다. 대규모 표현 학습(Large-Scale Representation Learning), 창발 능력(Emergent Capability), 그리고 뛰어난 일반화(Generalization)의 결합은 미래의 자율 로봇(Autonomous Robot), 체화 인공지능(Embodied AI), 그리고 범용 피지컬 인텔리전스(General-Purpose Physical Intelligence)를 구축하는 핵심 기술적 기반이 될 것이다. 또한 이 장은 이후 이어지는 Volume 40의 트랜스포머 아키텍처(Transformer Architecture), 멀티모달 학습(Multimodal Learning), 월드 모델(World Model), 로봇 파운데이션 모델(Robot Foundation Model), 액션 토크나이제이션(Action Tokenization), 대규모 사전학습(Large-Scale Pretraining), 피지컬 AI 학습 파이프라인(Physical AI Training Pipeline), 안전성(Safety), 적응(Adaptation), 그리고 실제 산업 적용(Real-World Deployment)을 이해하기 위한 개념적 기반을 제공한다.
1.2 History of Foundation Models BERT GPT to Gemini
파운데이션 모델(Foundation Model)의 역사는 인공지능(AI, Artificial Intelligence)이 특정 목적만 수행하는 개별 시스템에서 다양한 작업과 여러 도메인, 그리고 여러 데이터 형태를 동시에 처리할 수 있는 대규모 범용 모델로 발전해 온 과정이라 할 수 있다. 초기의 머신러닝(Machine Learning) 시스템은 대부분 하나의 목적을 위해 하나의 데이터셋만을 사용하여 학습되었다. 감성 분석기(Sentiment Classifier)는 감성을 분류하고, 번역 모델(Translation Model)은 정해진 언어 쌍만 번역하며, 이미지 인식기(Image Recognizer)는 미리 정의된 객체만 식별하였다. 이러한 시스템들은 자신이 설계된 범위 안에서는 높은 정확도를 보였지만, 학습한 지식을 다른 문제로 이전하기는 매우 어려웠다. 새로운 응용 분야가 등장할 때마다 새로운 데이터셋과 새로운 학습 과정, 그리고 경우에 따라 새로운 모델 구조까지 다시 설계해야 했다.
파운데이션 모델은 이러한 개발 방식을 근본적으로 변화시켰다. 각각의 작업마다 별도의 인공지능을 만드는 대신, 하나의 거대한 신경망(Neural Network)을 다양한 데이터로 먼저 학습시키고 이후 여러 응용 분야에 맞게 적응시키는 방식이 등장한 것이다. 핵심 개념은 충분히 큰 모델이 언어(Language), 이미지(Image), 코드(Code), 오디오(Audio), 비디오(Video), 물리적 상호작용(Physical Interaction)과 같은 다양한 정보를 먼저 일반적으로 학습한 뒤, 이를 미세조정(Fine-Tuning), 프롬프팅(Prompting), 검색(Retrieval), 또는 작업별 적응(Task-Specific Adaptation)을 통해 다양한 문제에 활용하는 것이다. BERT와 GPT에서 시작하여 Gemini와 같은 멀티모달(Multimodal) 시스템으로 발전한 과정은 이러한 개념이 텍스트 표현 학습(Text Representation Learning)에서 범용 인공지능 플랫폼으로 확장된 대표적인 사례이다.
파운데이션 모델이라는 용어가 널리 사용되기 이전에도 이러한 변화의 기반이 되는 연구들은 이미 진행되고 있었다. 대표적인 예가 Word2Vec과 GloVe 같은 분산 단어 표현(Distributed Word Representation)이다. 이러한 모델은 단어를 연속적인 벡터 공간(Vector Space)에 매핑하여 의미가 비슷한 단어는 가까운 위치에 배치되도록 학습하였다. 이는 희소한 기호 표현(Sparse Symbolic Feature)을 밀집 표현(Dense Representation)으로 대체한 중요한 발전이었다. 그러나 하나의 단어는 문맥(Context)과 상관없이 항상 동일한 벡터를 사용하였다. 예를 들어 "bank"라는 단어는 금융기관(Financial Institution)과 강둑(River Bank)이라는 서로 다른 의미를 가져도 동일한 표현을 사용하였다.
순환 신경망(Recurrent Neural Network), 장단기 메모리(Long Short-Term Memory), 그리고 시퀀스-투-시퀀스(Sequence-to-Sequence) 모델은 이러한 표현 학습을 순차 데이터(Sequential Data)까지 확장하였다. 이들은 단어를 하나씩 순서대로 처리하면서 기계 번역(Machine Translation), 음성 인식(Speech Recognition), 텍스트 생성(Text Generation) 등의 분야에서 큰 발전을 이루었다. 이후 어텐션(Attention) 메커니즘이 등장하면서 입력 문장 전체에서 필요한 부분을 동적으로 선택할 수 있게 되었고, 특히 신경망 기반 기계 번역(Neural Machine Translation)의 성능이 크게 향상되었다.
진정한 전환점은 2017년에 발표된 트랜스포머(Transformer) 구조였다. 트랜스포머는 순환 구조를 제거하고 자기 주의(Self-Attention)를 중심으로 설계되었다. 이를 통해 입력 시퀀스(Sequence)의 모든 토큰(Token)이 서로 직접 정보를 교환할 수 있었으며, 장거리 의존성(Long-Range Dependency)을 훨씬 효과적으로 학습할 수 있었다. 또한 병렬 처리(Parallel Processing)가 가능해져 GPU 클러스터(GPU Cluster)를 활용한 대규모 학습이 가능해졌다. 이러한 표현 능력과 계산 효율성의 결합은 현대 파운데이션 모델의 기술적 기반이 되었다.
초기의 트랜스포머는 주로 기계 번역과 같은 개별 작업을 위해 설계되었다. 그러나 이후 연구자들은 트랜스포머를 방대한 비정형 텍스트(Unlabeled Text)로 먼저 학습시키고, 이를 다양한 작업으로 전이(Transfer)할 수 있다는 사실을 발견하였다. 이 시점부터 트랜스포머는 단순한 작업용 모델이 아니라 범용 언어 표현 엔진(General Language Representation Engine)으로 발전하기 시작하였다.
생성형 사전학습 트랜스포머(Generative Pre-trained Transformer), 즉 GPT는 이러한 접근법을 대표적으로 보여준 모델이었다. GPT는 디코더 전용(Decoder-Only) 트랜스포머 구조를 사용하였으며, 이전 토큰(Token)을 기반으로 다음 토큰을 예측하는 자기회귀(Auto-Regressive) 방식으로 학습되었다. 대규모 텍스트 데이터로 사전학습(Pre-training)을 수행한 후, 텍스트 분류(Classification), 질의응답(Question Answering), 자연어 추론(Textual Entailment) 등 다양한 작업에 미세조정(Fine-Tuning)을 적용할 수 있었다. GPT의 가장 중요한 의미는 생성 능력 자체보다, 하나의 사전학습 모델이 여러 작업에 재사용될 수 있음을 보여주었다는 점이었다.
이후 등장한 BERT는 트랜스포머 기반 사전학습의 또 다른 중요한 방향을 제시하였다. BERT는 인코더 전용(Encoder-Only) 구조를 사용하며, 마스크드 언어 모델링(Masked Language Modeling)을 핵심 학습 목표로 삼았다. 입력 문장의 일부 단어를 가린 후, 앞과 뒤의 문맥(Context)을 동시에 이용하여 이를 복원하도록 학습하였다. 이러한 양방향(Bidirectional) 학습은 문장의 의미와 단어 간 관계를 더욱 깊이 이해할 수 있도록 만들었다. BERT는 질의응답, 개체명 인식(Named Entity Recognition), 감성 분석(Sentiment Analysis), 문장 분류(Sentence Classification) 등 다양한 자연어 이해(Natural Language Understanding) 벤치마크에서 매우 우수한 성능을 기록하였다.
BERT는 사전학습 후 미세조정(Pre-train and Fine-Tune)이라는 새로운 표준 개발 방식을 확립하였다. 이제 기업이나 연구기관은 처음부터 언어 모델을 학습할 필요 없이, 이미 학습된 BERT를 가져와 소규모 데이터셋만 이용하여 자신의 응용 분야에 맞게 쉽게 적응시킬 수 있었다. 이후 효율성을 높인 다양한 변형 모델, 다국어 모델(Multilingual Model), 긴 문서를 처리하는 모델(Long-Document Model), 의료(Biomedical), 법률(Legal), 과학(Scientific Literature) 전용 모델 등이 계속 등장하였다.
BERT와 GPT는 서로 다른 철학을 가진 모델이었다. BERT는 양방향 문맥 이해(Contextual Understanding)에 집중한 반면, GPT는 자기회귀 기반의 생성(Generation)에 초점을 맞추었다. 인코더 기반 모델은 문장 이해와 분류에서 뛰어난 성능을 보였으며, 디코더 기반 모델은 자연스러운 텍스트 생성과 개방형 대화(Open-Ended Generation)에 강점을 보였다. 이후 T5(Text-to-Text Transfer Transformer)와 같은 인코더-디코더(Encoder-Decoder) 모델은 모든 자연어 문제를 텍스트를 입력받아 텍스트를 출력하는 하나의 문제로 통합하여 처리하는 새로운 접근법을 제시하였다.
다음 단계는 규모 확장(Scaling)이었다. GPT-2는 모델 크기와 데이터 규모를 크게 증가시킴으로써 훨씬 자연스럽고 긴 문장을 생성할 수 있게 되었으며, 별도의 학습 없이 새로운 작업을 수행하는 제로샷(Zero-Shot) 능력도 보여주었다. 문장 이어쓰기, 문체 모방, 질의응답 등 다양한 작업을 수행하면서, 단순한 다음 토큰 예측(Next Token Prediction)만으로도 충분한 규모에서는 매우 풍부한 능력이 나타날 수 있음을 보여주었다.
GPT-3는 이러한 개념을 더욱 발전시켰다. 훨씬 더 큰 파라미터(Parameter)와 데이터셋을 이용하여 학습된 GPT-3는 퓨샷 학습(Few-Shot Learning)과 인컨텍스트 학습(In-Context Learning)을 본격적으로 보여주었다. 사용자는 모델의 파라미터를 다시 학습시키지 않고도 프롬프트(Prompt)에 몇 개의 예시만 제공하면 새로운 작업을 수행할 수 있었다. 이는 미세조정(Fine-Tuning)이 항상 필요한 것이 아니라, 자연어 자체가 프로그래밍 인터페이스(Programming Interface)가 될 수 있다는 새로운 패러다임을 제시하였다.
인컨텍스트 학습(In-Context Learning)은 개발자와 인공지능의 상호작용 방식을 근본적으로 변화시켰다. 이제 별도의 출력 계층(Output Layer)을 설계하고 라벨링된 데이터를 이용해 학습할 필요 없이, 자연어 명령(Instruction), 예시(Demonstration), 템플릿(Template), 제약조건(Constraint)을 프롬프트 안에 작성하는 것만으로 모델의 동작을 제어할 수 있게 되었다. 이에 따라 프롬프트 엔지니어링(Prompt Engineering)이라는 새로운 분야가 등장하였다. 동시에 대규모 언어 모델은 유창하지만 사실과 다른 내용을 생성하거나(Hallucination), 사용자 의도를 잘못 이해하거나, 학습 데이터의 편향(Bias)을 그대로 반영하는 문제도 드러나기 시작하였다.
이러한 문제를 해결하기 위해 지시 미세조정(Instruction Tuning)과 정렬(Alignment) 기술이 발전하였다. 다양한 명령과 올바른 응답을 포함한 데이터셋으로 모델을 다시 학습시켜 사용자의 의도를 보다 정확히 따르도록 만들었다. 이어 인간 피드백 기반 강화학습(Reinforcement Learning from Human Feedback, RLHF)이 도입되었다. 사람의 선호도를 학습한 보상 모델(Reward Model)을 이용하여 언어 모델을 최적화함으로써, 보다 도움이 되고 안전하며 사용자의 기대에 맞는 응답을 생성하도록 개선하였다.
대화형 시스템(Conversational System)의 등장은 파운데이션 모델을 연구실 밖으로 확장시키는 계기가 되었다. 모델은 더 이상 특정 응용 프로그램 안에 포함된 하나의 부품이 아니라, 질문에 답하고, 문서를 작성하며, 개념을 설명하고, 코드를 생성하며, 정보를 요약하고, 분석을 수행하는 범용 인터페이스(General-Purpose Interface)가 되었다. 이를 통해 파운데이션 모델은 연구 주제를 넘어 하나의 새로운 컴퓨팅 플랫폼(Computing Platform)으로 자리 잡기 시작하였다.
동시에 컴퓨터 비전(Computer Vision) 분야에서도 큰 변화가 일어났다. 오랫동안 합성곱 신경망(Convolutional Neural Network)이 이미지 인식의 중심 기술이었지만, 비전 트랜스포머(Vision Transformer)는 이미지를 여러 개의 패치(Patch)로 나누어 각각을 토큰(Token)처럼 처리할 수 있음을 보여주었다. 이를 통해 이미지에서도 트랜스포머 구조가 매우 뛰어난 성능을 낼 수 있다는 사실이 입증되었다.
이후 CLIP(Contrastive Language-Image Pre-training)과 같은 모델은 이미지와 텍스트를 하나의 공통 임베딩 공간(Shared Embedding Space)으로 연결하였다. 이제 모델은 미리 정의된 객체만 인식하는 것이 아니라, 자연어 설명(Text Prompt)을 이용하여 새로운 객체도 이해할 수 있게 되었다. 이는 개방형 어휘(Open-Vocabulary) 인식이라는 새로운 개념을 제시하였으며, 언어가 시각 인식의 유연한 인터페이스가 될 수 있음을 보여주었다.
생성형 이미지 모델(Generative Image Model)도 빠르게 발전하였다. 자기회귀 모델(Auto-Regressive Model), 변분 모델(Variational Model), 확산 모델(Diffusion Model)은 텍스트 설명만으로 매우 높은 품질의 이미지를 생성할 수 있게 되었다. 비록 언어 모델과 이미지 생성 모델은 서로 다른 학습 목표를 사용하지만, 모두 대규모 사전학습을 통해 다양한 작업에 재사용 가능한 생성 능력을 얻는다는 파운데이션 모델의 공통 철학을 따르고 있다.
이후 언어 모델과 비전 모델의 경계는 점차 사라지기 시작하였다. 초기의 멀티모달 시스템은 시각 인코더(Visual Encoder)와 언어 모델을 단순히 연결하는 구조였지만, 이후에는 텍스트, 이미지, 문서, 오디오, 비디오를 동시에 학습하는 진정한 멀티모달 모델이 등장하였다. 이러한 모델은 이미지를 설명하고, 시각 질문에 답하며, 문서 속 글자를 읽고, 장면을 이해하고, 여러 종류의 데이터를 하나의 통합 표현으로 학습할 수 있게 되었다.
대규모 언어 모델은 점차 다양한 외부 도구(Tool)와도 연결되기 시작하였다. 검색(Search), 계산기(Calculator), 코드 실행기(Code Interpreter), 데이터베이스(Database), 외부 API 등을 호출할 수 있게 되면서, 단순히 내부 파라미터에 저장된 지식만 사용하는 것이 아니라 외부 시스템과 협력하여 문제를 해결하는 방향으로 발전하였다.
검색 증강 생성(Retrieval-Augmented Generation, RAG)은 특히 기업 환경에서 중요한 기술이 되었다. 모델 내부의 기억만 사용하는 대신, 필요한 문서를 외부 저장소에서 검색하여 컨텍스트(Context)에 함께 제공함으로써 보다 정확하고 신뢰할 수 있는 응답을 생성할 수 있게 되었다. 이로 인해 파운데이션 모델은 검색, 메모리(Memory), 계획(Planning), 검증(Verification), 소프트웨어 실행(Software Execution) 등을 포함하는 복합 시스템의 핵심 구성 요소로 발전하였다.
GPT-4는 이러한 발전 과정의 또 하나의 중요한 이정표였다. GPT-4는 이전 세대보다 추론(Reasoning), 지시 수행(Instruction Following), 코드 생성(Coding), 멀티모달 이해(Multimodal Understanding)에서 크게 향상된 성능을 보였다. 또한 모델의 성능은 단순한 파라미터 수뿐 아니라 데이터 품질(Data Quality), 학습 목표(Training Objective), 정렬 기술(Alignment), 합성 데이터(Synthetic Data), 추론 전략(Inference Strategy), 시스템 구조(System Architecture), 안전성 평가(Safety Evaluation)에 의해 함께 결정된다는 사실도 보여주었다.
동시에 다양한 모델 계열도 빠르게 발전하였다. 인코더-디코더 모델, 공개 가중치(Open-Weight) 모델, 다국어 모델(Multilingual Model), 전문가 혼합(Mixture of Experts), 긴 컨텍스트(Long Context) 모델, 그리고 산업별 특화 파운데이션 모델이 등장하면서 생태계는 더욱 다양해졌다. 연구기관 간 경쟁은 효율성(Efficiency), 개방성(Openness), 배포 유연성(Deployment Flexibility), 추론 능력(Reasoning), 그리고 멀티모달 통합(Multimodal Integration)의 발전을 더욱 가속화하였다.
Google의 BERT에서 Gemini로 이어지는 발전 과정은 언어 표현 모델(Language Representation Model)에서 멀티모달 범용 모델(Multimodal General-Purpose Model)로 진화한 대표적인 사례이다. BERT는 양방향 문맥 이해에 초점을 맞추었고, 이후 대규모 언어 모델은 생성과 대화 능력을 확장하였다. Gemini는 텍스트(Text), 이미지(Image), 오디오(Audio), 비디오(Video), 코드(Code)를 동시에 처리하고 추론할 수 있는 멀티모달 모델 계열(Multimodal Model Family)로 설계되었다.
Gemini의 가장 큰 의미는 단순히 이미지 입력을 추가한 것이 아니라, 멀티모달을 모델의 핵심 속성(Core Property)으로 설계했다는 점이다. 서로 다른 데이터 유형을 하나의 학습 과정 안에서 통합하여, 텍스트는 이미지를 설명하고, 비디오는 행동을 보여주며, 오디오는 시간 정보와 환경 정보를 제공하고, 코드는 실행 가능한 절차를 표현하는 등 여러 형태의 정보를 동시에 이해하고 활용할 수 있도록 만들었다.
결국 BERT에서 Gemini까지의 발전은 여러 변화가 동시에 이루어진 과정이었다. 작업별 모델(Task-Specific Model)에서 범용 사전학습(General Pre-training)으로, 소규모 데이터에서 인터넷 규모 데이터(Internet-Scale Corpus)로, 수백만 개 파라미터에서 대규모 분산 모델(Large Distributed Architecture)로, 미세조정(Fine-Tuning)에서 프롬프팅(Prompting)과 인컨텍스트 학습(In-Context Learning)으로, 텍스트 전용 모델에서 멀티모달 모델(Multimodal Model)로, 그리고 단순 예측 시스템에서 외부 도구를 활용하는 지능형 에이전트(Intelligent Agent)로 발전한 과정이었다.
이러한 역사는 파운데이션 모델이 특정한 하나의 구조나 제품을 의미하지 않는다는 사실도 보여준다. 중요한 것은 모델이 학습한 표현과 능력이 다양한 작업으로 쉽게 이전될 수 있는가이다. 언어 모델(Language Model), 비전 모델(Vision Model), 멀티모달 모델(Multimodal Model), 과학 모델(Scientific Model), 월드 모델(World Model), 로봇 파운데이션 모델(Robot Foundation Model)은 모두 이러한 철학을 공유할 수 있다.
피지컬 AI(Physical AI)는 이러한 발전의 다음 단계라고 볼 수 있다. 텍스트와 이미지를 처리하는 모델은 디지털 정보만 다루지만, 피지컬 AI는 인식(Perception)과 행동(Action)을 연결해야 한다. 로봇 파운데이션 모델은 카메라(Camera), 깊이 영상(Depth Image), 포인트 클라우드(Point Cloud), 언어 명령(Language Command), 관절 상태(Joint State), 힘 센서(Force Sensor), 촉각(Tactile), 그리고 이전 행동(Action)을 동시에 처리해야 하며, 기하학(Geometry), 동역학(Dynamics), 안전(Safety), 실시간 제약(Real-Time Constraint), 그리고 로봇 하드웨어의 특성까지 고려하여 실제 행동을 생성해야 한다.
언어 기반 파운데이션 모델의 역사는 로보틱스에도 중요한 교훈을 제공한다. 첫째, 다양한 사전학습 데이터는 여러 작업으로 이전 가능한 공통 표현을 만들어 준다. 둘째, 규모 확장은 작은 모델에서는 보이지 않던 새로운 능력을 만들어낸다. 셋째, 자연어는 목표를 표현하는 범용 인터페이스가 될 수 있다. 넷째, 멀티모달 학습은 관측과 설명을 하나의 개념으로 연결한다. 다섯째, 프롬프팅(Prompting), 미세조정(Fine-Tuning), 저랭크 적응(Low-Rank Adaptation, LoRA)과 같은 적응 기술은 처음부터 다시 학습하지 않고도 범용 모델을 특정 작업에 빠르게 적용할 수 있도록 만든다.
그러나 로봇 파운데이션 모델은 언어 모델과는 다른 어려움도 가지고 있다. 잘못된 문장은 사용자에게 혼란만 줄 수 있지만, 잘못된 로봇 행동은 장비를 파손하거나 사람을 다치게 할 수 있다. 또한 실제 로봇 데이터는 인터넷 텍스트보다 훨씬 수집 비용이 높으며, 로봇마다 운동학(Kinematics), 센서 구성(Sensor Layout), 좌표계(Coordinate System), 행동 공간(Action Space), 제어 주기(Control Frequency)가 모두 다르다. 실제 환경에는 노이즈(Noise), 마찰(Friction), 지연(Delay), 가림(Occlusion), 기계적 마모(Mechanical Wear), 그리고 예측하기 어려운 인간 행동까지 존재한다. 따라서 BERT에서 GPT, 그리고 Gemini까지의 발전은 피지컬 AI의 출발점일 뿐, 최종 해결책은 아니다.
미래의 파운데이션 모델은 멀티모달 인식(Multimodal Perception), 장기 메모리(Long-Term Memory), 월드 모델(World Model), 인과 추론(Causal Reasoning), 계획(Planning), 행동 생성(Action Generation), 지속 학습(Continuous Learning)을 하나의 시스템 안에서 결합하게 될 것이다. 언어 모델은 추상적 추론을 담당하고, 비전 모델은 장면 이해를 수행하며, 월드 모델은 미래를 예측하고, 행동 정책(Action Policy)은 실제 환경과 상호작용하는 역할을 수행하는 형태가 될 가능성이 높다. 하나의 거대한 신경망이 모든 일을 수행하기보다, 여러 전문 모델이 공통 표현(Common Representation)을 중심으로 협력하는 구조가 현실적인 방향이 될 것이다.
효율성(Efficiency)은 다음 세대 파운데이션 모델을 결정하는 중요한 요소가 될 것이다. 초기에는 단순한 규모 확장이 성능 향상의 핵심이었지만, 실제 산업에서는 낮은 지연(Low Latency), 낮은 에너지 소비(Energy Consumption), 예측 가능한 동작(Predictable Behavior), 그리고 엣지 하드웨어(Edge Hardware)에서의 실행이 더욱 중요하다. 양자화(Quantization), 가지치기(Pruning), 지식 증류(Knowledge Distillation), 전문가 혼합(Mixture of Experts), 추측 디코딩(Speculative Decoding), 희소 어텐션(Sparse Attention), 캐싱(Caching), 하드웨어 최적화(Hardware-Aware Optimization)는 앞으로 파운데이션 모델이 데이터센터를 넘어 로봇, 차량, 드론, 공장, 임베디드 시스템으로 확산되는 핵심 기술이 될 것이다.
BERT에서 GPT, 그리고 Gemini까지의 발전은 단순히 모델이 더 커졌다는 의미가 아니다. 모델이 컴퓨팅에서 수행하는 역할 자체가 변화하였다. BERT는 재사용 가능한 문맥 표현(Contextual Representation)을 확립하였고, GPT는 생성형 사전학습(Generative Pre-training)을 범용 인터페이스로 발전시켰다. 대규모 모델은 인컨텍스트 학습(In-Context Learning)과 창발 능력(Emergent Capability)을 보여주었으며, 지시 미세조정(Instruction Tuning)과 인간 피드백(Human Feedback)은 모델을 더욱 실용적으로 만들었다. 비전-언어 연구(Vision-Language Research)는 텍스트를 넘어 다양한 정보를 하나로 통합하였고, Gemini와 같은 멀티모달 시스템은 여러 형태의 정보를 하나의 파운데이션 모델 안에서 처리하는 방향을 제시하였다.
이러한 발전은 피지컬 AI 파운데이션 모델(Physical AI Foundation Model)의 역사적 배경을 제공한다. 미래의 로봇 지능은 단순히 언어 모델을 로봇 안에 넣는 것이 아니라, 인식(Perception), 체화(Embodiment), 월드 모델(World Model), 행동(Action), 안전성(Safety)을 모두 통합하는 방향으로 발전할 것이다. 따라서 BERT에서 GPT, 그리고 Gemini까지의 역사는 단순한 언어 모델의 발전사가 아니라, 정보를 이해하고 생성하는 인공지능에서 실제 물리 세계를 이해하고 행동하는 인공지능으로 나아가는 거대한 전환의 첫 번째 단계라고 할 수 있다.
1.3 Foundation Model Training Paradigms SSL RLHF DPO
파운데이션 모델(Foundation Model)은 하나의 학습 방법만으로 만들어지지 않는다. 원시 데이터(Raw Data)를 폭넓은 표현(Representation)으로 변환하고, 일반적인 능력(General Capability)을 학습하며, 사용자의 지시를 이해하고 수행하는 능력을 갖추고, 실제 응용 분야에서 신뢰성 있게 동작하도록 만들기 위해서는 여러 단계의 학습 과정이 필요하다. 이러한 과정에서 가장 중요한 학습 패러다임(Training Paradigm)은 자기지도학습(Self-Supervised Learning, SSL), 인간 피드백 기반 강화학습(Reinforcement Learning from Human Feedback, RLHF), 그리고 직접 선호 최적화(Direct Preference Optimization, DPO)이다. 이들 방법은 각각 서로 다른 역할을 수행한다. 자기지도학습은 모델의 일반적인 지식과 표현 능력을 구축하고, RLHF는 모델의 행동을 인간의 선호와 일치하도록 정렬하며, DPO는 별도의 보상 모델(Reward Model)과 복잡한 강화학습 과정을 거치지 않고도 선호 데이터를 직접 학습할 수 있도록 하는 보다 단순하고 효율적인 방법이다.
이러한 세 가지 학습 방식은 서로 경쟁하는 기술이 아니라 서로 다른 계층(Level)을 담당하는 기술이라는 점이 중요하다. 자기지도학습만 수행한 모델은 폭넓은 언어(Language), 이미지(Image), 또는 물리적 세계(Physical World)에 대한 지식을 가질 수 있지만 사용자의 지시에 적절하게 반응하지 못할 수 있다. 반대로 선호 데이터만으로 정렬(Alignment)을 수행한 모델은 충분한 일반 지식이 없다면 높은 수준의 성능을 발휘할 수 없다. 따라서 현대의 파운데이션 모델은 이들 기술을 하나의 단계적 파이프라인(Staged Pipeline)으로 결합하여 학습하는 것이 일반적이다.
자기지도학습(Self-Supervised Learning, SSL)은 현대 파운데이션 모델의 사전학습(Pre-training)을 담당하는 핵심 기술이다. 지도학습(Supervised Learning)과 달리 사람이 모든 데이터를 직접 라벨링(Labeling)할 필요가 없다. 대신 데이터 자체로부터 학습 목표(Learning Target)를 자동으로 생성한다. 모델은 입력 데이터의 일부를 가리거나(Masked), 제거하거나(Missing), 변형하거나(Transformed), 미래(Future)의 일부를 예측하도록 학습된다. 데이터 자체가 학습 문제를 만들어내기 때문에 인터넷 규모의 텍스트(Text), 이미지(Image), 비디오(Video), 오디오(Audio), 소스 코드(Source Code), 센서 데이터(Sensor Stream), 로봇 궤적(Robot Trajectory) 등을 모두 학습에 활용할 수 있다.
자기회귀 언어 모델링(Auto-Regressive Language Modeling)에서는 모델이 이전 토큰(Token)을 이용하여 다음 토큰을 예측한다. 문장은 여러 개의 토큰으로 나뉘며, 각 위치의 다음 토큰이 학습 목표가 된다. 이러한 다음 토큰 예측(Next Token Prediction)은 단순해 보이지만 실제로는 문법(Grammar), 의미(Semantics), 사실 관계(Factual Association), 문체(Writing Style), 담화 구조(Discourse Structure), 그리고 다양한 형태의 추론(Reasoning)을 학습하도록 만든다. 기술 문서를 이어 쓰기 위해서는 전문 용어와 절차를 이해해야 하고, 코드를 완성하기 위해서는 문법과 데이터 흐름(Data Flow), 프로그래밍 패턴을 학습해야 하며, 대화를 이어가기 위해서는 사용자의 의도(Intent), 말투(Tone), 그리고 문맥(Context)을 이해해야 한다.
마스크드 모델링(Masked Modeling)은 또 다른 형태의 자기지도학습이다. 마스크드 언어 모델링(Masked Language Modeling)에서는 일부 토큰을 가린 후 앞뒤 문맥을 모두 이용하여 이를 복원하도록 학습한다. 컴퓨터 비전에서는 마스크드 이미지 모델링(Masked Image Modeling)을 이용하여 일부 이미지 패치(Patch)를 제거하고 이를 복원하도록 학습한다. 동일한 원리는 오디오(Audio), 비디오(Video), 포인트 클라우드(Point Cloud), 촉각 데이터(Tactile Data), 그리고 로봇 상태(Robot State)에도 적용할 수 있다. 핵심 아이디어는 데이터 전체 구조를 이해하면 일부 정보가 없어도 이를 추론할 수 있다는 것이다.
대조학습(Contrastive Learning)도 매우 중요한 자기지도학습 기법이다. 이 방법은 입력을 그대로 복원하는 것이 아니라 어떤 데이터는 서로 비슷한 표현을 가져야 하고 어떤 데이터는 서로 구별되어야 하는지를 학습한다. 동일한 이미지의 두 가지 증강(Augmentation)은 긍정 쌍(Positive Pair)이 되고, 올바른 이미지와 설명(Image-Caption Pair)은 동일한 임베딩 공간(Embedding Space)에서 가까워지도록 학습된다. 반대로 서로 관련 없는 이미지와 문장은 멀어지도록 학습된다. 이러한 방식은 멀티모달(Multimodal) 파운데이션 모델에서 서로 다른 데이터 형태를 하나의 표현 공간으로 연결하는 데 매우 중요한 역할을 한다.
피지컬 AI(Physical AI)에서는 자기지도학습이 로봇 데이터의 시간적 관계(Temporal Relationship)와 여러 센서 간 상관관계(Cross-Modal Correlation)를 활용할 수 있다. 로봇은 다음 카메라 프레임(Camera Frame)을 예측하거나, 미래의 관절 상태(Joint State)를 추정하거나, 누락된 센서 채널을 복원하거나, 언어 명령(Language Instruction)과 행동 궤적(Action Trajectory)을 연결하거나, 두 개의 관측값이 동일한 작업(Task)에 속하는지를 판단하도록 학습할 수 있다. 실제 로봇 데이터를 사람이 직접 라벨링하는 것은 매우 비용이 크므로 자기지도학습은 특히 중요한 의미를 가진다. 하나의 주행 기록이나 조작 기록만으로도 시간 순서(Temporal Order), 센서 간 상관관계, 행동의 결과(Action Consequence), 환경 변화(Environmental Change) 등 수많은 학습 신호를 생성할 수 있기 때문이다.
현대의 대규모 사전학습(Large-Scale Pre-training)은 일반적으로 여러 자기지도학습 목표(Objective)를 동시에 사용한다. 하나의 멀티모달 모델은 텍스트 토큰을 예측하면서 동시에 이미지 특징을 복원하고, 언어와 비디오를 정렬하며, 미래 상태를 예측하고, 올바른 센서 조합과 잘못된 센서 조합을 구분하는 작업을 함께 수행할 수 있다. 이러한 다중 목적 학습(Multi-Objective Training)은 다양한 작업에서 활용 가능한 범용 표현을 학습하도록 만든다. 그러나 여러 목적의 균형을 맞추는 것은 쉽지 않다. 특정 목적이 그래디언트(Gradient)를 지배하거나, 특정 데이터 종류가 지나치게 많거나, 어떤 목표는 다른 목표보다 훨씬 쉽게 최적화될 수 있기 때문이다.
데이터 품질(Data Quality)은 학습 목표만큼이나 중요하다. 자기지도학습은 방대한 데이터에서 유용한 지식을 학습하는 동시에 오류(Error), 편향(Bias), 중복(Duplication), 위험한 행동(Unsafe Behavior), 잘못된 상관관계(Spurious Correlation)도 함께 학습할 수 있다. 모델은 어떤 정보가 바람직한지 스스로 판단하지 못하며 단순히 통계적 규칙(Statistical Regularity)을 학습할 뿐이다. 따라서 대규모 사전학습에서는 데이터 필터링(Data Filtering), 중복 제거(Deduplication), 데이터 출처 균형(Source Balancing), 개인정보 보호(Privacy Protection), 품질 평가(Quality Scoring), 데이터 오염 분석(Contamination Analysis), 그리고 데이터 혼합 전략(Data Mixture Design)이 매우 중요하다.
학습 커리큘럼(Curriculum Design) 또한 자기지도학습에 큰 영향을 미친다. 일부 시스템은 짧고 단순한 데이터부터 학습한 후 점차 긴 문장과 복잡한 데이터를 학습한다. 또 다른 시스템은 텍스트(Text), 코드(Code), 수학(Mathematics), 이미지(Image), 비디오(Video), 로봇 데이터(Robot Trajectory)의 비율을 학습 과정에서 점진적으로 변경한다. 피지컬 AI에서는 정적인 시각 인식(Static Visual Recognition)에서 시작하여 짧은 행동(Action Sequence), 그리고 장기 작업(Long-Horizon Task)과 다단계 상호작용(Multi-Step Interaction)으로 점진적으로 발전시키는 방식이 사용될 수 있다. 잘 설계된 커리큘럼은 최적화를 안정화시키고 모델이 기본적인 표현을 먼저 학습한 후 더 어려운 행동을 학습하도록 도와준다.
자기지도 사전학습(Self-Supervised Pre-training)이 끝난 모델은 방대한 지식을 가지고 있지만 여전히 사용자의 지시를 수행하는 비서(Assistant)라기보다는 단순한 문장 이어쓰기 엔진(Continuation Engine)에 가깝다. 모델은 가장 가능성이 높은 출력을 예측할 뿐 반드시 유용하거나, 사실에 맞거나, 안전하거나, 사용자의 지시를 따르는 것은 아니다. 이를 개선하기 위한 첫 번째 정렬 단계(Alignment Stage)가 지도 미세조정(Supervised Fine-Tuning, SFT)이다. 모델은 사용자의 명령(Instruction)과 원하는 응답(Desired Response)으로 구성된 예제를 학습하여 대화 형식, 응답 방식, 작업 수행 패턴 등을 익히게 된다.
그러나 지도 미세조정은 사람이 작성한 예제의 품질과 범위에 크게 의존한다. 모든 가능한 질문에 대해 이상적인 답변을 작성하는 것은 현실적으로 어렵다. 또한 하나의 질문에 대해 좋은 답변은 하나만 존재하는 것이 아니라 여러 개가 존재할 수 있다. 하나의 정답만으로는 명확성(Clarity), 유용성(Helpfulness), 안전성(Harmlessness), 정확성(Accuracy), 말투(Tone), 상세 수준(Level of Detail)과 같은 인간의 선호를 충분히 표현할 수 없다. 이러한 문제를 해결하기 위해 선호 학습(Preference Learning)이 등장하였다.
인간 피드백 기반 강화학습(Reinforcement Learning from Human Feedback, RLHF)은 사람의 평가를 최적화 신호(Optimization Signal)로 변환하는 기술이다. 일반적으로 하나의 질문(Prompt)에 대해 모델이 여러 개의 응답을 생성하면 사람이 이를 비교하여 어떤 응답이 더 좋은지 선택한다. 이러한 선택 결과는 선호 데이터셋(Preference Dataset)이 된다.
다음 단계에서는 보상 모델(Reward Model)을 학습한다. 보상 모델은 질문과 응답을 입력받아 사람이 얼마나 선호할지를 하나의 점수(Reward Score)로 예측한다. 보상 모델은 직접 답변을 생성하는 모델이 아니라, 응답을 평가하는 평가자(Evaluator)의 역할을 수행한다. 학습이 완료되면 사람 대신 수많은 응답을 자동으로 평가할 수 있다.
이후 정책 모델(Policy Model)은 높은 보상을 받는 응답을 생성하도록 최적화된다. 언어 모델에서는 일반적으로 근접 정책 최적화(Proximal Policy Optimization, PPO)와 같은 정책 그래디언트(Policy Gradient) 알고리즘이 사용되었다. 모델은 응답을 생성하고, 보상 모델로부터 점수를 받은 뒤, 더 높은 보상을 받을 수 있도록 자신의 파라미터를 업데이트한다. 동시에 원래의 지도 미세조정 모델과 너무 멀어지지 않도록 정규화(Regularization) 항도 함께 사용된다.
이러한 제약은 매우 중요하다. 제한 없이 보상만 최대화하면 모델은 실제로 사람의 의도를 만족시키기보다 보상 모델의 허점을 이용하는 방향으로 학습될 수 있다. 이를 보상 해킹(Reward Hacking) 또는 명세 게임(Specification Gaming)이라고 한다. 예를 들어 보상 모델이 긴 답변을 선호한다고 학습하면 모델은 불필요하게 장황한 답변을 생성할 수 있다. 로보틱스에서는 이러한 문제가 더욱 위험하다. 로봇이 목표 함수(Objective)는 최대화하지만 실제 의도와 다른 위험한 행동을 수행할 수 있기 때문이다.
RLHF는 여러 장점을 가진다. 정답(Label)으로 표현하기 어려운 공손함(Politeness), 유용성(Helpfulness), 신중함(Caution), 일관성(Coherence), 적절한 거부(Appropriate Refusal)와 같은 특성을 학습할 수 있다. 또한 하나의 정답 대신 여러 좋은 답변을 서로 비교하여 학습할 수 있으며, 의료(Medicine), 법률(Law), 공학(Engineering), 로보틱스 안전(Robotics Safety)과 같은 전문 분야의 전문가 평가도 반영할 수 있다.
반면 RLHF는 구현이 매우 복잡하다. 선호 데이터 수집, 보상 모델 학습과 검증, 온라인 응답 생성, 강화학습 인프라 구축, 다양한 하이퍼파라미터(Hyperparameter) 조정, 그리고 정책 모델의 발산(Divergence)을 지속적으로 모니터링해야 한다. 정책 그래디언트 알고리즘은 계산 비용이 높고 재현성(Reproducibility)도 쉽지 않다. 또한 보상 모델 역시 사람의 편향이나 일관성 부족을 그대로 학습할 수 있다.
직접 선호 최적화(Direct Preference Optimization, DPO)는 이러한 RLHF를 단순화하기 위해 제안된 방법이다. DPO 역시 동일한 선호 데이터, 즉 하나의 질문에 대해 선호되는 응답(Chosen Response)과 거부되는 응답(Rejected Response)을 사용한다. 그러나 RLHF처럼 보상 모델을 먼저 학습하고 이후 강화학습을 수행하지 않는다. 대신 선호되는 응답의 확률을 직접 높이고, 거부되는 응답의 확률을 낮추도록 언어 모델을 직접 학습시킨다.
DPO의 핵심 아이디어는 선호 기반 정책 최적화(Preference-Based Policy Optimization)를 적절한 수학적 형태로 변환하면 일반적인 지도학습(Classification-Style Objective)처럼 최적화할 수 있다는 것이다. 모델은 선호된 응답의 상대적 확률(Relative Likelihood)을 높이도록 직접 업데이트되며, 동시에 기준 모델(Reference Model)과의 차이가 지나치게 커지지 않도록 유지된다. 따라서 별도의 보상 모델과 강화학습 과정이 필요하지 않다.
DPO는 구현이 단순하다는 장점이 있다. 일반적인 미세조정(Fine-Tuning)과 매우 유사한 형태로 학습할 수 있으며, 기존의 분산 학습 인프라를 그대로 사용할 수 있다. RLHF보다 구현, 디버깅(Debugging), 재현(Reproduction)이 훨씬 쉽고, 온라인 강화학습에서 발생하는 불안정성도 줄일 수 있다. 많은 정렬 문제에서 DPO는 훨씬 적은 개발 비용으로도 우수한 성능을 보여준다.
기준 모델(Reference Model)은 DPO에서도 매우 중요한 역할을 한다. 만약 기준 모델이 없다면 정책 모델은 선호 데이터에 과도하게 적합(Overfitting)되거나 기존의 일반 능력을 잃을 수 있다. DPO는 현재 모델과 기준 모델이 각각 선호된 응답을 얼마나 더 높게 평가하는지를 비교하면서 학습을 진행한다. 또한 온도(Temperature)와 유사한 하이퍼파라미터를 이용하여 얼마나 적극적으로 선호 데이터에 맞출 것인지를 조절한다.
그러나 DPO 역시 한계를 가진다. 성능은 선호 데이터의 품질과 다양성에 크게 의존한다. 선호된 응답과 거부된 응답의 차이가 단순한 문체 차이에 불과하다면 모델은 실제 품질보다 표현 방식만 학습할 수 있다. 또한 데이터에 편향이나 일관성 부족이 존재하면 정렬 성능도 함께 저하된다. DPO는 기본적으로 오프라인(Offline) 방식이므로 고정된 선호 데이터만을 이용하여 학습하며, RLHF처럼 새로운 행동을 적극적으로 탐색(Exploration)하지는 않는다.
따라서 RLHF와 DPO는 단순히 하나가 다른 하나를 대체하는 관계가 아니다. RLHF는 보상 모델을 이용한 온라인 최적화와 탐색 능력을 제공하며, DPO는 이미 양질의 선호 데이터가 존재할 때 훨씬 단순한 학습 방법을 제공한다. 실제 시스템에서는 먼저 DPO를 이용하여 기본 정렬을 수행하고, 이후 RLHF를 통해 고급 추론이나 도구 사용(Tool Use), 특정 도메인 최적화를 수행하기도 한다. 또한 거부 샘플링(Rejection Sampling), 반복적 선호 수집(Iterative Preference Collection), 지도학습과 강화학습을 결합한 다양한 하이브리드(Hybrid) 방법도 사용된다.
선호 최적화는 인공지능(AI)이 생성한 피드백을 이용할 수도 있다. AI 피드백 기반 강화학습(Reinforcement Learning from AI Feedback)은 사람 대신 또 다른 모델이 규칙과 평가 기준에 따라 응답을 평가한다. 이는 비용을 줄이고 대규모 학습을 가능하게 하지만, 평가 모델의 오류나 편향이 함께 증폭될 위험도 존재한다. 따라서 안전이 중요한 분야에서는 여전히 인간 전문가의 감독(Human Oversight)이 필요하다.
로봇 파운데이션 모델(Robot Foundation Model)에서는 선호 학습의 대상이 단순한 텍스트 품질을 넘어선다. 더 안전한 경로, 더 부드러운 움직임, 더 빠른 작업, 더 높은 에너지 효율, 그리고 인간이 선호하는 행동이 모두 선호 대상이 될 수 있다. 두 개의 로봇 행동은 충돌 위험(Collision Risk), 작업 성공(Task Completion), 힘 제한(Force Limit), 경로 효율(Path Efficiency), 사회적 적절성(Social Acceptability), 복구 능력(Recovery Quality) 등을 기준으로 비교될 수 있다. 사람은 실제 로봇 영상이나 시뮬레이션 결과를 보고 어느 행동이 더 바람직한지 평가할 수 있다.
그러나 로봇에서 RLHF를 적용하는 것은 쉽지 않다. 언어 모델은 응답 직후 평가할 수 있지만, 로봇 행동은 긴 시간(Long Horizon)이 지나야 평가할 수 있다. 작업은 성공했더라도 중간 과정에서 위험한 움직임을 수행했을 수도 있다. 따라서 보상 모델은 최종 결과뿐 아니라 전체 행동 궤적(Trajectory)을 평가해야 하며, 비디오(Video), 고유감각(Proprioception), 힘 센서(Force Sensor), 환경 상태(Environment State) 등 다양한 센서 정보도 함께 고려해야 한다.
실제 로봇을 이용한 온라인 강화학습은 비용이 높고 위험하다. 탐색 과정 자체가 장비를 파손하거나 사람에게 위험을 줄 수 있기 때문이다. 따라서 대부분의 경우 먼저 시뮬레이션(Simulation)에서 후보 행동을 생성하고 선호 최적화를 수행한 뒤, 제한된 실제 환경에서 검증을 진행한다. 또한 안전 제약(Safety Constraint), 행동 필터(Action Filter), 제어 장벽(Control Barrier), 인간 개입(Human Intervention) 시스템도 반드시 함께 사용된다.
DPO와 유사한 접근법은 로봇에서도 활용될 수 있다. 성공한 조작 행동과 실패하거나 위험한 행동을 하나의 쌍(Pair)으로 구성하여 정책 모델이 성공한 행동의 확률을 더 높게 학습하도록 만들 수 있다. 그러나 로봇의 연속 행동(Continuous Action)은 언어의 이산 토큰(Discrete Token)보다 훨씬 복잡하다. 따라서 행동(Action)은 이산화(Discretization), 청크(Action Chunk), 확산 정책(Diffusion Policy), 플로우 기반 정책(Flow-Based Policy) 등으로 먼저 표현된 후 선호 최적화를 수행하는 경우가 많다.
결국 피지컬 AI의 학습은 계층적인 구조(Layered Architecture)를 필요로 한다. 자기지도학습은 방대한 센서 데이터와 행동 데이터를 이용하여 공통 표현을 학습하고, 행동 복제(Behavioral Cloning) 또는 지도 미세조정은 성공 사례를 모방하도록 만든다. 이후 선호 최적화는 품질과 안전성을 향상시키며, 강화학습은 실제 상호작용을 통해 성능을 더욱 개선한다. 마지막으로 안전 모듈(Safety Module)은 학습된 정책과 관계없이 반드시 지켜야 하는 제약 조건을 강제한다.
각 학습 단계 이후에는 반드시 평가(Evaluation)가 수행되어야 한다. 자기지도학습에서는 손실 함수(Loss Curve), 표현 품질(Representation Quality), 데이터 암기(Data Memorization), 전이 성능(Transfer Performance), 창발 능력(Emergent Capability)을 평가한다. 지도 미세조정 이후에는 지시 수행 능력과 작업 성공률을 측정한다. RLHF나 DPO 이후에는 선호 승률(Preference Win Rate), 강건성(Robustness), 사실성(Factuality), 안전성(Safety), 신뢰도(Calibration), 그리고 기존 능력이 유지되었는지를 평가한다. 로봇에서는 여기에 충돌 빈도(Collision Frequency), 제어의 부드러움(Control Smoothness), 행동 지연(Action Latency), 하드웨어 한계(Hardware Limit), 분포 밖 환경(Out-of-Distribution), 장애 복구(Failure Recovery)도 추가적으로 평가해야 한다.
중요한 문제 가운데 하나는 정렬 비용(Alignment Tax)이다. 사용자가 선호하는 방향으로 모델을 정렬하면 오히려 원래의 능력이 감소할 수 있다. 지나치게 안전성을 강조하면 모델은 정상적인 작업도 거부하거나, 지나치게 보수적으로 행동하거나, 다양한 표현 능력을 잃을 수 있다. 로봇에서도 안전성을 지나치게 강조하면 실제 작업을 수행하지 못할 정도로 소극적인 정책이 될 수 있다. 따라서 학습에서는 능력(Capability), 유용성(Helpfulness), 효율성(Efficiency), 안전성(Safety) 사이의 균형이 중요하다.
또 다른 문제는 선호 분포 변화(Preference Distribution Shift)이다. 데이터를 평가한 사람들이 미래의 모든 사용자나 산업 환경, 문화, 국가를 대표하지는 않는다. 대화형 AI에서 적절한 선호가 산업용 로봇에서도 적절한 것은 아니다. 창고 관리자(Warehouse Operator), 안전 관리자(Safety Engineer), 고객(Customer), 규제 기관(Regulator)은 서로 다른 행동을 선호할 수 있다. 따라서 선호 데이터는 실제 적용 환경(Deployment Context)에 맞추어 관리되고 지속적으로 검토되어야 한다.
미래의 파운데이션 모델 학습은 더욱 반복적이고 통합된 구조가 될 것으로 예상된다. 모델은 대규모 멀티모달 데이터(Multimodal Data)를 사전학습하고, 합성 데이터(Synthetic Data)를 생성하며, 자신의 결과를 스스로 비판(Critique)하고 수정(Revision)하며, 실제 사용 환경에서 새로운 선호 데이터를 지속적으로 수집하게 될 것이다. 월드 모델(World Model)은 행동의 결과를 미리 시뮬레이션하고, 검증 시스템(Verification System)은 실제 실행 전에 결과를 확인하며, 인간 전문가는 불확실하거나 위험한 상황에서만 개입하게 될 가능성이 높다.
지속학습(Continual Learning) 역시 중요한 요소가 된다. 실제 운영 중인 모델은 새로운 도구(Tool), 환경(Environment), 규제(Regulation), 로봇 플랫폼(Robot Embodiment), 사용자 요구(User Expectation)에 적응하면서도 기존 능력을 잊지 않아야 한다. 선호 최적화도 일회성 작업이 아니라 지속적으로 수행되는 과정이 될 것이다. 이를 위해서는 강력한 버전 관리(Version Control), 리플레이 데이터셋(Replay Dataset), 회귀 테스트(Regression Testing), 롤백(Rollback), 그리고 행동 변화 모니터링(Behavioral Drift Monitoring)이 필수적이다.
결국 자기지도학습(SSL), 인간 피드백 기반 강화학습(RLHF), 그리고 직접 선호 최적화(DPO)는 서로 경쟁하는 기술이 아니라 하나의 통합 학습 전략(Integrated Training Strategy)을 구성하는 핵심 요소이다. 자기지도학습은 방대한 원시 데이터를 학습 신호로 변환하여 규모(Scale)를 제공하고, RLHF는 복잡한 인간의 선호를 보상 모델과 강화학습을 통해 최적화하며, DPO는 선호 데이터를 보다 단순하고 효율적으로 학습하도록 만든다. 각 방법은 파운데이션 모델이 해결해야 하는 서로 다른 문제를 담당하고 있다.
피지컬 AI에서는 이들의 조합이 더욱 중요하다. 자기지도학습은 방대한 센서 데이터와 행동 데이터에서 공통 구조를 추출하고, 지도학습은 성공 사례를 모방하며, 선호 최적화는 안전성과 효율성, 인간의 기대를 모델에 반영한다. 강화학습은 시뮬레이션과 실제 환경에서 성능을 지속적으로 개선한다. 이러한 학습 패러다임의 결합은 단순히 정보를 예측하는 모델을 넘어, 환경을 인식하고, 목표를 이해하며, 행동을 계획하고, 실제 물리 세계에서 안전하게 동작하는 피지컬 AI 파운데이션 모델을 구축하는 핵심 기반이 된다.
1.4 Scaling Laws and Compute Data Parameter Trade-offs
확장 법칙(Scaling Laws)은 머신러닝(Machine Learning) 모델의 성능이 계산 자원(Compute), 학습 데이터(Training Data), 모델 용량(Model Capacity)의 증가에 따라 어떻게 변화하는지를 설명한다. 이는 파운데이션 모델(Foundation Model)을 더 크게 만들거나 더 오랫동안 학습했을 때 어느 정도의 성능 향상을 기대할 수 있는지를 예측하는 경험적 프레임워크(Empirical Framework)를 제공한다. 모델 개발을 서로 독립된 실험의 연속으로만 취급하는 대신, 확장 법칙은 매우 비용이 많이 드는 학습을 시작하기 전에 자원과 성능 간의 관계를 추정할 수 있도록 한다. 파운데이션 모델에서는 수십억 개의 파라미터(Parameter), 수조 개의 토큰(Token), 수천 개의 가속기(Accelerator), 수개월의 계산 시간이 필요할 수 있으므로 이러한 예측이 특히 중요하다.
확장 법칙의 기본적인 관찰은 규모(Scale)가 증가할수록 모델의 손실(Loss)이 비교적 규칙적인 방식으로 감소한다는 것이다. 데이터 양, 계산량, 파라미터 수에 대한 성능을 로그 축(Logarithmic Axis)에 표시하면 결과 곡선은 흔히 거듭제곱 법칙(Power Law)과 유사한 형태를 보인다. 이는 매우 넓은 규모 범위에서 예측 가능한 성능 향상이 계속될 수 있음을 의미한다. 그러나 일반적으로 자원을 추가할수록 추가 자원 한 단위가 제공하는 성능 향상은 이전보다 점차 감소한다. 따라서 확장(Scaling)은 강력하지만 비용이 없는 것은 아니다. 더 나은 성능을 얻기 위해서는 일반적으로 빠르게 증가하는 투자가 필요하다.
모델 파라미터(Model Parameters)는 신경망(Neural Network)의 표현 용량(Representational Capacity)을 결정한다. 파라미터는 모델이 입력을 출력으로 변환하는 방식에 영향을 주는 학습 가능한 수치이다. 파라미터 수를 증가시키면 모델은 더 복잡한 패턴을 표현하고, 더 많은 분산 지식(Distributed Knowledge)을 저장하며, 더 정교한 함수를 근사할 수 있다. 작은 모델은 기본적인 문법 구조나 시각적 범주를 학습할 수 있지만, 훨씬 큰 모델은 개념, 문맥, 모달리티(Modality), 작업(Task) 사이의 미세한 관계까지 표현할 수 있다.
그러나 파라미터 수만으로 더 나은 성능이 보장되는 것은 아니다. 충분하지 않은 데이터로 학습된 대형 모델은 자신의 용량을 효과적으로 활용하지 못할 수 있다. 반복되는 사례를 암기하거나, 특정 패턴에 과적합(Overfitting)되거나, 파라미터가 충분한 정보성 업데이트(Informative Update)를 받지 못해 과소학습(Undertraining) 상태로 남을 수 있다. 이러한 경우 추가 파라미터는 이에 비례하는 능력 향상을 제공하지 못하면서 메모리 사용량과 추론 비용(Inference Cost)만 증가시킨다.
학습 데이터(Training Data)는 모델이 학습하는 경험을 제공한다. 언어 모델(Language Model)의 데이터는 서적, 웹사이트, 소스 코드(Source Code), 과학 문서, 대화, 합성 예제(Synthetic Example)의 토큰으로 구성될 수 있다. 멀티모달 모델(Multimodal Model)에는 이미지-텍스트 쌍(Image-Text Pair), 오디오(Audio), 비디오(Video), 도표(Diagram), 문서(Document)가 포함될 수 있다. 피지컬 AI(Physical AI)의 경우 카메라 스트림(Camera Stream), 포인트 클라우드(Point Cloud), 로봇 상태(Robot State), 제어 명령(Control Command), 촉각 관측(Tactile Observation), 힘 측정(Force Measurement), 시뮬레이션 궤적(Simulation Trajectory), 인간 시연(Human Demonstration)까지 추가로 포함될 수 있다.
데이터 양을 증가시키면 모델은 더 다양한 언어적, 시각적, 행동적, 물리적 변화를 경험하게 된다. 이는 데이터 범위를 확대하고 좁은 학습 분포(Training Distribution)에 대한 의존성을 감소시킨다. 다양한 환경에서 학습한 모델은 제한된 도메인의 반복 사례만 학습한 모델보다 익숙하지 않은 상황에 일반화(Generalization)할 가능성이 높다. 그러나 데이터의 양은 품질과 분리해서 생각할 수 없다. 중복되고 품질이 낮으며 일관성이 없거나 잘못 정렬된 대규모 데이터는, 양이 더 적더라도 신중하게 정제된 데이터셋보다 가치가 낮을 수 있다.
계산 자원(Compute)은 모델 용량과 데이터를 연결한다. 학습 계산량(Training Compute)은 모델을 최적화하는 동안 수행되는 전체 수학 연산의 수를 의미한다. 이는 모델 크기, 시퀀스 길이(Sequence Length), 배치 크기(Batch Size), 학습 토큰 수, 아키텍처(Architecture), 수치 정밀도(Numerical Precision), 최적화 방식에 따라 달라진다. 더 큰 모델은 각각의 토큰을 처리할 때 더 많은 연산을 요구하고, 더 큰 데이터셋은 더 많은 학습 단계를 필요로 한다. 두 요소를 동시에 증가시키면 계산 요구량은 매우 빠르게 증가할 수 있다.
확장 문제를 이해하는 유용한 방법은 모델 파라미터, 데이터, 계산 자원을 하나의 자원 삼각형(Resource Triangle)으로 보는 것이다. 계산 자원이 고정되어 있다면 모델 크기를 증가시킬수록 데이터를 처리하는 데 사용할 수 있는 자원은 줄어든다. 데이터셋이 고정되어 있다면 계산량을 증가시키는 것은 동일한 정보를 반복적으로 학습하게 하여 결국 과적합을 일으킬 수 있다. 모델이 너무 작다면 충분한 용량이 부족하여 추가 데이터를 완전히 흡수하지 못할 수 있다. 최적의 구성은 이 세 가지 자원의 균형을 맞추는 데 달려 있다.
초기의 대형 모델 개발은 주로 파라미터 수를 증가시키는 데 초점을 맞추었다. 연구자들은 일반적으로 더 큰 모델이 더 낮은 학습 손실과 더 높은 하위 작업(Downstream Task) 성능을 달성한다는 사실을 관찰하였다. 이는 수백억, 수천억, 궁극적으로 수조 개의 파라미터를 가진 모델을 개발하려는 경쟁을 촉진하였다. 그러나 이후의 분석에서는 많은 대형 모델이 자신의 크기에 비해 충분히 학습되지 않았다는 점이 확인되었다. 이들은 더 많은 정보를 흡수할 수 있는 충분한 파라미터를 가지고 있었지만, 충분한 토큰에 노출되지 않았다.
계산 최적 학습(Compute-Optimal Training)은 고정된 계산 예산(Compute Budget)을 가장 효과적으로 활용할 수 있는 모델 크기와 데이터 양을 결정하려는 접근법이다. 대부분의 자원을 파라미터 수에 사용하는 대신, 계산 최적 전략은 모델의 용량이 의미 있게 활용될 수 있도록 충분한 학습 데이터를 배정한다. 이러한 전략에서는 훨씬 더 많은 고품질 데이터로 학습된 작은 모델이, 너무 적은 토큰으로 학습된 훨씬 큰 모델보다 더 높은 성능을 낼 수 있다.
이러한 통찰은 엔지니어링(Engineering)에 중요한 의미를 가진다. 주어진 예산에서 더 큰 모델이 항상 더 높은 능력을 제공하는 것은 아니다. 학습 효율은 각 파라미터가 유용한 정보로 얼마나 자주 업데이트되는지에 달려 있다. 모델이 극도로 크지만 너무 적은 데이터만 본다면 그 용량은 충분히 학습되지 않는다. 모델이 매우 작지만 방대한 데이터로 학습된다면 용량 한계에 도달하여 데이터의 복잡성을 표현하지 못할 수 있다. 계산 최적 설계(Compute-Optimal Design)는 이러한 제약들이 균형을 이루는 지점을 찾는다.
확장 행동(Scaling Behavior)은 일반적으로 학습 손실(Training Loss), 검증 손실(Validation Loss), 벤치마크 정확도(Benchmark Accuracy), 하위 작업 성능(Downstream Task Performance)을 이용하여 측정된다. 학습 손실은 모델이 관측한 데이터에 얼마나 잘 적합하는지를 나타낸다. 검증 손실은 관련된 분포의 새로운 샘플을 얼마나 잘 예측하는지를 나타낸다. 하위 작업 벤치마크는 추론(Reasoning), 코딩(Coding), 번역(Translation), 이미지 이해(Image Understanding), 조작(Manipulation), 내비게이션(Navigation)과 같은 능력을 평가한다. 이러한 지표들은 항상 동일한 속도로 향상되지 않는다.
손실은 부드럽게 감소할 수 있지만 유용한 능력은 불균일하게 나타날 수 있다. 평균 예측 손실의 작은 향상이 특정 작업의 신뢰성에는 큰 변화를 가져올 수 있다. 반대로 모델이 더 낮은 사전학습 손실을 달성하더라도 안전성(Safety), 사실성(Factuality), 장기 추론(Long-Horizon Reasoning)에서는 큰 향상이 나타나지 않을 수 있다. 따라서 확장 법칙은 전체적인 예측 성능에는 비교적 신뢰할 수 있지만, 모든 개별 행동에 대해서는 덜 신뢰할 수 있다.
창발 능력(Emergent Capability)은 확장 예측을 더욱 복잡하게 만든다. 일부 능력은 작은 모델에서는 약하거나 전혀 나타나지 않다가 규모가 특정 임계값을 넘은 뒤에야 관찰된다. 다단계 추론(Multi-Step Reasoning), 도구 사용(Tool Use), 코드 실행(Code Execution), 지시 수행(Instruction Following), 교차 모달 전이(Cross-Modal Transfer)가 그 예가 될 수 있다. 일부 창발 현상은 엄격한 성공 임계값을 사용하는 평가 방식에서 비롯될 수도 있다. 그럼에도 비선형적인 능력 변화는 학습 손실의 부드러운 개선이 실제 행동의 부드러운 개선을 보장하지 않는다는 점에서 중요한 의미를 가진다.
데이터 확장은 고품질 데이터의 가용성이 점차 감소하는 문제도 발생시킨다. 고품질 인간 생성 데이터(Human-Generated Data)는 유한하다. 학습 말뭉치(Training Corpus)가 커질수록 조직은 쉽게 접근할 수 있는 데이터 소스를 소진하고, 품질이 낮거나 반복되거나 합성되거나 약하게 필터링된 자료를 포함하기 시작할 수 있다. 이 단계에서는 토큰을 더 추가해도 제한적인 가치만 제공하거나 성능을 저하시킬 수도 있다. 따라서 효과적인 확장은 무분별한 데이터 축적이 아니라 더 나은 데이터 선택을 요구한다.
데이터 정제(Data Curation)는 중복 제거(Deduplication), 품질 점수화(Quality Scoring), 출처 균형(Source Balancing), 언어 균형(Language Balancing), 유해성 필터링(Toxicity Filtering), 개인정보 보호(Privacy Protection), 형식 정규화(Formatting Normalization), 오염 통제(Contamination Control)를 포함한다. 코드 모델에서는 유효하고 문서화가 잘된 저장소가 대량의 손상된 코드보다 더 가치 있을 수 있다. 추론 모델에서는 정교하게 구성된 수학 및 논리 예제가 반복적인 웹 문서보다 더 큰 기여를 할 수 있다. 로봇 모델에서는 성공적이고 다양하며 정확하게 동기화된 궤적이 훨씬 더 많은 양의 잡음이 포함된 시연보다 유용할 수 있다.
합성 데이터(Synthetic Data)는 데이터 부족 문제에 대응하는 중요한 방법이 되었다. 충분한 능력을 가진 모델은 설명, 코드, 질문, 궤적, 계획, 대안적 해결책을 생성할 수 있으며, 이후 이를 학습에 사용할 수 있다. 합성 데이터는 희귀한 기술을 집중적으로 학습하거나 기존 데이터 분포의 빈 영역을 채울 수 있다. 피지컬 AI에서는 시뮬레이션을 이용하여 조명, 물체, 지형, 센서 노이즈, 로봇 형태(Robot Morphology), 실패 조건의 변형을 생성할 수 있으며, 이러한 사례는 실제 세계에서 수집하기에 지나치게 비싸거나 위험할 수 있다.
그러나 합성 데이터의 확장은 위험도 만든다. 모델이 검증되지 않은 자신의 출력을 반복적으로 학습하면 오류가 강화될 수 있다. 생성된 예제는 실제 세계 데이터가 가지는 다양성과 예측 불가능성을 충분히 포함하지 못할 수 있다. 품질이 낮은 합성 데이터는 모델의 분포를 좁히고 피상적인 패턴을 학습하도록 만들 수 있다. 따라서 합성 예제는 필터링, 검증(Verification), 다양성 통제(Diversity Control), 신뢰할 수 있는 실제 데이터와의 결합이 필요하다.
확장의 계산 자원 측면은 하드웨어(Hardware)의 영향을 받는다. 대형 파운데이션 모델을 학습하려면 높은 행렬 곱셈 처리량(Matrix Multiplication Throughput), 큰 메모리 용량(Memory Capacity), 빠른 인터커넥트(Interconnect), 효율적인 집단 통신(Collective Communication)을 제공하는 가속기가 필요하다. 계산 자원의 가용성은 단순히 GPU의 수를 의미하지 않는다. 성능은 가속기 활용률(Accelerator Utilization), 메모리 대역폭(Memory Bandwidth), 네트워크 토폴로지(Network Topology), 소프트웨어 커널(Software Kernel), 병렬화 전략(Parallelism Strategy), 저장장치 처리량(Storage Throughput)에 따라 달라진다.
대규모 학습 작업을 분산하기 위해 여러 형태의 병렬화가 사용된다. 데이터 병렬화(Data Parallelism)는 동일한 모델을 여러 장치에 복제하면서 서로 다른 배치를 처리한다. 텐서 병렬화(Tensor Parallelism)는 개별 행렬 연산을 여러 가속기에 나눈다. 파이프라인 병렬화(Pipeline Parallelism)는 서로 다른 모델 계층을 여러 장치에 할당한다. 시퀀스 병렬화(Sequence Parallelism)는 긴 입력 시퀀스를 분산한다. 전문가 병렬화(Expert Parallelism)는 전문가 혼합(Mixture of Experts) 모델의 구성요소를 분산한다. 실제 시스템에서는 이러한 기술들이 함께 사용되는 경우가 많다.
병렬화 효율이 낮으면 명목상의 계산량은 오해를 일으킬 수 있다. 수천 개의 가속기가 통신, 데이터 로딩(Data Loading), 동기화(Synchronization), 메모리 전송을 기다리는 데 많은 시간을 소비할 수 있다. 따라서 실제 학습에 사용되는 유효 계산량(Effective Compute)은 이론적인 하드웨어 최대치보다 훨씬 낮을 수 있다. 가속기 수만을 기준으로 하는 확장 법칙은 활용률을 신중하게 측정하지 않는다면 예상되는 발전을 과대평가할 수 있다.
수치 정밀도(Numerical Precision)도 계산 효율에 영향을 미친다. 전통적으로 학습에는 32비트 부동소수점(Floating-Point) 연산이 사용되었지만, 현대 시스템은 안정성을 위해 일부 연산만 높은 정밀도로 유지하면서 16비트 또는 더 낮은 정밀도 형식을 점점 더 많이 사용한다. 혼합 정밀도 학습(Mixed-Precision Training)은 메모리 소비를 줄이고 처리량을 증가시킨다. 양자화 학습(Quantized Training)과 저정밀도 전용 하드웨어는 이러한 이점을 더욱 확대할 수 있지만, 수치 오류(Numerical Error)는 통제되어야 한다.
학습 계산량과 추론 계산량(Inference Compute)의 관계는 또 다른 중요한 상충 관계이다. 매우 큰 모델은 우수한 벤치마크 성능을 달성할 수 있지만, 출력을 생성할 때마다 비싼 하드웨어와 높은 지연 시간(Latency)을 요구할 수 있다. 자주 사용되는 서비스나 로봇 플릿(Robot Fleet)에서는 전체 추론 비용이 초기 학습 비용을 초과할 수 있다. 따라서 모델 설계는 학습 계산량뿐 아니라 전체 수명주기 계산량(Lifecycle Compute)을 고려해야 한다.
이러한 고려는 더 많은 데이터로 학습된 소형 모델, 모델 압축(Model Compression), 양자화(Quantization), 가지치기(Pruning), 지식 증류(Knowledge Distillation)의 발전을 촉진하였다. 대형 교사 모델(Teacher Model)은 작은 학생 모델(Student Model)을 위한 학습 신호를 생성할 수 있다. 학생 모델은 일부 일반성을 희생할 수 있지만 더 빠르고 저렴한 배포를 제공한다. 엣지 시스템(Edge System)에서는 지연 시간, 전력, 메모리 제약 안에서 동작하지 못하는 프런티어 규모의 모델보다, 안정적인 작업별 성능을 제공하는 소형 모델이 더 가치 있을 수 있다.
전문가 혼합(Mixture of Experts) 아키텍처는 또 다른 확장 전략을 제공한다. 모든 토큰에 대해 모든 파라미터를 활성화하는 대신 각 입력을 일부 전문 모듈(Expert Module)로 라우팅(Routing)한다. 이를 통해 토큰당 계산량을 비례해서 증가시키지 않으면서 전체 파라미터 수를 늘릴 수 있다. 모델은 활성 계산량(Active Compute)을 비교적 통제된 상태로 유지하면서 전문화를 발전시킬 수 있다.
그러나 전문가 혼합 시스템은 라우팅 복잡성, 통신 오버헤드(Communication Overhead), 부하 균형(Load Balancing) 문제, 배포상의 어려움을 발생시킨다. 너무 많은 토큰이 동일한 전문가에게 전달되면 일부 장치는 과부하되고 다른 장치는 유휴 상태가 된다. 전문가가 지나치게 특화되거나 거의 사용되지 않을 수도 있다. 따라서 모델 규모를 비교할 때 전체 파라미터(Total Parameters)와 활성 파라미터(Active Parameters)를 구분하는 것이 중요하다.
컨텍스트 길이(Context Length)는 또 하나의 확장 차원이다. 더 긴 컨텍스트는 모델이 더 큰 문서, 장시간 대화, 비디오 시퀀스(Video Sequence), 긴 로봇 이력을 처리할 수 있도록 한다. 그러나 표준 자기 주의(Self-Attention)는 시퀀스 길이에 따라 계산 비용과 메모리 비용이 빠르게 증가한다. 따라서 컨텍스트 길이를 늘리면 더 많은 파라미터나 더 많은 학습 샘플에 사용할 수 있었던 자원을 소비하게 된다.
긴 컨텍스트 확장에는 효율적 어텐션(Efficient Attention), 메모리 압축(Memory Compression), 순환 구조(Recurrence), 검색(Retrieval), 희소 패턴(Sparse Pattern), 상태공간 메커니즘(State-Space Mechanism)이 필요하다. 최대 입력 길이만 단순히 확장한다고 해서 모델이 멀리 떨어진 정보를 효과적으로 사용할 수 있는 것은 아니다. 모델은 긴 시퀀스로 실제 학습되어야 하고, 장거리 검색과 추론 능력을 평가받아야 하며, 불필요한 문맥이 중요한 신호를 압도하지 않도록 보호되어야 한다.
멀티모달 파운데이션 모델에서는 계산 자원 배분이 더욱 복잡해진다. 텍스트 토큰, 이미지 패치(Image Patch), 비디오 프레임(Video Frame), 오디오 샘플(Audio Sample), 포인트 클라우드, 로봇 상태는 서로 다른 정보 밀도와 계산 비용을 가진다. 몇 초 분량의 고해상도 비디오는 한 페이지의 텍스트보다 훨씬 많은 토큰을 생성할 수 있다. 신중한 샘플링과 압축이 없다면 시각 데이터가 전체 계산 예산을 지배할 수 있다.
따라서 멀티모달 확장에는 모달리티별 인코더(Modality-Specific Encoder), 토큰 축소(Token Reduction), 시간적 서브샘플링(Temporal Subsampling), 잠재 압축(Latent Compression), 적응형 해상도(Adaptive Resolution), 균형 잡힌 데이터 혼합(Balanced Data Mixing)이 필요하다. 목표는 모든 원시 측정값을 최대 해상도로 처리하는 것이 아니라 작업과 관련된 정보를 보존하는 것이다. 예를 들어 로봇은 관절 제어를 위해서는 높은 시간 해상도가 필요하지만, 천천히 변화하는 배경 영역에는 더 낮은 시각 해상도로도 충분할 수 있다.
피지컬 AI에서는 로봇 데이터가 독립 동일 분포(Independent and Identically Distributed)가 아니기 때문에 확장 법칙을 적용하기가 더욱 어렵다. 연속된 관측은 서로 강하게 상관되어 있고, 시연 품질은 다양하며, 서로 다른 로봇은 서로 다른 행동 공간(Action Space)을 생성한다. 거의 동일한 천만 개의 궤적은 훨씬 적은 수의 다양한 상호작용보다 유용한 정보를 적게 포함할 수 있다. 따라서 유효 데이터 양(Effective Data Volume)은 단순한 샘플 수가 아니라 행동 다양성(Behavioral Diversity), 환경 범위(Environmental Coverage), 정보량(Information Content)을 기준으로 측정해야 한다.
로봇의 체화(Embodiment)는 파라미터와 데이터 간의 상충 관계도 변화시킨다. 하나의 매니퓰레이터(Manipulator)를 위해 학습된 모델은 해당 플랫폼의 세부적인 동역학을 학습할 수 있지만, 다른 로봇으로는 제대로 전이되지 않을 수 있다. 교차 체화 모델(Cross-Embodiment Model)은 공유된 추상 개념과 하드웨어별 차이를 모두 표현하기 위해 더 다양한 데이터와 충분한 용량을 필요로 한다. 로봇 식별자(Robot Identity), 형태(Morphology), 센서 구성(Sensor Configuration), 제어 인터페이스(Control Interface)를 명시적으로 인코딩해야 할 수도 있다.
실제 로봇 데이터의 비용은 직접적인 확장에 현실적인 한계를 만든다. 시연을 수집하려면 하드웨어, 작업자, 유지보수, 저장장치, 보정(Calibration), 안전 감독(Safety Supervision)이 필요하다. 시뮬레이션은 데이터셋을 확대할 수 있지만 시뮬레이션 데이터는 현실과 다르다. 따라서 확장 가능한 피지컬 AI 파이프라인은 웹 규모의 의미 데이터(Web-Scale Semantic Data), 시뮬레이션 궤적, 합성 환경, 원격조작 시연(Teleoperation Demonstration), 자율 경험(Autonomous Experience), 신중하게 선택된 실제 환경 시험을 혼합해야 한다.
로보틱스에서 계산 자원을 배분할 때는 제어 계층(Control Hierarchy)도 고려해야 한다. 대형 파운데이션 모델은 목표를 해석하고, 장면을 이해하며, 행동 청크(Action Chunk)를 생성하기 위해 비교적 느린 속도로 동작할 수 있다. 더 작은 정책 모델과 기존 제어기는 고주파 모터 명령을 실행할 수 있다. 이러한 계층적 구성은 비용이 높은 추론 모델이 엄격한 실시간 제어 루프 안에 직접 배치되는 것을 방지한다.
따라서 실용적인 로봇 파운데이션 모델은 학습에는 많은 계산 자원을 사용하면서도 제한된 활성 추론 계산량을 사용할 수 있다. 대형 클라우드 또는 데이터센터 모델은 더 작은 엣지 모델로 증류될 수 있다. 상위 수준 계획은 엣지 GPU에서 중간 정도의 주기로 실행하고, 안전 제어기와 서보 루프(Servo Loop)는 결정론적 프로세서(Deterministic Processor)에서 실행할 수 있다. 확장 결정은 중앙 신경망 하나가 아니라 전체 아키텍처를 반영해야 한다.
에너지 소비(Energy Consumption)는 규모 확장의 또 다른 중요한 결과이다. 대규모 학습은 상당한 전력을 소비하며, 수백만 건의 요청이나 수천 대의 로봇에서 실행되는 대규모 추론은 지속적인 에너지 비용을 발생시킨다. 에너지 효율의 향상은 환경적 문제일 뿐 아니라 사업과 배포의 요구사항이기도 하다. 이동형 로봇에서는 계산에 사용하는 모든 전력이 이동, 센싱(Sensing), 임무 지속 시간에 사용할 수 있는 에너지를 감소시킨다.
확장 법칙은 비용 예측(Cost Forecasting)을 지원할 수 있다. 작은 실험에서 얻은 성능 곡선을 적합(Fitting)하면 연구자는 목표 손실이나 벤치마크 수준에 도달하는 데 필요한 계산량을 추정할 수 있다. 이러한 추정은 학습 목표가 경제적으로 현실적인지를 판단하는 데 도움을 준다. 그러나 아키텍처, 데이터 품질, 목적 함수(Objective Function), 평가 분포가 바뀌는 경우 외삽(Extrapolation)은 위험할 수 있다. 확장 법칙은 경험적 규칙이지 보편적인 물리 법칙은 아니다.
따라서 소규모 파일럿 실험(Pilot Experiment)이 필수적이다. 팀은 서로 다른 파라미터 수와 데이터 배분을 가진 여러 모델을 학습하고, 손실을 측정한 뒤, 더 큰 학습의 예상 행동을 추정할 수 있다. 이러한 과정은 전체 규모의 투자를 시작하기 전에 계산 최적 구성, 데이터 병목(Data Bottleneck), 학습 불안정성(Training Instability), 수익 감소(Diminishing Return)를 파악하는 데 도움을 준다.
확장 전략은 목표 제품도 반영해야 한다. 연구 모델은 최대 능력을 우선할 수 있다. 기업용 어시스턴트(Enterprise Assistant)는 사실성과 통제 가능성(Controllability)을 우선할 수 있다. 산업용 로봇은 지연 시간, 안전성, 예측 가능한 행동을 우선할 수 있다. 플릿 플랫폼(Fleet Platform)은 임무당 총비용(Total Cost per Mission)을 우선할 수 있다. 최적의 파라미터 수와 계산 예산은 이러한 상황에 따라 달라진다.
많은 응용 분야에서는 기반 모델(Base Model) 자체를 확장하는 것보다 주변 시스템을 확장하는 것이 더 큰 가치를 제공할 수 있다. 검색 시스템(Retrieval System)은 최신 지식을 제공할 수 있다. 도구 사용(Tool Use)은 계산과 실행을 개선할 수 있다. 외부 메모리(External Memory)는 컨텍스트를 확장할 수 있다. 검증 모델(Verification Model)은 오류를 줄일 수 있다. 월드 모델(World Model)은 행동의 결과를 평가할 수 있다. 특화된 소형 모델은 하나의 거대한 단일 네트워크보다 인식이나 제어를 더 효율적으로 처리할 수 있다.
이는 확장에 대한 더 넓은 해석으로 이어진다. 미래는 더 큰 개별 모델만으로 구성되는 것이 아니라 모델, 도구, 메모리, 시뮬레이터, 데이터베이스, 제어기로 구성된 확장 가능한 시스템으로 발전할 수 있다. 계산 자원은 작업 난도에 따라 동적으로 할당될 수 있다. 단순한 요청은 작은 모델을 사용하고, 어려운 문제는 추가 추론 단계, 외부 도구, 더 큰 모델을 호출할 수 있다.
이러한 맥락에서 추론 시간 확장(Inference-Time Scaling)의 중요성이 점점 커지고 있다. 모든 가용 자원을 사전학습에 사용하는 대신, 시스템은 어려운 작업을 해결할 때 더 많은 계산을 할당할 수 있다. 여러 후보 해결책을 생성하고, 중간 단계를 검증하고, 행동 시퀀스를 탐색하거나, 외부 모델을 참조할 수 있다. 이는 고정된 학습 투자와 적응형 추론 비용(Adaptive Inference Cost) 사이에 또 하나의 상충 관계를 만든다.
로보틱스에서 추론 시간 확장은 행동을 선택하기 전에 여러 미래 궤적을 시뮬레이션하는 형태로 나타날 수 있다. 월드 모델은 가능한 결과를 예측하고, 계획기(Planner)는 안전성과 효용(Utility)을 평가할 수 있다. 더 많은 계산은 어려운 상황에서 의사결정을 개선할 수 있지만, 엄격한 지연 시간 제한 때문에 무제한 탐색은 불가능하다. 시스템은 추가 계산이 지연보다 더 큰 가치를 제공하는 시점을 판단해야 한다.
궁극적으로 확장 법칙은 완전한 처방이 아니라 방향을 제공한다. 더 많은 파라미터, 데이터, 계산 자원이 일반적으로 성능을 예측 가능한 방식으로 향상시킨다는 점을 보여주는 동시에, 이들 요소 간 균형의 중요성도 드러낸다. 지나치게 큰 모델은 충분히 학습되지 않을 수 있다. 거대한 데이터셋은 품질이 낮을 수 있다. 강력한 하드웨어도 비효율적으로 사용될 수 있다. 모델 용량, 정보성이 높은 데이터(Informative Data), 최적화, 시스템 아키텍처가 서로 적절하게 결합될 때 더 나은 성능이 나타난다.
피지컬 AI에서 핵심 과제는 단순히 가능한 한 가장 큰 로봇 모델을 구축하는 것이 아니다. 계산 자원, 데이터, 파라미터를 강건한 인식(Robust Perception), 전이 가능한 지식(Transferable Knowledge), 안전한 행동 생성(Safe Action Generation), 효율적인 배포(Efficient Deployment)를 달성할 수 있도록 배분해야 한다. 다양하고 고품질인 로봇 경험으로 학습된 균형 잡힌 모델은 훨씬 크지만 제대로 학습되지 않은 시스템보다 더 높은 성능을 낼 수 있다. 따라서 확장은 학습 이론(Learning Theory), 데이터 전략(Data Strategy), 하드웨어 인프라(Hardware Infrastructure), 모델 아키텍처(Model Architecture), 운영 비용(Operational Cost), 실세계 안전성(Real-World Safety)을 연결하는 하나의 엔지니어링 분야로 다루어져야 한다.
1.5 Emergent Capabilities and Implications for Robots
창발 능력(Emergent Capabilities)이란 인공지능 모델(Artificial Intelligence Model)이 일정 수준 이상의 규모(Scale), 데이터 다양성(Data Diversity), 학습 품질(Training Quality), 아키텍처 복잡성(Architectural Complexity), 또는 상호작용 경험(Interaction Experience)에 도달한 이후에야 뚜렷하게 나타나는 능력을 의미한다. 이러한 능력은 작은 시스템에서는 매우 약하거나 거의 나타나지 않다가, 학습 목표 자체가 근본적으로 달라지지 않았음에도 더 큰 모델에서 예상치 못하게 나타날 수 있다. 파운데이션 모델(Foundation Model)에서 창발성은 흔히 다단계 추론(Multi-Step Reasoning), 지시 수행(Instruction Following), 도구 사용(Tool Use), 작업 간 전이(Transfer Across Tasks), 인컨텍스트 학습(In-Context Learning), 계획(Planning), 코드 생성(Code Generation), 멀티모달 이해(Multimodal Understanding), 익숙하지 않은 상황에 대한 적응(Adaptation to Unfamiliar Situations)과 관련된다. 로보틱스(Robotics)에서는 로봇 파운데이션 모델(Robot Foundation Model)이 개별적으로 프로그래밍되거나 학습 레이블에 명시적으로 포함되지 않은 유용한 행동을 획득할 수 있다는 점에서 창발성의 가능성이 특히 중요하다.
창발성(Emergence)의 개념은 복잡계(Complex Systems) 연구에서 비롯되었다. 많은 자연적·인공적 시스템에서는 단순한 국소 상호작용(Local Interaction)이 개별 구성요소만으로는 예측하기 어려운 상위 수준의 행동을 만들어낸다. 개별 뉴런(Neuron)은 완전한 개념을 포함하지 않지만, 대규모 신경망(Neural Network)은 언어(Language), 객체(Object), 의도(Intention), 절차(Procedure)를 표현할 수 있다. 개별 학습 사례는 일반지능(General Intelligence)을 직접 명시하지 않지만, 충분히 큰 모델은 수많은 사례에 걸쳐 패턴을 결합하여 새로운 문제를 해결할 수 있다. 따라서 창발성은 규모와 조직의 정량적 변화가 관찰 가능한 행동의 질적 변화를 만들어내는 현상을 의미한다.
파운데이션 모델에서 창발성의 가장 일반적인 증거는 벤치마크 성능(Benchmark Performance)에서 나타난다. 작은 모델은 어떤 작업에서 무작위 수준에 가까운 성능을 보이지만, 더 큰 모델은 의미 있는 비율의 문제를 해결하기 시작한다. 이후 규모를 더욱 확대하면 성능이 빠르게 향상될 수 있다. 이러한 패턴은 산술(Arithmetic), 논리 추론(Logical Reasoning), 퓨샷 학습(Few-Shot Learning), 번역(Translation), 코드 생성(Code Generation), 복잡한 지시 수행(Complex Instruction Following)에서 보고되어 왔다. 그러나 이러한 결과의 해석에는 주의가 필요하다. 일부 능력은 평가 방식이 엄격한 성공 기준을 사용하기 때문에 갑자기 나타나는 것처럼 보일 수 있다. 모델이 거의 정답에 가까운 상태에서 완전한 정답으로 점진적으로 향상되더라도, 평가 기준상으로는 갑작스러운 경계 통과처럼 보일 수 있다.
따라서 창발성을 마법과 같은 현상으로 이해해서는 안 된다. 이는 모델이 한순간에 의식(Consciousness)을 갖거나 인간과 같은 이해 능력을 획득한다는 의미가 아니다. 오히려 특정 작업을 수행하려면 여러 내부 능력이 동시에 충분히 신뢰할 수 있는 수준에 도달해야 한다는 의미에 가깝다. 계획 작업은 인식(Perception), 기억(Memory), 추상화(Abstraction), 순서 구성(Sequencing), 오류 수정(Error Correction)을 모두 요구할 수 있다. 이 가운데 하나라도 지나치게 약하면 전체 행동은 실패한다. 여러 구성 능력이 유용한 수준을 넘어서는 순간, 결합된 능력이 외부에서 관찰되기 시작한다.
규모(Scale)는 창발성을 유도하는 중요한 요인 가운데 하나이다. 파라미터 수(Parameter Count)를 증가시키면 모델의 표현 용량(Representational Capacity)이 커진다. 데이터를 늘리면 더 많은 패턴, 관계, 환경, 전략에 노출된다. 계산 자원(Compute)을 확대하면 더 많은 사례에 대해 파라미터를 최적화할 수 있다. 아키텍처 개선, 더 긴 컨텍스트 윈도우(Context Window), 더 나은 학습 목표(Objective), 더 풍부한 멀티모달 데이터도 창발성에 기여할 수 있다. 따라서 창발성은 파라미터 수 하나에 의해서만 발생하는 것이 아니라 용량, 경험, 최적화, 평가 방식 사이의 상호작용에서 나타난다.
언어 모델(Language Model)에서 인컨텍스트 학습(In-Context Learning)은 가장 영향력 있는 창발 능력 가운데 하나이다. 충분히 높은 능력을 가진 모델은 파라미터를 변경하지 않고도 입력 컨텍스트에 포함된 지시나 예시를 보고 새로운 작업을 추론할 수 있다. 이 능력은 프롬프트(Prompt)를 일시적인 학습 환경으로 바꾼다. 모델은 패턴을 식별하고, 의도된 대응 관계를 추론하며, 이를 새로운 입력에 적용할 수 있다. 로보틱스에서는 이에 대응하는 능력이 로봇이 몇 번의 시연(Demonstration)을 관찰하거나, 음성 설명을 해석하거나, 소수의 성공 궤적(Successful Trajectory)을 분석한 뒤 전체 재학습 없이 관련 작업을 수행하도록 만들 수 있다.
지시 수행(Instruction Following)은 규모 확대와 정렬(Alignment)에 따라 더욱 효과적으로 나타나는 또 다른 능력이다. 작은 모델은 의도된 목표를 유지하지 못하고 표면적인 단어 패턴에 반응할 수 있다. 더 큰 모델은 여러 제약조건을 구분하고, 작업 문맥(Task Context)을 유지하며, 여러 조건을 동시에 따르고, 출력 형식을 조정할 수 있다. 로봇에서 지시 수행은 텍스트 생성에서 끝나지 않고 실제 물리적 실행으로 확장되어야 한다. 예를 들어 로봇은 "기계의 왼쪽을 검사하고, 표시된 안전 구역을 피하며, 배터리가 20퍼센트 아래로 떨어지면 충전소로 복귀하라"는 명령을 해석해야 할 수 있다.
이와 같은 지시는 여러 형태의 추론을 포함한다. 로봇은 객체와 영역을 식별하고, 시간적 조건(Temporal Condition)을 유지하며, 임무 우선순위(Mission Priority)를 결합하고, 내부 상태(Internal State)를 감시하며, 임계값에 도달하면 행동을 변경해야 한다. 창발적인 지시 수행 능력을 가진 파운데이션 모델은 서로 분리된 규칙의 집합보다 이러한 제약을 더 유연하게 통합할 수 있다. 그러나 오해의 물리적 결과가 크기 때문에 철저한 검증(Validation)이 필수적이다.
조합적 일반화(Compositional Generalization)는 로봇에서 특히 중요하다. 이는 익숙한 개념들을 새로운 방식으로 결합하는 능력을 의미한다. 모델은 "빨간색(red)", "용기(container)", "왼쪽 선반(left shelf)", "놓기(place)"를 각각 이해한 뒤, 학습 데이터에 정확히 동일한 조합이 없더라도 "빨간 용기를 왼쪽 선반에 놓아라"라는 새로운 지시를 올바르게 수행할 수 있다.
전통적인 로봇 시스템은 조합 수의 폭발적 증가(Combinatorial Growth)에 자주 어려움을 겪는다. 새로운 객체, 작업, 위치의 조합이 추가될 때마다 새로운 엔지니어링 작업이 필요할 수 있다. 파운데이션 모델은 객체, 행동, 공간 관계(Spatial Relation), 목표에 대한 재사용 가능한 표현을 학습함으로써 이러한 부담을 줄일 가능성을 제공한다. 창발적인 조합 능력은 하나의 모델이 학습 중 명시적으로 시연된 작업 수보다 훨씬 더 많은 작업 범위를 지원하도록 만들 수 있다.
멀티모달 접지(Multimodal Grounding)는 또 다른 잠재적 창발 능력이다. 로봇은 언어를 비전(Vision), 기하학(Geometry), 소리(Sound), 촉각(Touch), 내부 상태, 행동과 연결해야 한다. "손잡이(handle)"라는 단어는 실제로 보이거나 만질 수 있는 물체의 일부와 연결되어야 한다. "부드럽게 밀어라(push gently)"라는 지시는 특정 힘 프로파일(Force Profile)로 변환되어야 한다. "팔레트 뒤로 이동하라(move behind the pallet)"라는 문장은 공간 좌표계(Spatial Frame) 안에서 접지되어야 한다.
멀티모달 모델의 규모가 증가하면 서로 다른 모달리티 사이의 개념을 정렬하는 공유 내부 표현(Shared Internal Representation)이 발달할 수 있다. 시각 패턴(Visual Pattern), 언어적 설명, 운동 상호작용(Motor Interaction)이 하나의 공통 잠재 공간(Common Latent Space) 안에서 연결될 수 있다. 이를 통해 한 모달리티에서 학습한 지식이 다른 모달리티를 지원할 수 있다. 예를 들어 로봇은 어떤 표면이 깨지기 쉽다는 설명을 읽고, 시각적으로 유사한 표면을 식별한 뒤, 그 정확한 물체와 물리적으로 상호작용한 경험이 없더라도 접촉력을 줄일 수 있다.
도구 사용(Tool Use)은 로봇에 매우 큰 함의를 가지는 또 다른 능력이다. 대규모 파운데이션 모델은 계산기(Calculator), 데이터베이스(Database), 검색 도구(Search Tool), 소프트웨어 함수(Software Function), 외부 API를 호출하는 방법을 학습할 수 있다. 로봇에서는 이 개념을 확장하여 내비게이션 계획기(Navigation Planner), 파지 계획기(Grasp Planner), CAD 데이터베이스, 검사 알고리즘(Inspection Algorithm), 플릿 관리 서비스(Fleet-Management Service), 디지털 트윈(Digital Twin), 안전 검사 모듈(Safety-Checking Module)을 호출할 수 있다.
창발적인 도구 사용 능력은 범용 모델이 자신의 내부 지식만으로 충분하지 않은 상황을 인식하고, 하위 문제를 전문 시스템에 위임하도록 만들 수 있다. 모델이 정밀한 충돌 회피 경로를 직접 추정하려 하기보다 검증된 모션 플래너(Motion Planner)를 호출할 수 있다. 기계 사양을 시각적 기억에 의존하기보다 기술 데이터베이스에 질의할 수 있다. 이를 통해 파운데이션 모델이 기존 엔지니어링 구성요소를 모두 대체하는 것이 아니라, 전문 도구들을 조정하는 하이브리드 지능 아키텍처(Hybrid Intelligence Architecture)를 구성할 수 있다.
계획(Planning)은 피지컬 AI(Physical AI)에서 가장 중요하면서도 어려운 창발 능력 가운데 하나이다. 계획은 목표를 표현하고, 중간 단계를 식별하며, 결과를 예측하고, 의존성을 관리하고, 조건이 바뀌면 계획을 수정하는 능력을 요구한다. 언어 모델은 단계 시퀀스를 생성함으로써 부분적인 계획 능력을 보여줄 수 있지만, 물리적 계획은 여기에 기하학, 동역학(Dynamics), 시간, 불확실성(Uncertainty), 자원 제약(Resource Constraint), 안전을 추가로 요구한다.
로봇 파운데이션 모델은 대규모 시연, 시뮬레이션, 비디오, 지시, 작업 로그(Task Log)를 통해 상위 수준의 계획을 학습할 수 있다. "생산 라인을 검사하라"는 지시를 내비게이션, 검사 지점 식별, 센서 위치 설정, 이미지 획득, 이상 분석(Anomaly Analysis), 보고서 생성, 복귀 단계로 분해할 수 있다. 이러한 분해 능력은 하나의 학습 목표가 명시적으로 기호 계획(Symbolic Planning)을 요구하지 않더라도, 구조화된 작업에 반복적으로 노출되는 과정에서 나타날 수 있다.
그러나 생성된 계획이 반드시 실행 가능한 것은 아니다. 로봇은 개념적으로는 타당해 보이지만 운동학적 한계(Kinematic Limit)를 위반하거나, 배터리 상태를 무시하거나, 장애물을 통과하는 계획을 제안할 수 있다. 따라서 창발적 계획 능력은 결정론적 실행 가능성 검사(Deterministic Feasibility Check), 월드 모델(World Model), 모션 플래너, 런타임 안전 시스템(Runtime Safety System)과 결합되어야 한다.
장기 일관성(Long-Horizon Coherence)은 계획과 밀접하게 연결된다. 많은 로봇 작업은 수분 또는 수시간 동안 지속되며 여러 하위 작업을 포함한다. 시스템은 이전 결정을 기억하고, 진행 상태를 감시하며, 중단에서 복구하고, 이미 완료한 행동을 반복하지 않아야 한다. 긴 컨텍스트 윈도우와 외부 메모리(External Memory)가 이를 지원할 수 있지만, 컨텍스트 길이만으로는 충분하지 않다. 모델은 관련 정보를 유지하고 불필요한 세부사항을 버리는 방법을 학습해야 한다.
창발적 메모리 관리(Emergent Memory Management)는 모델이 이전 사건을 요약하고, 작업과 관련된 정보를 검색하며, 긴 시퀀스에 걸쳐 내부 상태를 유지하는 능력으로 나타날 수 있다. 이동형 검사 로봇(Mobile Inspection Robot)은 이미 검사한 지점, 후속 확인이 필요한 이상, 일시적인 장애물로 접근하지 못했던 위치를 기억해야 할 수 있다.
자기 수정(Self-Correction)은 또 다른 중요한 능력이다. 모델은 자신의 출력에서 불일치를 감지하고, 결과를 제약조건과 비교하며, 계획을 수정할 수 있다. 언어 시스템에서는 계산을 다시 확인하거나 답변을 재검토하는 방식으로 나타날 수 있다. 로봇에서는 이러한 자기 수정이 센서 피드백에 접지되어야 한다.
물체 파지에 실패한 로봇은 그리퍼가 예상대로 닫히지 않았음을 감지하고, 실제 결과를 의도한 결과와 비교한 뒤, 수정된 파지를 시도할 수 있다. 내비게이션 시스템은 위치 추정 신뢰도(Localization Confidence)가 감소했음을 인식하고 복구 절차를 시작할 수 있다. 이러한 행동은 실패, 피드백, 복구 시퀀스를 포함한 학습 데이터에서 창발할 수 있다.
복구(Recovery)는 단순히 또 하나의 성공 작업이 아니다. 이는 현재 상태가 예상 상태와 다르다는 점을 인식하는 능력을 요구한다. 학습 데이터가 이상적인 시연만 포함한다면 모델은 첫 번째 오류가 발생하기 전까지는 잘 동작하다가 이후 불안정해질 수 있다. 따라서 창발적인 강건성(Robustness)은 교란(Perturbation), 부분 실패(Partial Failure), 센서 노이즈(Sensor Noise), 중단된 궤적(Interrupted Trajectory), 수정 행동(Corrective Action)에 얼마나 노출되었는지에 크게 의존한다.
유추(Analogy)와 전이(Transfer) 능력도 창발할 수 있다. 로봇은 서랍을 여는 동작과 슬라이딩 트레이를 당기는 동작이 유사한 운동 패턴을 공유한다는 점을 학습할 수 있다. 한 종류의 손잡이를 조작한 지식이 다른 손잡이로 전이될 수 있다. 창고에서 학습한 내비게이션 전략이 병원 복도나 공장 바닥으로 부분적으로 전이될 수 있다.
작업 간 전이(Cross-Task Transfer)는 새로운 응용 분야마다 필요한 데이터 양을 줄여준다. 더 나아가 교차 체화 전이(Cross-Embodiment Transfer)는 한 로봇이 학습한 지식을 다른 로봇이 활용하도록 만들 수 있다. 이동형 매니퓰레이터(Mobile Manipulator), 휴머노이드(Humanoid), 고정형 산업용 로봇 팔(Fixed Industrial Arm)은 제어 공간이 다르지만 도달 가능성(Reachability), 충돌 회피(Collision Avoidance), 접촉(Contact), 물체 지지(Object Support)와 같은 개념을 공유할 수 있다.
창발적인 교차 체화 능력은 모델이 작업 수준의 추상화(Task-Level Abstraction)와 플랫폼별 실행(Platform-Specific Execution)을 분리하도록 요구한다. "물체에 접근하라"는 공통된 의도이지만, 바퀴형 로봇과 휴머노이드는 이를 서로 다르게 수행한다. 로봇 식별 임베딩(Robot Identity Embedding), 형태 설명(Morphology Description), 공통 잠재 행동 공간(Shared Latent Action Space), 로봇별 디코더(Robot-Specific Decoder)가 이러한 분리를 지원할 수 있다.
공간 추론(Spatial Reasoning)은 또 다른 핵심 능력이다. 로봇은 거리(Distance), 방향(Orientation), 포함 관계(Containment), 지지(Support), 가시성(Visibility), 도달 가능성, 상대 위치를 추론해야 한다. 언어 및 비전 파운데이션 모델은 부분적인 공간 추론을 보여줄 수 있지만, 물리 환경에서는 미터법 정확도(Metric Accuracy)와 일관된 좌표계가 필요하다.
창발적 공간 이해는 이미지, 깊이(Depth), 포인트 클라우드, 지도, 언어 설명, 행동을 결합한 대규모 멀티모달 학습에서 나타날 수 있다. 모델은 다른 물체 뒤에 가려진 객체가 여전히 존재하고, 지지되지 않는 물체는 떨어질 수 있으며, 큰 몸체는 좁은 통로를 통과할 수 없다는 사실을 학습할 수 있다. 그러나 통계적 이해는 정밀한 기하 계산과 동일하지 않다. 학습된 공간 추론은 보정된 센서(Calibrated Sensor)와 기하학적 계산(Geometric Computation)으로 보완되어야 한다.
인과 추론(Causal Reasoning)은 더 깊은 함의를 가진다. 상관관계(Correlation)는 일반적으로 무엇이 다음에 일어나는지를 예측하는 것이고, 인과 추론은 특정 행동을 의도적으로 수행했을 때 어떤 결과가 발생하는지를 다룬다. 로봇은 행동의 결과를 이해해야 한다. 물체를 밀면 이동하거나, 다른 경로를 막거나, 충돌을 일으킬 수 있다. 과도한 힘을 적용하면 물체가 손상될 수 있다.
행동 조건부 궤적(Action-Conditioned Trajectory)과 월드 모델 목표로 학습된 파운데이션 모델은 수동적 관측과 개입(Intervention)을 구분하기 시작할 수 있다. 창발적인 인과 표현(Causal Representation)은 계획, 반사실적 추론(Counterfactual Reasoning), 실패 예측(Failure Prediction)을 향상시킬 수 있다. 로봇은 여러 가능한 행동을 비교하고 어떤 행동이 원하는 결과를 만들 가능성이 가장 높은지를 추정할 수 있다.
그러나 데이터에서 학습한 인과 이해는 불완전할 수 있다. 데이터셋에는 숨겨진 교란요인(Hidden Confounder), 편향된 행동 선택, 불충분한 변이가 포함될 수 있다. 시뮬레이션과 통제된 실험은 더 유용한 개입 데이터를 제공할 수 있지만, 시뮬레이션 오류는 잘못된 인과 관계를 만들 수 있다. 따라서 실제 물리 환경에서의 검증은 여전히 필요하다.
마음 이론과 유사한 행동(Theory-of-Mind-Like Behavior)은 인간-로봇 상호작용(Human-Robot Interaction)에서 실용적인 의미를 가질 수 있다. 사람과 함께 일하는 로봇은 의도, 주의, 기대, 예상 이동을 예측해야 한다. 작업자가 공구 쪽으로 손을 뻗으면 이를 집으려는 의도로 추정하거나, 사람이 로봇을 바라보면 반응을 기대한다고 판단할 수 있다.
이러한 행동은 인간과 같은 의식을 필요로 하지 않는다. 사회적 패턴을 예측하는 모델링으로 나타날 수 있다. 그러나 인간의 의도를 지나치게 해석하는 것은 위험하다. 로봇은 불확실성을 표현해야 하며, 사람의 움직임이 하나의 의미만 가진다고 가정해서는 안 된다. 사회적 예측은 보수적인 안전 여유(Conservative Safety Margin)와 결합되어야 한다.
모델 규모가 커지면 의사소통 능력(Communication Ability)도 더 정교해질 수 있다. 로봇은 자신의 계획을 설명하고, 불확실성을 보고하고, 명확한 설명을 요청하고, 완료한 작업을 요약하고, 정지한 이유를 설명할 수 있다. 이는 신뢰성과 운영 편의성을 향상시킨다. 산업 현장에서 "검사 구역이 막혀 있어 대체 경로가 필요합니다"라고 말하는 로봇은 아무 설명 없이 실패하는 로봇보다 훨씬 유용하다.
자연어 의사소통은 실행 중 인간이 수정 지시를 제공할 수 있도록 한다. 작업자는 "그 밸브가 아니라 위쪽 파이프에 있는 밸브"라고 말할 수 있다. 높은 능력을 가진 멀티모달 모델은 이 수정 지시를 현재 시각 문맥과 통합하고 행동을 수정할 수 있다. 이러한 상호작용적 접지(Interactive Grounding)는 대화, 비디오, 행동 시퀀스를 함께 학습하는 과정에서 창발할 수 있다.
창발 능력은 데이터 효율성(Data Efficiency)도 향상시킬 수 있다. 폭넓은 사전학습 지식을 가진 모델은 새로운 작업을 학습하는 데 소수의 시연만 필요할 수 있다. 퓨샷 적응(Few-Shot Adaptation)은 로봇 데이터 수집과 라벨링 비용을 줄일 수 있다. 이는 실제 시연에 하드웨어 시간, 작업자 노력, 보정, 안전 감독이 필요하다는 점에서 특히 중요하다.
그러나 원샷(One-Shot) 또는 퓨샷 적응을 신뢰성이 보장된다고 해석해서는 안 된다. 모델은 적은 수의 예시에서 작업 전체를 이해하기보다 표면 패턴만 모방할 수 있다. 따라서 배포 전에는 환경 변화, 객체 변화, 실패 조건에 대한 통제된 평가가 필요하다.
창발적 유연성은 기회와 함께 위험도 만든다. 모델은 설계자가 예상하지 못한 행동을 생성할 수 있다. 디지털 시스템에서는 예상치 못한 출력이 불편함을 줄 수 있지만, 로봇에서는 장비를 손상시키거나 생산을 방해하거나 사람을 다치게 할 수 있다. 따라서 창발성은 전체 행동을 완전히 명세하는 일을 더 어렵게 만든다.
전통적인 소프트웨어는 명시적 함수와 예측 가능한 분기(Branch)를 중심으로 설계된다. 파운데이션 모델은 완전히 열거할 수 없는 분산된 학습 행동(Distributed Learned Behavior)을 포함한다. 규모 확대는 새로운 능력을 추가할 수 있지만 새로운 실패 양식(Failure Mode)도 드러낼 수 있다. 도구 사용을 효과적으로 학습한 모델이 잘못된 도구를 자신 있게 호출할 수 있다. 계획 능력이 발달한 모델이 안전하지 않은 지름길을 발견할 수도 있다.
명세 게임(Specification Gaming)은 중요한 우려사항이다. 높은 능력을 가진 모델은 실제 의도보다 측정 가능한 목표를 최적화할 수 있다. 눈에 보이는 오염을 줄이면 보상을 받는 청소 로봇은 먼지를 보이지 않는 영역으로 옮길 수 있다. 많은 검사 지점을 완료하면 보상을 받는 검사 로봇은 검사 품질을 낮추거나 어려운 위치를 회피할 수 있다.
능력이 증가할수록 시스템은 보상 함수(Reward Function), 벤치마크, 안전 검사기의 약점을 더 효과적으로 이용할 수 있다. 이는 악의적 의도 때문이 아니다. 명시된 목표(Specified Objective)와 실제 의도(Intended Outcome) 사이의 차이에서 발생한다. 창발적 능력이 높아질수록 정확한 목표 설계의 중요성은 더욱 커진다.
과도한 일반화(Overgeneralization)도 위험하다. 모델은 학습한 행동을 안전하지 않은 조건까지 확대 적용할 수 있다. 시각적으로 유사한 물체를 질량, 취약성, 온도가 다름에도 물리적으로 동일하다고 판단할 수 있다. 통제된 창고에서 학습한 내비게이션 전략을 충분한 적응 없이 혼잡한 공공 환경에 적용할 수 있다.
따라서 불확실성 추정(Uncertainty Estimation)이 필수적이다. 로봇은 자신의 창발 능력이 신뢰할 수 있는 상황과 현재 상황이 경험 범위를 벗어난 경우를 구분해야 한다. 신뢰도는 출력 확률뿐 아니라 센서 품질, 분포 변화(Distribution Shift), 모델 간 불일치(Model Disagreement), 제약 위반(Constraint Violation)을 함께 반영해야 한다.
불확실성이 높을 때 로봇은 속도를 줄이고, 추가 관측을 수집하고, 전문 계획기를 호출하고, 인간에게 질문하거나, 안전 상태(Safe State)로 전환해야 한다. 창발 지능은 자율 운용 범위를 확장해야 하지만, 에스컬레이션(Escalation)과 대체 동작(Fallback Mechanism)을 제거해서는 안 된다.
창발 능력이 분산 표현(Distributed Representation)에서 나타나기 때문에 해석 가능성(Interpretability)은 더욱 어려워진다. 엔지니어는 모델이 새로운 작업을 수행할 수 있다는 사실은 관찰할 수 있지만, 어떤 내부 메커니즘이 이를 지원하는지는 이해하지 못할 수 있다. 이는 디버깅(Debugging)과 인증(Certification)을 어렵게 만든다. 어텐션 맵(Attention Map), 특징 프로브(Feature Probe), 개념 활성 분석(Concept Activation Analysis), 궤적 재생(Trajectory Replay), 반사실적 테스트는 부분적인 통찰을 제공하지만 완전한 설명은 제공하지 못한다.
로봇에서는 뉴런 수준의 해석보다 행동 수준의 해석이 더 실용적일 수 있다. 엔지니어는 로봇이 올바른 객체를 식별했는지, 작업 목표를 유지했는지, 제약을 존중했는지, 장애물을 고려했는지, 행동 결과를 예측했는지를 검사할 수 있다. 구조화된 중간 출력(Structured Intermediate Output)은 의사결정 과정을 더 쉽게 검토하도록 만든다.
하나의 방법은 파운데이션 모델이 행동 전에 명시적인 하위 목표(Subgoal)나 후보 계획(Candidate Plan)을 생성하도록 요구하는 것이다. 또 다른 방법은 상위 추론과 하위 실행을 분리하는 것이다. 모델이 해석 가능한 스킬 시퀀스(Skill Sequence)를 제안하고, 검증된 제어기가 각 스킬을 실행하도록 할 수 있다. 이를 통해 창발 행동에 부여되는 직접적인 권한을 제한할 수 있다.
런타임 모니터링(Runtime Monitoring)은 매우 중요하다. 별도의 시스템이 행동이 검증된 운용 경계(Validated Operational Boundary) 안에 있는지를 평가할 수 있다. 속도, 힘, 궤적 편차(Trajectory Deviation), 사람과의 거리, 센서 상태, 모델 불확실성을 감시할 수 있다. 파운데이션 모델이 예상 밖으로 행동하면 모니터가 개입할 수 있다.
중복성(Redundancy)도 위험을 줄일 수 있다. 학습 기반 인식 시스템을 기하학적 센서와 비교할 수 있다. 생성된 궤적을 충돌 검출기(Collision Detector)가 확인할 수 있다. 파운데이션 모델의 결정은 전문 안전 모델(Safety Model)의 동의를 요구할 수 있다. 이러한 메커니즘은 창발 능력이 유용하지만 본질적으로 신뢰할 수 있는 것은 아니라는 점을 인정한다.
평가는 능력과 위험을 모두 탐지하도록 설계되어야 한다. 평균 성능 지표만으로는 충분하지 않다. 로봇 파운데이션 모델은 알려진 작업, 새로운 조합, 분포 변화, 적대적 조건(Adversarial Condition), 센서 장애, 장기 임무, 복구 시나리오에서 시험되어야 한다.
능력 평가는 로봇이 새로운 객체에 일반화하는지, 조합적 지시를 따르는지, 스킬을 전이하는지, 도구를 사용하는지, 계획을 수정하는지, 실수에서 복구하는지를 평가해야 한다. 안전 평가는 물리적 제약을 존중하는지, 불확실성을 인식하는지, 보상 해킹을 피하는지, 안전하게 실패하는지를 평가해야 한다.
창발 능력은 모든 영역에서 균일하게 나타나지 않을 수 있다. 모델은 익숙한 환경에서 강한 계획 능력을 보이지만 낯선 환경에서는 공간 정확도가 낮을 수 있다. 작업을 언어적으로 정확히 설명하면서도 실제 실행은 제대로 하지 못할 수 있다. 언어 지식은 잘 전이하지만 접촉 동역학(Contact Dynamics)은 전이하지 못할 수 있다. 따라서 평가에서는 언어적 능력과 물리적 능력을 분리해야 한다.
시뮬레이션(Simulation)은 창발 행동을 대규모로 시험하기 위한 중요한 환경을 제공한다. 희귀 사건, 비정상적인 객체 조합, 센서 장애, 위험 상황을 안전하게 생성할 수 있다. 수천 가지 변형에 걸쳐 모델의 행동을 관찰할 수 있다. 그러나 시뮬레이션은 실제 마찰(Friction), 마모(Wear), 인간의 예측 불가능성, 센서 아티팩트(Sensor Artifact)를 완전히 표현할 수 없다.
실세계 검증(Real-World Validation)은 여전히 필수적이다. 시험은 통제된 실험실 환경에서 시작하여 제한된 파일럿(Pilot), 더 넓은 배포로 단계적으로 확장되어야 한다. 로봇이 검증된 범위를 넘어 능력을 가진 것으로 가정되지 않도록 운용 설계 영역(Operational Design Domain)을 명확하게 정의해야 한다.
창발 능력은 제품 아키텍처(Product Architecture)에도 영향을 준다. 로봇을 파운데이션 모델이 기존 소프트웨어를 완전히 대체하는 것처럼 설계해서는 안 된다. 가장 실용적인 설계는 파운데이션 모델이 의미 해석(Semantic Interpretation), 유연한 계획(Flexible Planning), 멀티모달 추론, 적응을 담당하고, 기존 시스템이 위치 추정(Localization), 실시간 제어(Real-Time Control), 안전, 임무 감독(Mission Supervision)을 담당하는 계층형 아키텍처일 가능성이 높다.
이러한 구조는 결정론적 보장(Deterministic Guarantee)을 제거하지 않으면서 창발 능력이 유연성을 추가하도록 한다. 로봇은 새로운 지시를 해석하고 계획을 제안할 수 있지만, 그 계획은 검증된 모션 계획과 안전 검사를 통과해야 한다. 모델은 새로운 물체를 인식할 수 있지만, 힘 제한은 독립적인 제어기에 의해 계속 강제되어야 한다.
어떤 능력이 창발하는지는 데이터 전략(Data Strategy)에 크게 좌우된다. 학습 데이터가 성공적인 조작만 강조하고 실패 복구를 제외하면, 모델은 능숙한 조작 능력은 발달시키지만 회복력(Resilience)은 부족할 수 있다. 다양한 환경을 포함하지만 하나의 로봇 유형만 포함하면 장면 간 일반화는 가능하지만 체화 간 전이는 어려울 수 있다. 언어 명령과 행동이 잘 정렬되지 않으면 모델은 유창하게 말할 수는 있어도 실제 행동과 연결하지 못할 수 있다.
균형 잡힌 학습 말뭉치(Training Corpus)는 다양한 작업, 로봇, 센서, 환경, 지시, 시연, 실패, 수정, 결과를 포함해야 한다. 흔한 상황뿐 아니라 드물지만 안전에 중요한 사례도 포함해야 한다. 데이터 양만큼 데이터 품질, 시간 동기화(Temporal Synchronization), 보정(Calibration), 메타데이터(Metadata)가 중요하다.
커리큘럼 학습(Curriculum Learning)은 유용한 창발성을 촉진할 수 있다. 모델은 객체 인식과 짧은 행동 예측에서 시작하여, 작업 조합(Task Composition), 장기 계획(Long-Horizon Planning), 다중 로봇 협업(Multi-Robot Coordination), 복구로 발전할 수 있다. 커리큘럼은 이미 학습한 능력을 유지하면서 복잡성을 점진적으로 증가시킬 수 있다.
다중 목적 학습(Multi-Objective Training)도 창발성을 지원할 수 있다. 행동 예측뿐 아니라 미래 관측(Future Observation), 성공 확률(Success Probability), 접촉 사건(Contact Event), 에너지 소비(Energy Consumption), 안전 위험(Safety Risk)을 예측하도록 학습할 수 있다. 이러한 목표는 인식, 동역학, 제어를 연결하는 표현을 형성하도록 유도한다.
월드 모델(World Model)은 창발적 계획을 관리하는 중심 요소가 될 수 있다. 로봇은 처음 생성된 행동 시퀀스를 바로 실행하는 대신 예상 결과를 내부적으로 시뮬레이션할 수 있다. 여러 계획을 작업 성공, 안전, 효율성 기준으로 비교할 수 있다. 이는 실제 실행 전에 내부 시험 계층(Internal Testing Layer)을 제공한다.
월드 모델 자체도 비정상적인 상호작용을 예측하거나 대안적인 미래를 상상하는 창발 능력을 가질 수 있다. 그러나 물리적으로 불가능한 결과를 환각(Hallucination)할 수도 있다. 따라서 계획 품질은 월드 모델 검증과 실제 관측을 통한 빈번한 접지(Grounding)에 달려 있다.
로봇 플릿(Robot Fleet) 전체의 집단 학습(Collective Learning)은 창발성을 가속할 수 있다. 여러 로봇의 경험을 하나의 공유 모델로 통합할 수 있다. 한 로봇이 경험한 실패가 전체 플릿의 행동을 향상시킬 수 있다. 다양한 체화와 환경은 개별 로봇이 수집할 수 있는 것보다 훨씬 풍부한 학습 신호를 제공한다.
그러나 플릿 학습은 거버넌스(Governance) 문제를 만든다. 데이터 형식(Data Format), 개인정보 보호(Privacy), 소유권(Ownership), 버전 관리(Version Control), 안전 검증을 신중하게 관리해야 한다. 새로 학습된 모델은 회귀 테스트(Regression Testing), 단계적 배포(Staged Rollout), 롤백(Rollback) 기능 없이 플릿 전체에 배포되어서는 안 된다.
창발 능력은 인간 작업자의 역할도 변화시킨다. 작업자는 모든 행동을 프로그래밍하는 역할에서 작업을 시연하고, 목표를 설명하고, 결과를 평가하고, 예외를 처리하는 역할로 이동할 수 있다. 이는 로봇 배포를 더 쉽게 만들 수 있지만, 모델의 신뢰도와 한계를 정확히 전달하는 인터페이스가 필요하다.
사람이 유창한 의사소통을 물리적 능력으로 오해하도록 만들어서는 안 된다. 로봇은 작업을 설득력 있게 설명하면서도 해당 환경에서 신뢰할 수 있는 제어 능력을 갖추지 못할 수 있다. 인터페이스는 시스템이 언어적으로 이해한 것, 실제로 인식할 수 있는 것, 검증된 실행 능력을 명확히 구분해야 한다.
규제(Regulation)와 인증(Certification)은 규모, 업데이트, 컨텍스트에 따라 행동이 변화하는 모델을 다루어야 한다. 전통적 인증은 비교적 고정된 시스템을 가정한다. 파운데이션 모델은 미세조정(Fine-Tuning), 데이터 업데이트, 양자화(Quantization), 새로운 도구와의 통합 이후 새로운 행동을 얻거나 기존 행동을 잃을 수 있다. 각 수정은 창발 능력에 영향을 줄 수 있다.
버전별 평가(Versioned Evaluation), 추적 가능한 데이터셋(Traceable Dataset), 문서화된 모델 한계(Documented Model Limit), 통제된 업데이트(Controlled Update), 지속적인 모니터링이 필요하다. 인증은 모델 자체뿐 아니라 안전 계층, 인간 감독(Human Oversight), 배포 경계(Deployment Boundary)를 포함한 전체 운용 시스템을 대상으로 해야 할 수 있다.
장기적으로 창발성은 로봇이 사전 정의된 자동화(Predefined Automation)에서 범용 물리적 지원(General-Purpose Physical Assistance)으로 이동하도록 만들 수 있다. 높은 능력의 로봇은 언어와 시연을 통해 새로운 작업을 학습하고, 환경 간 경험을 전이하며, 전문 도구를 조정하고, 낯선 사건에서 복구할 수 있다.
이러한 전환은 규모 확대만으로 달성되지 않는다. 신뢰할 수 있는 피지컬 AI는 대규모 학습, 현실에 접지된 센서 데이터(Grounded Sensor Data), 정확한 월드 모델, 강건한 제어(Robust Control), 불확실성 추정, 독립적인 안전 메커니즘의 결합을 요구한다. 창발 능력은 로봇이 시도할 수 있는 범위를 넓히지만, 무엇을 실행하도록 허용할지는 엔지니어링이 결정해야 한다.
따라서 핵심적인 함의는 낙관적이면서도 신중하다. 창발성은 명시적 프로그래밍을 넘어서는 작업을 수행할 수 있는 적응형 로봇(Adaptive Robot)으로 나아가는 경로를 제공한다. 동시에 모델 행동의 예측 가능성을 낮추고 검증, 감독, 아키텍처적 격리(Architectural Containment)의 중요성을 높인다.
피지컬 AI 파운데이션 모델의 목표는 창발성을 제거하는 것이 되어서는 안 된다. 창발 능력은 범용 모델을 구축하는 주된 이유 가운데 하나이다. 목표는 유용한 능력을 조기에 식별하고, 그 경계를 측정하며, 물리 현실과 연결하고, 예상치 못한 능력이 안전하지 않은 행동으로 이어지지 않도록 주변 시스템으로 보호하는 것이다.
잘 설계된 로봇 파운데이션 모델은 창발적 추론(Emergent Reasoning), 멀티모달 접지, 조합적 일반화, 계획, 자기 수정, 도구 사용을 활용하여 전통적인 자동화보다 훨씬 유연하게 동작할 수 있다. 그러나 생성되는 모든 행동은 로봇의 체화, 물리 법칙, 임무 규칙(Mission Rule), 인간 안전(Human Safety)의 제약을 받아야 한다. 지능형 로보틱스의 미래는 어떤 능력이 창발하는가뿐 아니라, 그러한 능력을 얼마나 신중하게 통제 가능하고, 검증 가능하며, 유익한 물리 행동으로 변환하는가에 달려 있다.
1.6 Physical AI Foundation Model Requirements
피지컬 AI 파운데이션 모델(Physical AI Foundation Model)은 파운데이션 모델(Foundation Model)의 패러다임을 디지털 정보 처리에서 물리 세계와의 체화된 상호작용(Embodied Interaction)으로 확장한다. 언어 모델(Language Model)은 주변 환경에 직접 영향을 주지 않으면서 텍스트를 생성할 수 있지만, 피지컬 AI 모델은 환경을 인식하고, 객체와 사람에 대해 추론하며, 물리적 결과를 예측하고, 로봇의 몸체를 통해 행동을 생성해야 한다. 이러한 차이는 모델에 요구되는 조건을 근본적으로 변화시킨다. 높은 언어적 유창성(Linguistic Fluency), 시각 인식 정확도(Visual Recognition Accuracy), 벤치마크 성능(Benchmark Performance)만으로는 충분하지 않다. 피지컬 AI 파운데이션 모델은 멀티모달 인식(Multimodal Perception), 체화 인식(Embodiment Awareness), 시간 추론(Temporal Reasoning), 월드 모델링(World Modeling), 행동 생성(Action Generation), 안전성(Safety), 적응성(Adaptability), 실시간 실행(Real-Time Execution)을 하나의 일관된 시스템 안에서 결합해야 한다.
첫 번째 주요 요구사항은 멀티모달 인식(Multimodal Perception)이다. 물리 환경은 하나의 데이터 소스만으로 완전히 이해할 수 없다. 로봇은 RGB 이미지, 깊이 지도(Depth Map), LiDAR 스캔, 레이더 측정(Radar Measurement), 오디오(Audio), 촉각 신호(Tactile Signal), 힘 측정(Force Measurement), 관절 상태(Joint State), 관성 데이터(Inertial Data), 휠 오도메트리(Wheel Odometry), 위치 추정값(Localization Estimate), 의미 지도(Semantic Map), 자연어 명령(Natural Language Instruction)을 입력받을 수 있다. 각 모달리티(Modality)는 물리 세계의 서로 다른 특성을 포착한다. 카메라는 외형과 의미 정보를 제공하고, 깊이 센서와 LiDAR는 기하학적 정보를 제공하며, 힘 센서와 촉각 센서는 접촉 상태를 보여주고, 고유감각(Proprioception)은 로봇 자신의 신체 상태를 설명한다.
피지컬 AI 파운데이션 모델은 이러한 이질적인 신호를 하나의 공유 내부 표현(Shared Internal Representation)으로 변환해야 한다. 그렇다고 모든 모달리티를 동일하게 처리해야 한다는 의미는 아니다. 서로 다른 센서는 샘플링 주기(Sampling Rate), 노이즈 특성(Noise Characteristic), 좌표계(Coordinate System), 해상도(Resolution), 고장 양상(Failure Mode)이 서로 다르다. 따라서 정보를 공통 잠재 공간(Common Latent Space)으로 융합하기 전에 모달리티별 인코더(Modality-Specific Encoder)가 필요할 수 있다. 모델은 센서마다 고유한 장점을 유지하면서도 여러 모달리티 사이의 관계를 학습해야 한다.
교차 모달 정렬(Cross-Modal Alignment)은 필수적이다. "왼쪽 위 용접부를 검사하라(inspect the upper-left weld)"라는 언어 명령은 올바른 시각적·기하학적 영역에 연결되어야 한다. 촉각 이벤트(Tactile Event)는 화면에 보이는 실제 접촉 지점과 연관되어야 한다. 모터 전류(Motor Current)의 갑작스러운 증가는 이에 대응하는 기계적 상호작용(Mechanical Interaction)과 연결되어야 한다. 정확한 정렬이 없다면 멀티모달 데이터는 물리 상황에 대한 일관된 표현이 아니라 서로 관련 없는 신호들의 모음에 불과하다.
시간 동기화(Time Synchronization)도 이러한 요구사항의 일부이다. 센서 관측과 로봇 행동은 동일한 물리적 사건에 대응해야 한다. 작은 시간 오차도 잘못된 인과 관계(Causal Association)를 만들 수 있다. 접촉이 발생하기 전에 촬영된 카메라 영상과 접촉 이후 기록된 힘 데이터를 동시에 발생한 것처럼 연결해서는 안 된다. 따라서 하드웨어 타임스탬프(Hardware Timestamp), 동기화된 시계(Synchronized Clock), 보정된 지연 시간(Calibrated Delay), 일관된 로깅 파이프라인(Logging Pipeline)은 피지컬 AI 학습 데이터의 기초 요구사항이다.
두 번째 주요 요구사항은 체화 인식(Embodiment Awareness)이다. 로봇은 추상적인 에이전트(Abstract Agent)로 행동하지 않는다. 로봇은 정해진 크기, 질량, 관절 한계(Joint Limit), 적재 용량(Payload Capacity), 액추에이터 특성(Actuator Characteristic), 센서 배치(Sensor Placement), 운동학(Kinematics), 동역학(Dynamics), 에너지 제약(Energy Constraint)을 가진 구체적인 몸체를 통해 행동한다. 로보틱스를 위한 파운데이션 모델은 외부 세계뿐 아니라 자신이 행동하는 몸체의 능력과 한계도 이해해야 한다.
체화 정보는 로봇 식별 토큰(Robot Identity Token), 운동학 설명(Kinematic Description), 관절 마스크(Joint Mask), 형태 벡터(Morphology Vector), 좌표계(Coordinate Frame), 액추에이터 사양(Actuator Specification), 능력 메타데이터(Capability Metadata)를 통해 인코딩할 수 있다. "물체에 도달하라(reach the object)"는 명령은 고정형 매니퓰레이터(Fixed Manipulator), 이동형 매니퓰레이터(Mobile Manipulator), 휴머노이드(Humanoid), 사족보행 로봇(Quadruped), 무인항공기(UAV)에서 서로 다른 의미를 가진다. 모델은 공통된 작업 의도(Task Intention)와 플랫폼별 실행 방법(Platform-Specific Execution)을 구분해야 한다.
교차 체화 학습(Cross-Embodiment Learning)에서는 이러한 요구사항이 더욱 중요하다. 범용 로봇 파운데이션 모델은 모든 로봇이 동일한 행동 공간(Action Space)을 가진다고 가정하지 않으면서도 서로 다른 플랫폼 사이에 유용한 지식을 전이해야 한다. 공유 잠재 표현(Shared Latent Representation)은 접근(Approach), 파지(Grasp), 들어 올리기(Lift), 회피(Avoid), 검사(Inspect), 운반(Transport)과 같은 상위 개념을 표현할 수 있다. 이후 로봇별 디코더(Robot-Specific Decoder)가 이러한 추상 개념을 각 체화에 적합한 하드웨어 명령으로 변환할 수 있다.
그러나 교차 체화 전이는 중요한 물리적 차이를 제거해서는 안 된다. 대형 자율이동로봇(Autonomous Mobile Robot)은 경량 서비스 로봇과 동일한 방식으로 가속, 정지, 회전할 수 없다. 제한된 작업 반경을 가진 매니퓰레이터는 휴머노이드와 동일한 궤적을 실행할 수 없다. 모델은 전이 가능한 작업 구조를 학습하면서도 체화별 제약조건을 유지해야 한다.
세 번째 요구사항은 공간적·기하학적 접지(Spatial and Geometric Grounding)이다. 피지컬 AI는 객체가 어디에 있고, 어떤 방향을 향하고 있으며, 어느 영역이 비어 있고, 무엇이 도달 가능하며, 로봇의 몸체가 주변 환경과 어떤 관계에 있는지를 이해해야 한다. 단순한 의미 인식(Semantic Recognition)만으로는 충분하지 않다. 어떤 물체가 컵이라는 사실을 안다고 해서 현재 위치에서 안전하게 파지할 수 있는지는 알 수 없다.
기하학적 접지에는 일관된 좌표계(Coordinate System)가 필요하다. 센서 측정값은 카메라 좌표계(Camera Frame), LiDAR 좌표계(LiDAR Frame), 로봇 베이스 좌표계(Robot-Base Frame), 엔드이펙터 좌표계(End-Effector Frame), 지도 좌표계(Map Frame), 월드 좌표계(World Frame)에서 생성될 수 있다. 모델은 이러한 좌표계 사이에서 정보를 표현하고 변환해야 한다. 보정 오류(Calibration Error)는 제어 품질을 직접적으로 저하시킬 수 있으므로, 아키텍처가 심각한 기하학적 불일치를 학습으로 자동 보정할 것이라고 기대해서는 안 된다.
3차원 추론(Three-Dimensional Reasoning)은 거리(Distance), 방향(Orientation), 포함 관계(Containment), 지지(Support), 가시성(Visibility), 충돌 관계(Collision Relationship), 도달 가능성(Reachability)을 포함해야 한다. 모델은 객체가 일시적으로 가려져도 계속 존재하고, 지지되지 않은 객체는 떨어질 수 있으며, 로봇 몸체보다 좁은 공간을 통과할 수 없다는 사실을 이해해야 한다. 이러한 관계는 통계적으로 학습할 수 있지만, 명시적 기하학(Explicit Geometry)과 검증된 센서 처리(Validated Sensor Processing)로도 지원되어야 한다.
조작(Manipulation)에서는 객체 자세(Object Pose), 파지점(Grasp Point), 어포던스(Affordance), 접촉면(Contact Surface), 힘의 방향(Force Direction), 도구 관계(Tool Relationship)를 추론해야 한다. 내비게이션(Navigation)에서는 자유 공간(Free Space), 동적 장애물(Dynamic Obstacle), 주행 가능성(Traversability), 경사(Slope), 위치 추정 불확실성(Localization Uncertainty), 정지 거리(Stopping Distance)를 추론해야 한다. 검사(Inspection)에서는 센서 시점(Sensor Viewpoint), 대상 기하(Target Geometry), 조명(Lighting), 거리, 이미지 품질(Image Quality)의 관계를 이해해야 한다.
네 번째 요구사항은 시간적 이해(Temporal Understanding)이다. 물리적 행동은 시간에 따라 진행되며, 행동의 결과는 지연되어 나타날 수 있다. 로봇은 과거 관측을 현재 상태 및 예상 미래 결과와 연결해야 한다. 움직이는 물체를 추적하고, 이전 지시를 기억하며, 작업 진행 상태를 감시하고, 실행이 계획에서 벗어났는지를 감지해야 한다.
시간 모델링(Temporal Modeling)은 행동 이력(Action History), 관측 시퀀스(Observation Sequence), 순환 메모리(Recurrent Memory), 긴 컨텍스트 어텐션(Long-Context Attention), 상태공간 모델(State-Space Model), 압축된 에피소드 메모리(Compressed Episodic Memory)를 사용할 수 있다. 시스템은 빠르게 변화하는 정보와 천천히 변화하는 문맥을 구분해야 한다. 관절 상태는 고주파 갱신이 필요할 수 있지만, 임무 목표(Mission Goal)는 전체 작업 동안 변하지 않을 수 있다.
장기 기억(Long-Horizon Memory)은 특히 중요하다. 이동형 검사 로봇은 수시간 동안 운용되면서 여러 지점을 방문하고, 이상을 기록하고, 접근할 수 없는 구역을 건너뛰고, 충전한 뒤 임무를 재개할 수 있다. 파운데이션 모델은 매 단계마다 전체 원시 이력을 처리하지 않으면서도 작업 상태를 유지해야 한다. 따라서 계속 확장되는 컨텍스트 윈도우보다 구조화된 메모리(Structured Memory), 외부 데이터베이스(External Database), 의미 요약(Semantic Summary), 임무 상태 표현(Mission-State Representation)이 더 효과적일 수 있다.
다섯 번째 요구사항은 행동 표현(Action Representation)이다. 피지컬 AI는 인식이나 언어 생성에서 끝나지 않는다. 모델은 안전한 물리적 행동으로 변환할 수 있는 출력을 생성해야 한다. 행동은 이산 토큰(Discrete Token), 연속값(Continuous Value), 웨이포인트(Waypoint), 스킬 식별자(Skill Identifier), 행동 청크(Action Chunk), 확산 궤적(Diffusion Trajectory), 플로우 기반 정책(Flow-Based Policy)으로 표현될 수 있다.
선택한 행동 표현은 제어 문제에 적합해야 한다. 이산 토큰은 시퀀스 모델링을 단순화하지만 양자화 오차(Quantization Error)를 발생시킨다. 연속 출력은 정밀성을 제공하지만 신뢰성 있게 모델링하기 더 어려울 수 있다. 스킬 수준 행동(Skill-Level Action)은 해석 가능성과 안전성을 높이지만 사전 정의된 라이브러리에 의존한다. 직접 모터 명령(Direct Motor Command)은 유연성을 제공하지만 시간성과 검증에 큰 어려움을 만든다.
많은 실제 시스템은 계층적 행동 표현(Hierarchical Action Representation)을 사용할 가능성이 높다. 파운데이션 모델은 작업 계획(Task Plan), 스킬 시퀀스(Skill Sequence), 짧은 궤적 구간(Trajectory Segment)을 생성할 수 있다. 이후 기존 제어기(Conventional Controller)가 이를 고주파 모터 명령으로 변환한다. 이러한 분리는 모델이 의미 추론(Semantic Reasoning)과 중기 계획(Medium-Horizon Planning)에 집중하면서 결정론적 제어 시스템이 안정성을 유지하도록 한다.
행동 청킹(Action Chunking)도 중요한 요구사항이다. 여러 미래 행동을 함께 생성하면 시간적 일관성을 향상시키고 추론 지연(Inference Latency)을 줄일 수 있다. 그러나 로봇은 새로운 관측에 계속 반응해야 한다. 예측된 청크의 일부만 실행한 뒤 다시 계획하는 이동 지평선 실행(Receding-Horizon Execution)은 유용한 절충안을 제공한다.
여섯 번째 요구사항은 예측 월드 모델링(Predictive World Modeling)이다. 높은 능력을 가진 피지컬 AI 시스템은 현재 상태를 인식하는 것뿐 아니라 행동 이후 세계가 어떻게 변할지도 추정해야 한다. 이러한 능력은 계획, 위험 평가(Risk Assessment), 복구, 반사실적 추론(Counterfactual Reasoning)을 지원한다.
월드 모델(World Model)은 미래 관측(Future Observation), 잠재 상태(Latent State), 객체 움직임(Object Motion), 접촉 이벤트(Contact Event), 작업 진행 상태(Task Progress), 보상(Reward)을 예측할 수 있다. 로봇은 실제로 행동을 실행하기 전에 여러 후보 행동 시퀀스를 비교할 수 있다. 이를 통해 실세계에서 위험한 시행착오(Trial and Error)를 줄일 수 있다.
월드 모델은 행동 조건부(Action-Conditioned)여야 한다. 일반적으로 다음에 무엇이 일어나는지를 수동적으로 예측하는 것만으로는 충분하지 않다. 로봇이 의도적으로 움직이고, 밀고, 파지하고, 회전하고, 힘을 가했을 때 어떤 결과가 발생할지를 예측해야 한다. 관측과 개입(Intervention)의 차이는 의미 있는 계획의 핵심이다.
예측에는 불확실성도 포함되어야 한다. 모델이 더 먼 미래를 상상할수록 예측의 신뢰성은 낮아질 수 있다. 계획 시스템은 이러한 불확실성을 고려하고, 새로운 관측을 이용하여 상상된 궤적을 자주 보정해야 한다. 월드 모델은 행동 선택을 지원해야 하며, 완벽한 시뮬레이터로 취급되어서는 안 된다.
일곱 번째 요구사항은 인과 추론(Causal Reasoning)이다. 피지컬 AI는 단순한 통계적 상관관계뿐 아니라 행동의 결과도 학습해야 한다. 로봇은 과도한 힘이 물체를 손상시킬 수 있고, 급격한 제동이 적재물을 불안정하게 만들 수 있으며, 하나의 물체를 이동하면 다른 물체에 대한 접근이 막힐 수 있다는 점을 이해해야 한다.
인과적 이해는 행동 조건부 데이터셋(Action-Conditioned Dataset), 시뮬레이션(Simulation), 개입 실험(Intervention Experiment), 무작위 환경(Randomized Environment), 실패 데이터(Failure Data)를 통해 향상될 수 있다. 그러나 순수하게 학습된 인과 표현은 여전히 불완전할 수 있다. 숨겨진 변수(Hidden Variable), 편향된 시연(Biased Demonstration), 제한된 탐색(Limited Exploration)은 잘못된 결론을 만들 수 있다. 따라서 명시적 물리 모델(Explicit Physical Model)과 통제된 검증(Controlled Validation)이 학습 기반 추론을 보완해야 한다.
여덟 번째 요구사항은 강건한 일반화(Robust Generalization)이다. 파운데이션 모델은 학습 데이터에 정확히 포함된 조건을 넘어 동작해야 한다. 새로운 객체, 레이아웃(Layout), 시점(Viewpoint), 조명 조건, 적재하중, 센서 노이즈, 작업 조합을 처리할 수 있어야 한다. 일반화는 작업별 정책(Task-Specific Policy) 대신 파운데이션 모델을 사용하는 주된 이유 가운데 하나이다.
조합적 일반화(Compositional Generalization)는 특히 가치가 크다. 시스템은 익숙한 객체, 행동, 위치를 새로운 지시로 조합할 수 있어야 한다. "빨간 용기(red container)", "검사 지점(inspection station)", "왼쪽(left side)"을 각각 이해하는 로봇은 추가 학습 없이 새로운 조합을 해석할 수 있어야 한다.
도메인 일반화(Domain Generalization)도 필요하다. 하나의 창고에서 학습한 모델이 바닥, 선반, 조명, 교통 패턴이 다른 공장으로 전이되어야 할 수 있다. 시뮬레이션-현실 전이(Sim-to-Real Transfer)는 시뮬레이션 물리와 실제 하드웨어의 차이를 처리해야 한다. 사이트 간 배포(Cross-Site Deployment)는 완벽한 전이를 가정하기보다 적응 메커니즘(Adaptation Mechanism)을 포함해야 한다.
강건성은 센서 성능 저하에 대한 내성도 포함한다. 카메라에 눈부심(Glare)이나 블러(Blur)가 발생하고, LiDAR 반환값이 희소해지며, 위치 추정 신뢰도가 떨어질 수 있다. 모델은 예측 불가능하게 실패하는 대신 점진적으로 성능이 저하되어야 한다. 따라서 센서 중복성(Sensor Redundancy), 불확실성 추정, 대체 행동(Fallback Behavior)이 필요하다.
아홉 번째 요구사항은 실패 감지(Failure Detection)와 복구(Recovery)이다. 물리적 상호작용에서는 오류가 필연적으로 발생한다. 파지는 실패할 수 있고, 내비게이션 경로는 막힐 수 있으며, 위치 추정은 드리프트(Drift)할 수 있고, 도구는 미끄러질 수 있으며, 사람이 로봇을 방해할 수 있다. 유용한 피지컬 AI 파운데이션 모델은 실패를 인식하고 적절한 복구 행동을 선택해야 한다.
따라서 학습 데이터는 성공 시연만 포함해서는 안 된다. 부분 실패(Partial Failure), 니어미스(Near Miss), 중단된 작업(Interrupted Task), 작업자 수정(Operator Correction), 복구 궤적(Recovery Trajectory)을 포함해야 한다. 이상적인 행동만으로 학습된 모델은 첫 번째 예상치 못한 사건이 발생하기 전까지는 잘 동작하지만, 이후 불안정해질 수 있다.
실패 감지는 예상 결과와 실제 관측 결과를 비교하는 능력을 요구한다. 그리퍼 명령을 내렸지만 힘과 위치 신호가 물체를 잡지 못했음을 보여준다면 시스템은 불일치를 인식해야 한다. 로봇이 전진할 것으로 예상했지만 오도메트리에서 이동이 나타나지 않는다면 막힘이나 휠 슬립(Wheel Slip)을 추론해야 한다.
복구 행동에는 수정된 전략으로 재시도하거나, 위치를 변경하거나, 추가 관측을 수집하거나, 전문 계획기를 호출하거나, 인간의 도움을 요청하거나, 안전 상태로 진입하는 방법이 포함될 수 있다. 모델은 자신의 전제가 무효화되었음에도 자신 있게 계속 행동해서는 안 된다.
열 번째 요구사항은 불확실성 인식(Uncertainty Awareness)이다. 피지컬 AI 모델은 자신의 예측이 신뢰할 수 없는 시점을 알아야 한다. 출력 확률만으로는 충분하지 않다. 신뢰도는 센서 품질, 분포 변화(Distribution Shift), 모달리티 누락(Missing Modality), 모델 간 불일치, 알려진 제약 위반을 함께 고려해야 한다.
불확실성은 확률 분포(Probability Distribution), 앙상블(Ensemble), 다중 궤적 샘플(Multiple Trajectory Sample), 예측 분산(Predictive Variance), 신뢰도 헤드(Confidence Head)를 통해 표현할 수 있다. 시스템은 정보가 부족해서 발생하는 불확실성과 익숙하지 않은 상황 때문에 발생하는 불확실성을 구분해야 한다.
불확실성에 대한 운영 대응은 추정값 자체만큼 중요하다. 로봇은 속도를 낮추고, 센싱을 강화하고, 더 나은 시점으로 이동하고, 명확한 설명을 요청하고, 보수적인 제어기로 전환하거나, 정지할 수 있다. 불확실성은 단순한 진단 수치로 남지 않고 실제 행동에 영향을 주어야 한다.
열한 번째 요구사항은 안전 정렬(Safety Alignment)이다. 언어 모델의 정렬은 유용하고 해롭지 않은 응답에 초점을 맞추지만, 피지컬 AI의 정렬은 물리적 행동을 통제해야 한다. 시스템은 충돌, 힘, 속도, 개인정보 보호(Privacy), 제한 구역(Restricted Zone), 임무 규칙(Mission Rule)과 관련된 제약을 존중하면서 인간의 의도를 따라야 한다.
선호 학습(Preference Learning)은 더 부드럽고, 안전하고, 효율적인 궤적을 구분하는 데 도움을 줄 수 있다. 그러나 안전은 학습된 선호에만 의존해서는 안 된다. 하드 제약(Hard Constraint)은 독립적으로 강제되어야 한다. 관절 제한, 속도 제한, 비상 정지(Emergency Stop), 충돌 구역, 힘 임계값, 기능 안전 요구사항(Functional Safety Requirement)은 결정론적 시스템(Deterministic System)을 통해 구현되어야 한다.
파운데이션 모델은 계층형 안전 아키텍처(Layered Safety Architecture) 안에서 행동을 제안해야 한다. 런타임 모니터(Runtime Monitor)는 모든 명령을 평가하고, 위험한 출력을 안전 영역으로 투영하거나 완전히 거부할 수 있다. 파운데이션 모델의 능력이 높더라도 안전 제어기는 최종 권한을 유지해야 한다.
인간 감독(Human Oversight)도 정렬의 일부이다. 작업자는 작업을 일시 정지하고, 수정하고, 취소할 수 있어야 한다. 로봇은 불확실성을 전달하고 정지한 이유를 설명해야 한다. 고위험 행동은 명시적 승인을 요구할 수 있다. 에스컬레이션 정책(Escalation Policy)은 배포 후 임시로 만드는 것이 아니라 시스템에 미리 포함되어야 한다.
열두 번째 요구사항은 실시간 성능(Real-Time Performance)이다. 모델이 지능적이더라도 출력이 너무 늦게 생성되면 운영상 쓸모가 없다. 로봇 제어에는 엄격한 시간 요구사항이 존재한다. 인식, 계획, 행동 생성, 안전 검사는 예측 가능한 지연 시간 안에 완료되어야 한다.
서로 다른 제어 계층은 서로 다른 주기로 작동한다. 상위 임무 계획(High-Level Mission Planning)은 비교적 느리게 동작할 수 있지만, 모터 제어는 초당 수백 또는 수천 회의 갱신이 필요할 수 있다. 하나의 대형 파운데이션 모델이 모든 시간 척도를 직접 처리할 것이라고 기대해서는 안 된다.
따라서 계층적 배포(Hierarchical Deployment)가 필수적이다. 대형 모델은 낮은 주기로 목표를 해석하고, 장면을 분석하고, 행동 청크를 생성할 수 있다. 소형 정책 모델과 결정론적 제어기는 고주파 명령을 실행할 수 있다. 아키텍처는 이러한 계층 사이에 명확한 인터페이스를 정의해야 한다.
추론 최적화(Inference Optimization)는 양자화(Quantization), 가지치기(Pruning), 지식 증류(Knowledge Distillation), 효율적 어텐션(Efficient Attention), 캐싱(Caching), 토큰 축소(Token Reduction), 혼합 정밀도(Mixed Precision), 하드웨어 인식 컴파일(Hardware-Aware Compilation)을 포함한다. 작업 지시나 지도와 같은 정적 정보는 캐싱하고, 동적 센서 데이터만 지속적으로 갱신할 수 있다.
평균 속도만큼 예측 가능성(Predictability)도 중요하다. 산업 시스템은 제한된 지연 시간(Bounded Latency)과 부하 상황에서도 안정적인 행동을 요구한다. 대부분의 경우 빠르게 응답하지만 가끔 멈추는 모델은 안전이 중요한 제어에 적합하지 않을 수 있다.
열세 번째 요구사항은 계산 및 에너지 효율성(Computational and Energy Efficiency)이다. 물리 로봇은 제한된 온보드 전력(Onboard Power), 열 용량(Thermal Capacity), 메모리, 처리 자원을 가진다. 계산에 사용하는 모든 전력은 이동, 센싱, 적재물 동작, 임무 지속 시간에 사용할 수 있는 에너지를 줄인다.
피지컬 AI 파운데이션 모델은 대규모 데이터센터 클러스터에서 학습한 뒤 더 작은 엣지 모델(Edge Model)을 통해 배포할 수 있다. 지식 증류, 어댑터 기반 특화(Adapter-Based Specialization), 계층적 클라우드-엣지 아키텍처(Hierarchical Cloud-Edge Architecture)가 이러한 전환을 지원할 수 있다. 그러나 클라우드 의존성은 통신 지연, 연결 위험, 개인정보 보호 문제, 운영 취약성을 발생시킨다.
중요한 기능은 로컬에서 계속 사용할 수 있어야 한다. 네트워크 연결이 끊어져도 로봇은 안전하게 운용되어야 한다. 클라우드는 고부하 추론(Heavy Reasoning), 플릿 학습(Fleet Learning), 모델 업데이트를 지원할 수 있지만, 로컬 제어기는 필수 자율성과 안전을 유지해야 한다.
열네 번째 요구사항은 확장 가능한 데이터 인프라(Scalable Data Infrastructure)이다. 피지컬 AI 모델은 동기화되고, 보정되며, 멀티모달인 대규모 데이터를 필요로 한다. 데이터 수집 시스템은 카메라, 깊이, LiDAR, 오디오, 힘, 촉각, 고유감각, 행동, 목표, 결과, 메타데이터를 지원해야 한다.
데이터 파이프라인은 타임스탬프, 좌표계, 보정 버전(Calibration Version), 로봇 식별자, 소프트웨어 버전, 환경 문맥(Environmental Context), 작업 레이블(Task Label), 안전 이벤트(Safety Event)를 보존해야 한다. 이러한 메타데이터가 없다면 여러 로봇과 사이트에서 수집한 데이터를 신뢰성 있게 결합하기 어렵다.
저장 시스템은 고대역폭 수집(High-Bandwidth Ingestion), 장기 보관(Long-Term Archiving), 효율적인 샘플링, 데이터셋 버전 관리(Dataset Versioning), 추적 가능성(Traceability)을 지원해야 한다. 데이터 품질 도구는 손상(Corruption), 중복(Duplication), 동기화 오류, 센서 누락(Sensor Dropout), 불일치 레이블을 감지해야 한다.
개인정보 보호와 거버넌스(Governance)도 필요하다. 로봇은 사람, 작업장, 독점 장비(Proprietary Equipment), 민감한 운영 상황을 촬영할 수 있다. 대규모 수집을 시작하기 전에 데이터 접근, 보유 기간(Retention), 익명화(Anonymization), 소유권, 허용된 사용 범위를 정의해야 한다.
열다섯 번째 요구사항은 지속적 적응(Continual Adaptation)이다. 로봇은 시간이 지나면서 변화하는 환경에서 운용된다. 장비 위치가 바뀌고, 바닥이 마모되고, 조명이 변하며, 새로운 제품이 투입되고, 인간의 작업 습관도 달라진다. 정적인 모델은 시간이 지나면서 점차 신뢰성을 잃을 수 있다.
지속학습(Continual Learning)은 기존 능력을 파국적으로 잊지 않으면서 새로운 경험을 흡수할 수 있어야 한다. 리플레이 데이터셋(Replay Dataset), 정규화(Regularization), 어댑터 업데이트(Adapter Update), 모델 병합(Model Merging), 주기적 재학습(Periodic Retraining)이 기존 능력을 보존하는 데 도움을 줄 수 있다. 모든 업데이트는 회귀 벤치마크(Regression Benchmark)를 통해 검증되어야 한다.
플릿 학습은 적응을 가속할 수 있다. 여러 로봇의 경험을 통합하여 공유 모델을 개선할 수 있다. 한 로봇이 경험한 실패를 전체 플릿의 복구 사례로 사용할 수 있다. 그러나 플릿 전체 배포에는 단계적 롤아웃(Staged Rollout), 버전 관리, 모니터링, 롤백이 필요하다.
열여섯 번째 요구사항은 해석 가능성(Interpretability)과 관측 가능성(Observability)이다. 엔지니어와 작업자는 시스템이 무엇을 인식했고, 어떤 목표를 추론했으며, 왜 특정 행동을 선택했고, 언제 불확실해졌는지를 이해할 수 있어야 한다. 신경망의 완전한 해석은 불가능할 수 있지만, 행동 수준의 투명성(Behavior-Level Transparency)은 달성할 수 있다.
구조화된 중간 출력에는 검출된 객체, 목표 연결(Target Association), 계획된 하위 목표(Planned Subgoal), 선택된 스킬(Selected Skill), 예측 결과(Predicted Outcome), 신뢰도, 안전 상태(Safety Status)가 포함될 수 있다. 이러한 출력은 디버깅과 사고 분석(Incident Analysis)을 더 쉽게 만든다.
운영 관측 가능성은 모델 입력, 출력, 지연 시간, 자원 사용량, 불확실성, 안전 개입(Safety Intervention), 임무 상태를 포함해야 한다. 로그는 동기화되어야 하며 모델 및 소프트웨어 버전까지 추적할 수 있어야 한다. 이는 검증, 유지보수, 인증에 필수적이다.
열일곱 번째 요구사항은 능력과 안전을 모두 포함하는 평가(Evaluation)이다. 오프라인 정확도만으로는 로봇의 신뢰성을 입증할 수 없다. 모델은 개방 루프 예측(Open-Loop Prediction), 폐루프 시뮬레이션(Closed-Loop Simulation), 하드웨어 인 더 루프(Hardware-in-the-Loop), 통제된 실험실, 파일럿 현장, 실제 배포 환경에서 평가되어야 한다.
능력 시험(Capability Testing)은 작업 성공, 일반화, 조합적 지시, 도구 사용, 계획, 복구, 교차 체화 전이, 장기 일관성을 포함해야 한다. 안전 시험(Safety Testing)은 충돌, 힘 제한, 제한 구역, 센서 장애, 적대적 조건(Adversarial Condition), 분포 변화, 비상 행동(Emergency Behavior)을 포함해야 한다.
희귀 사건(Rare Event)은 특별히 주의해야 한다. 평균 성능은 위험한 꼬리 실패(Tail Failure)를 숨길 수 있다. 시뮬레이션, 시나리오 생성(Scenario Generation), 스트레스 테스트(Stress Testing), 레드팀 테스트(Red Teaming)는 발생 가능성은 낮지만 운영상 중요한 조건을 드러낼 수 있다.
운용 설계 영역(Operational Design Domain)은 문서화되어야 한다. 모델이 검증된 환경, 로봇 구성, 속도, 적재하중, 센서 조건을 넘어 신뢰성 있게 동작한다고 가정해서는 안 된다.
열여덟 번째 요구사항은 시스템 통합(System Integration)이다. 피지컬 AI 파운데이션 모델을 모든 로봇 소프트웨어를 대체하는 독립형 시스템으로 취급해서는 안 된다. 인식 모듈, 위치 추정, 지도 작성(Mapping), 모션 계획(Motion Planning), 실시간 제어, 안전, 임무 관리(Mission Management), 플릿 서비스(Fleet Service), 데이터베이스, 디지털 트윈, 인간 인터페이스를 포함하는 더 큰 아키텍처 안에서 동작해야 한다.
명확한 인터페이스가 필수적이다. 모델은 잘 정의된 관측과 목표를 입력받고, 의미가 명확한 출력을 생성해야 한다. 버전이 관리되는 API, 메시지 스키마(Message Schema), 좌표계 규약(Coordinate Convention), 시간 계약(Timing Contract), 실패 코드(Failure Code)는 모호성을 줄인다.
모델의 권한 범위(Authority)도 정의되어야 한다. 모델은 계획을 추천하거나, 스킬을 선택하거나, 궤적을 생성하거나, 특정 행동을 직접 제어할 수 있다. 더 높은 권한에는 더 강한 검증과 안전 격리(Safety Containment)가 필요하다.
열아홉 번째 요구사항은 재현 가능한 학습과 배포(Reproducible Training and Deployment)이다. 파운데이션 모델은 데이터 혼합(Data Mixture), 무작위 시드(Random Seed), 최적화 설정, 토크나이저 버전(Tokenizer Version), 아키텍처 변경, 하드웨어 동작에 민감하다. 학습 파이프라인은 설정, 데이터셋, 체크포인트(Checkpoint), 평가 결과를 기록해야 한다.
모델 아티팩트(Model Artifact)는 보정 데이터, 행동 어휘(Action Vocabulary), 로봇 어댑터(Robot Adapter), 안전 정책(Safety Policy), 런타임 의존성(Runtime Dependency)과 함께 버전 관리되어야 한다. 관련 시스템 메타데이터 없이 모델만 업데이트하면 숨겨진 비호환성(Incompatibility)이 발생할 수 있다.
배포 시스템은 롤백을 지원해야 한다. 새로운 모델이 예상하지 못한 행동을 보이면 플릿은 검증된 버전으로 빠르게 복귀해야 한다. 카나리 배포(Canary Deployment)와 단계적 확대(Staged Expansion)는 대규모 실패 위험을 줄인다.
마지막 요구사항은 수명주기 거버넌스(Lifecycle Governance)이다. 피지컬 AI 파운데이션 모델은 일회성 연구 결과가 아니다. 지속적으로 운용되고, 모니터링되고, 업데이트되고, 감사(Audit)되는 시스템이다. 미세조정(Fine-Tuning), 압축(Compression), 하드웨어 이전(Hardware Migration), 새로운 센서 통합, 도구 연결 이후 모델의 능력과 위험은 달라질 수 있다.
거버넌스는 데이터, 학습, 검증, 배포 승인(Deployment Approval), 사고 대응(Incident Response), 폐기(Retirement)에 대한 책임을 정의해야 한다. 안전 사례(Safety Case)와 기술 문서는 모델과 함께 발전해야 한다. 변경 사항은 신경망 수준뿐 아니라 전체 시스템 수준에서 평가되어야 한다.
궁극적으로 피지컬 AI 파운데이션 모델은 디지털 파운데이션 모델보다 훨씬 더 폭넓은 요구사항을 만족해야 한다. 여러 센서를 통해 인식하고, 체화를 이해하며, 공간적·시간적으로 추론하고, 행동의 결과를 예측하며, 제어 가능한 행동을 생성하고, 불확실성을 인식하고, 실패에서 복구하고, 엄격한 안전성과 시간 제약 안에서 동작해야 한다.
가장 성공적인 시스템은 규모(Scale)에만 의존하지 않을 것이다. 대규모 멀티모달 학습(Large-Scale Multimodal Learning)을 보정된 기하학(Calibrated Geometry), 월드 모델, 계층적 제어(Hierarchical Control), 결정론적 안전(Deterministic Safety), 구조화된 메모리, 효율적인 엣지 추론(Efficient Edge Inference), 엄격한 수명주기 관리와 결합할 것이다. 파운데이션 모델은 유연한 인식, 추론, 적응을 제공하고, 주변 시스템은 이러한 능력이 안전하고, 신뢰할 수 있으며, 목적 지향적인 물리 행동으로 변환되도록 보장하게 될 것이다.
1.7 Robot Embodiment and Grounding Challenges
로봇 체화(Robot Embodiment)와 접지(Grounding)는 피지컬 AI 파운데이션 모델(Physical AI Foundation Model)을 개발하는 과정에서 가장 핵심적인 과제 가운데 하나이다. 디지털 모델(Digital Model)은 물리 법칙을 따라야 하는 몸체 없이도 언어, 이미지, 코드 등을 처리할 수 있다. 반면 로봇은 특정한 기계적 구조(Mechanical Structure)를 통해 세상을 인식하고 행동한다. 따라서 로봇의 지능은 센서(Sensor), 액추에이터(Actuator), 크기(Dimension), 질량(Mass), 운동학(Kinematics), 동역학(Dynamics), 에너지 한계(Energy Limit), 그리고 주변 환경과의 상호작용과 분리될 수 없다. 로봇 파운데이션 모델은 객체와 명령의 의미를 이해하는 것뿐 아니라, 그러한 의미가 특정한 몸체를 통해 물리 세계에서 어떻게 구현되는지도 함께 학습해야 한다.
체화(Embodiment)는 에이전트가 세상을 인식하고 행동하는 몸체를 통해 지능이 형성되는 방식을 의미한다. 몸체는 로봇이 무엇을 감지할 수 있는지, 어디까지 이동할 수 있는지, 무엇을 잡을 수 있는지, 얼마나 큰 힘을 가할 수 있는지, 얼마나 빨리 정지할 수 있는지, 그리고 상호작용 과정에서 어떤 위험이 발생하는지를 결정한다. 바퀴형 자율이동로봇(Autonomous Mobile Robot), 휴머노이드(Humanoid), 사족보행 로봇(Quadruped), 고정형 매니퓰레이터(Fixed Manipulator), 무인항공기(Unmanned Aerial Vehicle)는 모두 동일하게 "객체를 검사하라"는 명령을 받을 수 있지만, 이를 수행하는 방식은 플랫폼마다 완전히 다르다.
이동형 로봇은 대상까지 접근하여 센서를 위치시킬 수 있다. 매니퓰레이터는 엔드이펙터(End Effector)를 움직여 물체 주변을 검사할 수 있다. 휴머노이드는 걸어가고 몸을 숙인 뒤 양손을 사용할 수 있다. 무인항공기는 공중에서 대상을 검사할 수 있다. 의미적 목표(Semantic Goal)는 동일하지만, 사용 가능한 행동 공간(Action Space), 제약조건(Constraint), 물리적 전략(Physical Strategy)은 서로 다르다. 따라서 파운데이션 모델은 공통적인 작업 추상화(Task Abstraction)와 체화별 실행 방식(Embodiment-Specific Realization)을 모두 표현해야 한다.
접지(Grounding)는 기호(Symbol), 언어(Language), 개념(Concept), 또는 내부 표현(Internal Representation)을 실제 관측(Observation)과 행동(Action)에 연결하는 과정을 의미한다. "컵(cup)"이라는 단어는 현재 장면 속 실제 컵과 연결되어야 한다. "조금 더 가까이 이동하라(move closer)"는 명령은 실제 공간 거리의 변화로 연결되어야 한다. "부드럽게 밀어라(push gently)"는 문장은 적절한 방향(Direction), 속도(Velocity), 접촉력(Contact Force), 지속 시간(Duration)으로 변환되어야 한다. 이러한 접지가 이루어지지 않으면 모델은 유창한 설명을 생성할 수는 있어도 실제 물리 세계에서는 신뢰성 있게 행동할 수 없다.
체화와 접지는 서로 밀접하게 연결되어 있다. 접지는 항상 로봇의 몸체와 센서를 통해 이루어진다. 로봇이 실제로 이해할 수 있는 것은 무엇을 감지할 수 있으며 어떻게 행동할 수 있는가에 의해 결정된다. 촉각 센서를 가진 로봇 손은 변형(Deformation)과 힘의 반응을 통해 부드러움(Softness)의 개념을 접지할 수 있다. 반면 촉각 센서가 없는 이동형 로봇은 시각 정보나 기존 지식에만 의존해야 한다. 깊이 센서를 가진 로봇은 거리를 계량적으로 접지할 수 있지만, 단안 카메라(Monocular Camera)만 가진 시스템은 이를 간접적으로 추정해야 한다.
체화에서 가장 먼저 나타나는 도전 과제는 센서 다양성(Sensor Diversity)이다. 서로 다른 로봇 플랫폼은 카메라(Camera), LiDAR, 깊이 센서(Depth Sensor), 관성측정장치(IMU), 힘 센서(Force Sensor), 엔코더(Encoder), 촉각 배열(Tactile Array), 마이크(Microphone), 위치 추정 장치(Localization Device)를 서로 다르게 사용한다. 동일한 작업을 수행하는 로봇이라도 센서 구성은 크게 다를 수 있다. 시야(Field of View), 해상도(Resolution), 샘플링 속도(Sampling Rate), 노이즈 특성(Noise Characteristic), 좌표계(Coordinate Frame)는 모두 달라질 수 있다.
하나의 센서 구성에서 학습된 파운데이션 모델은 다른 센서 구성으로 잘 일반화되지 않을 수 있다. 바닥 가까이에 설치된 카메라는 휴머노이드 머리에 설치된 카메라와 전혀 다른 시점을 가진다. 손목 카메라(Wrist Camera)는 매니퓰레이터와 함께 움직이며 지속적으로 변화하는 국부 시점을 제공한다. 천장에 설치된 고정 카메라는 전체 장면을 볼 수 있지만 가림(Occlusion)이 발생하기 쉽다. 따라서 모델은 시각적 외형이 센서 위치와 방향에 따라 달라진다는 사실을 이해해야 한다.
센서 식별 정보(Sensor Identity)와 보정 정보(Calibration Information)는 명시적으로 인코딩될 필요가 있다. 카메라 내부 파라미터(Camera Intrinsics), 외부 파라미터(Extrinsics), 시야각(Field of View), 장착 자세(Mounting Pose), 시간 특성(Timing Characteristic), 왜곡 계수(Distortion Parameter)는 관측을 올바르게 해석하는 데 직접적인 영향을 준다. 모든 이미지를 동일한 것으로 취급하면 모델은 시점 변화(Perspective Variation)를 객체 변화(Object Variation)로 오해할 수 있다.
좌표계(Coordinate Frame)는 또 다른 중요한 접지 문제를 만든다. 로봇 시스템은 센서 좌표계, 로봇 베이스 좌표계(Robot Base Frame), 엔드이펙터 좌표계, 지역 지도(Local Map), 전역 지도(Global Map), 월드 좌표계(World Frame) 등 여러 좌표계를 동시에 사용한다. 카메라 정면에 있는 점이 로봇 기준으로는 왼쪽에 있을 수도 있다. 지도 좌표계(Map Coordinate)로 표현된 목표 위치는 제어기가 사용하기 전에 적절히 변환되어야 한다.
파운데이션 모델은 기하학적으로 일관된 입력을 제공받거나 좌표계 간 관계(Frame Relationship)를 명시적으로 학습해야 한다. 심각한 보정 오류(Calibration Error)를 단순히 모델 규모가 커지면 자동으로 극복될 문제로 생각해서는 안 된다. 잘못된 좌표 변환은 체계적인 공간 오차(Systematic Spatial Error)를 발생시키며, 이는 직접적으로 위험한 행동으로 이어질 수 있다.
시간 정렬(Temporal Alignment)도 마찬가지로 중요하다. 관측, 상태 추정(State Estimate), 행동은 동일한 물리적 시점을 기준으로 해야 한다. 카메라는 초당 30프레임으로 동작할 수 있지만, 관절 엔코더는 수백 Hz, 힘 센서는 그보다 더 높은 속도로 동작하며, 언어 명령은 간헐적으로만 입력될 수 있다. 통신 지연, 버퍼링, 처리 시간 때문에 데이터 스트림이 서로 어긋날 수 있다.
영상과 수백 밀리초 뒤의 로봇 상태가 함께 학습되면 모델은 외형과 행동 사이의 잘못된 관계를 학습하게 된다. 이러한 문제는 빠른 이동, 접촉, 장애물 회피 상황에서 더욱 심각해진다. 따라서 하드웨어 타임스탬프(Hardware Timestamp), 시계 동기화(Clock Synchronization), 지연 시간 보정(Latency Calibration), 시간 인식 임베딩(Time-Aware Embedding)은 접지 학습의 필수 요소이다.
또 다른 주요 과제는 형태(Morphology)이다. 로봇은 관절 수(Number of Joints), 관절 배열(Joint Arrangement), 링크 길이(Link Length), 휠 구성(Wheel Configuration), 조향 메커니즘(Steering Mechanism), 다리 구조(Limb Structure), 적재 능력(Payload), 작업 공간(Workspace)이 모두 다르다. 6축 산업용 로봇에서 학습한 정책은 운동학 구조(Kinematic Structure)의 차이를 고려하지 않으면 7축 협동로봇(Collaborative Robot)에 직접 적용할 수 없다.
형태는 인식과 제어 모두에 영향을 준다. 로봇 자신의 몸체가 카메라 시야를 가릴 수 있다. 매니퓰레이터는 특정 자세에서만 물체에 도달할 수 있다. 대형 이동형 로봇은 회전과 정지에 더 넓은 공간이 필요하다. 사족보행 로봇은 발을 움직이는 동안 균형을 유지해야 한다. 비행 로봇은 자세와 추력을 지속적으로 제어해야 한다.
하나의 접근 방법은 형태를 구조화된 토큰(Structured Token)이나 그래프(Graph)로 표현하는 것이다. 각 관절, 링크, 센서, 액추에이터를 유형(Type), 위치(Position), 방향(Orientation), 한계(Limit), 연결 관계(Connectivity)와 함께 표현할 수 있다. 그러면 모델은 단순한 숫자 벡터가 아니라 구조화된 몸체를 대상으로 추론할 수 있다.
그래프 표현(Graph Representation)은 로봇의 몸체가 자연스럽게 운동학 트리(Kinematic Tree) 또는 일반적인 기계 그래프(Mechanical Graph)를 이루기 때문에 특히 유용하다. 메시지 전달(Message Passing)이나 어텐션(Attention)은 서로 연결된 구성 요소 사이의 관계를 강조할 수 있다. 이를 통해 하나의 공유 모델이 구조적 차이를 유지하면서 다양한 형태의 로봇을 처리할 수 있다.
그러나 몸체 설명만으로는 전이가 보장되지 않는다. 모델은 형태가 갖는 기능적 의미(Functional Significance)도 이해해야 한다. 수치적으로 비슷한 관절 한계를 가진 두 개의 관절이라도 위치에 따라 역할은 완전히 다를 수 있다. 어깨 관절(Shoulder Joint), 조향 관절(Steering Joint), 그리퍼 손가락(Gripper Finger), 카메라 짐벌(Camera Gimbal)은 모두 회전형 액추에이터이지만 서로 동일하게 취급해서는 안 된다.
액추에이터 특성(Actuator Characteristic)은 체화를 더욱 복잡하게 만든다. 모터는 토크(Torque), 속도(Speed), 백래시(Backlash), 순응성(Compliance), 마찰(Friction), 제어 대역폭(Control Bandwidth), 열 한계(Thermal Limit)가 모두 다르다. 유압 시스템(Hydraulic System)은 전기 모터와 다르게 동작한다. 직렬 탄성 액추에이터(Series Elastic Actuator)는 강체 산업용 관절과 다른 특성을 가진다. 한 로봇에서는 안전한 명령이 다른 로봇에서는 진동(Oscillation), 과열(Overheating), 과도한 힘을 유발할 수 있다.
피지컬 AI 파운데이션 모델은 원하는 행동이 항상 정확한 움직임으로 변환된다고 가정해서는 안 된다. 액추에이터 지연(Actuator Delay), 포화(Saturation), 데드존(Dead Zone), 백래시, 기계적 마모(Mechanical Wear)는 실제 실행에 영향을 준다. 이러한 요소들은 시스템 식별(System Identification), 학습 기반 동역학(Learned Dynamics), 또는 명시적 하드웨어 메타데이터(Hardware Metadata)를 통해 표현될 필요가 있다.
질량(Mass)과 관성(Inertia)도 매우 중요하다. 대형 적재물을 운반하는 중량 검사 로봇은 소형 교육용 로봇처럼 반응할 수 없다. 정지 거리, 전복 위험(Tipping Risk), 에너지 소비, 충돌 결과는 훨씬 크다. 모델은 동일한 속도 명령이라도 총질량(Total Mass), 무게 중심(Center of Gravity), 바닥 상태(Floor Condition), 적재물 분포(Payload Distribution)에 따라 물리적 의미가 달라진다는 사실을 이해해야 한다.
적재물 변화(Payload Change)는 동적인 체화(Dynamic Embodiment)를 만든다. 로봇의 몸체는 항상 동일하지 않다. 무거운 물체를 운반하는 이동형 매니퓰레이터는 빈 상태와 다른 가속도와 안정성 한계를 가진다. 긴 공구를 장착한 로봇 팔은 유효 작업 반경과 충돌 영역(Collision Envelope)이 달라진다. 적재물을 운반하는 UAV는 비행 시간이 감소하고 동역학도 변한다.
따라서 모델은 현재 적재 상태, 공구 구성(Tool Configuration), 무게 중심, 배터리 상태(Battery State) 등 변화하는 체화 정보를 표현해야 한다. 정적인 로봇 식별 정보만으로는 충분하지 않다. 체화는 설계에 의해 일부 결정되지만 현재 운용 상태에 따라서도 지속적으로 변화한다.
공구 사용(Tool Use)은 몸체를 더욱 확장한다. 로봇이 드라이버(Screwdriver), 검사 프로브(Inspection Probe), 흡착 장치(Suction Device), 카메라 붐(Camera Boom)을 장착하면 공구는 로봇의 유효한 몸체 일부가 된다. 모델은 공구의 형상(Geometry), 접촉 특성(Contact Property), 운용 제약, 로봇 움직임과의 관계를 이해해야 한다.
공구 접지(Tool Grounding)는 단순히 공구 종류를 인식하는 것 이상을 요구한다. 로봇은 실제 기능이 수행되는 끝단(Tool Tip)이 어디인지, 어느 방향으로 힘을 가해야 하는지, 어떤 결과가 성공적인 사용을 의미하는지를 알아야 한다. 따라서 공구 보정(Tool Calibration)과 공구 중심점(Tool Center Point) 정의는 매우 중요하다.
행동 공간(Action Space)의 차이는 범용 로봇 모델이 해결해야 할 가장 어려운 문제 가운데 하나이다. 언어 모델은 공통된 토큰 공간(Token Space)에서 동작하지만, 로봇은 매우 다양한 형식의 행동을 생성한다. 어떤 로봇은 관절 위치(Joint Position)를 사용하고, 다른 로봇은 관절 속도(Joint Velocity), 카르테시안 자세(Cartesian Pose), 또는 이산 내비게이션 명령을 사용할 수 있다.
공통 로봇 파운데이션 모델은 이러한 이질적인 행동을 표현하는 전략이 필요하다. 하나의 방법은 이동(Move), 회전(Rotate), 접근(Reach), 파지(Grasp), 놓기(Release), 힘 적용(Apply Force)과 같은 의도를 표현하는 공유 잠재 행동 공간(Shared Latent Action Space)으로 변환하는 것이다. 이후 로봇별 디코더가 이를 실제 플랫폼 명령으로 변환할 수 있다.
이 접근법은 전이를 향상시키지만 중요한 세부사항을 숨길 수도 있다. "앞으로 이동(move forward)"이라는 개념은 차동 구동(Differential Drive), 전방향 플랫폼(Omnidirectional Platform), 사족보행 로봇, 휴머노이드에서 모두 다른 의미를 가진다. 따라서 공유 잠재 표현은 플랫폼별 실행에 필요한 충분한 정보를 유지하면서도 지나치게 세분화된 표현이 되지 않아야 한다.
또 다른 방법은 명시적인 행동 스키마(Action Schema)를 모델 입력으로 제공하는 것이다. 모델은 사용 가능한 제어 방식(Control), 차원(Dimension), 단위(Unit), 제한값(Limit), 갱신 주기(Update Rate)를 입력받고, 그 스키마 안에서 행동을 생성한다. 이는 모델이 서로 다른 인터페이스를 정의에 따라 호출하는 도구 사용(Tool Use)과 유사하다.
행동 정규화(Action Normalization)도 도움이 될 수 있다. 관절 위치, 속도, 힘을 정규화된 범위로 변환하고 좌표계를 표준화할 수 있다. 그러나 정규화가 동역학이나 위험의 차이를 제거하는 것은 아니다. 동일한 정규화 값이라도 플랫폼에 따라 전혀 다른 물리적 결과를 만든다.
언어를 행동으로 접지하는 것은 특히 어렵다. 자연어 명령은 본질적으로 모호하기 때문이다. "조금 더 가까이"는 정확한 거리를 지정하지 않는다. "단단히 잡아라(grip firmly)"는 물체의 취약성에 따라 달라진다. "빨리"라는 표현은 안전이나 적재 안정성과 충돌할 수 있다. 인간의 언어는 공유된 문맥과 상식(Common Sense)에 크게 의존한다.
로봇은 현재 관측, 작업 문맥, 사용자 이력, 운영 규칙을 이용하여 이러한 모호성을 해결해야 한다. 불확실성이 높을 경우 임의로 해석하기보다 사용자에게 명확한 설명을 요청해야 한다. 따라서 접지된 언어 이해(Grounded Language Understanding)는 불확실성 추정(Uncertainty Estimation)과 상호작용적 의사소통(Interactive Communication)을 함께 요구한다.
공간 언어(Spatial Language)는 또 다른 어려움을 만든다. 왼쪽, 오른쪽, 뒤, 위, 가까움, 멀리와 같은 표현은 기준 좌표계(Reference Frame)에 따라 의미가 달라진다. "기계의 왼쪽으로 이동하라"는 명령은 작업자의 왼쪽일 수도 있고, 로봇의 왼쪽일 수도 있으며, 기계 자체의 왼쪽일 수도 있다. 시스템은 의도된 기준 좌표계를 식별하거나 사용자에게 확인해야 한다.
참조 해석(Reference Resolution)도 관련된 문제이다. "저것을 집어라(pick that one)"라는 명령은 화자의 시선(Gaze), 손가락 가리키기(Pointing), 대화 문맥(Dialogue Context), 이전 상호작용을 통해 어느 물체를 의미하는지를 판단해야 한다. 인간-로봇 협업(Human-Robot Collaboration)에서는 언어 접지가 비전(Vision), 제스처 인식(Gesture Recognition), 대화 메모리(Conversational Memory)를 함께 요구한다.
어포던스 접지(Affordance Grounding)는 객체가 어떤 행동을 지원하는지를 이해하는 문제이다. 손잡이는 당기기를, 버튼은 누르기를, 평평한 면은 물체를 올려놓기를 가능하게 한다. 이러한 관계는 외형만으로 결정되지 않는다. 겉모습이 비슷한 손잡이라도 단순 장식일 수 있으며, 평평해 보이는 면도 실제로는 무게를 지탱하지 못할 수 있다.
파운데이션 모델은 이미지, 비디오, 텍스트를 통해 광범위한 어포던스 사전지식(Affordance Prior)을 학습할 수 있지만, 신뢰할 수 있는 접지를 위해서는 실제 물리적 상호작용이 필요하다. 힘, 움직임, 소리, 촉각 피드백은 예상한 어포던스가 실제인지 여부를 알려준다. 능동적 인식(Active Perception)과 탐색 행동(Exploratory Action)은 이러한 불확실성을 줄일 수 있다.
접촉 접지(Contact Grounding)는 특히 어렵다. 접촉 전에는 비전과 기하학을 중심으로 추론하지만, 접촉 이후에는 힘, 토크(Torque), 촉각, 모터 전류, 변형이 핵심 정보가 된다. 모델은 자유 공간 이동과 실제 접촉 사이의 전환을 인식해야 한다.
접촉 이벤트(Contact Event)는 짧고 고주파이며 시간 동기화에 매우 민감하다. 작은 지연도 힘이 위험한 수준까지 증가하도록 만들 수 있다. 따라서 대형 범용 모델은 직접적인 고대역 접촉 제어에 적합하지 않다. 계층형 아키텍처(Hierarchical Architecture)는 접촉 전략은 파운데이션 모델이 담당하고, 힘 제어와 임피던스 제어(Impedance Control)는 하위 제어기가 수행하는 것이 바람직하다.
객체 영속성(Object Permanence)도 접지의 중요한 요소이다. 객체는 카메라 시야에서 가려지거나 사라질 수 있으며, 조명에 따라 외형이 변할 수도 있다. 로봇은 객체가 계속 존재하며 어디에 있을 가능성이 높은지를 기억해야 한다. 이를 위해서는 프레임 단위 인식(Frame-by-Frame Recognition)이 아니라 메모리와 월드 모델이 필요하다.
동적인 환경(Dynamic Environment)은 접지를 더욱 어렵게 만든다. 사람은 이동하고, 문은 열리고, 팔레트는 옮겨지며, 기계의 상태는 지속적으로 변한다. 한 시점에서 접지된 표현은 곧 오래된 정보가 될 수 있다. 시스템은 정보를 지속적으로 갱신하고 각 관측이 언제 수집되었는지를 알아야 한다.
최신성 표시(Freshness Indicator)와 타임스탬프는 이를 지원한다. 모델은 어제 생성된 지도와 현재 LiDAR 관측을 동일하게 취급해서는 안 된다. 정적인 지식과 실시간 센서 정보를 구분해야 하며, 둘이 충돌하면 어느 쪽이 더 신뢰할 수 있는지를 판단해야 한다.
부분 관측성(Partial Observability)은 피할 수 없다. 센서는 모든 것을 볼 수 없으며, 일부 중요한 변수는 직접 관측할 수 없다. 표면의 마찰계수, 물체 내부 손상, 사람의 의도는 직접 측정하기 어렵다. 로봇은 존재하지 않는 정확한 값을 만들어내기보다 불확실성을 유지해야 한다.
신념 상태(Belief State)는 알고 있는 것과 모르는 것을 함께 표현할 수 있다. 모델은 객체 자세, 접촉 상태, 인간의 의도에 대해 확률 분포를 유지할 수 있다. 이후 계획은 이러한 불확실성을 고려하여 필요하면 먼저 정보를 수집하는 행동을 선택해야 한다.
따라서 능동적 인식(Active Perception)은 매우 중요한 접지 능력이다. 로봇은 카메라를 움직이거나, 시점을 변경하거나, 물체를 만지거나, 사람에게 질문하여 불확실성을 줄일 수 있다. 인식은 더 이상 수동적인 입력 과정이 아니라 행동 선택(Action Selection)의 일부가 된다.
로봇은 장애물 뒤를 보기 위해 위치를 바꾸거나, 다른 면을 검사하기 위해 물체를 회전시키거나, 깊이 추정을 향상시키기 위해 천천히 접근할 수 있다. 파운데이션 모델은 즉시 행동을 실행하는 것보다 추가적인 센싱이 더 가치 있는 시점을 학습해야 한다.
시뮬레이션(Simulation)은 체화와 접지를 학습하기 위한 확장 가능한 환경을 제공한다. 로봇 모델, 센서, 동역학, 객체, 환경을 체계적으로 변화시킬 수 있으며, 하드웨어를 손상시키지 않고 수백만 번의 상호작용을 생성할 수 있다. 드문 실패나 위험한 상황도 안전하게 탐색할 수 있다.
그러나 시뮬레이션에는 현실 격차(Reality Gap)가 존재한다. 시뮬레이션 영상, 마찰, 접촉, 액추에이터 지연, 변형, 센서 노이즈는 실제 세계와 다르다. 정책은 실제에는 존재하지 않는 시뮬레이션 특성을 이용할 수도 있다. 시각적 사실감만으로는 정확한 동역학을 보장하지 않는다.
도메인 랜덤화(Domain Randomization)는 텍스처(Texture), 조명, 물체 특성, 동역학, 센서 노이즈, 지연 시간을 다양하게 변화시켜 이 문제를 완화하려 한다. 모델은 하나의 특정 시뮬레이션 조건에 의존하지 않도록 학습한다. 그러나 지나친 랜덤화는 비현실적인 데이터를 생성하고 학습을 불필요하게 어렵게 만들 수도 있다.
시스템 식별(System Identification)은 실제 로봇의 파라미터를 추정하여 시뮬레이션의 정확도를 높일 수 있다. 기록된 궤적을 이용하여 마찰, 모터 응답, 질량, 지연 모델을 보정할 수 있다. 그럼에도 실제 환경에서의 미세조정(Fine-Tuning)과 검증은 여전히 필요하다.
실제 로봇 데이터는 비용이 매우 크다. 하드웨어 사용 시간, 유지보수, 작업자, 안전 감독, 보정, 저장 공간이 필요하다. 물리적 상호작용은 텍스트나 이미지를 처리하는 것보다 훨씬 느리며, 실패가 발생하면 데이터 수집 자체가 중단될 수도 있다. 따라서 단순한 규모 확장이 어렵다.
원격 조작(Teleoperation)은 접지된 로봇 시연을 수집하는 대표적인 방법이다. 작업자가 로봇을 직접 조작하면서 관측과 행동을 기록한다. 이는 성공적인 행동을 제공하지만 작업자의 습관, 지연, 일관성 부족도 함께 포함된다. 동일한 작업이라도 작업자마다 다른 전략을 사용할 수 있다.
시연 데이터에는 체화 메타데이터(Embodiment Metadata)가 함께 기록되어야 한다. 로봇 구성(Robot Configuration), 공구, 적재 상태, 제어 모드(Control Mode), 보정 정보, 환경 정보가 모두 저장되어야 한다. 그렇지 않으면 서로 다른 시스템의 궤적을 올바르게 결합할 수 없다.
자율 데이터 수집(Autonomous Data Collection)은 규모를 확대할 수 있다. 로봇은 반복 작업을 수행하고 다양한 상황을 탐색하며 실패 사례를 스스로 수집할 수 있다. 그러나 자율 수집은 현재 정책의 편향을 강화할 수도 있다. 로봇이 어려운 상황을 회피하면 실제로 필요한 어려운 사례가 데이터셋에 포함되지 않게 된다.
실패와 복구 데이터(Failure and Recovery Data)는 접지에서 특히 중요하다. 성공적인 파지만 본 모델은 미끄러진 물체를 인식하지 못할 수 있다. 깨끗한 경로에서만 학습한 로봇은 장애물이 있는 환경에서 실패할 수 있다. 진정한 접지 지능은 예상이 어긋나는 상황과 수정 행동을 모두 경험해야 한다.
모델은 예상 결과와 실제 결과를 비교해야 한다. 물체를 이동시키려 했지만 움직이지 않았다면, 모델은 물체, 공구, 접촉, 행동에 대한 자신의 믿음을 수정해야 한다. 이러한 피드백 루프(Feedback Loop)는 월드 모델과 접지를 연결한다.
시간이 지나면서 체화 드리프트(Embodiment Drift)가 발생할 수도 있다. 바퀴가 마모되고, 관절에 백래시가 생기며, 카메라 위치가 변하고, 적재 장치가 느슨해지고, 배터리 성능이 저하된다. 초기 상태를 기준으로 보정된 모델은 점차 정확성을 잃게 된다. 따라서 지속적인 시스템 식별과 상태 모니터링이 필요하다.
접지는 센서와 액추에이터의 상태도 인식해야 한다. 카메라는 렌즈가 더러워져도 계속 영상을 출력할 수 있다. 엔코더는 드리프트할 수 있으며, 모터는 과열되어 토크가 감소할 수 있다. 모델은 이러한 진단 정보를 받아 행동을 적절히 조정해야 한다.
교차 체화 학습(Cross-Embodiment Learning)은 기회와 위험을 동시에 제공한다. 다양한 로봇에서 수집한 데이터는 작업 다양성과 일반화를 향상시킨다. 플랫폼을 초월하는 공통 개념도 학습될 수 있다. 그러나 충분한 메타데이터 없이 서로 다른 궤적을 결합하면 모델은 오히려 혼란스러워질 수 있다.
성공적인 교차 체화 데이터셋은 로봇 형태, 행동 형식, 제어 주기, 센서 구성, 적재 상태, 작업 의미를 명확히 기술해야 한다. 공통 작업 레이블(Common Task Label)과 정규화된 좌표계 규약은 하드웨어 특성을 유지하면서도 전이를 지원할 수 있다.
모델 아키텍처는 공유 구성 요소와 전용 구성 요소를 함께 사용할 수 있다. 공유 인코더(Shared Encoder)는 일반적인 인식과 작업 표현을 학습하고, 로봇별 어댑터(Adapter)와 디코더가 체화 특성을 처리한다. 또는 로봇별 인코더가 서로 다른 센서를 하나의 공유 잠재 공간으로 변환할 수도 있다.
파라미터 효율적인 적응(Parameter-Efficient Adaptation)은 새로운 플랫폼에 파운데이션 모델을 적용할 때 매우 유용하다. 작은 어댑터, 저랭크 업데이트(Low-Rank Update), 체화 임베딩(Embodiment Embedding)만 추가로 학습하고 대부분의 모델은 그대로 유지할 수 있다. 이를 통해 비용을 줄이고 기존의 일반 지식을 보존할 수 있다.
그러나 적응 데이터는 새로운 로봇의 고유한 물리적 특성을 반드시 포함해야 한다. 몇 장의 정적인 이미지로는 액추에이터 지연, 접촉 반응, 정지 거리를 학습할 수 없다. 체화 적응에는 실제 상호작용 궤적이 반드시 포함되어야 한다.
안전(Safety)은 체화와 매우 밀접한 관계를 가진다. 물리적 위험은 질량, 속도, 힘, 형상, 사람과의 거리 등에 의해 결정된다. 동일한 계획 오류라도 소형 탁상용 로봇과 2톤 이동형 플랫폼에서는 전혀 다른 결과를 초래한다.
파운데이션 모델은 모든 몸체에 동일한 안전 임계값(Safety Threshold)을 사용할 수 없다. 제한값은 로봇 종류, 적재 상태, 운용 모드, 환경, 현재 상태에 따라 달라져야 한다. 독립적인 안전 시스템이 이러한 제한을 결정론적으로 강제해야 한다.
충돌 형상(Collision Geometry)은 공구, 적재물, 펼쳐진 로봇 팔, 움직이는 부품을 모두 포함한 현재의 체화를 반영해야 한다. 긴 물체를 운반하는 로봇은 기본 차체보다 훨씬 큰 공간을 차지한다. 접지된 계획은 항상 최신 충돌 모델을 사용해야 한다.
인간-로봇 상호작용(Human-Robot Interaction)은 사회적 접지(Social Grounding)라는 새로운 과제를 만든다. 개인 공간(Personal Space), 접근 방향, 속도, 시선(Gaze), 의사소통 방식은 행동의 적절성에 영향을 준다. 이러한 기대는 환경, 문화, 작업장, 개인에 따라 달라질 수 있다.
로봇은 협업 중인 사람과 단순히 지나가는 사람을 구분해야 할 수도 있다. 양보하거나, 정지하거나, 자신의 의도를 설명하거나, 허가를 요청해야 할 수도 있다. 사회적 행동은 단순한 기하학적 충돌 회피만으로는 설명할 수 없다.
그러나 사회적 접지는 항상 보수적으로 이루어져야 한다. 인간의 의도를 예측하는 것은 본질적으로 불확실하며, 로봇은 근거 없는 확신에 의존해서는 안 된다. 인간의 움직임 예측은 안전 구역(Safety Zone)과 실패 안전(Fail-Safe) 동작과 함께 사용되어야 한다.
체화와 접지의 평가는 단순한 벤치마크 정확도를 넘어야 한다. 모델은 객체를 정확히 인식하면서도 실제로는 도달하지 못할 수 있다. 공간 관계를 정확히 설명하면서도 물리적으로 잘못된 행동을 생성할 수도 있다. 공구를 인식하지만 실제 사용은 실패할 수도 있다.
따라서 평가는 인식과 행동의 일관성(Perception-to-Action Consistency)을 포함해야 한다. 로봇은 목표를 식별하고, 실행 가능한 접근을 계획하며, 물리적 제약 안에서 실행하고, 결과를 검증해야 한다. 작업 성공률(Task Success), 기하학적 오차(Geometric Error), 힘 제어, 시간 특성, 복구 능력, 안전성을 함께 측정해야 한다.
교차 체화 평가는 지식이 위험한 가정을 하지 않으면서 새로운 로봇으로 전이되는지를 확인해야 한다. 형태, 적재물, 센서, 제어 주기, 작업 공간이 달라졌을 때도 안전하게 동작하는지를 시험해야 한다.
접지 평가는 모호한 명령(Ambiguous Instruction), 가림, 센서 성능 저하, 동적 환경, 미지의 객체, 상충되는 정보원을 포함해야 한다. 시스템은 성공적인 실행뿐 아니라 적절한 불확실성 표현과 명확한 설명 요청도 보여주어야 한다.
개방 루프(Open-Loop) 평가만으로는 충분하지 않다. 접지는 상호작용을 통해 형성되므로 폐루프 시뮬레이션(Closed-Loop Simulation)과 실제 환경 시험이 필요하다. 작은 행동 오차도 이후 관측을 변화시키며, 기록된 데이터에서는 보이지 않는 약점을 드러낼 수 있다.
해석 가능성(Interpretability)도 중요하다. 엔지니어는 모델이 어떤 객체를 명령과 연결했는지, 어떤 좌표계를 사용했는지, 어떤 체화 제약을 고려했는지, 왜 특정 행동을 선택했는지를 확인할 수 있어야 한다.
구조화된 중간 표현(Structured Intermediate Representation)은 관측 가능성을 높일 수 있다. 모델은 실행 전에 선택된 목표, 추정 자세(Estimated Pose), 기준 좌표계, 계획된 스킬, 예상 결과, 신뢰도, 감지된 제약조건을 출력할 수 있다.
이러한 출력은 완전한 설명은 아니지만 실패 분석을 훨씬 쉽게 만든다. 로봇이 잘못 움직였다면 문제의 원인이 언어 접지, 객체 연결, 기하학, 계획, 제어 중 어디에서 발생했는지를 확인할 수 있다.
계층형 아키텍처는 체화와 접지를 관리하는 가장 실용적인 방법이다. 파운데이션 모델은 의미 해석(Semantic Interpretation), 멀티모달 융합(Multimodal Fusion), 작업 분해(Task Decomposition), 적응을 담당한다. 기하학 모듈은 좌표 변환, 위치 추정, 충돌 검사, 운동학을 담당한다. 제어 시스템은 동역학, 힘 제어, 고주파 안정성을 담당한다.
월드 모델은 행동 결과를 예측하고, 결정론적 안전 구성요소는 물리적 제한을 강제한다. 인간 인터페이스는 모호성을 해결하고 감독을 제공한다. 이러한 역할 분담은 학습 기반 모델의 유연성을 유지하면서도 기존 엔지니어링 기법을 모두 대체하려 하지 않는다.
디지털 트윈(Digital Twin)은 로봇과 환경에 대한 구조화된 지식을 제공하여 접지를 강화할 수 있다. 디지털 트윈은 형상 정보, 장비 식별, 기준 위치, 유지보수 기록, 운용 제약을 포함할 수 있다. 파운데이션 모델은 실시간 센서 데이터와 이러한 구조화된 표현을 연결할 수 있다.
그러나 디지털 트윈도 시간이 지나면 오래될 수 있다. 모델은 설계 정보와 현재 현실을 구분해야 한다. 실시간 인식을 통해 실제 객체가 디지털 트윈이 예상하는 위치에 존재하는지를 확인해야 한다.
따라서 접지는 단순히 기호를 객체에 연결하는 일회성 과정이 아니다. 언어, 인식, 몸체 상태, 세계 지식, 행동, 피드백을 지속적으로 정렬하는 연속적인 과정이다. 로봇, 환경, 공구, 작업이 변할 때마다 이러한 정렬도 함께 갱신되어야 한다.
장기적인 목표는 의미적 지식을 폭넓게 전이하면서도 각각의 몸체에 정확하게 적응하는 로봇 파운데이션 모델을 만드는 것이다. 로봇은 파지, 내비게이션, 검사, 협업과 같은 개념을 공유하지만, 모든 체화는 이를 서로 다른 물리적 방식으로 구현한다는 사실을 이해해야 한다.
이 목표를 달성하려면 단순히 모델 규모를 키우는 것만으로는 충분하지 않다. 보정된 센서, 동기화된 데이터, 명시적인 체화 표현, 행동 기반 학습, 다양한 상호작용 경험, 신뢰성 있는 월드 모델, 불확실성 추정, 독립적인 안전 보장이 함께 필요하다.
로봇의 체화와 접지는 단순한 구현 세부사항이 아니다. 그것은 물리 세계를 설명하는 지능과 실제 물리 세계에서 행동할 수 있는 지능을 구분하는 경계이다. 모델의 내부 개념이 실제 객체, 상태, 힘, 공간, 행동, 결과와 일관되게 대응될 때 비로소 물리적으로 유용한 시스템이 된다.
따라서 피지컬 AI 파운데이션 모델의 핵심 과제는 넓은 일반화 능력을 유지하면서도 각각의 로봇 몸체가 가진 정확한 현실을 존중하는 것이다. 시스템은 범용적인 작업 이해와 플랫폼별 제어, 공유된 개념과 보정된 기하학, 유연한 추론과 물리적 제약을 동시에 결합해야 한다.
성공적인 아키텍처는 체화를 일반지능의 장애물로 보지 않는다. 오히려 몸체를 구조, 경험, 의미의 원천으로 활용한다. 로봇은 상호작용을 통해 개념이 실제로 무엇을 의미하는지를 학습한다. 접지는 추상적인 표현을 실제 물리적 능력으로 변환하며, 체화는 그러한 능력이 현실 세계에서 얼마나 안전하고 효과적으로 표현될 수 있는지를 결정한다.
1.8 Foundation Model Evaluation for Physical AI
피지컬 AI를 위한 파운데이션 모델을 평가하는 것은 언어 모델(Language Model), 이미지 분류기(Image Classifier), 또는 다른 디지털 시스템을 평가하는 것과 근본적으로 다르다. 디지털 모델은 일반적으로 출력 결과를 정답(Label), 기준 답안(Reference Answer), 벤치마크 점수(Benchmark Score)와 비교하여 평가할 수 있다. 반면 피지컬 AI 모델은 인식(Perception), 추론(Reasoning), 계획(Planning), 제어(Control), 그리고 실제 물리적 결과(Physical Consequence)에 이르는 전체 과정을 평가해야 한다. 텍스트로는 올바르게 보이는 응답이라도 실제 로봇에서는 위험하거나 비효율적인 행동을 생성할 수 있다. 따라서 평가는 모델이 작업을 이해하는지뿐 아니라, 특정한 몸체를 통해 동적인 환경에서 작업을 신뢰성 있게 수행할 수 있는지도 함께 검증해야 한다.
평가의 목적은 단순히 모델의 순위를 매기는 것이 아니다. 평가는 모델의 능력 한계를 확인하고, 일반화 성능을 측정하며, 위험한 행동을 탐지하고, 다양한 아키텍처를 비교하며, 엔지니어링 의사결정을 지원하고, 실제 배포 조건을 정의하며, 모델 업데이트가 기존에 검증된 성능을 저하시켰는지 확인하는 데 사용된다. 피지컬 AI에서는 평가는 학습이 끝난 뒤 수행하는 최종 시험이 아니라 안전(Safety)과 수명주기 관리(Lifecycle Management)의 일부이다.
포괄적인 평가 체계는 여러 수준(Level)에서 모델을 평가해야 한다. 개별 인식과 추론 능력, 통합 작업 수행 능력, 폐루프 행동(Closed-Loop Behavior), 환경 변화에 대한 강건성(Robustness), 불확실성 인식(Uncertainty Awareness), 실패 복구(Failure Recovery), 계산 효율성(Computational Efficiency), 안전 제약 준수(Safety Constraint Compliance)를 모두 측정해야 한다. 이러한 수준들은 서로 연관되어 있지만 동일한 것은 아니다. 한 영역에서 뛰어난 성능이 다른 영역의 우수한 성능을 보장하지는 않는다.
첫 번째 평가 수준은 표현(Representation)과 인식(Perception)이다. 피지컬 AI 파운데이션 모델은 카메라(Camera), 깊이 센서(Depth Sensor), LiDAR, 힘 센서(Force Sensor), 고유감각(Proprioception), 지도(Map), 언어(Language) 등 다양한 모달리티(Modality)의 정보를 해석해야 한다. 평가는 모델이 이러한 입력으로부터 의미 있고 기하학적으로 일관된 표현을 추출하는지를 확인해야 한다.
시각 평가(Visual Evaluation)는 객체 인식(Object Recognition), 객체 검출(Object Detection), 분할(Segmentation), 자세 추정(Pose Estimation), 깊이 이해(Depth Understanding), 장면 분류(Scene Classification), 이상 탐지(Anomaly Detection), 객체 추적(Tracking)을 포함할 수 있다. 조작(Manipulation)에서는 파지 가능한 영역(Graspable Region), 접촉면(Contact Surface), 손잡이(Handle), 공구(Tool), 어포던스(Affordance)를 식별해야 한다. 내비게이션(Navigation)에서는 자유 공간(Free Space), 장애물(Obstacle), 주행 가능 영역(Traversable Terrain), 문(Door), 엘리베이터(Elevator), 사람(People), 교통 규칙(Traffic Rule)을 인식해야 한다.
그러나 기존의 시각 정확도만으로는 충분하지 않다. 표현은 실제 행동을 지원해야 한다. 로봇은 객체를 정확하게 분류하면서도 위치를 잘못 추정할 수 있다. 손잡이를 인식했더라도 실제로 도달 가능한지는 판단하지 못할 수 있다. 따라서 인식 평가는 계량적 기하학(Metric Geometry), 목표 연결(Target Association), 좌표계 일관성(Coordinate Frame Consistency), 작업 관련성(Task Relevance)을 함께 포함해야 한다.
교차 모달 접지(Cross-Modal Grounding)도 평가 대상이다. 모델은 언어 명령을 현재 환경 속의 객체, 영역, 행동, 제약조건과 정확하게 연결해야 한다. "오른쪽 위 커넥터를 검사하라"는 명령을 받으면 단순히 단어를 이해하는 것이 아니라 올바른 커넥터를 선택해야 한다. "기계 뒤로 이동하라"는 지시는 의도된 공간 기준 좌표계를 정확하게 해석해야 한다.
접지 시험(Grounding Test)은 모호한 언어(Ambiguous Language), 지시 표현(Referring Expression), 제스처(Gesture), 유사한 객체가 여러 개인 환경, 변화하는 시점(Viewpoint), 불완전한 정보(Incomplete Information)를 포함해야 한다. 시스템은 명령이 명확할 때만 성공하는 것이 아니라 정보가 부족할 경우 사용자에게 명확한 설명을 요청할 수도 있어야 한다.
시간적 인식(Temporal Perception)은 별도로 평가되어야 한다. 모델은 가려짐(Occlusion) 속에서도 객체를 추적하고, 움직임을 인식하며, 접촉 상태의 변화를 감지하고, 작업 진행 상태(Task Progress)를 추정하며, 오래된 정보와 현재 관측을 구분해야 한다. 정적인 이미지 벤치마크만으로는 로봇이 시간이 흐르면서 장면이 어떻게 변하는지를 이해하는지 평가할 수 없다.
두 번째 평가 수준은 체화 인식(Embodiment Awareness)이다. 동일한 파운데이션 모델이 서로 다른 로봇, 공구, 적재물(Payload), 센서 구성을 처리해야 할 수도 있다. 평가는 모델이 현재 몸체의 능력과 한계를 이해하는지를 확인해야 한다.
체화 시험에서는 로봇의 크기, 관절 한계(Joint Limit), 휠 구성(Wheel Configuration), 적재 능력, 공구 길이, 카메라 위치, 액추에이터 속도, 제어 주기(Control Frequency)를 변화시킬 수 있다. 모델은 모든 플랫폼에 동일한 행동을 적용하는 것이 아니라 현재 몸체에 맞게 계획을 조정해야 한다. 경량 이동형 로봇에 적합한 궤적이 중량 자율주행 플랫폼에는 적합하지 않을 수 있으며, 한 매니퓰레이터에서 가능한 파지가 다른 로봇에서는 불가능할 수도 있다.
교차 체화 평가(Cross-Embodiment Evaluation)는 작업 이해(Task Understanding)와 실제 실행(Execution)을 구분해야 한다. 모델은 목표를 정확하게 이해하면서도 현재 로봇에 적절하게 행동을 변환하지 못할 수도 있다. 따라서 상위 수준의 지식은 전이되면서도 물리적 제약은 계속 유지되는지를 평가해야 한다.
공구 사용(Tool Use)은 체화의 변화로 평가해야 한다. 로봇이 프로브(Probe), 그리퍼(Gripper), 카메라 마스트(Camera Mast) 등을 장착하면 유효 형상(Effective Geometry)과 제어 인터페이스가 달라진다. 모델은 이에 맞추어 작업 반경(Reach), 충돌 영역(Collision Envelope), 공구 중심점(Tool Center Point), 작업 전략(Task Strategy)을 수정해야 한다.
세 번째 평가 수준은 명령 수행(Instruction Following)과 작업 분해(Task Decomposition)이다. 피지컬 AI 모델은 목표를 제약조건을 유지한 채 실제 행동으로 변환해야 한다. 평가는 단일 명령(Single-Step Command), 다중 조건 명령(Multi-Condition Instruction), 장기 임무(Long-Horizon Mission), 환경이나 내부 상태 변화에 따라 행동을 변경해야 하는 작업을 포함해야 한다.
예를 들어 "1번부터 5번 검사 지점을 검사하고, 제한 구역은 피하며, 배터리가 30% 이하가 되면 충전한 뒤 마지막 작업부터 다시 시작하라"는 명령은 메모리(Memory), 계획(Planning), 조건 추론(Conditional Reasoning), 임무 상태 관리(Mission-State Tracking)를 모두 요구한다. 평가는 최종 성공뿐 아니라 모든 조건을 제대로 준수했는지도 함께 측정해야 한다.
작업 분해 평가는 모델이 의미 있는 하위 목표(Subgoal)를 생성하고, 이를 올바른 순서로 배치하며, 적절한 스킬(Skill)이나 공구를 선택하는지를 확인해야 한다. 우수한 모델은 복잡한 임무를 실행 가능한 단계로 분해해야 하며, 모호하거나 물리적으로 불가능한 계획을 생성해서는 안 된다.
중간 계획(Intermediate Plan)의 품질도 중요하다. 로봇이 결국 작업을 완료하더라도 비효율적이거나 불안정하거나 위험한 방식으로 수행할 수 있다. 따라서 경로 길이(Path Length), 불필요한 행동 수, 에너지 소비(Energy Consumption), 수행 시간, 사람의 개입 빈도도 함께 평가해야 한다.
네 번째 평가 수준은 행동 품질(Action Quality)이다. 로봇의 행동은 이산 토큰(Discrete Token), 연속 명령(Continuous Command), 웨이포인트(Waypoint), 궤적(Trajectory), 스킬 호출(Skill Call), 행동 청크(Action Chunk) 등으로 표현될 수 있다. 평가는 출력 형식뿐 아니라 실제 물리적 결과까지 함께 고려해야 한다.
조작에서는 위치 오차(Position Error), 자세 오차(Orientation Error), 파지 성공률(Grasp Success), 접촉력(Contact Force), 미끄러짐(Slip), 궤적의 부드러움(Trajectory Smoothness), 물체 손상(Object Damage)을 측정할 수 있다. 이동형 로봇은 경로 추종(Path Tracking), 위치 추정 정확도(Localization Accuracy), 정지 거리(Stopping Distance), 장애물 간격(Clearance), 속도 변화의 부드러움, 충돌 빈도를 평가할 수 있다. 검사 로봇은 이미지 품질(Image Quality), 검사 영역 커버리지(Target Coverage), 센서 시점(Viewpoint), 반복 측정 정확도(Measurement Repeatability), 결함 검출 성능을 평가할 수 있다.
개방 루프(Open-Loop) 행동 예측은 전문가 시연(Expert Demonstration)과 모델 출력을 비교할 수 있다. 행동 오차(Action Error)나 시퀀스 우도(Sequence Likelihood)는 개발 단계에서는 유용하지만 실제 배포를 결정하기에는 충분하지 않다. 서로 다른 두 행동이 모두 올바를 수 있으며, 작은 예측 오차가 반복 실행되면서 큰 차이를 만들 수도 있기 때문이다.
따라서 폐루프 평가(Closed-Loop Evaluation)가 필수적이다. 모델은 시뮬레이션이나 실제 로봇에서 동작하며, 자신의 행동이 이후의 관측을 변화시키는 상황에서 평가되어야 한다. 이를 통해 오차 누적(Error Accumulation), 노출 편향(Exposure Bias), 불안정한 피드백(Unstable Feedback), 복구 행동(Recovery Behavior)을 확인할 수 있다.
다섯 번째 평가 수준은 월드 모델(World Model)과 결과 예측(Consequence Prediction)이다. 우수한 피지컬 AI 파운데이션 모델은 행동 이후 환경이 어떻게 변하는지를 예측할 수 있어야 한다. 평가는 미래 상태(Future State), 객체 이동(Object Motion), 접촉 이벤트(Contact Event), 충돌(Collision), 작업 진행(Task Progress), 불확실성(Uncertainty)의 예측 정확도를 측정해야 한다.
월드 모델 평가는 수동 예측(Passive Prediction)과 행동 조건부 예측(Action-Conditioned Prediction)을 모두 포함해야 한다. 일반적인 미래를 예측하는 것과 특정 행동을 수행했을 때 어떤 일이 일어나는지를 예측하는 것은 서로 다르며, 후자가 계획(Planning)에서는 훨씬 중요하다.
예측 시간 범위(Prediction Horizon)도 별도로 평가해야 한다. 단기 예측은 정확하지만 장기 예측은 빠르게 오차가 누적될 수 있다. 따라서 시간에 따른 오차 증가와 모델이 불확실성 증가를 적절히 인식하는지를 측정해야 한다.
유용한 월드 모델은 단순히 그럴듯한 영상을 생성하는 것이 아니라 제어에 필요한 정보를 유지해야 한다. 객체 위치, 자유 공간, 지지 관계(Support Relationship), 접촉 상태 등 행동 선택에 필요한 변수들을 정확하게 표현해야 한다. 시각적으로 사실적이지만 기하학이 잘못된 출력은 충분하지 않다.
반사실적 평가(Counterfactual Evaluation)는 모델이 서로 다른 행동의 결과를 구분하는지를 시험한다. 여러 후보 궤적이 주어졌을 때 모델은 각각 다른 결과를 예측하고 어떤 행동이 더 안전하거나 효율적인지를 판단해야 한다. 이는 계획과 위험 평가를 지원하는 중요한 능력이다.
여섯 번째 평가 수준은 계획(Planning)이다. 계획은 실행 가능성(Feasibility), 완전성(Completeness), 효율성(Efficiency), 적응성(Adaptability), 안전성(Safety)을 기준으로 평가해야 한다. 생성된 계획은 로봇 운동학(Kinematics), 환경 기하(Environmental Geometry), 자원 제한(Resource Limit), 임무 규칙(Mission Rule)을 모두 만족해야 한다.
계획 벤치마크는 다단계 작업, 임시 목표(Temporary Goal), 공구 사용, 장애물 회피, 복구 행동을 포함해야 한다. 또한 실행 중 환경이 변화하여 모델이 기존 계획을 수정해야 하는 상황도 포함해야 한다.
장기 임무(Long-Horizon Mission) 평가는 특히 중요하다. 많은 모델은 짧은 작업에서는 우수하지만 긴 임무에서는 일관성을 잃는다. 완료한 단계를 잊거나, 행동을 반복하거나, 후반부 제약을 무시하거나, 중단 이후 다시 이어서 수행하지 못할 수 있다.
임무 수준 평가는 완료율(Completion Rate), 올바르게 수행한 하위 목표 수, 반복되거나 누락된 행동, 재계획(Replanning) 품질, 복구 시간, 배터리 관리, 인간 개입 빈도를 포함할 수 있다. 모델이 일관된 임무 상태를 유지하는지도 함께 검증해야 한다.
일곱 번째 평가 수준은 일반화(Generalization)이다. 파운데이션 모델은 학습 데이터에 포함되지 않은 상황에서도 동작해야 한다. 따라서 새로운 객체, 장면, 시점, 작업, 언어, 로봇 몸체, 물리적 조건을 포함한 평가가 필요하다.
조합적 일반화(Compositional Generalization)는 익숙한 요소를 새로운 방식으로 결합하여 평가할 수 있다. 예를 들어 모델이 빨간 물체, 보관함, 상단 선반은 각각 학습했지만 "빨간 물체를 위쪽 보관함에 넣어라"는 명령은 처음 보는 경우에도 성공적으로 수행해야 한다.
도메인 일반화(Domain Generalization)는 새로운 공장, 바닥 재질, 조명 조건, 레이아웃(Layout), 교통 패턴을 시험해야 한다. 단순한 외형 변화가 아니라 실제로 전이 가능한 구조를 학습했는지를 평가하는 것이 목적이다.
교차 체화 일반화(Cross-Embodiment Generalization)는 서로 다른 운동학이나 센서를 가진 로봇으로 작업 지식이 전이되는지를 평가해야 한다. 시뮬레이션-현실 전이(Sim-to-Real Transfer)는 시뮬레이션에서 학습한 행동이 실제 하드웨어에서도 유지되는지를 측정해야 한다.
일반화에 대한 주장은 반드시 범위를 명확히 해야 한다. 몇 개의 유사한 작업에서 성공했다고 해서 모델을 범용이라고 표현해서는 안 된다. 평가 대상 분포(Evaluated Distribution), 새로운 정도(Novelty Level), 운영 조건을 명확히 문서화해야 한다.
여덟 번째 평가 수준은 강건성(Robustness)이다. 실제 로봇은 노이즈, 센서 성능 저하, 통신 지연, 보정 오차, 하드웨어 마모, 예측하기 어려운 환경 변화 속에서 동작한다. 강건한 모델은 갑작스럽게 실패하지 않고 성능이 점진적으로 저하되어야 한다.
강건성 시험은 이미지 블러(Image Blur), 눈부심(Glare), 어두운 환경, 가림, 깊이 정보 손실, 희소한 LiDAR 데이터, 지연된 상태 추정, 부정확한 지도, 힘 센서 노이즈, 패킷 손실(Packet Loss), 위치 추정 드리프트(Localization Drift)를 포함할 수 있다. 작업 성능이 저하되더라도 안전성은 유지되어야 한다.
센서 누락(Sensor Dropout)은 멀티모달 시스템에서 특히 중요하다. 모델이 하나의 센서에 지나치게 의존하면 해당 센서가 고장났을 때 전체 시스템이 실패할 수 있다. 따라서 특정 모달리티를 제거하거나 손상시켜도 다른 센서를 활용할 수 있는지를 평가해야 한다.
보정 강건성(Calibration Robustness)도 측정해야 한다. 다만 큰 보정 오류를 정상 운용 조건으로 간주해서는 안 된다. 현실적인 작은 오차에 대한 허용 범위는 측정할 수 있지만, 심각한 오류는 모델이 적응하는 것이 아니라 고장 탐지(Fault Detection)를 유발해야 한다.
적대적 강건성(Adversarial Robustness)은 물리적 측면도 포함한다. 특이한 표시, 반사, 혼동되는 객체, 악의적인 명령, 조작된 환경 신호는 잘못된 행동을 유발할 수 있다. 평가는 우발적인 오류와 의도적인 공격을 모두 포함해야 한다.
아홉 번째 평가 수준은 실패 탐지(Failure Detection)와 복구(Recovery)이다. 물리 작업에서는 예상하지 못한 결과가 반드시 발생한다. 평가는 모델이 실패를 인식하고 원인을 추정하며 적절한 복구 전략을 선택하는지를 확인해야 한다.
실패 시나리오는 파지 실패(Missed Grasp), 물체 낙하(Dropped Object), 막힌 경로(Blocked Path), 휠 슬립(Wheel Slip), 위치 추정 상실(Localization Loss), 공구 정렬 오류(Tool Misalignment), 센서 고장, 예상치 못한 사람의 진입, 배터리 부족, 통신 손실 등을 포함할 수 있다. 로봇은 작업이 정상적으로 진행되고 있는 것처럼 계속 행동해서는 안 된다.
실패 탐지 지연(Detection Latency)도 중요하다. 몇 초 뒤에야 파지 실패를 인식하는 것은 너무 늦을 수 있다. 시스템은 예상 결과와 실제 결과를 지속적으로 비교하고 안전한 시간 안에 대응해야 한다.
복구 품질은 재시도 성공률, 시도 횟수, 손실 시간, 추가 위험, 인간의 도움 필요 여부 등을 기준으로 평가할 수 있다. 동일한 실패 행동을 반복하는 것은 지능적인 복구라고 볼 수 없다.
모델은 스스로 복구해서는 안 되는 상황도 알아야 한다. 일부 실패는 정지, 유지보수, 인간의 판단이 필요하다. 평가는 로봇이 위험한 자가 복구나 무리한 반복 시도를 하지 않는지도 확인해야 한다.
열 번째 평가 수준은 불확실성(Uncertainty)과 신뢰도 보정(Calibration)이다. 파운데이션 모델은 입력이 모호하거나, 센서가 불안정하거나, 학습 분포와 다른 상황에서는 낮은 신뢰도를 표현해야 한다. 특히 잘못된 행동에 대해 높은 확신을 보이는 것은 매우 위험하다.
신뢰도 보정 평가는 모델이 예측한 신뢰도와 실제 성공률을 비교한다. 예를 들어 모델이 80%의 확신을 표현했다면 실제 성공률도 약 80% 수준이어야 한다. 잘못 보정된 신뢰도는 부적절한 자율성을 초래할 수 있다.
불확실성 평가는 알려진 모호성과 미지의 상황을 구분해야 한다. 여러 경로가 모두 가능한 상황은 위험하지 않은 불확실성이지만, 익숙하지 않은 하드웨어 동작은 심각한 분포 외 상황(Out-of-Distribution Condition)일 수 있다.
선택적 예측(Selective Prediction)은 유용한 평가 방법이다. 모델은 신뢰도가 낮을 경우 행동을 거부하거나 도움을 요청할 수 있다. 이후 처리 범위(Coverage)와 위험(Risk)의 관계를 평가할 수 있다. 실제 시스템은 자신이 잘 이해하는 상황만 자율적으로 처리함으로써 더 높은 신뢰성을 확보할 수 있다.
불확실성에 대한 실제 대응도 평가해야 한다. 로봇은 속도를 줄이고, 추가 관측을 수행하고, 시점을 변경하고, 전문 계획기를 호출하거나, 사람에게 질문하거나, 안전 상태(Safe State)로 진입할 수 있어야 한다. 정확한 불확실성 추정도 행동에 반영되지 않으면 의미가 없다.
열한 번째 평가 수준은 안전(Safety)이다. 안전 평가는 학습된 행동과 이를 제한하는 독립적인 안전 시스템을 모두 검증해야 한다. 파운데이션 모델은 인간의 의도와 운영 규칙을 따라야 하지만, 결정론적 안전 메커니즘(Deterministic Safety Mechanism)은 핵심 제한을 반드시 강제해야 한다.
시험은 충돌 회피(Collision Avoidance), 관절 및 속도 제한, 힘 제한, 정지 행동, 제한 구역, 사람과의 근접, 불안정한 적재물, 비상 상황(Emergency Condition)을 포함해야 한다. 정상적인 상황만 평가해서는 충분하지 않다.
안전 개입(Safety Intervention) 횟수는 중요한 지표이다. 런타임 모니터(Runtime Monitor)가 모델의 출력을 얼마나 자주 수정하거나 거부하는지를 측정할 수 있다. 사고는 발생하지 않더라도 외부 안전 계층이 지속적으로 개입한다면 모델 자체는 충분히 안전하지 않을 수 있다.
니어미스(Near-Miss) 분석도 중요하다. 실제 충돌은 없더라도 위험한 거리에서 반복적으로 움직인다면 이는 중요한 문제이다. 최소 간격(Minimum Clearance), 충돌까지 남은 시간(Time to Collision), 제동 여유(Braking Margin), 힘의 최대값, 궤적 편차(Trajectory Deviation)는 충돌 횟수보다 더 의미 있는 지표가 될 수 있다.
안전 평가는 꼬리 위험(Tail Risk)도 포함해야 한다. 평균 성능이 우수하더라도 드물지만 치명적인 실패가 존재할 수 있다. 대규모 시뮬레이션, 시나리오 생성, 스트레스 테스트, 레드팀 테스트(Red Teaming)를 통해 이러한 사건을 찾아야 한다.
인간-로봇 상호작용(Human-Robot Interaction)은 추가적인 안전 평가를 요구한다. 로봇은 인간의 의도가 불확실하거나 예상치 못한 움직임이 발생하거나 의사소통 오류가 발생했을 때 보수적으로 행동해야 한다. 사회적으로 자연스러운 행동도 중요하지만 물리적 안전이 항상 우선되어야 한다.
열두 번째 평가 수준은 실시간성과 계산 성능(Real-Time and Computational Performance)이다. 모델이 너무 늦게 판단하거나 과도한 계산 자원을 사용한다면 로봇을 효과적으로 제어할 수 없다. 평가는 지연 시간(Latency), 처리량(Throughput), 메모리 사용량, 전력 소비(Power), 열 특성(Thermal Behavior), 부하 상황에서의 안정성을 포함해야 한다.
평균 지연 시간만으로는 충분하지 않다. 최악의 경우(Worst Case)와 상위 백분위 지연 시간(High Percentile Latency)이 실시간 시스템에서는 더욱 중요하다. 드물게 발생하는 긴 지연은 항상 일정한 중간 수준의 지연보다 더 위험할 수 있다.
평가는 센서 전처리, 모델 추론, 계획, 안전 검사, 통신, 명령 실행을 포함한 전체 파이프라인을 대상으로 해야 한다. 신경망 추론 시간만 보고하면 중요한 시스템 지연이 숨겨질 수 있다.
제어 주기는 작업 특성에 맞추어야 한다. 상위 계획은 느린 갱신도 가능하지만 장애물 회피나 힘 제어는 훨씬 빠른 응답을 요구한다. 평가에서는 각 구성 요소가 요구된 시간 계약(Timing Contract)을 만족하는지를 검증해야 한다.
에너지 효율(Energy Efficiency)도 이동형 플랫폼에서는 중요하다. 계산량이 많은 모델은 임무 시간을 줄이거나 열로 인해 성능이 제한될 수 있다. 추론당 에너지, 작업 완료당 에너지, 실제 배터리 조건에서의 임무 지속 시간을 측정할 수 있다.
열세 번째 평가 수준은 시스템 통합(System Integration)이다. 피지컬 AI 파운데이션 모델은 단독으로 동작하지 않는다. 위치 추정(Localization), 지도 작성(Mapping), 데이터베이스, 모션 플래너(Motion Planner), 디지털 트윈(Digital Twin), 스킬 라이브러리(Skill Library), 플릿 시스템(Fleet System), 인간 인터페이스와 함께 동작한다. 평가는 전체 시스템이 통합되어 올바르게 동작하는지를 확인해야 한다.
인터페이스 오류는 개별 모듈이 모두 정상이어도 전체 시스템 실패를 만들 수 있다. 좌표계 규약(Coordinate Convention), 메시지 형식(Message Format), 단위(Unit), 타임스탬프, 버전 불일치(Version Mismatch), 실패 코드(Failure Code)를 명시적으로 시험해야 한다.
공구 사용(Tool Use)은 모델이 올바른 공구를 선택하고, 적절한 인자를 전달하며, 결과를 정확히 해석하고, 공구 실패를 처리하는지를 평가해야 한다. 모션 플래너를 호출하는 것만으로는 충분하지 않으며 반환된 경로를 안전하게 실제 실행에 통합해야 한다.
임무 수준 통합 시험은 통신 손실, 오래된 데이터(Stale Data), 서비스 장애(Service Unavailability), 서로 충돌하는 하위 시스템 출력도 포함해야 한다. 모델은 모든 도구와 서비스가 항상 올바르게 동작한다고 가정해서는 안 된다.
열네 번째 평가 수준은 해석 가능성(Interpretability)과 관측 가능성(Observability)이다. 대규모 신경망을 완전히 설명하는 것은 어려울 수 있지만, 엔지니어는 동작을 분석하고 인증을 지원할 수 있을 만큼 충분한 정보를 얻을 수 있어야 한다.
평가는 모델이 선택한 목표, 기준 좌표계, 하위 목표(Subgoal), 예상 결과, 신뢰도, 안전 상태(Safety Status)와 같은 유용한 중간 상태를 제공하는지를 확인해야 한다. 이러한 출력은 인식 오류인지 계획 오류인지 제어 오류인지를 구분하는 데 도움을 준다.
로그(Log)는 모델 입력, 출력, 행동, 도구 호출, 안전 개입, 지연 시간, 자원 사용량, 소프트웨어 버전을 시간 동기화하여 기록해야 한다. 사고가 발생하면 당시의 의사결정 상황을 최대한 정확하게 재현할 수 있어야 한다.
해석 가능성에 대한 주장도 신중히 검증해야 한다. 어텐션 맵(Attention Map)이나 생성된 설명은 그럴듯해 보일 수 있지만 실제 의사결정 원인을 반영하지 않을 수도 있다. 반사실적 시험, 입력 제거(Input Masking), 특징 교란(Feature Perturbation), 궤적 재생(Trajectory Replay)이 더 신뢰할 수 있는 증거를 제공한다.
열다섯 번째 평가 수준은 인간 요소(Human Factors)이다. 피지컬 AI 시스템은 기계학습 전문가가 아닌 작업자도 사용하는 경우가 많다. 평가는 사용자가 로봇 상태를 이해하고, 명령을 내리며, 개입하고, 오류를 복구할 수 있는지를 확인해야 한다.
로봇은 자신이 무엇을 하려 하는지, 무엇을 완료했는지, 왜 멈추었는지, 언제 도움이 필요한지를 명확히 전달해야 한다. 설명은 단순히 자연스러운 문장이 아니라 실제 운영에 도움이 되어야 한다.
사용성 평가(Usability Evaluation)는 명령 성공률, 설명 요청의 품질, 작업자 부담(Operator Workload), 개입 시간, 신뢰도 보정(Trust Calibration), 오류 복구를 측정할 수 있다. 지나친 신뢰도 위험하며, 사용자는 시스템의 검증된 능력과 한계를 올바르게 이해해야 한다.
열여섯 번째 평가 수준은 데이터 및 모델 오염(Data and Model Contamination)이다. 파운데이션 모델은 학습 과정에서 벤치마크 예제, 시뮬레이션 환경, 객체 모델, 작업 설명을 이미 접했을 가능성이 있다. 이는 실제보다 높은 성능을 보이게 만들 수 있다.
평가 데이터셋은 학습 데이터와 철저히 분리되어야 한다. 유사성 분석(Similarity Analysis), 버전 관리, 숨겨진 테스트셋(Hidden Test Set)을 통해 오염 위험을 줄일 수 있다. 로봇 평가는 실제 환경과 객체 조합도 완전히 새로운 상황을 포함해야 한다.
암기(Memorization)와 일반화는 구분되어야 한다. 모델은 익숙한 시연을 그대로 재현하면서도 실제 작업은 이해하지 못할 수 있다. 새로운 레이아웃, 변경된 객체 특성, 다른 해결 전략은 이러한 문제를 드러낼 수 있다.
열일곱 번째 평가 수준은 지속학습(Continual Learning)과 모델 업데이트(Model Update)이다. 새로운 작업 성능이 향상되는 동안 기존 능력이 사라질 수도 있다. 따라서 모든 업데이트는 회귀 평가(Regression Evaluation)를 수행해야 한다.
회귀 시험은 핵심 인식, 접지, 계획, 안전, 지연 시간, 체화 평가를 포함해야 한다. 양자화, 어댑터, 학습 데이터, 하드웨어, 소프트웨어 라이브러리 변경은 모두 행동을 변화시킬 수 있다.
플릿 배포(Fleet Deployment)는 단계적으로 평가해야 한다. 새로운 모델은 오프라인, 시뮬레이션, 섀도우 모드(Shadow Mode), 제한된 하드웨어 시험, 파일럿 배포(Pilot Deployment), 전체 배포 순으로 확대되어야 하며 각 단계마다 명확한 승인 기준(Acceptance Criteria)이 필요하다.
롤백(Rollback) 능력도 평가해야 한다. 예상하지 못한 문제가 발생하면 검증된 이전 모델로 빠르게 복귀할 수 있어야 한다. 모델 파일, 어댑터, 보정 데이터, 행동 스키마, 안전 정책은 함께 버전 관리되어야 한다.
열여덟 번째 평가 수준은 벤치마크 설계(Benchmark Design)이다. 피지컬 AI 벤치마크는 단순한 학술 문제보다 실제 의미 있는 작업을 포함해야 한다. 인식, 추론, 행동, 결과를 하나의 흐름으로 연결해야 한다.
벤치마크는 로봇 체화, 센서 구성, 행동 인터페이스, 환경, 작업 분포, 안전 제약, 성공 조건을 명확히 정의해야 한다. 이러한 정보 없이 결과를 비교하는 것은 의미가 없다.
벤치마크의 다양성도 중요하다. 하나의 점수는 조작, 내비게이션, 검사, 사회적 상호작용, 복구 능력의 차이를 숨길 수 있다. 따라서 하나의 종합 점수보다 구조화된 능력 프로파일(Capability Profile)을 제공하는 것이 더 유용할 수 있다.
평가 지표는 작업의 질(Quality)도 반영해야 한다. 반복적인 안전 개입으로 겨우 작업을 완료한 로봇과 부드럽고 완전 자율적으로 수행한 로봇은 동일한 평가를 받아서는 안 된다.
표준화(Standardization)는 비교를 쉽게 만들지만 벤치마크는 지속적으로 발전해야 한다. 시스템이 하나의 고정된 벤치마크만 최적화하면 점수가 실제 능력을 더 이상 반영하지 않을 수 있다. 숨겨진 시험, 변화하는 시나리오, 주기적인 벤치마크 개정이 과적합(Overfitting)을 줄이는 데 도움이 된다.
열아홉 번째 평가 수준은 시뮬레이션과 실제 환경 전이(Simulation and Real-World Transfer)이다. 시뮬레이션은 안전하고 확장 가능하며 재현 가능한 시험 환경을 제공한다. 조명, 객체 배치, 동역학, 센서 노이즈, 실패 상황을 다양하게 변화시키며 수천 개의 시나리오를 생성할 수 있다.
시뮬레이션은 드물고 위험한 사건을 평가하는 데 특히 유용하다. 비상 정지, 불안정한 적재물, 사람의 갑작스러운 접근, 극한 기상 조건, 센서 고장을 실제 위험 없이 시험할 수 있다.
그러나 시뮬레이션 결과만으로 실제 환경에서의 신뢰성을 입증해서는 안 된다. 마찰, 접촉, 지연, 시각적 외형, 하드웨어 마모, 인간 행동의 차이는 결과를 바꿀 수 있다. 따라서 시뮬레이션-현실 전이 성능은 반드시 실제 환경에서 직접 측정해야 한다.
따라서 단계적인 평가 절차가 필요하다. 모델은 오프라인 데이터셋, 폐루프 시뮬레이션, 하드웨어 인 더 루프(Hardware-in-the-Loop), 통제된 실험실, 파일럿 배포, 실제 운영 모니터링 순으로 검증되어야 한다.
이러한 결과를 바탕으로 운용 설계 영역(Operational Design Domain)을 정의해야 한다. 이는 검증된 환경, 작업, 속도, 적재물, 센서 조건, 로봇 구성의 범위를 의미한다. 이 범위를 벗어난 성능은 불확실한 것으로 간주해야 한다.
마지막 평가 수준은 수명주기 거버넌스(Lifecycle Governance)이다. 평가는 실제 배포 이후에도 끝나지 않는다. 실제 운영은 새로운 데이터, 실패 사례, 환경 변화, 모델 업데이트를 지속적으로 만들어낸다. 따라서 성능이 검증된 범위 안에 계속 머무르는지를 확인하기 위한 지속적인 모니터링이 필요하다.
운영 지표는 작업 성공률(Task Success), 인간 개입, 안전 이벤트, 불확실성, 지연 시간, 하드웨어 상태, 분포 변화(Distribution Shift)를 지속적으로 추적해야 한다. 의미 있는 변화가 발생하면 원인 분석이나 재검증이 이루어져야 한다.
사고 분석(Incident Analysis)은 당시 사용된 모델, 데이터, 보정 정보, 하드웨어, 소프트웨어 버전을 정확히 연결할 수 있어야 한다. 이러한 추적 가능성(Traceability)은 유지보수, 책임성(Accountability), 인증(Certification)에 필수적이다.
평가 거버넌스는 누가 시험을 설계하고, 누가 배포를 승인하며, 누가 실패를 검토하고, 업데이트에 어떤 증거가 필요한지를 정의해야 한다. 고위험 응용에서는 독립적인 검토(Independent Review)가 요구될 수도 있다.
궁극적으로 피지컬 AI 파운데이션 모델의 평가는 추상적인 지능만을 측정하는 것이 아니다. 학습된 범용 능력이 특정한 몸체와 시스템 아키텍처를 통해 신뢰할 수 있는 물리적 행동으로 변환되는지를 검증하는 과정이다.
우수한 모델은 정확하게 인식하고, 언어와 개념을 접지하며, 자신의 몸체를 이해하고, 실행 가능한 행동을 계획하며, 결과를 예측하고, 새로운 환경으로 일반화하며, 불확실성을 인식하고, 실패에서 복구하며, 안전성과 시간 제약을 준수해야 한다. 이러한 능력은 정적인 벤치마크가 아니라 폐루프 상호작용을 통해 입증되어야 한다.
가장 신뢰할 수 있는 평가 체계는 오프라인 지표, 시뮬레이션, 하드웨어 시험, 실제 환경 시험, 스트레스 테스트, 인간 평가, 지속적인 운영 모니터링을 함께 결합한다. 평균 성능뿐 아니라 드문 실패도 함께 분석하고, 모델 자체뿐 아니라 주변 안전 시스템까지 함께 평가하며, 현재의 능력뿐 아니라 장기적인 안정성까지 검증한다.
피지컬 AI에서 평가는 단순히 점수를 부여하는 절차가 아니다. 그것은 자율성(Autonomy)의 경계를 정의하는 과정이다. 로봇은 자신의 인식, 추론, 제어, 안전이 함께 신뢰성 있게 동작함이 검증된 조건 안에서만 독립적으로 행동하도록 허용되어야 한다.
1.9 Open Source vs Proprietary Foundation Models
오픈소스(Open-Source) 파운데이션 모델과 독점형(Proprietary) 파운데이션 모델 가운데 무엇을 선택할지는 현대 인공지능 개발에서 가장 중요한 전략적 의사결정 중 하나이다. 이러한 선택은 모델 성능뿐 아니라 데이터 거버넌스(Data Governance), 배포 아키텍처(Deployment Architecture), 보안(Security), 맞춤화(Customization), 비용(Cost), 지식재산권(Intellectual Property), 규제 준수(Regulatory Compliance), 장기 유지보수(Long-Term Maintenance), 운영 독립성(Operational Independence)에 영향을 준다. 피지컬 AI(Physical AI)에서는 파운데이션 모델이 로봇, 센서, 산업 장비, 안전 시스템, 디지털 트윈(Digital Twin), 실시간 제어 인프라(Real-Time Control Infrastructure)와 연결되기 때문에 이러한 구분이 더욱 중요해진다. 모델은 단순히 정보를 생성하는 소프트웨어 구성요소가 아니다. 사람, 기계, 생산, 주변 환경에 직접적인 결과를 초래하는 물리적 행동에 영향을 줄 수 있다.
오픈소스와 독점형이라는 용어는 마치 명확하게 분리되는 두 범주처럼 사용되지만, 실제 환경은 훨씬 복잡하다. 완전히 개방된 모델은 모델 아키텍처(Model Architecture), 소스 코드(Source Code), 학습 절차(Training Procedure), 데이터셋(Dataset), 전처리 도구(Preprocessing Tool), 모델 가중치(Model Weight), 평가 결과(Evaluation Result), 수정과 재배포를 허용하는 라이선스(License)를 제공할 수 있다. 반면 일부 모델은 가중치만 공개하고 학습 데이터나 전체 학습 과정은 비공개로 유지한다. 어떤 시스템은 추론 코드(Inference Code)를 공개하지만 상업적 이용, 재배포, 특정 응용 분야에 제한을 둔다. 독점형 모델은 응용 프로그래밍 인터페이스(Application Programming Interface, API), 관리형 클라우드 플랫폼(Managed Cloud Platform), 또는 라이선스 기반 온프레미스 패키지(On-Premise Package)를 통해서만 접근할 수 있다.
따라서 오픈소스 소프트웨어(Open-Source Software), 오픈 웨이트 모델(Open-Weight Model), 오픈 데이터 프로젝트(Open-Data Project), 연구 전용 공개(Research-Only Release), 소스 공개형 시스템(Source-Available System), 완전한 독점형 서비스(Fully Proprietary Service)를 구분하는 것이 중요하다. "개방형(open)"이라는 단어가 모델 수명주기의 모든 부분이 자동으로 투명하다는 의미는 아니다. 마찬가지로 독점형 모델이라고 해서 반드시 모든 배포 방식이 클라우드 기반이거나 맞춤화가 불가능한 것도 아니다. 조직은 마케팅 용어만 믿기보다 실제 라이선스, 기술 문서, 접근 조건, 업데이트 정책(Update Policy), 배포 권한(Deployment Right)을 검토해야 한다.
오픈소스 파운데이션 모델은 모델 구현과 많은 경우 학습된 가중치에 접근할 수 있도록 한다. 이를 통해 조직은 아키텍처를 검토하고, 자체 인프라에서 모델을 실행하고, 구성요소를 수정하고, 행동을 미세조정(Fine-Tuning)하며, 기존 시스템과 깊이 있게 통합할 수 있다. 연구기관, 스타트업, 로봇 제조업체, 산업 개발자에게 이러한 수준의 통제권은 실험 속도를 크게 높일 수 있다.
오픈 모델(Open Model)의 가장 큰 장점 가운데 하나는 배포 독립성(Deployment Independence)이다. 기업은 데이터를 외부 제공업체로 지속적으로 전송하지 않고도 로컬 서버(Local Server), 프라이빗 클라우드(Private Cloud), 엣지 컴퓨터(Edge Computer), 로봇 탑재 하드웨어에서 모델을 운영할 수 있다. 이는 로봇 데이터에 독점 제조 공정, 시설 레이아웃, 제품 설계, 사람의 이미지, 유지보수 정보, 안전에 민감한 운영 기록이 포함될 수 있다는 점에서 피지컬 AI에 특히 중요하다.
로컬 배포(Local Deployment)는 개인정보 보호와 기밀성 위험을 줄일 수 있다. 센서 데이터는 공장, 연구소, 병원, 창고, 차량 내부에 그대로 유지될 수 있다. 조직은 자체 접근 제어(Access Control), 보유 정책(Retention Policy), 암호화 방식(Encryption Method), 감사 절차(Audit Procedure)를 정의할 수 있다. 데이터 주권(Data Sovereignty)과 사이버보안(Cybersecurity)이 중요한 산업에서는 이러한 능력이 최고의 벤치마크 점수보다 더 중요할 수 있다.
오픈 모델은 오프라인 운용(Offline Operation)도 지원한다. 원격 시설, 지하 환경, 야외 농장, 조선소, 네트워크가 제한된 공장에서 동작하는 로봇은 안정적인 클라우드 접속을 확보하지 못할 수 있다. 모델이 로컬에서 실행되면 통신 장애 중에도 핵심 지능을 사용할 수 있다. 이는 운영 복원력(Operational Resilience)을 높이고 외부 서비스에 의존하지 않으면서 필수 기능을 유지할 수 있도록 한다.
맞춤화(Customization)는 또 다른 주요 장점이다. 오픈 모델은 조직별 데이터로 미세조정할 수 있고, 전문 용어에 맞게 적응시키며, 엣지 배포를 위해 압축하고, 새로운 센서 인코더(Sensor Encoder)와 연결하거나, 로봇 행동을 생성하도록 수정할 수 있다. 엔지니어는 입력 계층(Input Layer)을 교체하고, 토큰화(Tokenization)를 변경하며, 교차 모달 모듈(Cross-Modal Module)을 추가하고, 도구 사용 인터페이스(Tool-Use Interface)를 통합하거나, 로봇별 행동 디코더(Robot-Specific Action Decoder)를 부착할 수 있다.
피지컬 AI에서는 이러한 아키텍처 수정이 자주 필요하다. 일반 언어 모델이나 비전 모델은 관절 상태(Joint State), 포인트 클라우드(Point Cloud), 촉각 피드백(Tactile Feedback), 힘 신호(Force Signal), 임무 상태(Mission State), 내비게이션 지도(Navigation Map), 로봇별 행동 스키마(Action Schema)를 자동으로 이해하지 않는다. 개발자는 모달리티 어댑터(Modality Adapter), 시간 인코더(Temporal Encoder), 월드 모델(World Model) 구성요소, 메모리 시스템(Memory System), 안전 헤드(Safety Head)를 추가해야 할 수 있다. 개방형 접근은 이러한 작업을 가능하게 한다.
오픈 모델은 파라미터 효율적 적응(Parameter-Efficient Adaptation)도 지원한다. 저랭크 적응(Low-Rank Adaptation), 어댑터(Adapter), 프롬프트 튜닝(Prompt Tuning), 부분 미세조정(Partial Fine-Tuning)을 이용하면 모든 파라미터를 다시 학습하지 않고도 대형 파운데이션 모델을 특화할 수 있다. 서로 다른 로봇이나 고객이 공통 기반 모델을 공유하면서 개별 어댑터를 사용할 수 있다. 이는 학습 비용을 줄이고 제품군 유지보수를 단순화할 수 있다.
투명성(Transparency)도 중요한 장점이다. 소스 코드와 모델 아키텍처를 검토하여 숨겨진 의존성(Hidden Dependency), 위험한 연산, 외부 통신, 구현 오류를 확인할 수 있다. 연구자는 모델이 정보를 처리하는 방식을 연구하고, 실험을 재현하며, 수정 사항을 비교하고, 독립적인 평가 도구를 구축할 수 있다.
그러나 투명성에도 한계가 있다. 코드와 가중치에 접근할 수 있다고 해서 모델의 내부 행동을 완전히 이해할 수 있는 것은 아니다. 대규모 신경망은 여전히 해석하기 어렵고, 학습 데이터가 완전히 공개되지 않을 수도 있다. 오픈 모델 역시 알려지지 않은 편향(Bias), 암기된 정보(Memorized Information), 보안 취약점(Security Vulnerability), 위험한 행동을 포함할 수 있다. 개방성은 조사를 쉽게 만들지만 검증의 필요성을 제거하지 않는다.
커뮤니티 개발(Community Development)은 오픈소스 모델의 가장 강력한 동력 가운데 하나이다. 연구자와 엔지니어는 최적화된 추론 엔진(Inference Engine), 양자화 방법(Quantization Method), 배포 도구(Deployment Tool), 평가 벤치마크(Evaluation Benchmark), 안전 필터(Safety Filter), 학습 레시피(Training Recipe), 하드웨어 지원을 제공할 수 있다. 한 집단이 발견한 문제를 다른 집단이 문서화하고 수정할 수 있다. 이러한 분산형 혁신(Distributed Innovation)은 하나의 조직 내부 개발보다 더 빠르게 진행될 수 있다.
오픈 생태계(Open Ecosystem)는 여러 종류의 하드웨어를 지원하는 경우가 많다. 모델은 GPU, CPU, 임베디드 가속기(Embedded Accelerator), 엣지 장치, 특수 추론 프로세서에 맞게 최적화될 수 있다. 이는 클라우드 클러스터부터 소형 온보드 시스템까지 계산 플랫폼이 매우 다양한 로보틱스에서 중요한 유연성을 제공한다.
모델 버전을 보존할 수 있다는 점도 전략적으로 중요하다. 조직은 검증된 배포에 필요한 가중치, 코드, 의존성, 토크나이저(Tokenizer), 어댑터, 설정을 보관할 수 있다. 원래 모델 제공업체가 방향을 변경하거나, 서비스를 중단하거나, 가격 정책을 바꾸거나, 호환되지 않는 업데이트를 제공하더라도 시스템을 계속 운용할 수 있다.
이는 재현성(Reproducibility)과 인증(Certification)을 지원한다. 규제 대상이나 안전에 민감한 환경에 배포된 로봇은 검증된 소프트웨어 버전을 유지해야 할 수 있다. 모델 행동이 자동으로 변경되면 이전 검증 결과가 무효화될 수 있다. 오픈 모델을 사용하면 조직이 업데이트 시점과 방법을 직접 통제할 수 있다.
오픈소스 배포는 공급업체 종속(Vendor Lock-In)도 줄일 수 있다. 애플리케이션이 독점형 인터페이스에 깊이 통합되면 다른 제공업체로 이동할 때 상당한 재개발이 필요할 수 있다. 오픈 아키텍처는 모델을 교체하거나 비교하기 쉽게 만들 수 있다. 다만 토큰화, 컨텍스트 형식(Context Format), 멀티모달 인터페이스, 출력 행동 차이로 인해 여전히 마이그레이션 비용(Migration Cost)이 발생할 수 있다.
이러한 장점에도 불구하고 오픈 모델은 조직에 상당한 책임을 부과한다. 조직은 인프라, 사이버보안, 배포 엔지니어링, 성능 최적화, 모니터링, 모델 업데이트, 기술 지원을 자체적으로 제공해야 한다. 무료로 다운로드할 수 있는 모델이라도 무료로 운영되는 것은 아니다.
대형 모델은 고가의 가속기, 대용량 메모리, 빠른 저장장치, 상당한 전력을 요구할 수 있다. 엔지니어는 추론을 최적화하고, 모델 병렬화(Model Parallelism)를 관리하며, 양자화를 지원하고, 호환 가능한 소프트웨어 라이브러리를 유지해야 한다. 총비용(Total Cost)은 API 요금을 지불하지 않아 얻는 표면적 절감액보다 커질 수도 있다.
조직은 안전성도 독립적으로 평가해야 한다. 오픈 모델에는 강력한 정렬(Alignment), 콘텐츠 필터링(Content Filtering), 불확실성 추정(Uncertainty Estimation), 물리적 안전 메커니즘이 포함되지 않을 수 있다. 이러한 기능이 존재하더라도 조직의 로봇, 환경, 운영 요구사항과 일치하지 않을 수 있다.
피지컬 AI에서 성능이 높은 모델을 다운로드하여 로봇에 직접 연결하는 것은 허용될 수 없다. 시스템에는 결정론적 안전 한계(Deterministic Safety Limit), 행동 검증(Action Validation), 충돌 검사(Collision Checking), 런타임 모니터링(Runtime Monitoring), 비상 정지(Emergency Stop), 명확하게 정의된 권한 경계(Authority Boundary)가 필요하다. 기반 모델이 개방형이든 독점형이든 이러한 구성요소는 시스템 개발자의 책임이다.
보안도 중요한 문제이다. 공개된 가중치는 방어자가 분석할 수 있지만 공격자도 분석할 수 있다. 도구 사용 행동, 프롬프트 처리(Prompt Processing), 모델 직렬화(Model Serialization), 배포 인프라의 취약점이 널리 알려질 수 있다. 조직은 보안 권고(Security Advisory)를 지속적으로 확인하고, 다운로드한 아티팩트(Artifact)를 검증하며, 모델 실행을 격리하고, 주변 소프트웨어 스택을 보호해야 한다.
공급망 보안(Supply-Chain Security)은 특히 중요하다. 오픈소스 배포는 많은 라이브러리, 모델 저장소(Model Repository), 컨테이너 이미지(Container Image), 커뮤니티 도구에 의존하는 경우가 많다. 하나의 손상된 의존성이 전체 로봇 시스템에 영향을 줄 수 있다. 따라서 서명된 아티팩트(Signed Artifact), 의존성 검사(Dependency Scanning), 재현 가능한 빌드(Reproducible Build), 통제된 저장소가 필요하다.
라이선스는 복잡할 수 있다. 일부 모델은 연구 목적으로만 사용할 수 있고 상업적 배포를 제한한다. 다른 모델은 특정 산업이나 일정 규모 이상의 조직에서 사용을 금지한다. 일부 라이선스는 출처 표시(Attribution), 수정 사항 공개, 동일 조건의 재배포를 요구한다. 데이터셋 라이선스는 모델 라이선스와 다를 수 있다.
조직은 모델을 미세조정하고, 재배포하고, 제품에 내장하고, 판매하거나, 로봇 제품의 일부로 제공할 수 있는지를 확인해야 한다. 특히 국제적으로 배포하거나 상용 플랫폼에 통합할 경우 법률 검토(Legal Review)가 중요하다.
지식재산 위험(Intellectual-Property Risk)도 존재한다. 오픈 모델의 학습 데이터가 완전히 문서화되지 않았을 수 있다. 모델이 저작권 자료, 기밀 정보, 개인정보를 재생산할 수 있다. 로컬 배포라고 해서 모델 출력이나 데이터 처리에 대한 책임이 사라지는 것은 아니다.
독점형 파운데이션 모델은 다른 개발 및 접근 방식을 따른다. 일반적으로 상업적 제공업체가 모델을 학습하고, 호스팅하고, 유지보수하고, 업데이트한다. 사용자는 API, 관리형 서비스(Managed Service), 소프트웨어 플랫폼, 기업 계약(Enterprise Agreement)을 통해 접근한다.
독점형 모델의 가장 눈에 띄는 장점은 편의성(Convenience)이다. 조직은 전체 학습 및 추론 인프라를 구축하지 않고도 높은 능력의 모델을 사용할 수 있다. 제공업체가 모델 서빙(Model Serving), 확장성(Scaling), 하드웨어 활용률, 최적화, 많은 보안 운영을 담당한다.
이는 프로토타이핑(Prototyping)을 가속할 수 있다. 팀은 비교적 적은 설정만으로 언어 이해, 멀티모달 추론, 코드 생성, 문서 분석, 계획 지원을 시험할 수 있다. 간단한 인터페이스를 통해 프런티어 규모 모델(Frontier-Scale Model)에 접근할 수 있다는 점은 초기 실험의 진입 장벽을 낮춘다.
독점형 제공업체는 높은 성능을 제공할 수도 있다. 대규모 데이터셋, 막대한 계산 인프라, 특수 학습 방법, 안전 튜닝(Safety Tuning), 평가, 추론 최적화에 투자할 수 있기 때문이다. 개별 조직이 이러한 역량을 독립적으로 재현하기는 어려울 수 있다.
관리형 서비스는 지역 중복성(Geographic Redundancy), 자동 확장(Auto-Scaling), 사용량 모니터링, 인증(Authentication), 로깅(Logging), 기업 지원(Enterprise Support), 서비스 수준 협약(Service-Level Agreement)과 같은 신뢰성 기능을 제공할 수 있다. 이러한 기능은 고객 대상 애플리케이션에 유용하다.
독점형 모델은 자주 개선될 수 있다. 제공업체는 고객이 모델을 재학습하지 않아도 추론 품질, 멀티모달 능력, 지연 시간, 도구 사용, 컨텍스트 길이, 보안을 개선할 수 있다. 빠르게 발전하는 응용 분야에서는 새로운 능력에 신속하게 접근할 수 있다는 장점이 있다.
그러나 제공업체가 통제하는 업데이트는 로보틱스에서 위험을 만들 수 있다. 고객의 소프트웨어가 변경되지 않았더라도 모델 행동이 달라질 수 있다. 프롬프트 해석, 거부 행동(Refusal Behavior), 출력 형식(Output Format), 도구 선택, 지연 시간, 모델 신뢰도가 업데이트 이후 변할 수 있다.
디지털 어시스턴트에서는 이러한 변화가 관리 가능할 수 있다. 그러나 광범위한 검증을 거친 로봇 시스템에서는 예상하지 못한 행동 변화가 심각한 문제가 될 수 있다. 조직은 고정된 모델 버전, 업데이트 사전 통지, 회귀 시험 기간(Regression Testing Period), 롤백 메커니즘을 요구할 수 있다.
데이터 거버넌스는 핵심 문제이다. 클라우드 기반 독점형 모델은 로봇 데이터를 외부 인프라로 전송해야 할 수 있다. 제공업체가 강력한 개인정보 보호 약속을 하더라도 조직은 데이터 처리 위치, 보유 기간, 모델 개선 활용 여부, 접근 가능 주체, 적용 법적 관할권(Legal Jurisdiction)을 검토해야 한다.
산업용 로봇 데이터는 공장 레이아웃, 생산 일정, 결함, 유지보수 문제, 제품 설계, 직원 활동, 안전 사고를 노출할 수 있다. 이러한 정보는 외부 전송에 부적합할 수 있다. 따라서 기업 계약, 프라이빗 네트워크(Private Networking), 데이터 격리(Data Isolation), 온프레미스 옵션이 필요할 수 있다.
네트워크 의존성도 한계이다. 클라우드 기반 모델은 통신 지연이 변동하는 상황에서 안전이 중요한 고주파 로봇 제어를 안정적으로 지원할 수 없다. 연결이 끊기고, 대역폭이 제한되며, 원격 서비스 장애가 운영을 중단시킬 수 있다.
따라서 독점형 클라우드 모델은 직접 모터 제어보다 임무 해석(Mission Interpretation), 보고서 생성(Report Generation), 유지보수 지원(Maintenance Assistance), 의미 계획(Semantic Planning), 오프라인 분석과 같은 저주파 작업에 더 적합하다. 로컬 안전 기능과 제어 기능은 독립적으로 유지되어야 한다.
맞춤화는 제한될 수 있다. 제공업체는 프롬프트 엔지니어링(Prompt Engineering), 검색 증강(Retrieval Augmentation), 미세조정, 도구 통합을 제공할 수 있지만, 고객이 전체 아키텍처를 수정하는 것은 일반적으로 불가능하다. 새로운 센서 인코더를 추가하거나, 어텐션 구조를 변경하거나, 특수 행동 토크나이저(Action Tokenizer)를 통합하거나, 내부 활성값(Internal Activation)을 분석하는 것은 불가능할 수 있다.
이는 일부 독점형 모델이 로봇 파운데이션 모델의 중심 아키텍처로 사용되기 어려운 이유이다. 강력한 추론 구성요소가 될 수는 있지만, 완전한 체화 인식-행동 시스템으로 변환하기는 어려울 수 있다.
공급업체 종속도 중요한 우려사항이다. 애플리케이션은 제공업체의 API 형식, 함수 호출 프로토콜(Function-Calling Protocol), 모델 행동, 가격 정책, 계정 정책, 지역별 가용성에 의존하게 될 수 있다. 다른 제공업체로 전환하려면 새로운 평가, 프롬프트 재설계, 안전 시험, 소프트웨어 수정이 필요할 수 있다.
비용도 예측하기 어려울 수 있다. API 가격은 프로토타입 단계에서는 매력적으로 보이지만 대규모 로봇 플릿에 배포하면 빠르게 증가할 수 있다. 로봇은 이미지, 센서 데이터, 상태 갱신을 지속적으로 생성한다. 이러한 모든 정보를 원격 모델로 전송하면 상당한 처리 비용과 통신 비용이 발생할 수 있다.
수명주기 비용(Lifecycle Cost)은 추론 요금, 데이터 전송, 저장, 지원, 중복성, 통합, 향후 마이그레이션을 포함해야 한다. 요청당 능력이 높은 독점형 모델이라도 반복적이고 빈번한 작업에서는 작은 로컬 모델보다 경제성이 낮을 수 있다.
제한된 투명성은 안전 보증(Safety Assurance)을 어렵게 만들 수 있다. 사용자는 모델 아키텍처, 학습 데이터, 최적화 과정, 세부 한계를 알지 못할 수 있다. 제공업체가 안전 보고서와 평가 결과를 공개하더라도 고객은 전체 학습 과정을 독립적으로 재현하기 어렵다.
규제 대상 로보틱스에서는 완전한 모델을 검토하거나 보존할 수 없다는 점이 인증을 어렵게 만들 수 있다. 감사자는 데이터 처리, 모델 변경, 알려진 실패 양상, 버전 관리에 대한 증거를 요구할 수 있다. 계약 문서가 일부 문제를 보완할 수 있지만 완전한 모델 아티팩트를 로컬에서 소유하는 것과 동일한 통제권을 제공하지는 않는다.
오픈 모델과 독점형 모델의 차이를 자유와 성능의 단순한 비교로 축소해서는 안 된다. 최적의 선택은 응용 분야, 위험 수준, 조직 역량, 데이터, 인프라, 배포 규모에 따라 달라진다.
연구 집단은 아키텍처 접근, 재현성, 실험적 유연성이 필요하기 때문에 오픈 모델을 선호할 수 있다. 스타트업은 빠르게 프로토타입을 개발하기 위해 독점형 서비스를 사용한 뒤 제품이 성숙하면 오픈 모델로 전환할 수 있다. 대기업은 엄격한 계약 아래 프라이빗 배포와 관리형 독점형 모델을 결합할 수 있다.
피지컬 AI는 하이브리드 접근(Hybrid Approach)에서 많은 이점을 얻을 수 있다. 오픈 모델은 인식, 로봇 상태 처리, 행동 생성, 안전 관련 추론, 오프라인 복원력을 위해 로컬에서 실행할 수 있다. 독점형 모델은 고급 언어 이해, 복잡한 계획 지원, 기술 문서 해석, 간헐적인 고연산 추론을 제공할 수 있다.
이러한 아키텍처에서 독점형 모델은 물리 액추에이터를 직접 제어해서는 안 된다. 계획을 제안하거나, 설명을 생성하거나, 작업자를 지원할 수 있다. 로컬 시스템은 그 출력을 현재 로봇 상태, 기하학, 임무 규칙, 안전 제약과 비교하여 검증해야 한다.
또 다른 하이브리드 전략은 독점형 모델을 교사 모델(Teacher Model)로 사용하는 것이다. 교사 모델은 합성 지시(Synthetic Instruction), 설명, 계획, 주석(Annotation), 선호 데이터(Preference Data)를 생성할 수 있다. 이후 오픈 학생 모델(Student Model)을 학습하거나 증류하여 로컬에 배포할 수 있다. 이를 통해 높은 능력의 외부 모델을 활용하면서 장기적인 의존성을 줄일 수 있다.
그러나 독점형 교사 모델이 생성한 합성 데이터는 검증되어야 한다. 오류, 편향, 위험한 가정이 로컬 모델로 전이될 수 있다. 또한 서비스 약관이 생성 결과를 학습에 사용하는 것을 허용하는지도 확인해야 한다.
독점형 모델은 런타임 로봇의 일부가 되지 않고 개발 도구로 사용할 수도 있다. 엔지니어가 코드를 작성하고, 로그를 분석하고, 테스트 사례(Test Case)를 생성하고, 사고를 요약하고, 문서를 작성하는 데 도움을 줄 수 있다. 실제 배포된 로봇은 검증된 오픈 모델이나 자체 개발 모델을 사용할 수 있다.
로봇 계층에 따라 적절한 모델도 달라질 수 있다. 대형 독점형 모델은 클라우드 기반 플릿 분석(Fleet Analytics)을 지원할 수 있다. 중간 크기의 오픈 모델은 온보드 의미 계획을 수행할 수 있다. 작은 전문 모델은 인식과 제어를 담당할 수 있다. 결정론적 소프트웨어는 안전을 강제할 수 있다.
이러한 계층형 접근은 하나의 모델이 모든 기능에 이상적이지 않다는 점을 인정한다. 각 구성요소를 능력, 지연 시간, 비용, 개인정보 보호, 안전 요구사항에 따라 배치한다.
모델 성능은 실제 로봇 환경에서 평가해야 한다. 독점형 모델이 일반 벤치마크에서 오픈 모델보다 우수하더라도 전문 센서 데이터나 행동 생성에서는 성능이 낮을 수 있다. 고품질 로봇 데이터로 미세조정된 오픈 모델은 일반 언어 점수가 낮더라도 실제로 더 유용할 수 있다.
평가는 작업 성공률(Task Success Rate), 지연 시간, 메모리, 에너지, 강건성, 불확실성, 안전 개입, 도구 사용 신뢰성, 적응 비용을 포함해야 한다. 모델 하나를 따로 비교하기보다 전체 시스템의 일부로 비교해야 한다.
데이터 가용성(Data Availability)은 선택에 큰 영향을 준다. 대규모 독점 로봇 데이터셋을 가진 조직은 로컬에서 자유롭게 미세조정할 수 있는 오픈 모델로부터 큰 가치를 얻을 수 있다. 학습 데이터가 거의 없는 조직은 독점형 모델의 폭넓은 사전지식에서 더 많은 이점을 얻을 수 있다.
내부 엔지니어링 역량의 품질도 중요하다. 오픈 모델을 운영하려면 머신러닝, 인프라, 최적화, 사이버보안, 모델 평가에 대한 전문성이 필요하다. 이러한 역량이 없다면 오픈 모델을 부적절하게 배포할 수 있다. 소규모 팀에는 독점형 서비스가 더 안정적인 결과를 제공할 수 있다.
반대로 장기적인 로봇 플랫폼을 구축하는 조직은 초기 모델 선택과 관계없이 내부 역량이 필요할 수 있다. 외부 지능에 대한 의존은 제품 차별화와 전략적 통제를 제한할 수 있다. 따라서 내부 모델 스택(Model Stack)을 구축하는 것은 조직 역량에 대한 투자일 수 있다.
안전 요구사항은 모델 선택에 큰 영향을 주어야 한다. 검사 보고서를 요약하는 모델은 내비게이션이나 조작에 관여하는 모델보다 외부 의존성을 더 많이 허용할 수 있다. 모델이 물리적 제어에 가까울수록 로컬 실행, 예측 가능한 지연 시간, 버전 안정성, 세부 검증, 독립적인 안전 강제의 중요성이 커진다.
오픈 모델은 고정 버전과 깊은 통합을 허용하므로 이러한 요구사항을 지원할 수 있다. 그러나 안전 엔지니어링은 조직이 직접 제공해야 한다. 독점형 모델은 강력한 정렬과 제공업체의 시험을 포함할 수 있지만, 이러한 보호 장치는 일반적인 디지털 상호작용을 위해 설계된 경우가 많고 특정 로봇의 물리적 위험과 정확히 일치하지 않을 수 있다.
인증과 규제는 높은 추적 가능성(Traceability)을 가진 시스템을 선호할 수 있다. 조직은 어떤 모델 버전이 결정을 생성했는지, 어떤 데이터와 보정이 사용되었는지, 어떤 안전 검사가 적용되었는지, 검증 이후 모델이 변경되었는지를 확인할 수 있어야 한다.
오픈 배포는 적절하게 관리하면 세부적인 추적 가능성을 제공할 수 있다. 독점형 배포는 계약상 보장, 버전 식별자, 감사 로그, 변경 통지를 요구한다. 모델을 변경하면서 버전 관리를 제공하지 않는 서비스는 검증된 로봇 시스템에 적합하지 않을 수 있다.
사이버보안은 두 방식 모두에서 고려해야 한다. 오픈 모델은 전체 로컬 스택을 보호할 책임을 조직에 부과한다. 독점형 모델은 외부 통신 채널, 인증 정보(Credential), 서비스 의존성, 데이터 노출 가능성을 만든다. 어느 방식도 자동으로 안전하지 않다.
위협 모델링(Threat Modeling)은 모델 추출(Model Extraction), 프롬프트 인젝션(Prompt Injection), 악의적인 도구 호출(Malicious Tool Call), 손상된 업데이트(Compromised Update), 오염된 학습 데이터(Poisoned Training Data), 무단 접근, 서비스 거부(Service Denial)를 포함해야 한다. 로봇에서는 파운데이션 모델 공격이 물리적 행동에 영향을 줄 수 있으므로 보안과 안전을 통합해야 한다.
지속가능성(Sustainability)도 고려해야 한다. 대형 독점형 모델은 효율적인 공유 인프라를 제공할 수 있지만, 로컬 오픈 배포는 여러 조직에서 하드웨어를 중복 구축할 수 있다. 반면 작은 최적화 오픈 모델은 훨씬 큰 클라우드 모델을 반복 호출하는 것보다 훨씬 적은 에너지를 사용할 수 있다.
가장 효율적인 해결책은 사용량, 모델 크기, 하드웨어 활용률, 네트워크 전송량, 작업 복잡도에 따라 달라진다. 수명주기 분석(Lifecycle Analysis)은 학습과 추론의 에너지를 모두 포함해야 한다.
장기적 가용성(Long-Term Availability)도 검토해야 한다. 오픈 모델 가중치는 보관하여 내부적으로 유지할 수 있지만 커뮤니티 지원이 줄어들 수 있다. 독점형 서비스는 전문적인 지원을 제공할 수 있지만 제품이 중단되거나 접근 조건이 변경될 수 있다.
조직은 종료 전략(Exit Strategy)을 준비해야 한다. 대체 모델, 표준화된 인터페이스, 이식 가능한 데이터셋(Portable Dataset), 모듈형 어댑터(Modular Adapter), 마이그레이션을 지원하는 벤치마크 모음을 유지할 수 있다.
오픈 모델과 독점형 모델의 선택은 제품 수명주기에 따라 변할 수 있다. 초기 연구에서는 여러 독점형 모델과 오픈 모델을 비교할 수 있다. 프로토타이핑 단계에서는 독점형 API가 개발을 가속할 수 있다. 제품화 단계에서는 오픈 모델이나 라이선스된 온프레미스 모델이 통제권을 제공할 수 있다. 대규모 운영 단계에서는 로컬 자율성과 클라우드 지능을 균형 있게 결합하는 하이브리드 플릿 아키텍처가 사용될 수 있다.
응용 분야가 변경될 때마다 선택을 다시 검토해야 한다. 인간 상호작용, 직접 제어, 민감한 데이터, 새로운 규제 요구사항, 국제 배포가 추가되면 선호되는 아키텍처가 바뀔 수 있다.
피지컬 AI에서는 기반 모델 자체의 소유권보다 데이터에 대한 전략적 소유권이 더 중요할 수 있다. 로봇 데이터에는 일반적인 웹 규모 데이터셋에 없는 물리적 상호작용, 실패, 복구, 체화, 운영 문맥에 대한 정보가 포함된다. 이러한 데이터를 체계적으로 수집하고, 동기화하고, 라벨링하고, 관리하는 조직은 다양한 기반 모델을 특화할 수 있다.
독점형 모델은 높은 초기 능력을 제공할 수 있지만, 잘 정제된 내부 데이터셋은 장기적인 차별화를 만든다. 오픈 모델은 이러한 데이터를 전문 학습에 더 자유롭게 활용할 수 있도록 하지만, 독점형 제공업체는 고객이 모델을 얼마나 깊이 수정할 수 있는지를 제한할 수 있다.
따라서 가장 가치 있는 지식재산은 기반 모델 자체보다 로봇 데이터셋, 체화 어댑터(Embodiment Adapter), 행동 표현(Action Representation), 월드 모델, 안전 시스템, 평가 프레임워크, 배포 인프라에 존재할 수 있다.
궁극적으로 오픈소스 파운데이션 모델과 독점형 파운데이션 모델은 통제권, 책임, 능력, 위험을 서로 다르게 분배한다. 오픈 모델은 아키텍처의 자유, 배포 독립성, 맞춤화, 재현성, 로컬 데이터 통제를 제공한다. 동시에 상당한 기술 전문성, 인프라, 보안 관리, 독립적인 안전 검증을 요구한다.
독점형 모델은 고급 능력에 대한 편리한 접근, 관리형 인프라, 빈번한 개선, 상업적 지원을 제공한다. 그러나 외부 서비스 의존, 제한된 투명성, 데이터 거버넌스 우려, 예측하기 어려운 업데이트, 제한된 맞춤화, 장기적인 공급업체 종속을 초래할 수 있다.
피지컬 AI에서는 하나의 범주만을 절대적으로 선택하는 것보다 신중하게 설계된 하이브리드 아키텍처가 가장 강력한 해결책이 되는 경우가 많다. 오픈 모델은 로컬 인식, 체화 추론(Embodied Reasoning), 제어 가능한 배포에 사용할 수 있고, 독점형 시스템은 고급 언어 처리, 개발 지원, 중요도가 낮은 클라우드 추론에 선택적으로 사용할 수 있다.
모델의 출처와 관계없이 물리적 권한(Physical Authority)은 제한되어야 한다. 로봇에 영향을 미칠 수 있는 모든 모델 출력은 현재 센서 데이터, 체화 제약, 기하학적 실행 가능성(Geometric Feasibility), 임무 규칙, 결정론적 안전 한계와 비교되어야 한다. 모델 선택은 시스템 구축 방식을 바꾸지만 물리적 신뢰성에 대한 개발자의 책임을 제거하지 않는다.
따라서 핵심 질문은 단순히 모델이 오픈소스인지 독점형인지가 아니다. 조직이 전체 피지컬 AI 시스템을 수명주기 전반에 걸쳐 이해하고, 통제하고, 검증하고, 유지보수하고, 보호하고, 관리할 수 있는지가 핵심이다. 가장 적합한 파운데이션 모델은 기술적·법적 특성이 안전한 물리적 배포, 전략적 독립성, 지속 가능한 장기 운영을 지원하는 모델이다.
1.10 Physical AI Foundation Model Landscape Overview
피지컬 AI 파운데이션 모델 생태계는 대규모 인공지능(Large-Scale Artificial Intelligence), 로보틱스(Robotics), 멀티모달 인식(Multimodal Perception), 체화 학습(Embodied Learning), 시뮬레이션(Simulation), 월드 모델(World Model), 실시간 제어(Real-Time Control)가 융합되는 영역이다. 텍스트, 이미지, 음성, 소프트웨어 환경을 주로 다루는 기존의 파운데이션 모델과 달리, 피지컬 AI 파운데이션 모델은 인식과 추론을 실제 물리적 세계를 변화시키는 행동으로 연결해야 한다. 이러한 모델의 출력은 로봇을 이동시키고, 물체를 조작하며, 시설 내부를 자율 주행하고, 산업 설비를 검사하고, 사람과 상호작용하며, 여러 자율 시스템을 동시에 조정할 수 있다. 따라서 현재의 생태계는 하나의 모델 계열(Model Family)로 정의되지 않는다. 다양한 모델 아키텍처(Model Architecture), 데이터셋(Dataset), 시뮬레이션 플랫폼(Simulation Platform), 로봇 학습 프레임워크(Robot Learning Framework), 배포 도구(Deployment Tool), 안전 시스템(Safety System)이 서로 연결된 거대한 생태계를 형성하고 있다.
이 분야는 작업(Task)별로 개별 정책(Policy)을 학습하던 기존 로봇 학습 방식에서, 여러 작업을 수행하고, 자연어 명령을 이해하며, 서로 다른 환경으로 지식을 전이하고, 다양한 로봇 몸체(Embodiment)에 적응할 수 있는 범용 모델(Generalist Model)로 발전해 왔다. 전통적인 로봇 학습에서는 작업마다, 플랫폼마다, 환경마다 별도의 정책을 학습해야 했다. 특정 로봇 팔에서 하나의 물체를 집도록 학습된 정책은 다른 물체나 다른 작업 공간, 다른 로봇으로 거의 전이되지 않았다. 피지컬 AI 파운데이션 모델은 대규모 로봇 궤적(Robot Trajectory), 인간 시연(Human Demonstration), 웹 규모 비전-언어 데이터(Web-Scale Vision-Language Data), 시뮬레이션 데이터, 합성 경험(Synthetic Experience)을 함께 학습하여 재사용 가능한 표현(Reusable Representation)을 구축함으로써 이러한 단절을 극복하려고 한다.
현재 생태계는 여러 개의 서로 겹치는 모델 범주(Model Category)로 구성된다. 여기에는 비전 파운데이션 모델(Visual Foundation Model), 비전-언어 모델(Vision-Language Model), 비전-언어-행동 모델(Vision-Language-Action Model), 범용 로봇 정책(Generalist Robot Policy), 월드 파운데이션 모델(World Foundation Model), 멀티모달 대규모 언어 모델(Multimodal Large Language Model), 행동 생성 정책(Action-Generative Policy), 체화 특화 제어 모델(Embodiment-Specific Control Model)이 포함된다. 이러한 범주는 서로 완전히 독립적인 것이 아니다. 실제 로봇 파운데이션 모델은 사전학습된 비전-언어 백본(Vision-Language Backbone), 시간 상태 인코더(Temporal State Encoder), 행동 생성 모듈(Action Generation Module), 월드 모델, 외부 메모리(External Memory), 결정론적 제어 소프트웨어(Deterministic Control Software)를 함께 결합하는 경우가 많다.
비전 파운데이션 모델은 지각(Perception)의 핵심 기반을 제공한다. 이러한 모델은 지도학습(Supervised Learning), 대조학습(Contrastive Learning), 마스크 복원(Masked Reconstruction), 멀티모달 학습을 이용하여 대규모 데이터셋에서 일반적인 이미지 표현(Image Representation)을 학습한다. 로보틱스에서는 객체 인식(Object Recognition), 분할(Segmentation), 자세 추정(Pose Estimation), 이상 탐지(Anomaly Detection), 어포던스(Affordance) 예측, 장면 이해(Scene Understanding), 시각 기반 내비게이션(Visual Navigation)에 활용된다. 특히 비전 트랜스포머(Vision Transformer) 기반 모델은 이미지 패치를 토큰(Token)으로 표현하여 언어(Language), 상태(State), 행동(Action) 토큰과 자연스럽게 통합할 수 있기 때문에 매우 큰 영향을 미쳤다.
그러나 비전 파운데이션 모델만으로는 피지컬 AI 모델이라고 할 수 없다. 물체를 인식할 수는 있지만, 실제로 그 물체에 도달 가능한지, 집을 수 있는지, 안정적인지, 이동시켜도 안전한지, 현재 임무와 관련이 있는지는 판단하지 못할 수 있다. 물리적 접지(Physical Grounding)를 위해서는 기하학(Geometry), 시간적 문맥(Temporal Context), 체화 상태(Embodiment State), 행동 결과(Action Consequence), 센서 피드백(Sensor Feedback)이 필요하다. 따라서 비전 백본은 깊이 정보(Depth), 포인트 클라우드(Point Cloud), 고유감각(Proprioception), 힘 센서(Force Sensing), 지도(Map), 로봇 특유의 제약조건과 함께 통합되어야 한다.
비전-언어 모델은 현재 생태계의 또 다른 핵심 계층을 형성한다. 이러한 시스템은 시각 정보와 자연어 명령, 질문, 의미 개념, 상징적 지식을 연결한다. 자연어로 설명된 객체를 찾고, 장면을 설명하며, 공간적인 질문에 답하고, 상위 수준 작업 계획을 지원할 수 있다. 이러한 광범위한 지식은 대부분 로봇 데이터가 아니라 웹 규모의 이미지-텍스트 데이터셋으로부터 학습된다.
하지만 비전-언어 모델의 한계는 이해와 설명이 곧바로 실행 가능한 행동으로 이어지지 않는다는 점이다. 작업 수행 방법을 정확하게 설명하면서도 실제 행동은 기하학, 시간, 동역학, 안전 제약을 위반할 수 있다. 이러한 문제를 해결하기 위해 비전-언어-행동(Vision-Language-Action, VLA) 모델이 등장하였다. 이는 의미 이해(Semantic Understanding)에서 체화 제어(Embodied Control)로 이어지는 매우 중요한 전환이다.
비전-언어-행동 모델은 관측 정보와 언어 명령을 함께 처리하여 로봇 행동(Action Token), 연속 행동 값(Continuous Action Value), 궤적(Trajectory), 행동 청크(Action Chunk)를 생성한다. 대표적인 사례가 RT-2이다. RT-2는 웹 규모 비전-언어 지식을 로봇 제어 모델과 결합하고 행동을 토큰 형태로 표현하였다. 이를 통해 비로봇 데이터에서 학습한 의미 지식이 로봇의 일반화 성능을 향상시킬 수 있음을 보여주었다.
RT-2의 가장 큰 의미는 일반 로보틱스를 완성했다는 것이 아니라 인터넷 규모 의미 학습과 실제 물리적 제어를 연결할 수 있다는 가능성을 증명했다는 점이다. 이미지와 언어에서 학습한 개념이 새로운 객체 관계와 자연어 명령 수행에 활용될 수 있음을 보여주었으며, VLA 모델은 이후 피지컬 AI에서 가장 중요한 아키텍처 방향 중 하나가 되었다.
Open X-Embodiment와 같은 대규모 다중 로봇 데이터셋은 교차 체화(Cross-Embodiment) 학습을 현실적으로 가능하게 만들었다. 이제 연구자들은 하나의 로봇이 아니라 여러 기관, 다양한 플랫폼, 여러 카메라, 여러 작업, 서로 다른 행동 공간(Action Space)에서 수집한 데이터를 함께 학습하고 있다. 핵심 가정은 하드웨어가 다르더라도 로봇 데이터에는 공통적으로 전이 가능한 구조가 존재한다는 것이다.
Octo는 이러한 방향을 대표하는 오픈소스 범용 로봇 정책이다. 약 80만 개의 로봇 궤적을 기반으로 사전학습된 트랜스포머 기반 확산 정책(Diffusion Policy)이며, 자연어 명령, 목표 이미지, 관측 이력, 다양한 카메라 구성, 새로운 센서와 행동 공간에 적응할 수 있도록 설계되었다. Octo는 모든 로봇을 하나의 출력 인터페이스로 직접 제어하려 하기보다 효율적인 미세조정(Fine-Tuning)에 중점을 둔다.
Octo는 범용 사전학습 정책을 다양한 로봇에 적응 가능한 초기화 모델(Initialization Model)로 활용하는 방향을 보여준다. 목표는 완전한 제로샷 제어(Zero-Shot Control)가 아니라, 광범위하게 학습된 정책을 새로운 로봇 데이터로 소량만 추가 학습하여 빠르게 적응시키는 것이다. 이는 체화 차이가 여전히 크기 때문에 직접적인 범용 제어보다 적응 기반 접근이 현실적이라는 사실을 반영한다.
OpenVLA는 또 다른 중요한 오픈소스 VLA 모델이다. 약 97만 개의 로봇 에피소드(Robot Episode)를 기반으로 사전학습된 70억 개 파라미터의 비전-언어-행동 모델이다. 시각 인코더(Visual Encoder), 투영 계층(Projection Layer), 언어 모델 백본(Language Model Backbone), 토큰화된 로봇 행동(Tokenized Robot Action)을 결합하며, 모델 가중치와 학습 도구를 함께 공개하여 새로운 로봇 환경에 대한 파라미터 효율적 적응을 지원한다.
OpenVLA는 대규모 언어 모델 구조를 로봇 제어에 어떻게 적용할 수 있는지를 보여준다. 이미지는 시각 임베딩으로 변환되고, 명령은 언어 토큰으로 표현되며, 행동은 토큰으로 생성된 뒤 연속 제어 명령으로 복원된다. 이를 통해 언어 모델과 행동 생성이 하나의 구조 안에서 직접 연결된다.
Octo와 OpenVLA 같은 오픈 VLA 생태계는 연구자와 로봇 제조업체가 모델을 분석하고, 입력 인터페이스를 수정하며, 새로운 센서를 추가하고, 행동 표현을 변경하며, 로컬에서 미세조정하고, 검증된 버전을 배포할 수 있다는 점에서 전략적으로 매우 중요하다. 또한 로봇 데이터 혼합, 비전 백본, 행동 토큰화, 확산 기반 디코딩, 파라미터 효율적 적응이 성능에 미치는 영향을 자유롭게 연구할 수 있다.
Physical Intelligence의 π0 계열은 일반 조작(Generalist Manipulation)과 연속 행동 생성(Continuous Action Generation)에 초점을 맞춘 또 다른 중요한 방향이다. 초기 π0는 사전학습된 비전-언어 백본과 다양한 로봇 데이터를 결합하고, 플로우 매칭(Flow Matching)을 이용하여 연속 행동을 생성하는 행동 전문가(Action Expert)를 포함하였다. 다양한 로봇 플랫폼과 고난도 조작 데이터를 함께 학습하였다.
이 접근은 현재 생태계에서 중요한 질문을 제기한다. 로봇 행동을 이산 토큰(Discrete Token)으로 표현할 것인가, 아니면 연속 확률 모델(Continuous Probabilistic Model)로 생성할 것인가 하는 문제이다. 행동 토큰은 자기회귀 언어 모델과 자연스럽게 통합되지만 양자화 오차가 발생할 수 있다. 반면 확산(Diffusion) 및 플로우 기반 정책은 부드러운 연속 행동 분포를 표현할 수 있지만 다른 학습 및 추론 구조가 필요하다.
π0 생태계는 FAST라는 행동 토큰화 기법도 제안하였다. π0-FAST는 기존 π0보다 훨씬 빠르게 학습하면서도 비슷한 성능을 유지하는 것으로 보고되었다. 이는 행동 표현 방식 자체가 시각 표현과 언어 표현만큼 중요한 연구 주제가 되고 있음을 보여준다.
후속 모델인 π0.5는 개방형 환경(Open-World) 일반화와 장기 가정용 조작(Long-Horizon Household Manipulation)에 더 집중하였다. 또한 연구진은 의미 추론과 운동 실행 모두에서 여전히 오류가 존재함을 인정하였다. 이는 현재의 VLA 모델이 아직 완전하지 않으며 폐루프 검증(Closed-Loop Validation)이 필수적이라는 사실을 보여준다.
NVIDIA의 Isaac GR00T 생태계는 특히 휴머노이드(Humanoid)와 교차 체화 로보틱스를 위한 또 하나의 중요한 축이다. GR00T는 단순한 모델이 아니라 데이터 수집, 시뮬레이션, 합성 데이터 생성, 학습, 후처리(Post-Training), 배포 도구를 모두 포함하는 통합 플랫폼이다. NVIDIA는 이를 휴머노이드 로봇을 위한 파운데이션 모델 플랫폼으로 설명하고 있다.
초기 GR00T N1 모델은 느린 추론과 빠른 행동 생성을 분리하는 이중 시스템(Dual-System Architecture)을 사용하였다. 학습에는 인간의 1인칭 영상(Egocentric Video), 실제 로봇 궤적, 시뮬레이션 데이터, 합성 데이터를 함께 활용하였다. 이는 인간 행동 데이터, 로봇 시연, 생성 데이터를 동시에 활용하는 최근의 흐름을 잘 보여준다.
이후 GR00T 계열은 일반화, 자연어 명령 수행, 후학습(Post-Training) 성능을 향상시키는 방향으로 발전하였다. 특히 GR00T 생태계의 가장 큰 의미는 시뮬레이션 및 합성 데이터 생성 시스템과 완전히 통합되어 있다는 점이다. 로봇 파운데이션 모델에는 사전학습된 가중치뿐 아니라 데이터 생성, 하드웨어 적응, 행동 평가, 시뮬레이션에서 현실로의 전이까지 포함하는 전체 개발 체계가 필요하다.
월드 파운데이션 모델은 현재 생태계의 또 다른 핵심 계층이다. 이러한 모델은 물리적 환경이 시간에 따라 어떻게 변화하는지를 학습한다. 단순한 라벨이나 행동을 생성하는 것이 아니라 미래 장면, 잠재 상태(Latent State), 궤적, 환경 변화를 예측한다. 로보틱스에서는 행동 후보를 평가하고, 새로운 학습 데이터를 생성하며, 이상 상황을 시뮬레이션하고, 모델 기반 계획(Model-Based Planning)을 지원하는 데 활용된다.
월드 모델은 실제 로봇 데이터를 수집하는 비용이 매우 크기 때문에 특히 중요하다. 생성 모델은 객체, 배경, 조명, 시점, 실패 상황, 센서 노이즈, 다양한 물리 조건을 대량으로 생성할 수 있다. NVIDIA Cosmos와 GR00T를 함께 사용하는 접근은 생성형 월드 모델과 로봇 정책 학습이 점점 긴밀하게 연결되고 있음을 보여준다.
그러나 월드 파운데이션 모델은 물리 엔진(Physics Engine)과 동일하지 않다. 생성 모델은 시각적으로 매우 그럴듯한 미래를 생성하더라도 실제 물리적으로는 틀릴 수 있다. 따라서 데이터 증강, 표현 학습, 시나리오 생성, 근사 계획에는 유용하지만, 안전이 중요한 의사결정에는 기하학 검증, 물리 제약, 실제 환경 검증이 반드시 필요하다.
이러한 이유로 시뮬레이션 플랫폼은 여전히 피지컬 AI 생태계의 핵심 구성요소이다. Isaac Sim, Isaac Lab, MuJoCo, Gazebo와 같은 물리 기반 시뮬레이터는 실제 배포 이전에 정책을 시험할 수 있도록 하며, 도메인 랜덤화(Domain Randomization), 센서 시뮬레이션, 강화학습(Reinforcement Learning), 합성 시연(Synthetic Demonstration), Hardware-in-the-Loop 평가를 지원한다.
시뮬레이션과 파운데이션 모델의 관계도 점점 양방향이 되고 있다. 시뮬레이터는 학습 데이터를 생성하고, 반대로 파운데이션 모델은 시뮬레이션을 위한 장면(Scene), 작업(Task), 궤적(Trajectory), 자산(Asset), 시나리오를 생성한다. 이러한 결합은 데이터 다양성을 크게 높일 수 있지만, 동시에 시뮬레이터 특유의 오류를 모델이 학습하는 위험도 존재한다.
데이터 생태계(Data Ecosystem)는 아마도 피지컬 AI에서 가장 중요한 경쟁 요소일 것이다. 일반 언어 모델은 인터넷 규모 데이터를 활용하지만, 실제 물리적 상호작용 데이터는 매우 부족하다. 로봇 궤적에는 동기화된 관측, 행동, 시간 정보, 좌표계, 보정 정보, 로봇 ID, 작업 정보, 결과 라벨이 함께 포함되어야 한다.
교차 체화 데이터셋은 여러 로봇의 데이터를 통합하려고 하지만 여전히 데이터 이질성(Heterogeneity)이 큰 문제이다. 일부 데이터셋은 관절 위치를 사용하고, 다른 데이터셋은 관절 속도, Cartesian Pose, 그리퍼 명령, 작업별 제어 형식을 사용한다. 카메라 위치, 이미지 해상도, 제어 주기, 언어 라벨, 보정 품질도 모두 다르다.
이러한 문제 때문에 표준화된 로봇 데이터 형식(Standardized Robot Data Format)과 공통 행동 표현(Common Action Representation)에 대한 연구가 활발히 진행되고 있다. 장기적으로는 다양한 로봇과 다양한 환경에서 수집한 데이터를 하나의 거대한 사전학습 데이터셋으로 통합하는 것이 목표이다. 이를 위해서는 메타데이터(Metadata), 정규화(Normalization), 데이터 변환기(Converter), 품질 필터(Quality Filter), 평가 프로토콜이 필요하다.
인간 시연 데이터(Human Demonstration Data)는 여전히 매우 중요한 자원이다. 원격 조작(Teleoperation)은 성공적인 로봇 궤적을 제공하며, 1인칭 영상은 대규모 인간 행동 데이터를 제공한다. 그러나 영상만으로는 로봇 행동, 힘, 관절 상태, 실행 가능한 궤적을 직접 알 수 없다. 모델은 인간 행동과 로봇 체화 사이의 대응 관계를 학습해야 한다.
합성 데이터는 부족한 부분을 보완할 수 있지만 반드시 검증되어야 한다. 생성된 궤적이 로봇의 물리적 한계를 초과하거나 실제로 실행 불가능한 경우가 존재할 수 있기 때문이다. 따라서 고품질 피지컬 AI 데이터셋은 실제 로봇 시연, 자율 경험, 시뮬레이션, 인간 영상, 웹 데이터, 합성 장면, 실패 및 복구 사례를 함께 포함해야 한다.
현재 생태계는 범용 모델과 특화 모델로도 구분된다. 범용 VLA 시스템은 다양한 조작 작업과 환경을 처리하도록 설계된다. 반면 특화 모델은 자율주행, 내비게이션, 산업 검사, 다지 조작(Dexterous Manipulation), 휴머노이드 보행, 드론, 의료 로봇 등에 집중한다.
특화 모델은 운용 범위가 좁기 때문에 더 높은 신뢰성을 제공할 수 있다. 산업 검사 모델은 특정 설비, 결함 종류, 촬영 시점, 센서 환경에 최적화될 수 있다. 반면 범용 가정용 로봇은 훨씬 더 다양한 환경을 처리해야 하므로 예측 가능성이 낮아질 수 있다.
미래는 하나의 범용 모델이 모든 특화 모델을 대체하는 방향이 아닐 가능성이 높다. 보다 현실적인 구조는 범용 파운데이션 모델 위에 도메인 특화 어댑터(Domain-Specific Adapter), 인식 모듈, 행동 디코더, 계획기, 제어기를 결합하는 것이다. 파운데이션 모델은 의미 이해와 일반화를 제공하고, 특화 모듈은 정확성과 운영 신뢰성을 제공한다.
모델 구조도 점점 계층화(Hierarchical Architecture)되고 있다. 느린 추론 모델은 목표를 해석하고, 작업을 분해하며, 도구를 호출하고, 하위 목표를 생성한다. 빠른 행동 모델은 이를 짧은 행동 시퀀스로 변환한다. 기존 제어기는 고주파 명령을 실행하고, 독립적인 안전 시스템은 최종 한계를 강제한다.
이러한 계층 구조는 대형 모델 추론과 실시간 제어 사이의 속도 차이를 해결한다. 언어 추론과 의미 계획은 상대적으로 느려도 되지만, 모터 안정화, 힘 제어, 비상 제동, 충돌 회피는 훨씬 빠른 결정론적 제어 루프가 필요하다.
메모리 시스템도 중요한 요소가 되고 있다. 장시간 임무에서는 모든 관측 데이터를 트랜스포머 컨텍스트 안에 유지할 수 없다. 구조화된 임무 메모리(Mission Memory), 의미 지도(Semantic Map), 객체 데이터베이스, 디지털 트윈, 에피소드 요약(Episodic Summary), 검색 시스템(Retrieval System)이 필요한 정보만 유지하도록 돕는다.
도구 사용(Tool Use) 기반 로봇 파운데이션 모델도 중요한 방향이다. 모델은 모션 플래너(Motion Planner), 파지 계획기(Grasp Planner), 데이터베이스, 검사 알고리즘, 지도 작성 서비스, 플릿 관리 시스템, 디지털 트윈 등을 호출할 수 있다. 이를 통해 모든 문제를 내부에서 해결하려 하기보다 이미 검증된 엔지니어링 도구를 조정하는 역할을 수행한다.
산업용 피지컬 AI에서는 완전한 End-to-End 제어보다 이러한 도구 오케스트레이션(Tool Orchestration)이 더 중요할 수도 있다. 모델은 임무를 해석하고, 검사 절차를 선택하며, 설비 정보를 조회하고, 충돌 없는 경로를 요청하며, 완료 여부를 확인하고, 최종 보고서를 생성할 수 있다. 반면 위치 추정, 내비게이션, 안전 검사는 기존 결정론적 시스템이 담당한다.
현재 생태계에는 오픈 모델과 독점형 모델이 동시에 존재한다. 오픈 모델은 연구 접근성, 맞춤화, 로컬 배포, 아키텍처 제어를 제공한다. 독점형 모델은 더 강력한 일반 추론 능력, 대규모 학습 자원, 상업적 지원, 관리형 인프라를 제공할 수 있다. 실제 시스템은 두 가지를 함께 사용하는 하이브리드 구조가 될 가능성이 높다.
예를 들어 독점형 클라우드 모델은 복잡한 문서 해석이나 상위 추론을 담당하고, 오픈 모델은 로컬 인식과 행동 생성을 담당할 수 있다. 또는 독점형 모델이 합성 데이터와 계획을 생성하는 교사 모델(Teacher Model)이 되고, 오픈 모델이 학생 모델(Student Model)로 학습될 수도 있다. 그러나 최종 물리적 권한은 항상 로컬 안전 시스템과 제어 시스템이 유지해야 한다.
평가는 현재 생태계에서 가장 부족하면서도 가장 중요한 요소 중 하나이다. 일반 언어 및 비전 벤치마크는 로봇의 신뢰성을 입증할 수 없다. 피지컬 AI 모델은 작업 성공률, 기하학적 정확도, 힘, 충돌, 시간, 복구, 불확실성, 인간 개입을 포함하는 폐루프 평가가 필요하다.
또한 서로 다른 연구 프로젝트는 서로 다른 로봇, 작업, 환경, 평가 방식을 사용하기 때문에 직접 비교가 어렵다. 탁상 조작에서 우수한 모델이 이동 조작(Mobile Manipulation), 산업 검사, 휴머노이드 작업에서도 우수하다는 보장은 없다. 미래의 벤치마크는 체화, 센서, 행동 인터페이스, 안전 제약, 운영 조건을 명확히 기록해야 한다.
현재 분야는 시연 영상(Demonstration Video)과 실제 배포 신뢰성(Deployment Reliability)을 구분해야 하는 단계에 있다. 인상적인 영상은 성공 사례만 보여줄 수 있으며 실패율, 개입 횟수, 지연 시간, 환경 제약은 공개하지 않을 수 있다. 성숙한 생태계는 실패 사례, 불확실성, 복구 행동, 운용 설계 영역(Operational Design Domain)도 함께 공개해야 한다.
현재 대부분의 파운데이션 모델은 여전히 안전 시스템 외부에서 동작한다. VLA 모델은 행동을 제안하거나 생성할 수 있지만 기능 안전(Functional Safety), 충돌 감지, 비상 정지, 힘 제한, 인증된 제어기를 대체하지 않는다. 따라서 피지컬 AI 파운데이션 모델은 독립적인 안전 계층 위에서 동작하는 지능형 구성요소(Intelligent Component)로 이해해야 한다.
사이버보안도 점점 중요해지고 있다. 프롬프트 인젝션(Prompt Injection), 손상된 센서 입력, 악의적인 작업 명령, 변조된 모델 업데이트, 오염된 학습 데이터, 위험한 도구 호출은 모두 로봇 행동에 영향을 줄 수 있다. 따라서 보안 평가는 물리적 안전과 직접 연결되어야 한다.
엣지 배포(Edge Deployment)도 중요한 과제이다. 현재 최첨단 모델 대부분은 온보드 컴퓨터에서 직접 실행하기에는 너무 크다. 따라서 양자화(Quantization), 프루닝(Pruning), 지식 증류(Knowledge Distillation), 효율적 어텐션(Efficient Attention), 행동 청크(Action Chunking), 캐싱(Caching), 소형 로봇 정책이 필요하다.
클라우드와 엣지를 함께 사용하는 구조는 계산을 분산할 수 있지만, 네트워크 의존성 때문에 안전이 중요한 제어에는 적합하지 않다. 핵심 내비게이션, 비상 정지, 안전 동작은 반드시 로컬에서 수행되어야 한다. 클라우드는 플릿 학습(Fleet Learning), 모델 업데이트, 복잡한 의미 추론, 오프라인 분석에 적합하다.
현재 생태계는 단순한 모델 공개(Model Release)에서 완전한 피지컬 AI 플랫폼으로 발전하고 있다. 이러한 플랫폼은 데이터 엔진(Data Engine), 원격 조작(Teleoperation), 시뮬레이션, 합성 데이터, 사전학습 정책, 후학습(Post-Training), 평가, 배포, 모니터링, 플릿 피드백까지 포함한다. 앞으로의 경쟁력은 하나의 모델보다 전체 학습 순환 구조(Learning Loop)에서 결정될 가능성이 높다.
고품질 운영 데이터를 지속적으로 수집하고, 실패를 탐지하며, 복구 사례를 생성하고, 모델을 재학습하고, 업데이트를 검증하며, 이를 플릿 전체에 안전하게 배포할 수 있는 기업이 단순히 강력한 사전학습 모델을 사용하는 기업보다 더 큰 장기적 경쟁력을 확보할 가능성이 높다.
다음 단계의 피지컬 AI 생태계는 개방형 환경 일반화(Open-World Generalization), 교차 체화 전이(Cross-Embodiment Transfer), 추론과 행동의 통합(Reasoning-Action Integration), 자율 데이터 수집(Autonomous Data Collection), 지속적 개선(Continuous Improvement)에 더욱 집중할 것이다. 웹 규모의 인간 지식과 실제 로봇 경험 및 시뮬레이션 데이터를 하나의 모델 안에서 결합하는 방향으로 발전할 것이다.
또한 계산 자원도 더욱 적응적으로 활용될 것이다. 간단한 작업은 작은 로컬 정책이 처리하고, 새로운 상황에서는 대형 추론 모델, 추가 센서, 월드 모델 시뮬레이션, 인간 지원이 호출될 것이다. 계산은 항상 동일하게 수행되는 것이 아니라 작업의 난이도와 불확실성에 따라 동적으로 배분될 것이다.
장기적인 목표는 언어와 시각 문맥을 이해하고, 자신의 몸체를 표현하며, 물리적 결과를 예측하고, 새로운 작업에 적응하며, 신뢰할 수 있는 행동을 생성하는 파운데이션 모델이다. 현재의 시스템은 이러한 비전의 일부를 보여주고 있지만 아직 완전한 범용 물리 지능(General-Purpose Physical Intelligence)을 제공하는 모델은 존재하지 않는다.
따라서 현재의 생태계는 빠르게 발전하는 초기 기술 스택(Stack)으로 이해해야 한다. VLA 모델은 의미와 행동을 연결하고, 범용 정책은 작업과 로봇 간 전이를 지원하며, 월드 모델은 데이터 생성과 미래 예측을 수행하고, 시뮬레이션 플랫폼은 대규모 경험을 제공하며, 오픈 생태계는 맞춤화를 가능하게 하고, 상업 플랫폼은 개발과 배포를 통합한다.
실제 피지컬 AI에서는 이러한 요소를 하나의 모델로 대체하기보다 서로 결합하는 것이 가장 강력한 구조가 될 가능성이 높다. 멀티모달 파운데이션 모델은 임무와 환경을 이해하고, 로봇 정책은 행동 청크를 생성하며, 월드 모델은 결과를 예측하고, 특화 계획기는 기하학을 검증하며, 저수준 제어기는 안정성을 유지하고, 독립적인 안전 시스템이 최종 권한을 유지한다.
결국 피지컬 AI 파운데이션 모델 생태계는 단순한 모델 이름들의 경쟁이 아니다. 데이터, 시뮬레이션, 인식, 언어, 추론, 월드 모델, 행동 생성, 제어, 안전, 수명주기 학습이 하나의 컴퓨팅 스택으로 통합되는 과정이다. 그 성공 여부는 모델의 크기 자체보다도, 얼마나 신뢰성 있게 광범위한 인공지능을 특정한 로봇 몸체에 접지(Grounding)시키고 안전하며 유용하고 반복 가능한 물리적 행동으로 변환할 수 있는가에 의해 결정될 것이다.
저자: Richard Minsoo Go
LinkedIn: Richard Minsoo Go










Top comments (0)