DEV Community

Richard Minsoo Go
Richard Minsoo Go

Posted on

Physical AI Foundation Models — Ch.05: Robot Foundation Models [KR]

STATERA Library · Series 08 · Volume 18 · Chapter 05 · KR
Source: https://github.com/Statera-Library/08_Vol_18_Physical_AI_Foundation_Models/blob/main/18_05_Robot_Foundation_Models/18_05_Robot_Foundation_Models_KR.md

Volume 18 Physical AI Foundation Models

5. Robot Foundation Models

5.1 Robot Foundation Model Taxonomy and Landscape

로봇 파운데이션 모델(Robot Foundation Model)은 언어와 비전 중심으로 발전해 온 파운데이션 모델(Foundation Model)의 개념을 체화 지능(Embodied Intelligence)으로 확장한 Physical AI 분야의 가장 중요한 발전 가운데 하나이다. 기존의 로봇 소프트웨어는 일반적으로 특정한 기계가 제한적으로 정의된 하나의 작업을 수행하도록 설계되었다. 반면 로봇 파운데이션 모델은 다양한 로봇 체화 구조(Embodiment), 환경, 작업, 상호작용 모달리티(Interaction Modality)에 걸쳐 일반화할 수 있는 통합 지능 계층(Unified Intelligence Layer)을 제공하는 것을 목표로 한다. 대규모 언어 모델(Large Language Model)이 텍스트와 멀티모달 정보를 처리하는 범용 추론 엔진(General-Purpose Reasoning Engine)의 역할을 수행하는 것처럼, 로봇 파운데이션 모델은 인식(Perception), 추론(Reasoning), 계획(Planning), 행동(Action)을 다양한 로봇 시스템에 공통으로 적용할 수 있는 계산 프레임워크(Computational Framework)로 통합하려 한다.

로봇 파운데이션 모델의 등장은 여러 기술 발전이 동시에 수렴한 결과이다. 대규모 멀티모달 사전학습(Large-Scale Multimodal Pretraining)은 충분히 다양한 데이터셋으로 학습된 모델이 다른 작업에도 효과적으로 전이되는 표현(Transferable Representation)을 형성할 수 있음을 보여주었다. 강화학습(Reinforcement Learning)은 에이전트가 시뮬레이션 및 실제 환경과 상호작용하면서 점차 복잡한 행동을 학습할 수 있음을 입증하였다. 월드 모델(World Model), 확산 모델(Diffusion Model), 트랜스포머(Transformer), 비전-언어-행동 학습(Vision-Language-Action Learning)의 발전은 인식과 제어 사이의 간격을 더욱 줄였다. 동시에 컴퓨팅 하드웨어, 클라우드 인프라, 엣지 AI 프로세서(Edge AI Processor), 로봇 시뮬레이션 플랫폼이 빠르게 발전하면서 수십억 개의 파라미터(Parameter)를 가진 모델을 페타바이트(Petabyte) 규모의 멀티모달 로봇 데이터로 학습하는 것이 가능해졌다. 이러한 변화는 로봇 기술의 중심을 작업별 소프트웨어 설계에서 데이터 기반 파운데이션 지능(Data-Driven Foundation Intelligence)으로 이동시키고 있다.

기존의 AI 모델이 주로 인식이나 예측에 초점을 맞추는 것과 달리, 로봇 파운데이션 모델은 여러 인지 기능(Cognitive Function)을 하나의 아키텍처 안에 통합한다. 카메라, LiDAR, 촉각 센서(Tactile Sensor), 힘 센서(Force Sensor), 관성 측정 장치(Inertial Measurement Unit), 관절 인코더(Joint Encoder), 마이크, GPS 수신기, 언어 명령(Language Instruction)으로부터 정보를 입력받는다. 이후 이러한 이질적인 관측을 내부 기억(Internal Memory), 학습된 세계 지식(World Knowledge), 작업 목표(Task Objective), 예측 추론(Predictive Reasoning)과 결합하여 조정된 모터 명령(Coordinated Motor Command)을 생성한다. 따라서 로봇 파운데이션 모델은 각각의 세부 문제를 독립적으로 해결하기보다 인식에서 행동까지 이어지는 전체 파이프라인(Perception-to-Action Pipeline)을 통합적으로 처리한다.

로봇 파운데이션 모델의 분류 체계(Taxonomy)는 여러 상호 보완적인 관점으로 이해할 수 있다. 첫 번째 분류 기준은 학습 목표(Learning Objective)이다. 일부 모델은 시각, 공간, 멀티모달 관측으로부터 의미적 이해(Semantic Understanding)를 추출하는 인식 기능을 중심으로 한다. 다른 모델은 미래 환경 변화를 예측하고 행동 시퀀스를 최적화하는 계획 기능을 강조한다. 또 다른 범주는 관측을 로봇 행동으로 직접 변환하는 정책 생성(Policy Generation)에 초점을 맞춘다. 이외에도 추론, 언어 이해, 기억 조직화(Memory Organization), 월드 시뮬레이션(World Simulation)을 중심으로 하는 모델이 존재한다. 최신 시스템은 이러한 능력을 하나의 통합 아키텍처 안에서 동시에 학습하는 방향으로 발전하고 있다.

두 번째 분류 기준은 입력 모달리티(Input Modality)이다. 비전 전용 모델(Vision-Only Model)은 카메라 관측을 처리하여 객체 범주, 장면 구조, 공간적 관계를 추정한다. 비전-언어 모델(Vision-Language Model)은 텍스트 명령을 결합하여 로봇이 자연어 지시를 해석하고 언어 개념을 시각적 관측과 연결하도록 한다. 비전-언어-행동 모델(Vision-Language-Action Model)은 이 기능을 확장하여 멀티모달 입력으로부터 로봇 행동을 직접 생성한다. 보다 포괄적인 멀티모달 파운데이션 모델(Multimodal Foundation Model)은 깊이 센서, LiDAR, 레이더(Radar), 힘 센서, 촉각, 고유감각(Proprioception), 오디오, 환경 메타데이터(Environmental Metadata)까지 통합한다. 센서의 다양성이 증가할수록 로봇은 물리 세계에 대한 더 풍부한 표현을 형성하며, 더욱 복잡한 조건에서도 안정적으로 동작할 수 있다.

또 다른 중요한 분류 기준은 체화 구조(Embodiment)이다. 단일 로봇 파운데이션 모델(Single-Robot Foundation Model)은 특정 매니퓰레이터(Manipulator)나 이동 로봇처럼 하나의 플랫폼에 맞추어 학습된다. 다중 체화 파운데이션 모델(Multi-Embodiment Foundation Model)은 운동학(Kinematics), 센서 구성, 형태(Morphology), 제어 인터페이스(Control Interface)가 서로 다른 여러 로봇 간에도 전이 가능한 표현을 학습한다. 범용 체화 모델(Universal Embodiment Model)은 로봇 구조, 관절 관계, 동역학적 한계(Dynamic Limit), 센서 배치를 모델 입력에 포함하여 하드웨어에 독립적인 행동 표현을 구축하려 한다. 이러한 추상화는 하나의 로봇에서 학습한 지식을 다른 플랫폼의 학습에 활용하게 하며, 데이터 수집 비용을 줄이고 이기종 로봇 플릿(Heterogeneous Robot Fleet)의 확장 가능한 운용을 가능하게 한다.

작업 일반성(Task Generality) 역시 중요한 분류 축이다. 제한적 파운데이션 모델(Narrow Foundation Model)은 창고 조작, 자율주행, 항공 내비게이션, 산업 조립, 가정 서비스와 같은 하나의 응용 도메인에 특화된다. 도메인 범용 모델(Domain-General Model)은 공통된 환경에서 여러 작업을 수행하며, 완전 범용 로봇 파운데이션 모델(Fully General Robot Foundation Model)은 산업, 로봇 종류, 운용 조건이 근본적으로 다른 환경에서도 작동하는 것을 목표로 한다. 진정한 범용 로봇 지능은 아직 해결되지 않은 연구 과제이지만, 다양한 상호작용 데이터로 학습된 대규모 모델이 작업 간 전이(Cross-Task Transfer)에서 높은 성능을 보일 수 있다는 연구 결과가 축적되고 있다.

로봇 파운데이션 모델의 기술 지형(Landscape)은 여러 아키텍처 계열로 구성된다. 현재 연구에서는 장기간의 멀티모달 시퀀스 의존성을 효과적으로 모델링할 수 있는 트랜스포머 기반 아키텍처가 중심적인 위치를 차지한다. 비전 트랜스포머(Vision Transformer)는 대용량 시각 표현을 제공하고, 멀티모달 트랜스포머(Multimodal Transformer)는 언어, 비전, 센서 정보를 하나의 잠재 공간(Latent Space)으로 결합한다. 확산 기반 아키텍처(Diffusion-Based Architecture)는 부드럽고 다양한 행동 경로를 생성하는 강력한 정책 생성기로 빠르게 발전하고 있다. 순환 상태 공간 모델(Recurrent State-Space Model)과 잠재 동역학 모델(Latent Dynamics Model)은 압축된 월드 표현을 이용하여 장기 예측과 계획을 지원한다. 그래프 신경망(Graph Neural Network)은 관절 구조, 객체 상호작용, 구조화된 환경에 대한 관계 추론(Relational Reasoning)을 제공한다. 최신 시스템은 이러한 구성 요소를 하나의 통합 인지 프레임워크(Unified Cognitive Framework) 안에서 결합하는 방향으로 발전하고 있다.

비전-언어-행동 모델(Vision-Language-Action Model, VLA)은 현재 로봇 파운데이션 모델 기술 지형의 중심에 위치한다. 이러한 시스템은 비전-언어 사전학습(Vision-Language Pretraining)에 로봇 행동 예측 기능을 추가한다. 이미지를 설명하거나 질문에 답하는 수준을 넘어 자연어 명령을 조건으로 조작, 내비게이션, 상호작용 행동을 실행하도록 학습한다. 예를 들어 "파란색 용기를 위쪽 선반에 놓아라"라는 명령을 이해하고, 이에 대응하는 모터 행동을 생성할 수 있다. 이러한 통합은 사람이 직접 작업 절차를 프로그래밍하는 방식을 자연어 기반 지시로 대체하여 인간-로봇 상호작용(Human-Robot Interaction)을 크게 단순화한다.

월드 모델 기반 파운데이션 모델(World Model-Based Foundation Model)은 빠르게 성장하는 또 다른 범주이다. 이러한 모델은 행동을 직접 출력하기보다 환경의 동역학을 설명하는 잠재 표현을 먼저 학습한다. 실제 행동을 수행하기 전에 학습된 월드 모델 내부에서 여러 미래 경로를 상상하고 계획한다. 로봇은 실제 하드웨어를 불필요한 마모와 안전 위험에 노출시키지 않고도 수천 개의 가상 미래를 평가할 수 있기 때문에 샘플 효율(Sample Efficiency)이 크게 향상된다. 따라서 월드 모델은 추론, 계획, 정책 최적화(Policy Optimization)를 동시에 지원하는 내부 시뮬레이터(Internal Simulator)의 역할을 수행한다.

확산 정책 모델(Diffusion Policy Model)은 로봇 조작 분야에서 빠르게 영향력을 확대하고 있다. 생성형 이미지 모델에서 영감을 받은 확산 기반 정책은 무작위 노이즈(Random Noise)를 반복적으로 제거하면서 일관된 행동 경로(Action Trajectory)를 생성한다. 이 과정은 다양한 행동 분포(Multimodal Action Distribution)를 자연스럽게 표현할 수 있으므로, 하나의 결정론적 해법만 출력하는 대신 여러 개의 유효한 조작 전략 중 적절한 행동을 선택할 수 있다. 확산 정책은 접촉 기반 조작(Contact-Rich Manipulation), 정밀 파지(Dexterous Grasping), 도구 사용, 양팔 협응(Bimanual Coordination)에서 높은 성능을 보이며, 실제 로봇 제어에 적합한 부드러운 행동 출력을 제공한다.

대규모 언어 모델(Large Language Model)도 로봇 지능의 핵심 구성 요소로 활용되고 있다. 언어 모델만으로 물리 시스템을 직접 제어할 수는 없지만, 고수준 추론, 작업 분해(Task Decomposition), 계획, 상식 지식(Common-Sense Knowledge), 의미적 이해를 제공한다. 최신 로봇 아키텍처는 대규모 언어 모델을 비전 인코더(Vision Encoder), 월드 모델, 행동 생성기(Action Generator)와 결합한다. 언어 모델은 사람의 의도를 해석하고 복잡한 목표를 실행 가능한 하위 작업(Subtask)으로 분해하며, 제약 조건을 추론하고 중간 결정을 설명한다. 특화된 로봇 모듈은 저수준 물리 제어를 수행한다. 이러한 계층적 통합(Hierarchical Integration)은 기호적 추론(Symbolic Reasoning)과 연속 모터 실행(Continuous Motor Execution)을 결합한다.

오픈소스와 산업 생태계(Open-Source and Industrial Ecosystem)는 로봇 파운데이션 모델의 발전을 가속하고 있다. 연구기관은 재현성과 공동체 중심 혁신(Community-Driven Innovation)을 촉진하는 개방형 모델을 공개하고 있다. 동시에 산업 연구소는 대규모 배치, 제조 자동화, 물류, 창고 로봇, 자율주행, 휴머노이드 시스템에 최적화된 독점 모델(Proprietary Model)을 개발하고 있다. 공개 연구와 상용 개발 간 경쟁은 알고리즘 성능, 데이터셋 규모, 벤치마크 방법론, 실제 배치 경험의 발전을 지속적으로 가속한다.

학습 데이터셋(Training Dataset)도 기술 지형을 구성하는 핵심 요소이다. 파운데이션 모델은 실제 로봇, 시뮬레이션, 원격 조작(Teleoperation), 시연 학습(Demonstration Learning), 인터넷 규모 비디오, 디지털 트윈(Digital Twin), 합성 환경(Synthetic Environment)에서 수집한 다양한 멀티모달 상호작용 데이터를 필요로 한다. 고품질 데이터셋은 동기화된 시각 관측, 로봇 상태, 센서 측정값, 행동, 언어 명령, 환경 메타데이터, 작업 결과를 함께 포함한다. 단순한 데이터 양보다 데이터의 다양성이 더 중요한 경우가 많다. 전이 가능한 표현은 동일한 행동의 반복보다 다양한 로봇 체화 구조, 환경, 조작 방식, 기상 조건, 실패 사례, 복구 행동으로부터 형성되기 때문이다.

시뮬레이션(Simulation)은 로봇 파운데이션 모델을 대규모로 학습하기 위한 필수 기술이 되었다. 현대 시뮬레이션 환경은 물리 기반 상호작용, 절차적 장면 생성(Procedural Scene Generation), 도메인 랜덤화(Domain Randomization), 디지털 트윈, 현실적인 센서 모델을 지원한다. 합성 환경에서 로봇은 낮은 비용으로 수백만 번의 상호작용을 수행하고 위험하거나 희귀한 상황을 안전하게 탐험할 수 있다. 이후 시뮬레이션-현실 전이(Sim-to-Real Transfer) 기술을 이용하여 학습된 표현을 실제 로봇에 적용한다. 학습 기반 월드 모델은 실제 관측 경험에서 상호작용형 가상 환경을 생성하면서 시뮬레이션과 현실 사이의 경계를 더욱 흐리게 만들고 있다.

로봇 파운데이션 모델 평가는 기존 인식 벤치마크를 넘어선다. 연구에서는 작업 간 일반화(Cross-Task Generalization), 체화 전이(Embodiment Transfer), 장기 계획(Long-Horizon Planning), 언어 지시 수행(Language Following), 조작 성공률, 내비게이션 성능, 안전성, 불확실성 추정, 에너지 효율, 강건성(Robustness), 지속 적응(Continual Adaptation)을 종합적으로 측정한다. 평가에서는 벤치마크 정확도뿐 아니라 변화하는 환경, 새로운 작업, 하드웨어 편차, 센서 성능 저하, 인간 상호작용에서의 실제 운용 신뢰성을 함께 고려해야 한다. 이러한 광범위한 요구를 반영하기 위해 표준 벤치마크 역시 계속 발전하고 있다.

상당한 발전에도 불구하고 로봇 파운데이션 모델은 여전히 중요한 과제를 가지고 있다. 실제 상호작용 데이터 수집에는 로봇, 운용자, 유지보수, 안전 감독이 필요하므로 비용이 높다. 동역학과 제어 인터페이스가 크게 다른 로봇 간의 일반화는 아직 완전하지 않다. 부분 관측(Partial Observability)과 불확실한 환경에서는 장기 계획 오차가 누적될 수 있다. 실제 배치에는 설명 가능성(Explainability), 강건성, 규제 준수(Regulatory Compliance), 사이버보안(Cybersecurity), 형식적 안전 검증(Formal Safety Verification)이 요구된다. 또한 모델의 규모와 능력이 커질수록 임베디드 하드웨어(Embedded Hardware)에서 효율적으로 추론하는 문제도 어려워지고 있다.

이러한 한계를 해결하기 위한 여러 연구 방향이 등장하고 있다. 지속학습(Continual Learning)은 로봇이 배치 이후에도 파국적 망각(Catastrophic Forgetting) 없이 새로운 경험으로부터 학습할 수 있게 한다. 연합학습(Federated Learning)은 여러 로봇이 데이터 개인정보를 보호하면서 지식을 공유하도록 한다. 계층적 기억 시스템(Hierarchical Memory System)은 여러 임무에서 축적되는 장기 경험을 체계적으로 조직한다. 신경-기호 추론(Neuro-Symbolic Reasoning)은 신경망 학습과 구조화된 지식 표현을 결합한다. 인과 추론(Causal Reasoning)은 환경 개입(Intervention)에 대한 강건성을 향상시킨다. 자기지도 상호작용 학습(Self-Supervised Interaction Learning)은 수작업 라벨 의존도를 줄인다. 멀티모달 월드 모델은 예측적 상상(Predictive Imagination)과 내부 시뮬레이션을 지원한다. 이러한 기술은 로봇 파운데이션 모델을 평생학습형 자율 시스템(Lifelong Autonomous System)으로 발전시키고 있다.

로봇 파운데이션 모델은 시스템 아키텍처(System Architecture) 자체도 변화시키고 있다. 전통적인 로봇 소프트웨어는 인식, 위치 추정(Localization), 지도 작성(Mapping), 계획, 조작, 내비게이션, 제어를 각각 독립적으로 설계한 다수의 모듈로 구성된다. 파운데이션 모델은 점차 여러 작업에서 공유되는 통합 잠재 표현(Unified Latent Representation)을 이용하여 고정적인 모듈 경계를 대체하고 있다. 각각의 기능을 위한 별도의 알고리즘을 수작업으로 설계하는 대신, 개발자는 공통된 사전학습 모델을 도메인별 데이터로 미세조정(Fine-Tuning)하는 방식을 사용한다. 이러한 아키텍처 전환은 과거 컴퓨터 비전과 자연어 처리에서 수작업 특징 설계(Handcrafted Feature Engineering)가 딥러닝으로 대체된 변화와 유사하다.

로봇 파운데이션 모델의 산업적 영향은 제조, 물류, 의료, 농업, 건설, 검사, 운송, 국방, 재난 대응, 창고 자동화, 가정 서비스 로봇 등 광범위한 분야로 확장된다. 범용 모델은 대규모 사전학습 과정에서 이미 많은 지식을 습득했기 때문에 새로운 환경에 로봇을 배치할 때 필요한 엔지니어링 작업을 줄여준다. 조직은 처음부터 완전히 새로운 로봇 소프트웨어 스택을 개발하는 대신, 사전학습 모델을 특수 작업에 맞게 미세조정할 수 있다. 이를 통해 배치 기간을 단축하고 다양한 응용 분야에서 확장성을 향상시킬 수 있다.

미래의 로봇 파운데이션 모델은 언어 추론(Language Reasoning), 멀티모달 인식(Multimodal Perception), 월드 모델링(World Modeling), 기억(Memory), 계획, 인과 추론, 정책 최적화, 평생 적응(Lifelong Adaptation)을 더욱 통합된 인지 아키텍처 안에 결합할 것으로 예상된다. 독립적인 인식 또는 제어 모듈로 동작하는 것이 아니라 복잡한 명령을 이해하고, 미래 환경 변화를 예측하며, 불확실성을 추론하고, 여러 로봇을 조정하며, 경험으로부터 지속적으로 학습하고, 새로운 상황에 자율적으로 적응하는 완전한 체화 지능 시스템(Embodied Intelligence System)으로 발전할 것이다. Physical AI가 범용 로봇 지능(General Robotic Intelligence)을 향해 발전함에 따라 로봇 파운데이션 모델의 분류 체계와 기술 지형은 계속 변화할 것이다. 그러나 근본적인 목표는 변하지 않는다. 즉, 다양한 물리 세계에서 지능형 로봇이 효과적으로 인식하고, 추론하고, 계획하며, 행동할 수 있도록 확장 가능하고 전이 가능하며 범용적인 계산 기반을 제공하는 것이다.

5.2 RT-1 Robot Transformer Architecture [w/Code]

RT-1(Robotics Transformer 1)은 언어 모델과 비전 모델의 발전을 이끌었던 대규모 학습(Scaling)의 원리를 실제 로봇 제어에도 적용할 수 있는지를 검증하기 위해 개발된 대규모 로봇 제어 아키텍처이다. 기존의 로봇 학습 시스템은 일반적으로 하나의 작업(Task), 하나의 물체 집합(Object Set), 또는 하나의 환경(Environment)에 맞추어 학습되었기 때문에 환경이 조금만 달라져도 일반화 성능이 크게 저하되는 문제가 있었다. RT-1은 이러한 접근과 달리 다양한 실제 로봇 시연(Real Robot Demonstration) 데이터를 이용하여 하나의 고용량 모델(High-Capacity Model)을 학습하고, 자연어 명령(Natural Language Instruction)을 이해하여 수백 개의 조작 작업(Manipulation Task)을 수행할 수 있는 범용 정책을 구축하는 것을 목표로 하였다. 각각의 작업마다 별도의 정책을 만드는 대신 이미지(Image), 언어(Language), 행동(Action)을 하나의 트랜스포머(Transformer) 기반 시퀀스 모델(Sequence Model) 안에서 표현함으로써 로봇 제어를 하나의 시퀀스 예측 문제로 변환하였다.

RT-1의 핵심적인 출발점은 데이터의 규모와 다양성이 일반화 능력을 결정한다는 점이다. 자연어 처리에서는 대규모 텍스트 데이터로 학습한 언어 모델이 다양한 언어 표현과 의미를 일반화하는 능력을 갖게 되었으며, 컴퓨터 비전에서는 다양한 이미지 데이터셋으로 학습한 모델이 새로운 인식 작업으로 효과적으로 전이되었다. 반면 로봇 분야는 실제 상호작용 데이터를 수집하는 비용이 매우 높다. 실제 로봇, 작업 환경, 운영 인력, 안전 관리, 유지보수가 모두 필요하기 때문이다. RT-1은 충분히 큰 모델을 방대한 실제 로봇 데이터로 학습시키면 새로운 작업, 새로운 물체, 새로운 환경에서도 기존 경험을 활용하여 일반화할 수 있는지를 검증하기 위해 설계되었다.

RT-1의 학습 데이터는 사무실과 주방 환경에서 운용된 이동형 매니퓰레이터(Mobile Manipulator) 플릿(Fleet)을 이용하여 수집되었다. 약 13대의 로봇이 약 17개월 동안 운용되었으며, 700개 이상의 자연어 작업 지시를 포함하는 약 13만 개의 성공적인 작업 에피소드(Episode)가 수집되었다. 데이터에는 물체 집기(Picking), 물체 놓기(Placing), 서랍 열기(Open Drawer), 서랍 닫기(Close Drawer), 물체 이동(Moving Objects), 물체 밀기(Pushing), 여러 물체를 함께 다루는 복합 작업(Multi-Object Interaction) 등이 포함되었다. 당시로서는 매우 큰 규모의 실제 로봇 데이터셋이었으며, 데이터의 양과 다양성이 일반화 성능에 어떤 영향을 미치는지를 연구할 수 있는 기반을 제공하였다.

RT-1은 두 가지 주요 입력을 사용한다. 첫 번째는 카메라를 통해 획득되는 연속적인 시각 정보(Visual Observation)이고, 두 번째는 사람이 입력하는 자연어 작업 명령이다. 영상은 물체 위치, 장면 구조(Scene Layout), 그리퍼(Gripper)의 위치, 장애물, 현재 작업 진행 상태를 나타낸다. 자연어 명령은 "빨간 컵을 집어라" 또는 "파란 상자를 선반 위에 올려놓아라"와 같이 수행해야 할 작업을 지정한다. RT-1의 핵심은 이러한 시각 정보와 언어 정보를 하나의 모델 안에서 통합하여 시각 인식이 작업 의미(Task Semantics)에 따라 달라지도록 만드는 것이다.

시각 정보는 EfficientNet 기반 영상 인코더(Image Encoder)를 이용하여 처리된다. EfficientNet은 비교적 적은 계산량으로도 강력한 시각 특징을 추출할 수 있는 합성곱 신경망(Convolutional Neural Network) 구조이다. RT-1은 모든 작업에 대해 동일한 시각 특징을 사용하는 대신 Feature-wise Linear Modulation(FiLM)을 이용하여 언어 명령에 따라 시각 특징을 조정한다. 언어 임베딩(Language Embedding)으로부터 생성된 FiLM 파라미터(Parameter)는 중간 특징맵(Feature Map)을 변형하여 동일한 이미지라도 작업 명령에 따라 서로 다른 부분을 중요하게 인식하도록 만든다. 예를 들어 "빨간 컵을 집어라"라는 명령에서는 빨간 컵 주변 특징이 강조되고, "파란 병을 옮겨라"라는 명령에서는 다른 객체가 중심이 된다.

자연어 명령은 사전학습된 언어 인코더(Language Encoder)를 통해 고정 길이의 의미 표현(Semantic Representation)으로 변환된다. 이 임베딩은 단순한 작업 번호(Task Identifier)가 아니라 명령의 의미 자체를 표현한다. 따라서 집기(Pick), 놓기(Place), 열기(Open), 이동하기(Move)와 같은 동작은 서로 의미적으로 연결되며, 새로운 표현이나 새로운 객체가 등장하더라도 기존 의미 구조를 재활용할 수 있다. 이러한 언어 조건화(Language Conditioning)는 이전에 자주 등장하지 않았던 작업 조합에 대해서도 일정 수준의 조합적 일반화(Compositional Generalization)를 가능하게 한다.

시각 특징이 추출된 이후 RT-1은 TokenLearner를 이용하여 트랜스포머에 전달되는 토큰(Token)의 개수를 크게 줄인다. 일반적인 영상 특징맵은 수백에서 수천 개의 공간 요소를 포함하므로 그대로 트랜스포머에 입력하면 계산량이 지나치게 커진다. TokenLearner는 장면에서 가장 중요한 영역만을 선택하여 소수의 학습 가능한 시각 토큰으로 압축한다. 이러한 토큰은 작업과 관련된 물체, 그리퍼와 물체의 관계, 목표 위치, 공간적 문맥을 유지하면서 배경의 불필요한 정보를 제거한다. RT-1은 FiLM으로 조정된 EfficientNet과 TokenLearner를 결합하여 실시간 제어가 가능한 수준까지 계산량을 감소시켰다.

토큰 압축(Token Compression)은 RT-1이 실시간 폐루프 제어(Closed-Loop Control)를 수행하기 위해 매우 중요한 요소이다. 로봇은 카메라 영상을 지속적으로 입력받고 즉시 행동을 생성해야 한다. 고해상도 Vision Transformer를 그대로 사용할 경우 계산량이 지나치게 증가하여 실제 로봇에서 사용하기 어렵다. 따라서 RT-1은 각각의 영상을 소수의 핵심 토큰으로 압축하여 트랜스포머가 충분한 표현 능력을 유지하면서도 실시간 추론 속도를 만족하도록 설계하였다. 이는 Physical AI에서 모델 규모뿐 아니라 추론 속도 역시 매우 중요한 설계 요소임을 보여준다.

압축된 시각 토큰은 여러 시점(Time Step)의 정보를 포함하는 시퀀스로 구성되어 디코더 전용 트랜스포머(Decoder-Only Transformer)에 입력된다. 자기 주의(Self-Attention) 메커니즘은 공간과 시간에 걸쳐 토큰 간 관계를 계산한다. 이를 통해 물체와 로봇 팔이 시간에 따라 어떻게 이동하는지를 추적하고, 작업 진행 상태를 이해하며, 잠시 가려진 물체(Occlusion)에 대해서도 이전 정보를 이용하여 추론할 수 있다. 순환 신경망(Recurrent Neural Network)이 하나의 은닉 상태(Hidden State)에만 의존하는 것과 달리 트랜스포머는 여러 시점의 관련 정보를 직접 참조할 수 있기 때문에 더욱 유연한 시간적 표현을 형성할 수 있다.

트랜스포머의 출력은 행동 토큰(Action Token)으로 변환된다. RT-1은 각 제어값을 직접 연속값(Continuous Value)으로 예측하지 않고 일정 개수의 구간(Bin)으로 양자화(Discretization)한 후 범주형 토큰(Categorical Token)으로 예측한다. 행동은 말단 효과기(End-Effector)의 이동, 회전, 그리퍼의 개폐(Open/Close), 이동 베이스(Base)의 움직임, 작업 종료 여부(Termination Signal)를 포함한다. 이러한 방식은 로봇 제어를 언어 모델과 유사한 토큰 예측 문제로 변환하여 트랜스포머 학습을 보다 안정적으로 수행할 수 있도록 한다.

행동 토큰화(Action Tokenization)는 여러 장점을 가진다. 연속값 회귀보다 범주형 분류가 학습하기 쉬운 경우가 많으며, 여러 가능한 행동을 하나의 확률 분포로 표현할 수 있다. 또한 언어 토큰과 동일한 방식으로 행동을 표현할 수 있기 때문에 모델 구조를 단순화할 수 있다. 그러나 구간 수(Bin Number)가 너무 적으면 제어 정밀도가 떨어지고, 너무 많으면 학습이 어려워진다는 한계도 존재한다. RT-1은 적절한 구간 수를 선택함으로써 실제 이동형 조작 작업에서 충분한 정밀도를 확보하였다.

RT-1은 폐루프 방식으로 동작한다. 최근의 영상과 현재 작업 명령을 입력받아 토큰으로 변환한 후 트랜스포머가 다음 행동 토큰을 예측한다. 예측된 행동은 실제 제어 명령으로 변환되어 로봇에 전달되고, 로봇이 행동하면 새로운 카메라 영상이 입력된다. 이러한 과정이 반복되면서 로봇은 환경 변화에 따라 행동을 지속적으로 수정한다. 따라서 RT-1은 긴 행동 시퀀스를 한 번에 생성하는 것이 아니라 매 순간 새로운 관측을 반영하여 행동을 갱신하는 반응형 정책(Reactive Policy)이다.

RT-1은 주로 지도 모방학습(Supervised Imitation Learning)을 이용하여 학습되었다. 각 시연 데이터에는 작업 명령, 영상 시퀀스, 사람이 수행한 행동이 포함된다. 모델은 해당 상황에서 사람이 수행한 행동 토큰을 예측하도록 학습된다. 이러한 방식은 행동 복제(Behavior Cloning)와 유사하며, 강화학습처럼 온라인 탐험(Online Exploration)이나 보상 함수 설계가 필요하지 않다.

RT-1의 중요한 특징은 모든 작업을 하나의 모델에서 동시에 학습하는 다중 작업 학습(Multi-Task Learning)이다. 서로 다른 작업들이 하나의 데이터셋으로 결합되어 하나의 공통 모델을 학습한다. 이를 통해 작업 간 긍정적 전이(Positive Transfer)가 발생한다. 여러 종류의 물체를 집는 작업은 파지(Grasping)의 일반적인 개념을 형성하고, 다양한 용기에 물체를 넣는 작업은 공간적 추론 능력을 향상시킨다. 따라서 각각의 작업을 독립적으로 학습하지 않아도 내부 표현을 공유하여 새로운 작업에 활용할 수 있다.

RT-1은 기존 작업뿐 아니라 새로운 환경, 새로운 물체, 새로운 작업 조합에서도 평가되었다. 실험 결과는 데이터의 다양성과 모델 규모가 증가할수록 일반화 성능도 향상된다는 사실을 보여주었다. 학습에 포함된 작업에서는 매우 높은 성공률을 기록하였으며, 이전에 보지 못했던 물체나 새로운 환경에서도 상당한 수준의 작업 수행 능력을 유지하였다. 이러한 결과는 대규모 공통 정책이 개별 작업별 정책보다 더 강력한 일반화 능력을 가질 수 있음을 보여주었다.

특히 흥미로운 평가는 기존 기술을 새로운 방식으로 조합한 자연어 명령에 대한 일반화였다. 예를 들어 특정 물체를 집는 경험과 다른 물체를 이동시키는 경험은 있었지만 두 작업이 동시에 등장하지 않았던 경우에도 RT-1은 두 경험을 조합하여 새로운 행동을 수행할 수 있었다. 이러한 능력은 아직 인간 수준에는 미치지 못하지만, 단순한 암기 기반 정책에서 범용 행동 정책으로 발전하는 중요한 단계였다.

환경 변화에 대한 강건성(Robustness)도 평가되었다. 물체 위치를 변경하거나 배경을 바꾸거나 방해 물체를 추가하거나 로봇 시작 위치를 변경해도 RT-1은 비교적 안정적인 성능을 유지하였다. 비전-언어 구조는 단순히 고정된 물체 위치를 기억하는 것이 아니라 작업과 관련된 시각 정보를 선택적으로 활용할 수 있기 때문이다. 이러한 특성은 실제 환경이 항상 동일하지 않은 현실적인 로봇 응용에서 매우 중요하다.

RT-1은 서로 다른 로봇 데이터의 혼합도 가능함을 보여주었다. 연구에서는 일부 다른 로봇 플랫폼에서 수집된 데이터를 함께 학습시켰으며, 일부 작업에서는 오히려 일반화 성능이 향상되는 결과를 얻었다. 이는 향후 다중 체화(Multi-Embodiment) 모델이나 여러 종류의 로봇을 함께 학습하는 범용 로봇 모델의 가능성을 보여주는 중요한 결과였다.

시스템 아키텍처 측면에서 RT-1은 기존 로봇 시스템과 크게 다르다. 기존 시스템은 객체 인식(Object Detection), 자세 추정(Pose Estimation), 작업 계획(Task Planning), 경로 계획(Motion Planning), 제어(Control)를 각각 독립적인 모듈로 구성하였다. 반면 RT-1은 이미지와 언어를 직접 행동으로 변환하는 종단 간 학습(End-to-End Learning)을 수행한다. 이를 통해 사람이 설계한 중간 표현에 대한 의존성을 줄이고 작업 수행에 가장 유용한 특징을 모델이 스스로 학습할 수 있게 하였다.

물론 종단 간 학습이 기존 로봇 제어 기술을 완전히 대체하는 것은 아니다. 저수준 모터 제어(Low-Level Motor Control), 충돌 감시(Collision Monitoring), 관절 한계(Joint Limit), 비상 정지(Emergency Stop)와 같은 안전 기능은 여전히 독립적으로 동작한다. RT-1은 주로 작업 지향적인 고수준 시각-운동 정책(Visuomotor Policy)을 담당하며, 실제 시스템에서는 기존 안전 제어기와 함께 사용된다.

RT-1은 모델 규모와 실시간 성능 사이의 균형을 고려하여 설계되었다. 트랜스포머는 입력 토큰 수가 증가하면 계산량이 급격히 증가하는 문제가 있다. RT-1은 EfficientNet, FiLM, TokenLearner, 제한된 시간 창(Temporal Window)을 사용하여 이러한 계산 부담을 줄였다. 결과적으로 수백 개의 작업을 학습하면서도 실제 로봇에서 사용할 수 있는 추론 속도를 달성하였다. 이러한 균형은 이후의 로봇 파운데이션 모델에서도 매우 중요한 설계 원칙으로 이어지고 있다.

RT-1의 언어 능력은 정확히 이해할 필요가 있다. RT-1은 언어를 작업 조건(Task Condition)으로 사용하지만 인터넷 규모의 대규모 언어 모델처럼 일반적인 지식 추론을 수행하는 것은 아니다. 모델이 이해하는 의미는 주로 로봇 시연 데이터와 사전학습된 언어 인코더에 기반한다. 새로운 문장을 어느 정도 일반화할 수는 있지만 완전히 새로운 개념이나 복잡한 상식 추론은 수행하기 어렵다. 이러한 한계는 이후 RT-2가 웹 기반 비전-언어 데이터를 함께 활용하도록 발전하는 계기가 되었다.

또 다른 한계는 RT-1이 시연 데이터 품질에 크게 의존한다는 점이다. 행동 복제는 데이터셋에 포함된 행동만 학습하기 때문에 데이터에 존재하는 편향(Bias), 부족한 복구 전략(Recovery Strategy), 실패 사례 부족도 그대로 반영된다. 학습 데이터에 없는 새로운 상황이 발생하면 예측 오차가 누적될 수 있다. 따라서 향후에는 실패 사례와 복구 행동을 충분히 포함하는 데이터 수집이 중요하다.

장기 작업(Long-Horizon Task)도 RT-1이 해결해야 할 과제이다. RT-1은 제한된 시간 범위 안에서 행동을 예측하며 비교적 짧은 조작 작업에 적합하다. 여러 장소를 이동하고 다양한 물체를 다루며 실패를 복구해야 하는 복잡한 장기 임무는 지속적인 기억(Persistent Memory), 명시적인 상태 추적(State Tracking), 전략적 계획(Strategic Planning)이 필요하다. 이러한 요구는 이후 월드 모델(World Model), 기억 시스템(Memory System), 계층적 계획(Hierarchical Planning)과의 통합 연구로 이어지고 있다.

고정된 행동 표현(Fixed Action Representation)도 다양한 로봇으로의 전이에 어려움을 만든다. 특정 이동형 매니퓰레이터의 관절 구조, 카메라 위치, 제어 인터페이스는 다른 로봇과 다르다. 따라서 동일한 행동 토큰을 그대로 사용할 수 없다. 이후 연구에서는 정규화된 행동 공간(Normalized Action Space), 체화 조건화(Embodiment Conditioning), 공통 의미 행동(Shared Semantic Action), 플랫폼별 어댑터(Adapter)를 이용하여 이러한 문제를 해결하려 하고 있다.

그럼에도 불구하고 RT-1은 오늘날의 로봇 파운데이션 모델에 큰 영향을 준 여러 설계 원칙을 제시하였다. 하나의 모델이 다양한 실제 데이터로부터 수백 개의 작업을 동시에 학습할 수 있다는 점, 자연어를 확장 가능한 작업 인터페이스로 사용할 수 있다는 점, 로봇 제어를 토큰 예측 문제로 변환할 수 있다는 점, 트랜스포머 규모와 데이터 다양성이 일반화를 향상시킨다는 점, 그리고 효율적인 시각 토큰화가 실시간 Physical AI에서 필수적이라는 점은 이후 VLA(Vision-Language-Action) 모델의 중요한 기반이 되었다.

RT-1은 데이터 인프라(Data Infrastructure)의 중요성도 보여주었다. 여러 로봇에서 데이터를 수집하고, 작업 명령을 표준화하며, 카메라 데이터를 동기화하고, 행동을 기록하고, 저장 시스템을 구축하고, 데이터 품질을 관리하는 전체 운영 체계가 함께 구축되어야 했다. 즉 모델 성능은 신경망 구조뿐 아니라 얼마나 다양한 실제 경험을 체계적으로 수집하고 관리할 수 있는가에 크게 의존한다. 이는 Physical AI에서 데이터 운영과 모델 개발이 분리될 수 없음을 보여주는 대표적인 사례이다.

산업용 로봇 분야에서 RT-1은 개별 작업을 직접 프로그래밍하는 방식에서 재사용 가능한 다중 작업 정책(Multi-Task Policy)을 학습하는 방향으로의 전환을 제시하였다. 창고 로봇은 물체 집기, 놓기, 분류, 서랍 조작, 작업대 상호작용을 하나의 정책으로 처리할 수 있다. 서비스 로봇은 여러 공간과 다양한 물체에서 동일한 인식 및 조작 능력을 재사용할 수 있다. 검사 로봇은 내비게이션, 관찰 위치 선정(Viewpoint Selection), 장비 조작, 이상 대응을 하나의 정책 안에서 수행할 수 있다. 사전학습 모델을 미세조정하는 방식은 각각의 기능을 처음부터 개발하는 것보다 훨씬 적은 데이터와 개발 비용을 요구할 것으로 기대된다.

RT-1은 플릿 학습(Fleet Learning)의 가능성도 보여주었다. 여러 로봇이 다양한 환경에서 경험을 수집하면 이를 하나의 공통 데이터셋으로 통합할 수 있다. 중앙 모델(Central Model)은 플릿 전체의 경험을 학습하고 향상된 정책을 다시 각 로봇에 배포할 수 있다. 이러한 구조는 실제 운용이 새로운 데이터를 생성하고, 새로운 데이터가 모델을 개선하며, 개선된 모델이 다시 운용 성능을 향상시키는 데이터 플라이휠(Data Flywheel)을 형성한다. 그러나 이를 안전하게 구현하기 위해서는 데이터 거버넌스(Data Governance), 버전 관리(Version Management), 회귀 테스트(Regression Test), 불확실성 모니터링(Uncertainty Monitoring), 점진적 배포(Controlled Rollout)가 함께 필요하다.

월드 모델과의 관계에서 RT-1은 명시적인 예측 모델(Predictive Model)이 아니라 직접 정책(Direct Policy)에 가깝다. 최근 관측과 언어 명령으로부터 직접 행동을 생성하며, 미래 환경을 상세하게 시뮬레이션하지는 않는다. 이러한 구조는 추론 속도는 빠르지만 행동 전에 여러 미래를 비교하기는 어렵다. 향후에는 RT-1 방식의 행동 생성기와 잠재 월드 모델(Latent World Model)을 결합하여, 정책이 빠르게 행동을 제안하고 월드 모델이 그 행동의 안전성, 실행 가능성, 장기 효과를 평가하는 구조가 유력한 방향으로 제시되고 있다.

RT-1의 영향은 단순히 하나의 로봇 제어 모델을 개발했다는 데 있지 않다. 언어와 비전 분야를 발전시킨 핵심 원리인 대규모 데이터, 공유 아키텍처, 다양한 작업, 전이 가능한 표현, 토큰 기반 모델링이 실제 로봇 제어에도 적용될 수 있음을 최초로 보여준 사례 가운데 하나였다. 비록 이동형 조작이라는 특정 범위에 제한되었지만, 보다 범용적인 로봇 정책으로 발전할 수 있는 현실적인 방향을 제시하였다.

RT-1의 후속 모델은 더 큰 비전-언어 인코더(Vision-Language Encoder), 생성형 행동 모델(Generative Action Model), 더 긴 시간 문맥(Long Temporal Context), 멀티모달 센싱(Multimodal Sensing), 명시적인 기억(Memory), 월드 모델 기반 예측(World Model Prediction), 다중 체화 적응(Cross-Embodiment Adaptation)을 통합할 것으로 예상된다. 또한 모방학습(Imitation Learning)과 강화학습, 인간 피드백(Human Feedback), 자율 데이터 수집(Autonomous Data Collection), 온라인 적응(Online Adaptation)을 결합하는 방향으로 발전할 것이다. 궁극적인 목표는 다양한 실제 로봇 경험을 재사용 가능한 하나의 모델로 통합하여 사람의 명령을 이해하고 신뢰할 수 있는 물리적 행동을 생성하는 것이다.

따라서 RT-1은 단순한 하나의 로봇 제어 모델이 아니라 로봇 파운데이션 모델 시대를 연 중요한 아키텍처적 이정표(Architectural Milestone)로 평가된다. 대규모 실제 로봇 데이터를 트랜스포머가 학습할 수 있음을 보여주었고, 자연어 목표에 따라 시각 정보를 조건화하며, 효율적인 토큰 표현을 사용하여 수백 개의 작업을 폐루프 방식으로 수행할 수 있음을 입증하였다. 동시에 장기 추론(Long-Horizon Reasoning), 안전성(Safety), 복구 능력(Recovery), 체화 전이(Embodiment Transfer), 범용 의미 이해(General Semantic Understanding)라는 남아 있는 과제도 명확하게 제시하였다. 이러한 성과는 오늘날 비전-언어-행동(Vision-Language-Action) 모델과 로봇 파운데이션 모델 연구의 핵심 개념을 정립하는 중요한 기반이 되었다.

5.3 RT-2 Vision Language Action Model [w/Code]

RT-2(Robotics Transformer 2)는 작업별 로봇 정책(Task-Specific Robot Policy)에서 비전-언어-행동 모델(Vision-Language-Action Model, VLA)로 발전하는 과정에서 중요한 전환점을 제시한 모델이다. RT-1은 하나의 트랜스포머 정책(Transformer Policy)이 대규모 실제 로봇 시연 데이터를 이용하여 수백 개의 조작 작업을 학습할 수 있음을 보여주었다. 그러나 RT-1이 이해하는 객체(Object), 개념(Concept), 언어(Language)는 대부분 로봇 데이터셋에 포함된 범위로 제한되어 있었다. RT-2는 이러한 한계를 극복하기 위해 인터넷 규모(Web-Scale)의 이미지와 텍스트 데이터로 사전학습된 대규모 비전-언어 모델(Vision-Language Model)을 로봇 행동 생성에 직접 활용하였다. 핵심 아이디어는 시각 질의응답(Visual Question Answering), 이미지 캡셔닝(Image Captioning), 객체 인식(Object Recognition), 언어 이해(Language Understanding)를 통해 획득한 방대한 의미 지식(Semantic Knowledge)을 실제 로봇 행동 생성으로 전이시키는 것이다.

RT-2는 비전-언어-행동 모델(Vision-Language-Action Model, VLA)이라는 새로운 범주의 로봇 모델을 제시하였다. 기존의 비전-언어 모델은 이미지와 텍스트를 입력받아 언어 토큰(Language Token)을 출력하였다. 반면 VLA 모델은 출력 시퀀스(Output Sequence)에 자연어뿐 아니라 로봇 행동(Action)까지 포함한다. 즉, 별도의 로봇 제어용 신경망을 설계하지 않고도 하나의 멀티모달 트랜스포머(Multimodal Transformer)가 이미지, 언어, 의미 추론(Semantic Reasoning), 행동을 모두 동일한 시퀀스 모델링(Sequence Modeling) 방식으로 처리할 수 있도록 확장한 것이다.

RT-2가 등장한 가장 큰 이유는 웹 데이터와 로봇 데이터 사이의 규모 차이 때문이다. 인터넷에는 이미지, 텍스트, 객체, 재질(Material), 공간 관계(Spatial Relationship), 기호(Symbol), 인간 행동(Human Activity), 상식(Common Sense)에 대한 방대한 정보가 존재한다. 반면 실제 로봇 데이터는 하나의 시연을 수집하기 위해 실제 로봇, 운영자, 안전한 환경, 유지보수, 시간이 모두 필요하기 때문에 규모가 훨씬 작다. 로봇 시연 데이터만으로 학습한 정책은 물체를 집는 방법은 배울 수 있지만, 돌(Rock)이 임시 망치(Improvised Hammer) 역할을 할 수 있다는 사실이나, 에너지 음료(Energy Drink)가 피곤함(Tiredness)과 관련된다는 상식, 재활용 표시(Recycling Symbol)가 물체를 어디에 버려야 하는지를 의미한다는 지식은 배우기 어렵다. RT-2는 이러한 웹 기반 의미 지식을 로봇 행동으로 연결하는 것을 목표로 하였다.

RT-2는 처음부터 로봇 정책을 학습하는 것이 아니라 사전학습된 비전-언어 모델을 기반으로 한다. 연구에서는 PaLI-X와 PaLM-E라는 두 종류의 대규모 멀티모달 모델을 기반 모델(Backbone)로 사용하였다. PaLI-X는 이미지와 언어를 하나의 토큰 생성(Token Generation) 구조 안에서 처리하는 대규모 비전-언어 모델이다. PaLM-E는 시각 정보뿐 아니라 연속적인 센서 데이터까지 대규모 언어 모델 안에 통합한 체화 멀티모달 모델(Embodied Multimodal Language Model)이다. RT-2는 이러한 사전학습 모델을 활용함으로써 로봇 학습을 시작하기 전부터 뛰어난 시각 인식, 언어 이해, 의미 추론 능력을 이미 보유하고 있었다.

RT-2는 현재 로봇이 바라보고 있는 환경의 이미지와 자연어 작업 명령을 입력으로 받는다. 영상에는 로봇 팔, 그리퍼, 다양한 물체, 작업대, 주변 환경이 포함된다. 자연어 명령은 "컵을 상자 안에 넣어라", "병을 접시 옆으로 옮겨라", "가장 작은 물체를 집어라"와 같은 목표를 설명한다. 비전-언어 모델은 웹 데이터에서 학습한 시각적·언어적 지식을 이용하여 영상과 명령을 동시에 이해한 후 행동 토큰(Action Token)을 생성한다.

이러한 변환을 가능하게 하는 핵심 기술이 행동 토큰화(Action Tokenization)이다. 로봇의 연속적인 제어값(Continuous Control Value)은 먼저 일정한 개수의 구간(Bin)으로 양자화(Discretization)된다. 행동 표현에는 말단 효과기(End-Effector)의 위치 이동, 회전, 그리퍼 개폐, 이동 베이스의 움직임, 작업 종료 신호(Termination Signal)가 포함된다. 각각의 양자화된 값은 모델의 어휘(Vocabulary)에 존재하는 하나의 토큰으로 대응된다. PaLI-X 기반 RT-2는 기존 숫자 토큰(Number Token)을 행동 토큰으로 활용하였으며, PaLM-E 기반 모델은 거의 사용되지 않는 어휘를 행동 토큰 공간(Action Token Space)으로 재할당하였다. 결과적으로 RT-2는 언어를 생성하는 것과 동일한 자기회귀(Auto-Regressive) 디코딩 과정을 통해 로봇 제어 명령도 생성할 수 있게 되었다.

이러한 구조는 로봇 제어를 언어 생성과 동일한 시퀀스 예측 문제로 변환한다는 점에서 매우 강력하다. 기존에는 이미지를 입력받아 문장을 생성하던 트랜스포머가 이제는 숫자로 표현된 행동 토큰을 생성하도록 미세조정(Fine-Tuning)된다. 별도의 행동 생성기(Action Generator)가 필요한 것이 아니라 동일한 트랜스포머가 이미지, 명령, 이전 토큰을 기반으로 다음 행동 토큰을 예측한다. 실제 실행 시에는 생성된 행동 토큰을 다시 연속 제어값으로 변환하여 로봇에 전달한다.

RT-2는 로봇 데이터와 웹 데이터를 동시에 사용하는 공동 미세조정(Co-Fine-Tuning) 방식으로 학습된다. 이러한 학습 방식은 매우 중요하다. 만약 로봇 데이터만으로 미세조정하면 웹 사전학습 과정에서 얻은 의미 지식을 잃어버릴 수 있으며, 이를 파국적 망각(Catastrophic Forgetting)이라고 한다. 반대로 웹 데이터만 학습하면 실제 행동을 생성할 수 없다. 따라서 RT-2는 로봇 시연과 시각 질의응답, 이미지 캡셔닝, 의미 인식(Semantic Recognition) 같은 웹 기반 작업을 함께 학습한다. 결과적으로 웹에서 획득한 의미 지식은 유지하면서도 실제 행동과 연결될 수 있다.

로봇 시연 데이터도 일반적인 비전-언어 학습 형식과 동일하게 변환된다. 입력은 현재 영상과 작업 명령이며, 출력은 행동 토큰 시퀀스이다. 웹 데이터는 기존처럼 언어 문장을 출력한다. 따라서 하나의 모델은 상황에 따라 자연어를 생성하기도 하고 로봇 행동을 생성하기도 한다. 이러한 통합 학습 방식은 기존 비전-언어 모델을 비교적 간단하게 비전-언어-행동 모델로 확장할 수 있음을 보여주는 RT-2의 가장 중요한 공헌 가운데 하나이다.

RT-2에서 사용된 로봇 데이터는 RT-1에서 구축한 대규모 조작 데이터셋을 기반으로 한다. 데이터에는 물체 집기(Picking), 놓기(Placing), 이동(Moving), 열기(Open), 닫기(Close), 정리(Arranging)와 같은 다양한 실제 작업이 포함되어 있다. 이러한 로봇 데이터는 웹에서 학습한 의미 표현을 실제 행동과 연결하는 역할을 한다. 웹 데이터는 폭넓은 개념을 제공하고, 로봇 데이터는 그 개념을 물리적 행동으로 구현하는 방법을 학습시킨다.

RT-1과 RT-2의 차이는 단순히 모델 크기가 커졌다는 것이 아니다. RT-1은 로봇 시연 데이터를 중심으로 시각과 언어를 이용한 행동 정책을 학습하였다. RT-2는 이미 방대한 시각 및 언어 지식을 가진 모델에 행동(Action)을 새로운 출력 모달리티(Output Modality)로 추가하였다. RT-1은 로봇 데이터에 포함된 개념 범위 안에서 일반화하였다면, RT-2는 로봇 데이터에 존재하지 않는 의미 정보까지 활용하여 새로운 상황에 대응할 수 있게 되었다.

RT-2가 보여준 가장 중요한 성과 가운데 하나는 새로운 물체(Unseen Object)에 대한 일반화 능력이다. 로봇 데이터에 존재하지 않았던 새로운 물체가 등장하더라도 웹에서 학습한 시각 지식을 활용하여 해당 물체를 이해하고 적절한 행동을 선택할 수 있었다. 인터넷 규모의 사전학습 덕분에 다양한 포장 상자, 장난감, 용기, 생활용품에 대한 폭넓은 시각 표현을 이미 학습하고 있었기 때문이다.

RT-2는 로봇 시연에서 직접 학습하지 않은 의미 개념(Semantic Concept)에 대해서도 일반화 능력을 보여주었다. 예를 들어 특정 숫자(Number), 기호(Symbol), 아이콘(Icon)이 포함된 물체를 선택하라는 명령이 주어졌을 때, RT-2는 해당 숫자나 기호를 인식하고 적절한 물체를 선택할 수 있었다. 이는 단순히 물체 위치를 찾는 것이 아니라 시각 패턴의 의미 자체를 이해해야 가능한 작업이었다.

또 다른 중요한 능력은 객체 속성(Object Property)에 대한 추론이다. RT-2는 "가장 작은 물체를 선택하라", "가장 큰 물체를 선택하라", "다른 물체와 가장 가까운 물체를 집어라"와 같은 명령도 수행할 수 있었다. 이러한 작업은 여러 물체를 비교하고 언어 개념과 공간 관계를 연결하는 의미 추론을 필요로 한다. 아직 복잡한 인간 수준의 추론에는 미치지 못하지만, 의미 판단을 직접 행동으로 연결할 수 있다는 점은 VLA 모델의 중요한 가능성을 보여준다.

RT-2는 웹 데이터에서 학습한 상식(Common Sense)을 행동 선택에도 활용할 수 있음을 보여주었다. 대표적인 사례는 "망치 대신 사용할 수 있는 물체를 선택하라"는 명령에 돌(Rock)을 선택한 실험이다. 로봇은 돌과 망치의 관계를 로봇 시연에서 직접 배우지 않았지만, 웹 데이터에서 학습한 의미 연관성을 행동으로 연결하였다. 또 다른 사례에서는 피곤한 사람에게 적절한 물체를 선택하라는 질문에 에너지 음료(Energy Drink)를 선택하였다. 연구에서는 행동 생성 이전에 Chain-of-Thought 방식의 의미 추론을 활용하는 가능성도 함께 제시하였다.

그러나 이러한 결과가 RT-2가 인간 수준의 상식을 갖추었다는 의미는 아니다. RT-2는 사전학습 과정에서 얻은 통계적 연관성(Statistical Association)을 활용하는 것이며, 모호하거나 문화적 차이가 큰 개념, 새로운 물리적 상황에서는 쉽게 실패할 수 있다. 그럼에도 불구하고 로봇 정책이 로봇 외부에서 학습한 의미 지식을 재사용할 수 있음을 보여준 중요한 사례이다.

RT-2는 수천 번의 실제 로봇 실험을 통해 평가되었다. 기존 작업, 새로운 물체, 새로운 명령 조합, 의미 추론, 다양한 환경 변화에 대해 실험을 수행하였다. 결과적으로 RT-2는 기존 로봇 작업의 성능을 유지하면서도 로봇 데이터만 학습한 정책보다 새로운 상황에서 훨씬 뛰어난 일반화 능력을 보여주었다. 이러한 평가는 단순한 조작 성공률뿐 아니라 인터넷 규모의 의미 지식이 실제 행동으로 연결될 수 있는지를 확인하는 데 목적이 있었다.

RT-2는 폐루프 제어(Closed-Loop Control) 방식으로 동작한다. 매 제어 주기마다 최신 영상과 작업 명령을 입력받아 다음 행동 토큰을 생성하고 이를 실제 제어 명령으로 변환한다. 행동 결과는 새로운 카메라 영상으로 다시 입력되며, 모델은 이를 이용하여 다음 행동을 수정한다. 이러한 반복적인 인식-행동 루프(Perception-Action Loop)는 작업 수행 과정에서 지속적인 수정과 보정을 가능하게 한다. 그러나 거대한 비전-언어 모델을 사용하기 때문에 RT-1보다 추론 지연(Inference Latency)이 증가하는 문제가 존재한다.

일부 RT-2 구성은 수십억에서 수백억 개의 파라미터를 가진 모델을 사용하였다. 이러한 모델은 클라우드 기반 AI 가속기(AI Accelerator)를 이용하여 추론을 수행하였으며, 로봇과 네트워크로 연결되어 동작하였다. 모델 규모가 커질수록 의미 이해와 일반화 능력은 향상되지만 실시간 제어는 어려워진다. 따라서 네트워크 지연(Network Delay), AI 가속기, 통신 신뢰성, 추론 비용도 전체 로봇 시스템 설계의 중요한 요소가 된다.

느린 제어 주기는 일부 조작 작업에서는 허용되지만 고속 제어에는 적합하지 않다. 충돌 회피, 힘 제어(Force Control), 접촉 조절(Contact Adjustment), 고속 자세 안정화는 훨씬 빠른 제어 주기를 요구한다. 따라서 실제 시스템에서는 RT-2와 같은 VLA 모델이 고수준 작업 계획을 담당하고, 저수준 제어기는 고속 관절 제어(Joint Control), 토크 제어(Torque Control), 안전 제어를 수행하는 계층적 구조(Hierarchical Architecture)를 사용한다.

이러한 계층 구조는 안전성을 위해서도 필수적이다. 생성형 트랜스포머는 잘못된 행동 토큰을 생성할 가능성이 있기 때문이다. RT-2는 행동 생성 과정에서 유효한 행동 토큰만 선택하도록 제한하지만, 이것만으로 물리적 안전이 보장되는 것은 아니다. 생성된 명령은 도달 가능한 자세, 속도 제한, 작업 공간 경계, 충돌 조건, 그리퍼 성능 등의 물리적 제약을 다시 검사해야 한다. 따라서 결정론적 안전 제어기와 감시 시스템은 여전히 필요하다.

RT-2는 영상과 언어에서 행동까지를 종단 간으로 연결하지만 전체 로봇 시스템이 완전히 종단 간인 것은 아니다. 카메라 시스템, 운동학(Kinematics), 모션 제어기(Motion Controller), 안전 감시기(Safety Monitor), 통신 시스템, 하드웨어 인터페이스는 계속 중요한 역할을 수행한다. RT-2는 무엇을 해야 하는지를 결정하고, 기존 로봇 시스템은 그것을 실제로 안전하게 수행하도록 한다.

웹 데이터 기반 의미 지식은 새로운 문제도 만든다. 인터넷 데이터에는 편향(Bias), 오류, 모호한 관계, 실제 물리 세계와 맞지 않는 정보가 포함될 수 있다. 이미지 질의응답에서는 유용한 의미 관계가 실제 행동에서는 위험할 수도 있다. 따라서 로봇은 해당 개념이 현재 환경에서 실제로 적절한지를 다시 검증해야 한다. 예를 들어 어떤 물체를 도구로 인식하더라도 무게, 강도, 접근 가능성, 안전성은 별도로 확인해야 한다.

RT-2는 명시적인 월드 모델(World Model)을 포함하지 않는다. 즉 행동 전에 여러 미래를 시뮬레이션하거나 장기적인 결과를 예측하지 않는다. 이미지, 언어, 행동의 관계를 내부적으로 표현하지만 기본적으로는 직접 행동 정책(Direct Policy)에 가깝다. 따라서 향후에는 VLA 모델과 월드 모델을 결합하는 방향이 매우 중요하다. VLA 모델은 의미적으로 적절한 행동을 제안하고, 월드 모델은 그 행동의 물리적 결과와 안전성을 예측하는 역할을 수행할 수 있다.

장기 작업(Long-Horizon Task)은 RT-2에서도 여전히 어려운 문제이다. RT-2는 비교적 짧은 조작 기술을 효과적으로 수행하지만, 방 전체를 정리하거나 여러 단계를 거치는 복잡한 요리 작업처럼 긴 작업은 지속적인 기억(Persistent Memory), 하위 목표(Subgoal) 관리, 진행 상황 추적(Progress Tracking), 실패 감지(Failure Detection), 전략적 재계획(Replanning)이 필요하다. 이러한 문제는 언어 기반 계획기(Language-Based Planner)와 VLA 정책을 계층적으로 결합하여 해결할 수 있다.

행동을 토큰으로 표현하는 방식도 한계를 가진다. 연속적인 제어값을 토큰으로 양자화하면 모델 구조는 단순해지지만 제어 정밀도가 감소할 수 있다. 특히 정밀한 힘 제어, 손가락 조작(Dexterous Finger Manipulation), 고속 동작에서는 제한이 발생한다. 최근 VLA 연구는 연속 행동 생성(Continuous Action Generation), 행동 청크(Action Chunking), 확산 정책(Diffusion Policy), Flow Matching, 하이브리드 행동 표현(Hybrid Representation) 등을 이용하여 이러한 문제를 해결하려 하고 있다.

RT-2는 특정 이동형 매니퓰레이터를 중심으로 개발되었기 때문에 다른 로봇으로의 전이는 쉽지 않다. 로봇마다 관절 구조, 카메라 위치, 제어 주기, 행동 공간(Action Space)이 다르기 때문이다. 의미 표현은 재사용할 수 있지만 최종 행동 표현은 새로운 플랫폼에 맞게 다시 조정되어야 한다. 이를 위해 정규화된 행동 공간, 체화 토큰(Embodiment Token), 운동학 설명(Kinematic Description), 로봇별 어댑터(Adapter)에 대한 연구가 진행되고 있다.

그럼에도 불구하고 RT-2는 현대 VLA 모델의 기본 개념을 확립하였다. 행동을 하나의 새로운 모달리티(Modality)로 취급하고, 인터넷 규모의 시각 및 언어 지식을 실제 로봇 행동에 활용할 수 있음을 보여주었다. 또한 공동 미세조정(Co-Fine-Tuning)을 통해 웹 지식을 유지하면서 실제 행동으로 연결하는 실용적인 방법을 제시하였다. 무엇보다 사람의 언어를 별도의 기호 시스템(Symbolic Interface) 없이 직접 물리적 행동으로 연결할 수 있음을 입증하였다.

RT-2는 로봇 데이터의 역할도 변화시켰다. 기존에는 로봇 데이터가 물체의 의미와 행동 방법을 모두 가르쳐야 했다. RT-2에서는 웹 데이터가 의미 이해의 상당 부분을 담당하고, 로봇 데이터는 그 의미를 실제 물리적 행동으로 연결하는 역할을 수행한다. 따라서 로봇 데이터가 모든 객체, 기호, 상식 관계를 포함할 필요가 없어지며 데이터 효율(Data Efficiency)이 크게 향상될 수 있다. 그러나 실제 동역학과 행동 실행은 여전히 로봇 데이터가 반드시 필요하다.

RT-2의 구조는 산업용 로봇에도 확장 가능하다. 먼저 범용 VLA 모델을 인터넷 데이터로 사전학습한 후 기업이 보유한 로봇 시연 데이터와 작업 데이터로 공동 미세조정을 수행할 수 있다. 창고 로봇은 자연어 기반 피킹(Picking)과 분류(Sorting)를 학습할 수 있고, 검사 로봇은 의미 명령을 내비게이션과 센서 제어에 연결할 수 있으며, 서비스 로봇은 풍부한 객체 지식을 실제 환경의 행동으로 변환할 수 있다.

플릿 학습(Fleet Learning)은 이러한 접근을 더욱 강화할 수 있다. 여러 로봇이 다양한 장소, 물체, 조명, 실패 사례를 수집하면 이를 공통 VLA 데이터셋에 추가할 수 있다. 결과적으로 의미 지식과 실제 행동 성능이 함께 향상된다. 그러나 새로운 모델이 기존 기능을 손상시키지 않도록 버전 관리, 회귀 테스트, 안전성 검증, 점진적 배포가 함께 수행되어야 한다.

RT-2는 멀티모달 데이터 거버넌스(Multimodal Data Governance)의 중요성도 강조한다. 로봇 데이터는 이미지, 자연어 명령, 행동 토큰, 시간 정보, 작업 결과, 하드웨어 상태를 정확하게 동기화해야 한다. 웹 데이터는 품질, 라이선스(License), 개인정보, 편향을 고려하여 관리되어야 한다. 또한 웹 데이터와 로봇 데이터의 비율을 적절히 유지하여 의미 지식이 사라지거나 반대로 로봇 행동 능력이 약화되지 않도록 해야 한다. 데이터 구성 자체가 모델 구조만큼 중요한 요소가 된다.

Physical AI의 관점에서 RT-2는 단순히 정해진 기술을 수행하는 로봇에서 작업의 의미를 이해하는 로봇으로의 전환을 의미한다. RT-1이 다중 작업 정책(Multi-Task Policy)을 확장하였다면, RT-2는 의미 지식과 물리적 행동을 직접 연결하였다. 이는 계획(Planning), 월드 모델(World Model), 저수준 제어, 안전 제어를 대체하는 것이 아니라 사람의 의도를 실제 행동으로 연결하는 의미 기반 행동 계층(Semantic Action Layer)을 제공하는 것이다.

미래의 VLA 시스템은 더 큰 멀티모달 백본(Multimodal Backbone), 긴 비디오 문맥(Video Context), 촉각(Tactile)과 고유감각(Proprioception), 연속 행동 생성, 행동 청크(Action Chunking), 월드 모델 기반 예측, 기억(Memory), 다중 로봇 전이(Multi-Robot Transfer)를 통합할 것으로 예상된다. 또한 모방학습과 강화학습, 자율 데이터 수집을 함께 활용하며, 의미 계획(Semantic Planning)과 빠른 운동 제어(Fast Motor Control)를 서로 다른 모델이 협력하여 수행하는 구조로 발전할 가능성이 높다.

따라서 RT-2는 단순한 하나의 로봇 모델이 아니라 로봇 파운데이션 모델 발전 과정의 중요한 아키텍처적 이정표(Architectural Milestone)이다. 사전학습된 비전-언어 모델을 행동 토큰(Action Token) 기반 정책으로 변환하고, 웹 데이터와 로봇 데이터를 함께 학습함으로써 의미 지식과 실제 행동을 하나의 모델 안에서 통합할 수 있음을 입증하였다. 비록 추론 지연(Latency), 제어 정밀도, 안전성, 장기 계획, 다중 체화 전이와 같은 과제가 여전히 남아 있지만, RT-2는 오늘날 비전-언어-행동(Vision-Language-Action) 연구의 기본 설계 원칙을 확립하였으며, 더욱 범용적인 로봇 파운데이션 모델로 발전하기 위한 중요한 기반을 제공하였다.

5.4 Octo Open Source Robot Foundation Model [w/Code]

Octo는 다양한 로봇 플랫폼, 작업(Task), 관측 공간(Observation Space), 행동 인터페이스(Action Interface)에 걸쳐 재사용 가능한 범용 로봇 정책(Generalist Robot Policy)을 제공하기 위해 개발된 오픈소스(Open-Source) 로봇 파운데이션 모델(Robot Foundation Model)이다. 각각의 로봇 응용마다 처음부터 새로운 제어 정책(Control Policy)을 학습하는 대신, 대규모 이기종(Heterogeneous) 로봇 데이터로 사전학습(Pretraining)을 수행한 후 비교적 적은 양의 작업별 데이터(Task-Specific Data)를 이용하여 새로운 시스템에 빠르게 적응(Fine-Tuning)하는 것을 목표로 한다. Octo의 핵심 목적은 수정 없이 모든 로봇을 즉시 제어하는 하나의 범용 정책을 제공하는 것이 아니라, 다양한 로봇과 응용 분야에서 효율적으로 미세조정할 수 있는 강력한 초기 정책(Policy Initialization)을 제공하는 것이다. 이러한 접근은 접근성(Accessibility), 적응성(Adaptability), 개방형 개발(Open Development)을 강조하며, 여러 상용 로봇 파운데이션 모델과 차별화된다.

Octo는 대규모 로봇 학습이 가진 현실적인 한계를 해결하기 위해 제안되었다. 범용 정책은 여러 작업과 여러 로봇 간의 지식을 공유할 수 있지만, 기존의 많은 모델은 고정된 입력 형식, 고정된 행동 공간(Action Space), 특정 로봇 플랫폼만을 대상으로 학습되었다. 또한 모델 가중치(Model Weight), 학습 코드, 데이터셋, 미세조정 절차가 대부분 공개되지 않아 연구자들이 활용하기 어려웠다. Octo는 이러한 문제를 해결하기 위해 사전학습된 모델(Checkpoints), 학습 코드, 미세조정 코드, 데이터셋 변환 도구(Dataset Tool), 구현 세부 사항까지 모두 공개하였다. 따라서 Octo는 단순한 하나의 로봇 정책이 아니라 대규모 사전학습(Large-Scale Pretraining), 다중 체화 전이(Cross-Embodiment Transfer), 다운스트림 적응(Downstream Adaptation)을 연구할 수 있는 개방형 연구 플랫폼(Open Research Platform)의 역할도 수행한다.

Octo는 Open X-Embodiment 데이터셋(Open X-Embodiment Dataset)을 기반으로 구성된 약 80만 개의 로봇 작업 궤적(Trajectory)을 이용하여 사전학습되었다. 이 데이터는 여러 연구기관에서 수집한 다양한 조작 데이터셋(Manipulation Dataset)을 통합한 것으로, 서로 다른 로봇 플랫폼, 작업 정의(Task Definition), 카메라 구성(Camera Configuration), 작업 환경(Environment), 시연 방식(Demonstration Style)을 포함한다. 결과적으로 학습 데이터에는 물체 형태, 작업 공간, 제어 방식, 로봇 구조(Embodiment), 시연 스타일에 매우 큰 다양성이 존재한다. Octo는 이러한 이기종 데이터(Heterogeneous Data)를 통해 하나의 로봇에서만 수집한 데이터보다 훨씬 범용적인 표현(General Representation)을 학습할 수 있다.

Open X-Embodiment 데이터셋은 Octo가 로봇 파운데이션 모델로서 가지는 가장 중요한 특징이다. 기존의 조작 정책은 일반적으로 하나의 로봇 팔, 하나의 그리퍼, 하나의 실험실 환경에서 수집된 데이터만을 이용하였다. 이러한 정책은 동일한 환경에서는 매우 높은 성능을 보이지만 카메라 위치, 운동학(Kinematics), 행동 표현(Action Representation), 작업 분포(Task Distribution)가 조금만 바뀌어도 성능이 크게 저하될 수 있다. 반면 Octo는 매우 다양한 로봇과 환경으로부터 공통적인 시각 표현(Visual Representation), 의미 표현(Semantic Representation), 시간적 표현(Temporal Representation)을 학습하도록 설계되었다. 물론 이것만으로 모든 로봇 간 전이가 완전히 해결되는 것은 아니지만, 서로 다른 시스템에서도 재사용 가능한 표현을 학습하도록 유도한다.

Octo는 트랜스포머 기반 확산 정책(Transformer-Based Diffusion Policy) 구조를 사용한다. 트랜스포머는 현재 관측 정보, 작업 목표(Task Specification), 시간적 문맥(Temporal Context)을 하나의 공통 표현으로 통합한다. 이후 확산 기반 행동 생성기(Diffusion-Based Action Head)가 무작위 노이즈(Random Noise)에서 시작하여 반복적인 노이즈 제거(Denoising)를 수행하면서 연속적인 행동 시퀀스(Continuous Action Sequence)를 생성한다. 이러한 구조는 RT-2와 같은 자기회귀 기반 비전-언어-행동(Vision-Language-Action) 모델과 다르다. RT-2는 행동을 이산 토큰(Discrete Token)으로 변환하여 순차적으로 생성하는 반면, Octo는 행동을 연속 공간(Continuous Action Space)에서 직접 생성하며 여러 가능한 행동 경로를 동시에 표현할 수 있다.

확산 정책(Diffusion Policy)은 로봇 조작에서 특히 유리하다. 실제 조작에서는 동일한 목표를 달성하는 방법이 여러 가지일 수 있다. 예를 들어 하나의 물체를 집을 때 왼쪽, 오른쪽, 앞쪽, 위쪽 어느 방향으로 접근해도 성공할 수 있다. 일반적인 회귀 기반 정책(Regression Policy)은 이러한 여러 해법을 평균화(Averaging)하여 실제로는 존재하지 않는 행동을 생성할 수 있다. 반면 확산 정책은 여러 가능한 행동 모드(Action Mode)를 모두 표현한 후 하나의 일관된 행동 궤적(Trajectory)을 생성한다. 반복적인 노이즈 제거 과정은 시간적으로 부드러운 행동 시퀀스를 만들어 실제 조작 안정성도 향상시킨다.

Octo는 단일 행동이 아니라 행동 청크(Action Chunk)를 예측한다. 행동 청크는 여러 개의 미래 행동을 하나의 짧은 궤적으로 동시에 생성하는 방식이다. 여러 단계를 함께 예측하면 각각의 행동을 독립적으로 생성하는 것보다 시간적 일관성(Temporal Consistency)이 향상된다. 결과적으로 도달(Reaching), 파지(Grasping), 물체 운반(Object Transport)과 같은 작업에서 진동(Oscillation)이 감소하고 움직임이 더욱 자연스럽고 안정적으로 생성된다. 공식 Octo Small 모델은 짧은 관측 창(Observation Window)을 사용하여 7차원 행동 표현(Seven-Dimensional Action Representation)을 여러 단계 앞까지 동시에 생성하도록 설계되어 있다.

관측 파이프라인(Observation Pipeline)은 다양한 로봇 조작 환경을 지원하도록 설계되었다. 입력 영상은 먼저 경량 합성곱 신경망(Convolutional Stem)을 통과한 후 작은 시각 패치(Visual Patch)로 분할된다. 이러한 패치는 토큰(Token)으로 변환되어 트랜스포머에 입력된다. 실제 적용 환경에 따라 단일 카메라, 다중 카메라(Multi-Camera), 고유감각(Proprioception), 추가 센서 채널(Sensor Channel) 등을 함께 사용할 수 있다. 즉 특정 센서 구성에 고정되지 않고 다양한 관측 구성을 설정할 수 있도록 설계되어 있다.

작업 목표(Task Specification)는 주로 자연어(Language)를 통해 제공된다. 자연어 명령은 사전학습된 T5 언어 인코더(T5 Language Encoder)를 이용하여 의미 표현(Semantic Representation)으로 변환된다. 이러한 언어 표현은 동일한 모델이 "물체를 이동하라", "상자 안에 넣어라", "특정 대상과 상호작용하라"와 같은 다양한 명령을 수행하도록 조건을 제공한다. 단순한 작업 번호(Task ID)가 아니라 의미 표현을 사용하기 때문에 서로 유사한 명령은 내부 표현을 공유하며 새로운 표현에 대해서도 일정 수준의 일반화가 가능하다.

Octo는 목표 이미지(Goal Image)를 이용하여 작업을 지정할 수도 있다. 사용자는 자연어 대신 원하는 최종 상태(Final State)를 나타내는 이미지를 제공할 수 있다. 이는 목표를 언어로 정확히 표현하기 어렵거나 시각적 배치(Visual Arrangement)가 중요한 작업에서 매우 유용하다. 모델은 현재 영상과 목표 영상을 비교하여 환경을 원하는 상태로 변화시키는 행동을 생성한다. 언어와 목표 이미지를 모두 지원하기 때문에 다양한 로봇 학습 환경에 적용할 수 있다.

Octo의 중요한 특징 가운데 하나는 블록 기반 어텐션(Block-Wise Attention) 구조이다. 입력 토큰은 관측(Observation), 작업(Task), 출력(Readout)이라는 기능별 그룹으로 나누어진다. 어텐션 마스크(Attention Mask)는 어떤 그룹끼리 정보를 교환할 수 있는지를 정의한다. 이러한 구조는 전체 트랜스포머를 다시 설계하지 않고도 새로운 작업 정의나 새로운 입력 모달리티(Modality)를 쉽게 추가할 수 있게 한다. 새로운 센서는 추가 토크나이저(Tokenizer)와 어텐션 블록만 추가하면 되며, 기존 사전학습 백본(Backbone)은 그대로 재사용할 수 있다.

작업 토큰(Task Token)은 로봇이 수행해야 할 목표를 표현한다. 이러한 정보는 자연어 명령, 목표 이미지, 또는 다른 작업 표현으로부터 생성될 수 있다. 관측 토큰(Observation Token)은 현재 환경을 나타내며, 출력 토큰(Readout Token)은 필요한 정보를 모아 행동 생성기에 전달한다. 이러한 구조는 공통 트랜스포머 표현과 행동 생성기를 명확히 분리하여 다양한 로봇 환경에 쉽게 적응할 수 있도록 한다.

Octo의 행동 생성기(Action Head)는 독립적인 모듈로 설계되어 있다. 사전학습 과정에서는 표준 행동 표현(Standardized Action Representation)을 이용하여 확산 정책을 학습한다. 그러나 새로운 로봇은 서로 다른 행동 공간을 가지므로 미세조정 과정에서는 기존 행동 생성기를 교체하거나 다시 초기화할 수 있다. 반면 트랜스포머 백본은 그대로 유지되어 기존에 학습한 시각 및 작업 표현을 계속 활용할 수 있다. 따라서 새로운 로봇이 다른 관절 구조, 그리퍼, 제어 인터페이스를 사용하더라도 대부분의 표현은 그대로 재사용할 수 있다.

이러한 구조는 전이 가능한 지식(Transferable Knowledge)과 로봇 고유의 제어(Embodiment-Specific Control)를 분리한다. 물체, 용기, 작업 공간, 공간 관계, 작업 진행 상태에 대한 시각적 지식은 다양한 로봇에서 공통으로 사용할 수 있다. 그러나 실제 모터 제어는 로봇의 운동학, 작업 공간, 관절 구조, 제어 주기(Action Rate)에 따라 달라진다. Octo는 공통 표현은 트랜스포머 안에 유지하고, 로봇마다 달라지는 입력과 출력만 별도로 적응하도록 설계하였다.

공식적으로 공개된 모델은 Octo-Small과 Octo-Base 두 가지이다. Octo-Small은 약 2,700만 개의 파라미터(Parameter)를 가지며, Octo-Base는 약 9,300만 개의 파라미터를 가진다. 이는 수십억 개 이상의 파라미터를 사용하는 RT-2와 같은 대규모 VLA 모델보다 훨씬 작은 규모이다. 이러한 비교적 작은 모델은 대학 연구실, 스타트업, 개인 연구자도 쉽게 활용할 수 있으며, 사전학습을 다시 수행하지 않아도 공식 체크포인트(Checkpoint)를 사용할 수 있다는 장점이 있다.

물론 전체 사전학습에는 상당한 규모의 AI 가속기(AI Accelerator)가 필요하지만, 다운스트림 적응은 일반적인 GPU 환경에서도 수 시간 내에 수행할 수 있도록 설계되었다. 이는 Octo의 가장 중요한 장점 가운데 하나이다. 연구자는 이미 사전학습된 범용 정책을 기반으로 자신의 로봇에서 소량의 데이터만 수집하여 빠르게 적응할 수 있으며, 처음부터 거대한 트랜스포머를 다시 학습할 필요가 없다.

미세조정(Fine-Tuning)은 여러 방식으로 수행할 수 있다. 전체 네트워크를 모두 업데이트하는 전체 미세조정(Full Fine-Tuning)은 가장 높은 적응 능력을 제공하지만 계산량도 가장 크다. 부분 미세조정(Partial Fine-Tuning)은 행동 생성기, 관측 토크나이저, 센서 어댑터(Adapter) 등 일부 모듈만 업데이트한다. 파라미터 효율적 적응(Parameter-Efficient Adaptation)은 대부분의 백본을 고정한 상태에서 매우 적은 수의 파라미터만 학습한다. 어떤 방식을 선택할지는 새로운 로봇이 사전학습 데이터와 얼마나 다른지에 따라 결정된다.

새로운 로봇이 카메라 구성은 유사하지만 행동 공간만 다르다면 행동 생성기만 교체해도 충분할 수 있다. 반대로 센서 구성도 크게 달라진다면 새로운 입력 토크나이저가 필요하다. 또한 새로운 작업이나 환경이 기존 데이터와 크게 다르면 트랜스포머 자체도 함께 미세조정해야 한다. Octo의 모듈식 구조(Modular Architecture)는 이러한 선택을 전체 시스템을 다시 설계하지 않고도 수행할 수 있게 한다.

Octo는 서로 다른 체화 구조를 가진 9개의 로봇 플랫폼에서 평가되었다. 실험은 사전학습이 새로운 관측 공간, 행동 공간, 로봇 구조, 작업 환경에서 얼마나 효과적인 초기화 역할을 하는지를 검증하는 데 목적이 있었다. 결과적으로 대부분의 환경에서 Octo를 미세조정한 정책이 처음부터 학습한 정책보다 우수한 성능을 보였으며, 다양한 로봇으로 효과적으로 적응할 수 있음을 확인하였다. 중요한 점은 Octo가 모든 로봇에서 제로샷(Zero-Shot)으로 동작한다고 주장하는 것이 아니라, 적은 데이터만으로 빠르게 적응할 수 있음을 보여주었다는 것이다.

따라서 제로샷 배치와 효율적인 미세조정은 명확히 구분해야 한다. Octo는 범용 로봇 정책으로 소개되지만 실제로 가장 중요한 역할은 범용 사전학습 모델(Pretrained Foundation Model)이다. 다양한 데이터로 학습된 모델이 새로운 로봇의 운동학, 안전 조건, 동역학(Dynamics)을 자동으로 모두 이해하는 것은 아니다. 이러한 부분은 실제 로봇 데이터로 미세조정되어야 한다.

Octo는 자연어 기반 작업과 목표 이미지 기반 작업 모두에서 평가되었다. 이는 하나의 공통 백본이 여러 작업 인터페이스(Task Interface)를 동시에 지원할 수 있음을 보여준다. 특정 작업 번호(Task ID)에 의존하지 않고 의미 있는 작업 정의(Semantic Task Definition)를 사용할 수 있기 때문에 다양한 데이터셋을 하나의 구조로 통합할 수 있다.

Octo의 오픈소스 공개는 아키텍처 자체만큼이나 중요하다. 프로젝트는 사전학습 코드, 미세조정 코드, 데이터 변환 도구, 평가 코드, 체크포인트를 모두 공개하였다. 연구자는 모델 구조를 수정하거나 어텐션 구조를 변경하고, 새로운 토크나이저를 추가하거나 행동 생성기를 교체하며, 데이터셋 구성을 변경하는 등 자유롭게 실험할 수 있다. 이러한 개방성은 폐쇄형 상용 모델에서는 수행하기 어려운 독립적인 분석과 재현 연구(Reproducible Research)를 가능하게 한다.

또한 공개된 구현은 공동 연구 생태계(Shared Research Ecosystem)를 형성한다. 새로운 로봇 데이터셋은 동일한 형식으로 변환하여 사용할 수 있으며, 여러 연구자가 동일한 사전학습 모델을 기준으로 성능을 비교할 수 있다. 이를 통해 성능 향상이 아키텍처 때문인지, 데이터 구성 때문인지, 미세조정 전략 때문인지를 보다 정확하게 분석할 수 있다. 또한 실패 사례(Failure Mode), 편향(Bias), 강건성(Robustness)에 대해서도 체계적인 연구가 가능하다.

Octo는 주로 JAX 기반으로 구현되었으며 RLDS(Robot Learning Dataset Standard) 데이터 생태계를 사용한다. 이는 Open X-Embodiment와의 통합에는 매우 유리하지만 PyTorch에 익숙한 연구자에게는 다소 높은 학습 비용이 될 수 있다. 또한 전체 사전학습 데이터는 약 1.2TB에 달하기 때문에 공개되어 있다고 해서 누구나 쉽게 전체 학습을 재현할 수 있는 것은 아니다. 상당한 저장 공간(Storage)과 데이터 관리 능력이 여전히 필요하다.

따라서 오픈소스(Open Source)와 저비용(Low Cost)은 동일한 의미가 아니다. Octo는 로봇 파운데이션 모델 연구의 진입 장벽을 크게 낮추었지만, 실제 로봇 실험에는 여전히 GPU, 저장 공간, 데이터 관리, 실제 로봇 장비가 필요하다. 다만 사전학습된 체크포인트를 제공함으로써 이러한 부담을 크게 줄여 주었다.

Octo는 RT-2와도 중요한 차이를 가진다. RT-2는 인터넷 규모의 비전-언어 모델을 기반으로 행동을 언어 토큰으로 생성하며 의미 추론(Semantic Reasoning)에 강점을 가진다. 반면 Octo는 비교적 작은 규모의 모델이지만 확산 정책(Diffusion Policy)을 이용하여 연속 행동 청크(Continuous Action Chunk)를 생성하며, 다양한 로봇 데이터에 대한 적응과 오픈소스 활용에 초점을 맞추고 있다.

또한 Octo는 단일 로봇에서 학습한 일반적인 확산 정책(Diffusion Policy)과도 다르다. 두 모델 모두 확산 기반 행동 생성을 사용하지만, Octo는 대규모 다중 데이터셋(Multi-Dataset)으로 사전학습된 공통 트랜스포머 표현을 사용한다. 따라서 단일 데이터셋에 최적화된 정책보다 다양한 로봇과 다양한 작업으로 쉽게 전이될 수 있다.

Octo는 명시적인 월드 모델(World Model)은 아니다. 미래의 환경을 시뮬레이션하거나 장기적인 결과를 예측하기보다는 현재 관측과 목표를 기반으로 직접 행동을 생성한다. 확산 과정은 행동 분포(Action Distribution)를 모델링할 뿐 미래의 영상이나 환경 상태를 예측하지는 않는다. 따라서 장기적인 계획(Long-Horizon Planning)이나 여러 미래를 비교하는 능력은 제한적이다.

향후에는 Octo와 월드 모델을 결합하는 구조가 유력하다. Octo는 짧은 행동 청크를 생성하고, 월드 모델은 그 결과를 예측하여 안전성과 작업 진행 상황을 평가할 수 있다. 또한 상위 계획기(High-Level Planner)가 복잡한 작업을 여러 하위 목표(Subgoal)로 분해하고, Octo는 각각의 조작 기술(Manipulation Skill)을 수행하는 계층적 구조를 구성할 수 있다.

행동 청크(Action Chunk)는 시간적 일관성을 향상시키지만 장기 추론 문제를 완전히 해결하지는 못한다. 방 전체를 정리하거나 산업용 조립(Industrial Assembly), 복잡한 검사 임무(Inspection Mission)는 기억(Memory), 진행 상황 추적(Progress Tracking), 실패 감지(Failure Detection), 전략적 재계획(Replanning)이 필요하다. Octo는 주로 짧은 시간 범위의 시각-운동 조작(Visuomotor Manipulation)에 적합하며, 복잡한 임무는 상위 오케스트레이션(Orchestration)이 추가되어야 한다.

Octo 역시 학습 데이터의 한계를 가진다. Open X-Embodiment는 서로 다른 데이터셋을 통합한 것이므로 행동 표현, 카메라 구성, 작업 정의, 데이터 품질이 매우 다양하다. 이러한 데이터를 하나로 통합하기 위해서는 정규화(Normalization)와 데이터 구성(Data Mixture)이 매우 중요하다. 데이터가 많다고 해서 반드시 전이 성능이 향상되는 것은 아니다.

데이터 불균형(Dataset Imbalance)도 중요한 문제이다. 일부 로봇과 작업은 매우 많이 포함되어 있지만 다른 작업은 매우 적게 포함될 수 있다. 따라서 드물게 등장하는 그리퍼, 특수한 카메라 배치, 접촉 기반 작업(Contact-Rich Manipulation)은 충분히 학습되지 않을 가능성이 있다. 이를 보완하기 위해서는 데이터 가중치(Data Weighting)와 목표 작업 중심의 미세조정이 필요하다.

부정적 전이(Negative Transfer)도 발생할 수 있다. 한 로봇에서 유용했던 행동 패턴이 다른 로봇에서는 오히려 성능을 저하시킬 수도 있다. 예를 들어 가벼운 로봇 팔에 적합한 움직임이 무거운 산업용 로봇에는 적합하지 않을 수 있다. 따라서 사전학습 표현이 항상 도움이 되는 것은 아니며, 처음부터 학습한 정책과의 비교 평가도 필요하다.

사전학습과 확산 정책만으로 안전성이 보장되는 것은 아니다. Octo가 생성하는 행동은 부드럽고 자연스럽더라도 충돌 제한(Collision Constraint), 작업 공간 제한(Workspace Boundary), 하중 제한(Payload Limit), 작업별 안전 규칙(Task-Specific Safety Rule)을 위반할 수 있다. 따라서 실제 시스템에서는 저수준 제어기, 충돌 검사, 비상 정지, 힘 제한(Force Limit), 관절 제한(Joint Limit), 불확실성 모니터링(Uncertainty Monitoring)이 함께 사용되어야 한다.

Octo는 초대형 VLA 모델보다 계산량은 적지만 실시간 성능은 여전히 하드웨어에 의존한다. 확산 정책은 하나의 행동을 생성하기 위해 여러 번의 신경망 계산을 수행해야 한다. 노이즈 제거 단계를 줄이면 속도는 빨라지지만 행동 품질이 저하될 수 있다. 따라서 모델 크기, 제어 주기(Control Frequency), 행동 품질, AI 가속기의 성능 사이에서 적절한 균형이 필요하다.

Octo는 인터넷 규모의 VLA 모델과 비교하면 의미 지식은 제한적이다. T5 언어 인코더는 작업 조건(Task Conditioning)을 제공하지만, 웹 기반 비전-언어 모델처럼 복잡한 상식(Common Sense)이나 개방형 의미 추론(Open-Ended Reasoning)을 수행하도록 설계된 것은 아니다. 익숙한 조작 작업에서는 높은 성능을 보이지만 추상적인 명령이나 새로운 개념에서는 한계가 존재한다.

Octo의 가장 큰 가치는 데이터 효율적인 적응(Data-Efficient Adaptation)에 있다. 새로운 로봇을 개발하는 연구자는 검증된 트랜스포머 구조와 사전학습 표현을 그대로 사용할 수 있다. 산업 현장에서도 다양한 데이터셋을 활용한 사전학습이 자체 데이터 수집 비용을 얼마나 줄일 수 있는지를 검증하는 출발점으로 사용할 수 있다. 또한 연구자들은 동일한 기준 모델을 이용하여 범용 로봇 정책에 대한 다양한 연구를 수행할 수 있다.

산업 현장에서 Octo를 적용하려면 먼저 카메라, 고유감각, 제어 좌표계(Control Coordinate), 행동 주기(Action Rate), 그리퍼 명령 등을 표준화해야 한다. 이후 실제 작업에 대한 시연 데이터를 수집하고, 성공 사례뿐 아니라 실패와 복구 사례도 포함하여 미세조정을 수행한다. 이후 새로운 물체, 조명 변화, 센서 변화, 하중 변화, 실제 작업 환경에서 충분한 평가를 수행해야 한다.

플릿 학습(Fleet Learning) 환경에서는 여러 로봇이 수집한 데이터를 하나의 공통 학습 파이프라인으로 통합할 수 있다. Octo의 유연한 구조는 공통 트랜스포머 백본을 공유하면서 로봇별 토크나이저와 행동 생성기를 따로 유지할 수 있다. 새로운 데이터가 축적될 때마다 모델을 재학습하고 다시 배포하는 데이터 플라이휠(Data Flywheel)을 구축할 수 있다. 다만 이를 위해서는 버전 관리(Version Management), 데이터 이력 관리(Dataset Lineage), 회귀 테스트(Regression Test), 롤백(Rollback) 기능이 반드시 함께 제공되어야 한다.

오픈소스 구조는 다양한 특화 모델(Specialized Variant)의 개발도 가능하게 한다. 연구자는 촉각 센서(Tactile Sensor), 깊이 영상(Depth Image), 포인트 클라우드(Point Cloud), 힘 센서(Force Sensor), 다중 카메라 등을 추가할 수 있다. 또한 행동 생성기를 다양한 행동 길이(Action Horizon)에 맞게 수정하거나 목표 이미지, 작업 임베딩(Task Embedding), 상위 계획과 결합하는 것도 가능하다. 이러한 유연성은 Octo를 단순한 하나의 모델이 아니라 새로운 로봇 파운데이션 모델을 연구하기 위한 플랫폼으로 만들어 준다.

Octo 논문은 아키텍처, 데이터 구성, 사전학습, 작업 조건화(Task Conditioning), 적응 전략에 대한 다양한 제거 실험(Ablation Study)도 함께 제공하였다. 이러한 분석은 어떤 설계 요소가 실제 성능 향상에 기여하는지를 이해하는 데 매우 중요하다. 특히 로봇 분야에서는 모델, 데이터, 하드웨어, 학습 방법이 동시에 변하는 경우가 많기 때문에 이러한 체계적인 분석은 더욱 큰 의미를 가진다.

Physical AI의 관점에서 Octo는 반드시 수십억 개 이상의 파라미터를 사용하는 거대한 모델만이 로봇 파운데이션 모델이 되는 것은 아니라는 점을 보여준다. 중간 규모의 트랜스포머라도 다양한 실제 로봇 데이터로 학습하면 매우 높은 재사용성과 범용성을 제공할 수 있다. 이는 단순한 모델 규모보다 데이터 다양성(Data Diversity), 모듈화(Modularity), 효율적인 적응(Adaptation)이 실제 응용에서는 더욱 중요할 수 있음을 시사한다.

또한 Octo는 하나의 고정된 행동 공간만 사용하는 것이 아니라 새로운 행동 표현을 쉽게 추가할 수 있는 모듈식 행동 생성기를 제공한다. 이는 향후 다양한 로봇으로의 전이를 위한 중요한 기반이며, 앞으로는 체화 설명(Embodiment Description), 운동학 토큰(Kinematic Token), 정규화된 말단 효과기 행동(Normalized End-Effector Action), 로봇별 어댑터를 결합하는 방향으로 발전할 가능성이 높다.

향후 Octo는 더욱 큰 데이터셋, 향상된 언어 및 시각 인코더, 빠른 생성형 행동 생성기, 긴 기억(Long-Term Memory), 촉각 및 힘 센서, 명시적인 불확실성 추정(Uncertainty Estimation), 월드 모델과의 통합을 포함하는 방향으로 발전할 것이다. 또한 파라미터 효율적인 미세조정과 지속학습(Continual Learning)을 통해 배치 이후에도 기존 기술을 잊지 않으면서 새로운 능력을 지속적으로 습득하는 방향으로 발전할 가능성이 높다. 산업 현장 적용이 확대될수록 더욱 체계적인 안전성 평가(Safety Evaluation) 역시 중요한 연구 과제가 될 것이다.

따라서 Octo는 단순한 오픈소스 모델이 아니라 범용 로봇 학습을 위한 중요한 아키텍처적 기준(Architectural Reference)으로 이해할 수 있다. 설정 가능한 트랜스포머 백본(Configurable Transformer Backbone), 자연어 및 목표 이미지 기반 작업 조건화, 블록 기반 어텐션, 확산 기반 행동 생성기를 결합하여 약 80만 개의 다양한 로봇 작업 궤적으로부터 학습하였다. 또한 비교적 적은 계산 자원으로도 새로운 로봇의 관측 공간과 행동 공간에 쉽게 적응할 수 있으며, 공개된 체크포인트와 소프트웨어를 통해 대규모 로봇 정책 연구를 누구나 수행할 수 있도록 하였다.

물론 Octo는 아직 모든 로봇을 제로샷으로 제어하는 범용 정책도 아니며, 인간 수준의 의미 추론이나 완전한 안전성, 장기 자율성을 제공하는 것도 아니다. 그러나 다양한 실제 로봇 경험을 하나의 개방형 정책으로 통합하고, 이를 새로운 로봇으로 효율적으로 적응시킬 수 있음을 보여줌으로써 협력적이고 확장 가능하며 누구나 활용할 수 있는 차세대 로봇 파운데이션 모델(Next-Generation Robot Foundation Model)을 향한 중요한 이정표를 제시하였다.

5.5 Pi0 Physical Intelligence Flow Policy [w/Code]

π0(파이 제로, Pi-Zero)는 Physical Intelligence에서 개발한 범용 비전-언어-행동 모델(Vision-Language-Action Model, VLA)로, 하나의 공통 정책(Shared Policy Architecture)을 이용하여 다양한 로봇을 제어하는 것을 목표로 한다. π0의 핵심 목표는 사전학습된 비전-언어 모델(Vision-Language Model, VLM)의 풍부한 의미 이해 능력과 실제 로봇 제어에 필요한 연속성(Continuity), 정밀성(Precision), 높은 시간 응답성(Temporal Responsiveness)을 하나의 시스템으로 결합하는 것이다. 기존의 많은 비전-언어-행동 모델은 로봇의 행동을 이산 토큰(Discrete Token)으로 표현하고 언어 생성과 같은 자기회귀(Auto-Regressive) 방식으로 행동을 생성하였다. 반면 π0는 사전학습된 멀티모달 모델(Multimodal Model)에 연속 행동 생성기(Continuous Action Generator)를 추가하고, 이를 플로우 매칭(Flow Matching)으로 학습함으로써 부드럽고 연속적인 고주파 모터 제어(High-Frequency Motor Control)를 수행하면서도 대규모 이미지와 언어 데이터에서 획득한 의미 지식을 그대로 활용할 수 있도록 설계되었다.

π0의 개발은 로봇 파운데이션 모델(Robot Foundation Model)이 가진 근본적인 문제를 해결하기 위한 시도였다. 대규모 비전-언어 모델은 객체(Object), 장면(Scene), 언어(Language), 공간 관계(Spatial Relationship), 인간 활동(Human Activity)에 대한 매우 풍부한 의미 지식을 가지고 있지만, 기본적으로는 상대적으로 낮은 속도로 이산 언어 토큰을 생성하도록 설계되어 있다. 반면 실제 로봇 조작은 연속적인 제어값, 다관절 협조(Multi-Joint Coordination), 빠른 피드백 제어, 미세한 접촉 제어(Contact Control)를 요구한다. 예를 들어 로봇이 빨래를 개거나 상자를 조립하는 작업에서는 초당 수십 번 이상의 모터 명령을 생성해야 한다. Physical Intelligence는 π0가 최대 약 50Hz 수준의 행동 생성(Action Generation)을 지원하도록 설계되었으며, 이는 기존 언어 토큰 기반 생성 방식보다 실제 로봇 조작에 훨씬 적합한 제어 속도이다.

π0는 먼저 사전학습된 비전-언어 모델을 기반으로 사용한다. 초기 모델은 PaliGemma 기반의 멀티모달 모델을 사용하였다. 이 백본(Backbone)은 카메라 영상과 자연어 명령을 입력받아 현재 무엇이 보이는지, 사용자가 무엇을 원하는지, 장면에서 어떤 부분이 중요한지를 표현하는 의미 벡터(Semantic Representation)를 생성한다. π0는 이러한 백본을 로봇 전용 네트워크로 교체하지 않고, 별도의 행동 전문가(Action Expert)를 추가하였다. 행동 전문가는 멀티모달 표현과 노이즈가 포함된 연속 행동 시퀀스를 입력받아 노이즈를 실제 로봇 행동으로 변환하는 벡터 필드(Vector Field)를 예측한다.

행동 전문가(Action Expert)는 실제 로봇 제어를 담당하는 전용 모듈이다. 비전-언어 백본과 행동 전문가는 어텐션(Attention)을 통해 정보를 공유하지만 동일한 가중치를 사용하는 것은 아니다. 이러한 구조는 혼합 전문가(Mixture-of-Experts, MoE)와 유사하다. 비전-언어 백본은 시각과 언어에 대한 일반적인 의미 지식을 유지하고, 행동 전문가는 연속적인 모터 제어에만 특화된다. 이러한 역할 분리는 세밀한 행동 제어가 기존의 의미 표현을 손상시키지 않도록 하기 위한 것이다.

이러한 분리는 매우 중요한 의미를 가진다. 언어는 어휘(Vocabulary)에 존재하는 이산 기호(Discrete Symbol)를 선택하는 문제이다. 반면 로봇 제어는 말단 효과기(End-Effector)의 이동, 관절(Joint) 움직임, 그리퍼(Gripper) 제어, 이동 베이스(Mobile Base) 제어 등 연속적인 실수값(Continuous Real-Valued Vector)을 생성해야 한다. 언어는 비교적 느린 토큰 생성 속도로도 충분하지만, 로봇은 초당 수십 번의 정밀한 제어가 필요하다. π0는 이러한 연속 제어를 언어 토큰으로 변환하지 않고 별도의 행동 전문가가 직접 생성하도록 함으로써 더욱 자연스럽고 부드러운 움직임을 가능하게 한다.

플로우 매칭(Flow Matching)은 π0 행동 생성기의 핵심 생성 기법이다. 플로우 매칭은 단순한 노이즈 분포(Noise Distribution)를 실제 로봇 행동 분포(Action Distribution)로 점진적으로 변환하는 시간 의존 벡터 필드(Time-Dependent Vector Field)를 학습한다. 학습 과정에서는 실제 행동 시퀀스에 다양한 수준의 랜덤 노이즈를 추가한다. 모델은 현재 영상, 자연어 명령, 로봇 상태(Robot State), 그리고 노이즈가 포함된 행동 시퀀스를 입력받아, 해당 행동이 전문가의 행동으로 변하기 위해 어떤 방향으로 이동해야 하는지를 예측한다. 추론(Inference) 시에는 순수한 랜덤 노이즈에서 시작하여 반복적으로 벡터 필드를 따라 이동하면서 최종적인 행동 궤적(Action Trajectory)을 생성한다.

이 방식은 확산 모델(Diffusion Model)과 매우 유사하지만, 연속적인 플로우(Continuous Flow)를 이용한다는 점에서 차이가 있다. 확산 정책과 플로우 정책 모두 여러 개의 가능한 행동 분포를 표현할 수 있는 생성형 정책(Generative Policy)이다. 일반적인 회귀 기반 정책은 여러 가능한 행동을 평균화하기 때문에 실제 존재하지 않는 행동을 생성하는 경우가 있다. 예를 들어 천(Cloth)의 왼쪽과 오른쪽 어느 곳을 잡아도 되는 경우 평균을 계산하면 아무것도 없는 중앙을 향해 손이 이동할 수도 있다. 반면 플로우 정책은 두 가지 행동 모두를 유지하면서 하나의 일관된 행동을 생성한다.

여러 행동 모드(Action Mode)를 동시에 표현할 수 있다는 점은 정교한 조작(Dexterous Manipulation)에서 매우 중요하다. 동일한 컵을 집더라도 어느 방향에서 접근할 것인지, 수건의 어느 부분을 잡을 것인지, 두 팔을 어떻게 협조시킬 것인지에는 여러 가지 정답이 존재한다. 또한 물체의 가림(Occlusion), 형태 변화, 이전 움직임, 양팔의 상대 위치에 따라 최적의 행동은 계속 달라진다. 플로우 매칭은 이러한 다양한 가능성을 모두 표현하면서도 평균 행동이 아닌 하나의 자연스러운 행동을 생성할 수 있다.

π0는 하나의 행동만 생성하는 것이 아니라 행동 청크(Action Chunk)를 생성한다. 행동 청크는 여러 개의 미래 행동을 하나의 짧은 궤적으로 동시에 생성하는 방식이다. Physical Intelligence는 이후 연구에서 일반적으로 약 50개의 행동을 하나의 청크로 생성하며, 이는 약 50Hz 제어 기준으로 1초 정도의 움직임에 해당한다고 설명하였다. 행동 청크는 각각의 행동을 독립적으로 생성하는 것보다 시간적 일관성(Temporal Consistency)을 높이고 움직임의 진동을 줄이며, 고비용의 정책 추론을 상대적으로 적은 횟수만 수행하도록 해준다.

실제 로봇은 생성된 행동 청크 전체를 그대로 실행하는 것은 아니다. 이전 행동을 수행하는 동안에도 새로운 카메라 영상이 계속 들어오기 때문에 환경이 변하면 새로운 행동 청크를 다시 생성한다. 이후 발표된 비동기 실시간 청킹(Asynchronous Real-Time Chunking) 연구에서는 로봇이 기존 행동을 수행하는 동시에 다음 행동 청크를 계산하는 구조를 제안하였다. π0는 이러한 구조의 기본적인 토대를 마련하였다.

행동 생성은 여러 종류의 입력을 이용하여 조건화(Conditioning)된다. 카메라 영상은 물체, 작업 공간, 로봇 팔, 그리퍼, 작업 진행 상태를 제공한다. 자연어 명령은 사용자의 목표를 설명한다. 고유감각(Proprioception)은 현재 로봇 관절 상태와 그리퍼 상태를 나타낸다. 동일한 카메라 영상이라도 관절 위치가 다르면 수행해야 하는 행동도 달라지기 때문에 이러한 정보는 매우 중요하다. 이러한 입력은 모두 하나의 공통 의미 표현으로 통합되어 플로우 생성 과정을 안내한다.

다중 카메라(Multi-Camera)는 조작 작업에서 특히 중요하다. 외부 카메라는 작업 공간 전체를 보여주고, 손목 카메라(Wrist Camera)는 접촉 상황과 물체의 세부 형태를 관찰한다. 양팔 로봇(Bimanual Robot)은 두 개의 팔과 중앙의 물체를 모두 보기 위해 여러 개의 카메라가 필요하다. 비전-언어 백본은 이러한 영상을 시각 토큰(Visual Token)으로 변환하고, 행동 전문가는 작업과 관련된 부분에 집중하여 양팔의 움직임을 생성한다.

π0는 단일 팔(Single Arm), 양팔(Dual Arm), 이동형 매니퓰레이터(Mobile Manipulator)를 포함하는 대규모 다중 체화(Cross-Embodiment) 데이터셋으로 학습되었다. 학습 작업에는 빨래 개기(Laundry Folding), 테이블 청소(Table Cleaning), 상자 조립(Box Assembly), 물체 배치(Object Placement), 변형 가능한 물체(Deformable Object) 조작 등이 포함되었다. 이러한 다양한 작업은 하나의 정책이 여러 종류의 로봇과 여러 작업을 동시에 수행할 수 있도록 하기 위한 것이다.

다중 체화 학습은 매우 어려운 문제이다. 로봇마다 구조(Morphology), 관절 수, 카메라 위치, 행동 공간, 제어 주기, 작업 공간이 모두 다르기 때문이다. π0는 이러한 문제를 해결하기 위해 데이터 정규화(Data Normalization)와 체화 인식(Embodiment-Aware) 입력 구조를 사용한다. 서로 다른 로봇의 행동은 공통된 수치 범위로 정규화되며, 로봇 상태 역시 동일한 입력 형식으로 변환된다. OpenPI(Open Physical Intelligence) 문서에서도 새로운 로봇에 미세조정을 수행할 때 행동 정규화(Action Normalization)가 매우 중요하다고 강조한다.

모든 로봇이 동일한 행동 공간을 사용하는 것은 아니다. 이동형 로봇은 이동 베이스와 로봇 팔을 함께 제어해야 하지만, 고정형 양팔 로봇은 두 개의 말단 효과기와 두 개의 그리퍼를 제어해야 한다. 따라서 로봇마다 전처리(Preprocessing), 패딩(Padding), 마스킹(Masking), 행동 어댑터(Action Adapter)가 사용된다. 공통적으로 재사용되는 부분은 시각 이해, 작업 이해, 시간적 행동 구조이며, 실제 행동 의미는 여전히 로봇마다 일부 달라질 수 있다.

π0 논문에서는 크게 세 가지 능력을 평가하였다. 첫 번째는 사전학습만으로 수행하는 제로샷(Zero-Shot) 실행이다. 두 번째는 사람이 직접 입력한 자연어 명령 또는 상위 비전-언어 모델이 생성한 명령을 이용한 언어 기반 작업 수행이다. 세 번째는 새로운 작업 데이터를 이용한 빠른 미세조정을 통한 새로운 기술 습득이다. 평가에는 빨래 개기, 테이블 청소, 상자 조립과 같은 복잡한 조작 작업이 포함되었다.

빨래 개기 작업은 매우 중요한 실험이다. 천은 변형 가능한 물체이므로 강체(Rigid Object)와는 전혀 다른 특성을 가진다. 형태가 계속 변하고, 스스로 가려지며(Self-Occlusion), 양팔의 협조가 필요하다. 로봇은 천의 모서리를 찾고, 적절한 장력을 유지하며, 중간 실패를 수정해야 한다. 이러한 작업은 하나의 일반 정책이 얼마나 부드럽고 시간적으로 일관된 행동을 생성할 수 있는지를 평가하는 대표적인 예이다.

테이블 청소 역시 단순한 물체 인식 문제가 아니다. 로봇은 어떤 물체를 치워야 하는지, 어떤 물체는 그대로 두어야 하는지를 판단하고 반복적인 파지와 이동을 수행해야 한다. 상자 조립은 부품을 일정한 순서로 접고 끼워 맞추어야 하므로 순차적 작업(Sequential Task)과 기하학적 제약(Geometric Constraint)을 동시에 해결해야 한다. 이러한 작업들은 π0가 단순한 Pick-and-Place 수준을 넘어 보다 복잡한 조작을 목표로 하고 있음을 보여준다.

π0는 상위 비전-언어 모델이 생성한 명령도 입력으로 사용할 수 있다. 상위 모델은 전체 작업을 이해하고 여러 개의 중간 명령(Subtask Instruction)을 생성하며, π0는 이를 실제 연속적인 로봇 행동으로 변환한다. 예를 들어 상위 모델이 "접시를 집어라", "상자 안에 넣어라", "테이블을 닦아라"라는 순서를 계획하면 π0는 각각의 명령을 실제 양팔 움직임으로 수행한다.

이러한 계층 구조(Hierarchical Architecture)는 종단 간 정책(End-to-End Policy)의 한계를 해결한다. 연속 행동 생성기는 짧은 시간 범위에서는 매우 뛰어나지만 수 분 이상 지속되는 장기 계획(Long-Term Planning)을 유지하기는 어렵다. 반대로 대규모 언어 모델은 계획에는 뛰어나지만 초당 수십 번의 모터 제어는 수행할 수 없다. 따라서 의미 계획과 실제 행동 생성을 서로 다른 모델이 담당하는 것이 훨씬 효율적이다.

π0는 RT-2와도 중요한 차이를 가진다. RT-2는 행동을 이산 토큰으로 변환하여 언어 모델이 직접 생성한다. 반면 π0는 사전학습된 비전-언어 모델을 그대로 유지하면서 연속 행동 생성은 별도의 플로우 기반 행동 전문가가 담당한다. 행동 토큰 방식은 구조가 단순하지만 양자화(Quantization)로 인해 정밀도가 감소하고 자기회귀 생성 속도도 상대적으로 느리다. π0는 연속 행동과 행동 청크를 생성하기 때문에 보다 부드럽고 정교한 조작에 적합하다.

Octo와도 차이가 있다. Octo 역시 생성형 연속 행동을 사용하지만 공개 데이터셋(Open X-Embodiment)을 중심으로 다양한 로봇에 빠르게 적응하는 데 초점을 둔다. π0는 대규모 비전-언어 모델과 행동 전문가를 결합하여 더욱 복잡한 조작과 의미 이해를 동시에 수행하도록 설계되었다. Octo는 상대적으로 접근성이 높은 범용 정책이라면, π0는 보다 강력한 범용 로봇 제어 시스템을 지향한다.

플로우 매칭과 확산 정책은 모두 노이즈에서 행동을 생성한다는 점에서는 유사하다. 그러나 확산 모델은 여러 단계의 노이즈 제거 과정을 학습하는 반면, 플로우 매칭은 연속적인 벡터 필드를 직접 학습한다. 이론적으로는 플로우 매칭이 더 직선적인 생성 경로를 사용할 수 있으며, 적은 단계로도 행동을 생성할 가능성이 있다. 실제 성능은 모델 구조와 학습 방법에 따라 달라진다.

생성 과정은 추론 시간과 품질 사이의 절충(Trade-Off)을 가진다. 플로우 계산 단계를 늘리면 행동 품질은 향상되지만 추론 시간이 증가한다. 단계를 줄이면 빠르게 반응할 수 있지만 행동 정확도가 떨어질 수 있다. 이후 연구에서는 더욱 빠른 행동 생성, 효율적인 행동 토큰화, 비동기 실행(Asynchronous Execution) 등이 함께 연구되고 있다.

π0는 주로 모방학습(Imitation Learning)을 통해 학습된다. 모델은 이미지, 언어, 로봇 상태가 주어졌을 때 전문가 행동(Expert Action)의 분포를 학습한다. 플로우 매칭은 연속 행동 생성의 목적 함수(Objective Function)를 제공하며, 비전-언어 백본은 의미 표현을 제공한다. 이러한 방식은 실제 로봇이 위험한 시행착오를 반복하는 강화학습(Reinforcement Learning)보다 훨씬 안전하고 확장성이 높다.

그러나 모방학습 역시 한계를 가진다. 데이터셋에 없는 행동은 학습할 수 없다. 예를 들어 실패한 파지를 복구하는 사례가 거의 없다면 로봇은 적절한 복구 행동을 배우기 어렵다. 또한 특정 물체, 카메라 구성, 행동 범위가 충분히 포함되지 않았다면 일반화 능력도 제한된다. 따라서 데이터의 품질과 다양성이 최종 성능을 크게 좌우한다.

π0는 새로운 로봇에 적응하기 위해 미세조정을 수행한다. 공개된 OpenPI는 모델 체크포인트, 학습 설정, 추론 도구, 클라이언트-서버(Client-Server) 시스템을 제공한다. 새로운 로봇은 카메라, 언어 명령, 로봇 상태, 행동 시퀀스를 공통 형식으로 변환한 후 사전학습된 π0를 미세조정할 수 있다.

오픈소스로 공개되었다고 해서 바로 사용할 수 있는 것은 아니다. 로봇 좌표계, 행동 의미, 그리퍼 명령, 카메라 순서, 영상 전처리, 제어 주기 등이 모델과 정확히 일치해야 한다. 특히 행동 정규화가 잘못되면 매우 불안정하거나 전혀 의미 없는 움직임이 생성될 수 있다. 따라서 새로운 로봇에서는 반드시 충분한 검증이 필요하다.

π0의 연속 행동 생성은 양팔 조작(Bimanual Manipulation)에서 특히 큰 장점을 가진다. 두 개의 팔은 위치, 자세, 시간, 힘을 동시에 맞추어야 한다. 두 팔을 각각 독립적으로 생성하면 충돌하거나 서로 맞지 않는 움직임이 나올 수 있다. 반면 하나의 공동 행동 청크는 두 팔의 움직임을 하나의 확률 분포로 생성하므로 더욱 자연스럽고 협조적인 동작을 만들 수 있다.

이동형 매니퓰레이션(Mobile Manipulation)에도 동일한 구조를 적용할 수 있다. 이동 로봇은 이동 베이스와 로봇 팔을 동시에 움직여야 한다. π0는 이들을 하나의 행동 벡터로 생성할 수 있으며, 이동과 조작을 별도로 설계하는 기존 방식보다 자연스러운 협조 제어가 가능하다. 물론 실제 적용에서는 여전히 저수준 제어기와 안전 제어가 함께 필요하다.

π0는 완전한 로봇 제어 시스템이 아니라 행동 정책(Action Policy)이다. 생성된 행동은 모터 제어기(Motor Controller), 역운동학(Inverse Kinematics), 작업 공간 제한, 속도 및 가속도 제한, 충돌 감시(Collision Monitor), 비상 정지(Emergency Stop)를 반드시 거쳐야 한다. 실제 토크 제어나 관절 안정화는 기존 제어기가 담당하며, π0는 작업 목적에 맞는 행동 궤적만 제공한다.

이러한 계층 구조는 안전을 위해 필수적이다. 의미적으로 올바른 행동이라도 실제 로봇에서는 관절 제한을 넘거나 장애물과 충돌할 수 있다. 따라서 별도의 계획기, 안전 감시기, 상태 추정기(State Estimator), 실패 대응 시스템(Fail-Safe System)이 함께 동작해야 한다.

π0는 명시적인 월드 모델(World Model)은 아니다. 현재 상태를 기반으로 행동을 생성하지만 여러 미래를 시뮬레이션하거나 장기적인 결과를 예측하지는 않는다. 플로우 생성 과정은 행동 분포를 모델링할 뿐 환경의 상태 변화를 직접 예측하지 않는다. 따라서 미래를 미리 비교하는 계획 능력은 제한적이다.

향후에는 π0와 월드 모델을 결합하는 구조가 매우 유망하다. π0는 여러 개의 행동 청크를 생성하고, 월드 모델은 각각의 결과를 예측한다. 이후 계획기(Planner)는 성공 가능성이 가장 높고 위험이 가장 낮은 행동을 선택할 수 있다. 이러한 구조는 의미 이해, 행동 생성, 불확실성 추정, 미래 예측을 하나의 시스템으로 통합할 수 있다.

장기 자율성(Long-Horizon Autonomy)은 여전히 어려운 문제이다. π0는 개별 기술(Skill)은 매우 잘 수행하지만 긴 작업에서는 기억(Memory), 작업 상태(Task State), 하위 목표(Subgoal), 실패 복구(Recovery), 작업 검증(Verification)이 필요하다. 예를 들어 빨래 한 장을 접는 것과 빨래 전체를 분류하고 개고 정리하는 것은 전혀 다른 수준의 문제이다. 따라서 상위 오케스트레이션(Orchestration)이 반드시 필요하다.

일반화 역시 완벽하지 않다. 다양한 로봇으로 사전학습되었지만 새로운 산업용 로봇은 다른 동역학, 하중(Payload), 속도, 카메라 위치, 그리퍼 구조를 가질 수 있다. 의미 지식은 전이될 수 있지만 실제 제어는 새로운 데이터로 다시 학습되어야 한다.

계산 비용도 중요한 문제이다. 대규모 비전-언어 백본과 반복적인 플로우 계산은 상당한 GPU 성능을 요구한다. 원격 추론(Remote Inference)은 온보드 하드웨어 부담을 줄일 수 있지만 네트워크 지연(Network Latency)이 발생한다. 반대로 로컬 추론(Local Inference)은 강력한 엣지 GPU가 필요하다. 따라서 모델 압축(Model Compression), 양자화(Quantization), 캐시(Cache), 빠른 플로우 계산, 비동기 실행은 실제 제품에서 매우 중요한 연구 분야이다.

이러한 한계에도 불구하고 π0는 Physical AI의 새로운 설계 방향을 제시하였다. 방대한 의미 지식과 고속 연속 제어는 반드시 동일한 출력 구조를 사용할 필요가 없다는 점을 보여주었다. 사전학습된 비전-언어 모델은 의미 이해를 담당하고, 별도의 생성형 행동 전문가가 정밀한 모터 제어를 담당함으로써 사람의 언어와 실제 물리적 행동을 효과적으로 연결하였다.

또한 π0는 다중 체화 데이터를 이용한 학습의 중요성도 보여주었다. 여러 종류의 로봇으로부터 학습하면 하나의 플랫폼에만 최적화된 기술이 아니라 다양한 로봇에서 공통적으로 사용할 수 있는 조작 구조를 학습할 수 있다. 앞으로 더욱 다양한 로봇 데이터와 정규화 기술을 확보하는 것이 차세대 로봇 파운데이션 모델의 핵심 과제가 될 것이다.

산업 현장에서는 범용 사전학습 모델을 기반으로 공장 작업이나 물류 작업에 맞는 데이터를 추가하여 미세조정을 수행하는 방식이 유력하다. 물류 로봇은 분류(Sorting), 포장(Packing), 적재(Loading)를 학습할 수 있으며, 서비스 로봇은 시설별 데이터만 추가하여 동일한 모델을 재사용할 수 있다.

플릿 운영(Fleet Deployment)은 지속적인 학습 구조를 만든다. 여러 현장의 로봇이 성공 사례, 실패 사례, 복구 사례를 수집하고 이를 다시 학습 데이터에 추가한다. 새로운 모델은 시뮬레이션과 실제 현장에서 충분한 검증을 거친 후 점진적으로 배포된다. 이러한 구조에는 데이터 이력 관리(Data Lineage), 모델 버전 관리(Model Versioning), 안전성 회귀 테스트(Safety Regression Test), 롤백(Rollback)이 반드시 포함되어야 한다.

π0는 이후 OpenPI 생태계(OpenPI Ecosystem)의 여러 연구에도 영향을 주었다. 이후 모델들은 더욱 빠른 행동 토큰화, 개방형 환경(Open World) 일반화, 비동기 실시간 행동 청킹, 강화학습 기반 성능 향상을 연구하였다. π0는 특히 플로우 기반 행동 전문가를 통해 사전학습된 비전-언어 모델을 실제 고속 로봇 정책으로 연결하는 구조를 처음 제시하였다는 점에서 매우 중요한 의미를 가진다.

π0가 갖는 가장 큰 의미는 로봇 지능을 의미 이해(Semantic Intelligence)와 운동 능력(Motor Fluency)의 결합으로 바라보았다는 점이다. 로봇은 사람의 의도를 이해하고, 주변 환경을 인식하며, 실제 물리 세계에서 정밀한 행동을 수행해야 한다. 기존 언어 모델은 의미 이해만 담당하고, 기존 제어 정책은 운동만 담당하였다. π0는 이 둘을 하나의 멀티모달 구조 안에서 통합하였다.

따라서 π0는 범용 로봇 파운데이션 모델 발전 과정에서 중요한 아키텍처적 이정표(Architectural Milestone)로 이해할 수 있다. 사전학습된 비전-언어 백본, 전용 행동 전문가, 플로우 매칭 기반 연속 행동 생성, 행동 청킹, 다중 체화 로봇 데이터를 결합하여 자연어 명령을 이해하고 복잡한 조작을 수행하며 새로운 로봇으로 쉽게 적응할 수 있는 구조를 제시하였다.

물론 π0는 아직 모든 로봇에서 제로샷으로 동작하는 완전한 범용 정책도 아니며, 절대적인 안전성이나 장기 계획 능력을 보장하지도 않는다. 그러나 시각, 언어, 로봇 상태를 조건으로 하는 생성형 플로우(Generative Flow)를 이용하여 일반적인 의미 이해와 정밀한 물리적 행동을 연결할 수 있음을 보여주었으며, 이는 향후 Physical AI와 차세대 로봇 파운데이션 모델이 발전하는 데 매우 중요한 기반 기술이 될 것으로 평가된다.

5.6 OpenVLA Open Source VLA for Manipulation [w/Code]

OpenVLA(Open Vision-Language-Action)는 약 70억 개(7 Billion)의 파라미터(Parameter)를 가진 오픈소스(Open-Source) 비전-언어-행동 모델(Vision-Language-Action Model, VLA)로, 시각 인식(Visual Perception), 자연어 이해(Natural Language Understanding), 그리고 로봇 조작(Robot Manipulation)을 하나의 트랜스포머(Transformer) 기반 정책 안에서 통합하도록 설계되었다. OpenVLA는 대규모 VLA 연구를 보다 많은 연구자들이 활용할 수 있도록 모델 가중치(Model Weight), 학습 코드, 미세조정(Fine-Tuning) 코드, 구현 세부 사항, 그리고 실제 로봇 적용 도구까지 모두 공개하였다. RT-2와 같은 초기 VLA 모델은 인터넷 규모(Web-Scale)의 비전-언어 모델(Vision-Language Model, VLM)을 로봇 행동 생성에 활용할 수 있음을 보여주었지만, 대부분의 핵심 모델은 공개되지 않아 연구자들이 자유롭게 분석하거나 수정하기 어려웠다. OpenVLA는 이러한 한계를 해결하기 위해 누구나 학습 과정을 재현하고 수정하며 새로운 로봇에 적용할 수 있는 완전한 오픈소스 로봇 파운데이션 모델(Robot Foundation Model)을 제공하였다.

OpenVLA의 핵심 목표는 하나의 범용 조작 정책(Generalist Manipulation Policy)을 구축하는 것이다. 사용자는 로봇이 바라보는 현재 환경의 이미지와 자연어 명령을 입력으로 제공하며, 모델은 이를 기반으로 저수준 로봇 행동(Low-Level Robot Action)을 직접 생성한다. 예를 들어 "빨간 컵을 집어라", "물체를 상자 안에 넣어라", "블록을 왼쪽으로 이동시켜라"와 같은 명령이 입력되면 OpenVLA는 현재 카메라 영상을 분석하고 작업과 관련된 객체를 인식한 후 공간 관계(Spatial Relationship)를 이해하여 목표를 수행하기 위한 행동을 생성한다. 이 구조는 로봇 조작을 이미지, 언어, 행동을 하나의 시퀀스(Sequence) 안에서 처리하는 멀티모달(Multimodal) 시퀀스 예측 문제로 변환한다.

OpenVLA는 Open X-Embodiment 데이터셋(Open X-Embodiment Dataset)에 포함된 약 97만 개의 실제 로봇 작업 에피소드(Episode)를 이용하여 사전학습되었다. 이 데이터는 여러 연구기관에서 수집한 다양한 로봇 플랫폼, 작업 환경(Environment), 물체(Object), 카메라 구성(Camera Configuration), 작업 정의(Task Definition)를 포함한다. 이러한 데이터의 다양성은 로봇 파운데이션 모델에 매우 중요하다. 하나의 실험실 환경에서만 학습하는 대신, OpenVLA는 다양한 로봇이 수행한 도달(Reaching), 파지(Grasping), 배치(Placing), 이동(Moving), 열기(Open), 닫기(Close), 물체 조작(Object Manipulation)을 함께 학습함으로써 훨씬 넓은 범위의 시각 및 행동 표현을 학습할 수 있다.

OpenVLA는 Prismatic 비전-언어 모델(Prismatic Vision-Language Model) 구조를 기반으로 한다. 시각 처리 부분은 서로 다른 특성을 가진 두 개의 사전학습 비전 인코더(Vision Encoder)를 결합한다. 하나는 이미지와 텍스트를 함께 학습하여 의미 정보를 잘 표현하는 SigLIP이고, 다른 하나는 자기지도학습(Self-Supervised Learning)을 통해 세밀한 시각 특징을 학습한 DINOv2이다. 두 모델의 특징은 하나로 융합(Fusion)된 후 언어 모델(Language Model)의 임베딩 공간(Embedding Space)으로 투영(Project)된다. 이러한 구조는 언어와 연결된 의미 정보와 정밀한 공간 정보 모두를 동시에 유지하도록 설계되었다.

의미 기반 비전 인코더는 컵(Cup), 상자(Container), 도구(Tool), 색상(Color), 위치(Relationship)와 같은 언어 개념을 영상 속 객체와 연결하는 역할을 수행한다. 반면 DINOv2는 물체의 형태(Shape), 질감(Texture), 경계(Boundary), 공간 구조(Geometry)와 같은 세밀한 시각 정보를 제공한다. 실제 로봇 조작에서는 두 정보가 모두 필요하다. 컵이라는 것을 아는 것만으로는 충분하지 않으며, 컵이 어디에 있고 어느 방향을 향하고 있으며 그리퍼가 어디를 잡아야 하는지도 함께 알아야 하기 때문이다.

융합된 시각 특징은 시각 토큰(Visual Token)으로 변환되어 약 70억 개의 파라미터를 가진 Llama 2 기반 언어 모델(Language Model Backbone)에 입력된다. 언어 모델은 시각 토큰과 자연어 명령을 함께 처리하여 최종적으로 로봇 행동을 나타내는 출력 시퀀스를 생성한다. 즉 OpenVLA는 대규모 언어 모델의 자기회귀(Auto-Regressive) 생성 구조를 그대로 사용하면서 출력 토큰 가운데 일부를 로봇 행동으로 재해석한다.

이러한 구조를 가능하게 하는 핵심 기술이 행동 토큰화(Action Tokenization)이다. 연속적인 로봇 행동은 먼저 정규화(Normalization)된 후 여러 개의 이산 구간(Bin)으로 양자화(Discretization)된다. OpenVLA는 일반적으로 말단 효과기(End-Effector)의 위치 이동, 회전, 그리퍼 제어를 포함하는 7차원 행동 벡터(Seven-Dimensional Action Vector)를 사용한다. 각 차원은 독립적으로 양자화되며, 거의 사용되지 않는 언어 모델의 어휘(Vocabulary)를 행동 토큰으로 재할당한다. 학습 과정에서는 현재 영상과 자연어 명령으로부터 이러한 행동 토큰을 예측하도록 학습하며, 추론 시에는 생성된 행동 토큰을 다시 연속적인 제어값으로 변환한 후 실제 로봇에 전달한다.

이러한 접근은 RT-2가 제안한 아이디어를 발전시킨 것이다. 즉 로봇 행동을 언어와 동일한 토큰 생성 문제로 변환하는 것이다. 가장 큰 장점은 구조가 매우 단순하다는 점이다. 이미 학습된 대규모 언어 모델을 별도의 행동 생성기를 추가하지 않고 그대로 로봇 정책으로 활용할 수 있다. 또한 교차 엔트로피(Cross-Entropy) 손실 함수, 자기회귀 생성, 어휘 마스킹(Vocabulary Masking) 등 기존 언어 모델 학습 기법을 그대로 사용할 수 있다.

그러나 행동 토큰화는 중요한 한계도 가진다. 행동을 이산화하면 제어 정밀도가 감소할 수 있으며, 인접한 구간 사이에서 불연속성(Discontinuity)이 발생할 수 있다. 또한 자기회귀 방식은 행동 토큰을 하나씩 생성해야 하므로 추론 지연(Inference Latency)이 증가한다. 하나의 7차원 행동을 생성하기 위해 여러 개의 토큰을 순차적으로 생성해야 하므로, 고속 제어가 필요한 작업에서는 한계가 존재한다.

OpenVLA는 주로 지도 모방학습(Supervised Imitation Learning)을 이용하여 학습된다. 학습 데이터는 현재 로봇 영상, 자연어 작업 명령, 그리고 사람이 수행한 행동으로 구성된다. 모델은 이러한 행동 토큰의 확률을 최대화하도록 학습된다. 즉 강화학습(Reinforcement Learning)처럼 위험한 시행착오를 수행하지 않고 성공적인 로봇 시연만을 이용하여 행동을 학습한다.

그러나 이러한 다양한 데이터는 먼저 하나의 공통 형식으로 변환되어야 한다. 서로 다른 로봇은 좌표계(Coordinate Frame), 행동 표현(Action Representation), 그리퍼 제어 방식, 카메라 이름, 제어 주기(Control Rate), 언어 표현이 모두 다르다. OpenVLA는 이러한 데이터를 하나의 공통 인터페이스(Common Interface)로 변환하여 학습한다. 따라서 데이터 전처리(Data Engineering)는 모델 구조만큼이나 중요한 요소이다. 잘못된 좌표 변환이나 행동 정규화는 잘못된 학습으로 이어질 수 있다.

다중 체화(Cross-Embodiment) 사전학습은 서로 다른 로봇에서도 재사용 가능한 표현을 학습하도록 만든다. WidowX 로봇과 Franka 로봇은 행동 표현은 다르지만, 모두 물체를 인식하고 접근하며 잡고 이동시키는 공통적인 조작 구조를 가진다. 따라서 시각 표현, 의미 이해, 작업 구조는 공유할 수 있으며 실제 행동만 로봇마다 달라진다. 물론 새로운 로봇에서는 운동학(Kinematics)과 행동 인터페이스에 맞는 추가적인 적응이 필요하다.

OpenVLA의 중요한 특징 가운데 하나는 효율적인 미세조정을 지원한다는 점이다. 전체 모델을 모두 학습하는 것은 매우 많은 GPU 메모리와 계산 자원이 필요하다. 따라서 공식 프로젝트는 LoRA(Low-Rank Adaptation)와 같은 파라미터 효율적 미세조정(Parameter-Efficient Fine-Tuning)을 지원한다. LoRA는 일부 작은 저차원 행렬(Low-Rank Matrix)만 학습하고 대부분의 기존 파라미터는 그대로 유지한다. 이를 통해 훨씬 적은 GPU 메모리만으로 새로운 로봇에 적응할 수 있다.

새로운 로봇에 적용하기 위해서는 먼저 실제 시연 데이터를 수집해야 한다. 카메라 영상, 자연어 명령, 로봇 행동, 시간 정보(Timestamp), 필요한 상태 정보를 모두 기록한다. 이후 행동의 평균과 분산을 계산하여 정규화 통계(Action Normalization Statistics)를 생성하고 RLDS(Robot Learning Dataset Standard) 형식으로 변환한다. 이후 LoRA 또는 전체 미세조정을 수행하여 새로운 로봇의 시점(Viewpoint), 작업 공간, 그리퍼 특성, 행동 범위를 학습한다.

새로운 로봇이 기존 데이터와 유사한 환경이라면 적은 양의 데이터만으로도 충분히 적응할 수 있다. 그러나 카메라 위치, 로봇 구조, 작업 환경, 행동 인터페이스가 크게 다르면 훨씬 많은 데이터가 필요하다. 예를 들어 작은 탁상용 매니퓰레이터(Tabletop Manipulator)에서 대형 산업용 로봇으로 전이하려면 작업 공간, 하중(Payload), 동역학(Dynamics), 안전 제약이 모두 달라지므로 많은 시연 데이터가 필요하다. 사전학습은 강력한 초기화를 제공하지만 실제 물리적 특성을 대신할 수는 없다.

OpenVLA는 여러 실제 로봇 플랫폼에서 평가되었다. 연구에서는 RT-1-X와 같은 기존 범용 정책뿐 아니라 여러 상용 VLA 모델과도 비교하였다. 결과적으로 OpenVLA는 약 70억 개의 파라미터만으로도 다양한 조작 작업에서 매우 우수한 성능을 보였으며, 일부 환경에서는 더 큰 규모의 비공개 모델보다도 높은 성능을 달성하였다.

평가는 단순히 학습한 작업을 다시 수행하는 것만이 아니었다. 새로운 물체, 새로운 위치, 배경 변화, 다양한 자연어 표현, 환경 변화 등을 포함하였다. 이러한 실험은 OpenVLA가 단순히 특정 영상을 외우는 것이 아니라 일반화 가능한 비전-언어-행동 표현을 학습했는지를 평가하기 위한 것이었다.

자연어 조건화(Language Conditioning)는 하나의 정책이 매우 다양한 작업을 수행하도록 만든다. "컵을 그릇 안에 넣어라"와 "컵을 그릇 속에 놓아라"처럼 표현은 달라도 의미가 같은 명령은 유사한 내부 표현을 공유한다. 따라서 기존처럼 작업 번호(Task ID)를 사용하는 방식보다 훨씬 확장성이 높고 사람이 직접 명령하기도 쉽다.

대규모 비전-언어 사전학습은 새로운 물체를 이해하는 데도 도움이 된다. 컵, 상자, 도구 같은 일반적인 개념은 인터넷 데이터에서도 충분히 학습할 수 있기 때문이다. 그러나 새로운 물체를 인식한다고 해서 반드시 성공적으로 조작할 수 있는 것은 아니다. 무게, 마찰력(Friction), 투명도(Transparency), 변형성(Deformability)과 같은 물리적 특성은 실제 로봇 경험을 통해 학습되어야 한다.

OpenVLA는 폐루프 제어(Closed-Loop Control) 방식으로 동작한다. 매 제어 주기마다 최신 카메라 영상과 명령을 입력받아 행동을 생성하고 이를 실행한다. 이후 새로운 영상을 다시 입력받아 다음 행동을 수정한다. 실제 조작에서는 물체 이동, 캘리브레이션 오차, 실패한 파지, 가림 현상 등이 계속 발생하기 때문에 이러한 반복적인 피드백은 매우 중요하다.

기본 OpenVLA는 자기회귀 방식으로 하나의 행동을 생성한다. 따라서 약 70억 개의 파라미터를 가진 모델이 매 제어 주기마다 여러 행동 토큰을 생성해야 한다. 이 때문에 실시간 제어에서는 상당한 계산량이 필요하며, 별도의 저수준 제어기(Low-Level Controller)와 함께 사용하는 것이 일반적이다.

양자화(Quantization)는 이러한 문제를 일부 해결할 수 있다. 모델을 낮은 정밀도로 저장하면 GPU 메모리 사용량이 감소하고 추론 속도가 빨라질 수 있다. OpenVLA는 Hugging Face Transformers 라이브러리를 지원하며 LoRA와 양자화를 함께 사용할 수 있다. 그러나 지나친 양자화는 행동 품질을 저하시킬 수 있으므로 실제 작업에서 충분한 검증이 필요하다.

OpenVLA의 오픈소스 공개는 단순히 모델만 제공하는 것이 아니다. PyTorch 기반 학습 코드, 미세조정 스크립트, 데이터 변환 도구, 추론 예제, 모델 설정 파일까지 함께 제공한다. 연구자는 시각 특징 융합 방법, 행동 토큰 구조, 데이터 구성, 미세조정 방법을 모두 분석하고 수정할 수 있다. 이러한 개방성은 폐쇄형 상용 모델에서는 매우 어려운 연구를 가능하게 한다.

또한 OpenVLA는 하나의 기준 아키텍처(Reference Architecture)가 되었다. 연구자는 새로운 비전 인코더를 추가하거나 언어 모델을 변경하고, 연속 행동 생성기를 추가하거나 촉각(Tactile), 고유감각(Proprioception)을 통합하는 연구를 수행할 수 있다. 행동 청킹(Action Chunking), 지속학습(Continual Learning), 강화학습 기반 개선 등 다양한 후속 연구도 가능하다.

RT-2와 비교하면 가장 큰 차이는 공개 여부이다. 두 모델 모두 대규모 비전-언어 모델을 행동 토큰으로 확장한다. RT-2는 웹 기반 의미 지식을 행동으로 연결하는 개념을 처음 제시했지만, 전체 학습 코드와 모델은 공개되지 않았다. 반면 OpenVLA는 동일한 철학을 완전한 오픈소스로 제공하였다.

Octo와도 차이가 있다. Octo는 비교적 작은 모델과 확산 정책(Diffusion Policy)을 이용하여 연속 행동 청크를 생성한다. OpenVLA는 약 70억 개의 비전-언어 모델을 사용하고 행동을 이산 토큰으로 생성한다. 따라서 OpenVLA는 의미 이해 능력이 더 강하지만, Octo는 연속 행동 생성과 적응 비용 측면에서 장점을 가진다.

π0와도 중요한 차이가 있다. π0는 별도의 플로우 기반 행동 전문가(Action Expert)를 사용하여 연속 행동을 생성한다. OpenVLA는 언어 모델의 어휘 자체를 행동 공간으로 사용한다. OpenVLA는 구조가 단순하고 언어 모델과의 통합이 쉽지만, π0는 보다 부드럽고 연속적인 행동 생성에 적합하다.

OpenVLA는 명시적인 월드 모델(World Model)은 아니다. 현재 상태를 기반으로 즉시 행동을 생성하지만 여러 미래를 시뮬레이션하거나 장기적인 결과를 비교하지는 않는다. 따라서 장기 계획(Long-Horizon Planning)과 불확실성 예측(Uncertainty Estimation)에는 한계가 있다. 향후에는 OpenVLA가 여러 행동을 제안하고 월드 모델이 각각의 결과를 예측하는 구조가 유력한 방향으로 제시되고 있다.

또한 OpenVLA는 장기 기억(Long-Term Memory)을 자체적으로 유지하지 않는다. 하나의 작업을 수행하는 데는 매우 효과적이지만, 긴 검사 작업이나 복잡한 조립 공정에서는 작업 상태(Task State), 하위 목표(Subgoal), 실패 복구(Recovery), 재계획(Replanning)이 필요하다. 이러한 기능은 상위 계획기(Planner)나 미션 오케스트레이션(Mission Orchestration)이 담당해야 한다.

기본 구조는 영상과 언어를 중심으로 설계되어 있으므로 촉각, 힘 센서(Force Sensor), 관절 토크(Joint Torque), 마찰력과 같은 정보는 충분히 활용하지 못한다. 앞으로는 촉각, 깊이 영상(Depth Image), 고유감각을 함께 사용하는 멀티모달 구조가 중요한 연구 방향이 될 것이다.

모방학습 역시 데이터의 한계를 그대로 가진다. 실패한 작업이 거의 포함되지 않으면 실패 복구도 학습하기 어렵다. 특정 로봇이나 특정 작업이 데이터 대부분을 차지하면 드문 작업에서는 일반화 성능이 떨어질 수 있다. 따라서 Open X-Embodiment 데이터 역시 품질 관리와 균형 잡힌 데이터 구성이 매우 중요하다.

웹 기반 비전-언어 모델은 의미 편향(Semantic Bias)도 가질 수 있다. 물체의 외형은 잘 이해하지만 무게, 강성(Stiffness), 마찰력, 깨지기 쉬운 정도와 같은 물리적 특성은 정확히 알지 못한다. 인터넷 지식은 실제 물리 경험을 대신할 수 없으며, 반드시 실제 로봇 데이터를 통해 보완되어야 한다.

모델이 크다고 해서 안전성이 보장되는 것은 아니다. 의미적으로 올바른 행동이라도 관절 제한(Joint Limit), 충돌(Collision), 속도 제한(Velocity Limit), 사람과의 안전 거리 등을 위반할 수 있다. 따라서 OpenVLA는 반드시 역운동학(Inverse Kinematics), 충돌 검사, 안전 감시기(Safety Monitor), 힘 제한, 비상 정지와 함께 사용되어야 한다.

산업 현장에서는 불확실성(Uncertainty) 관리도 중요하다. 현재 모델은 행동을 생성하지만 그 행동이 얼마나 신뢰할 수 있는지는 명확하게 알려주지 않는다. 따라서 앙상블(Ensemble), 이상 탐지(Out-of-Distribution Detection), 행동 검증기(Action Validator), 안전 평가기(Safety Critic) 등을 함께 사용하는 것이 바람직하다.

약 70억 개의 파라미터는 실제 배치에서도 부담이 된다. 온보드 컴퓨터(Onboard Computer)에서는 매우 큰 GPU 메모리가 필요하며, 원격 추론은 네트워크 지연을 발생시킬 수 있다. 따라서 모델 압축(Model Compression), 양자화, 효율적인 어텐션(Efficient Attention), 캐시(Cache), 소형 모델 등이 실제 제품에서는 매우 중요하다.

이후 OpenVLA-OFT(OpenVLA Optimized Fine-Tuning)와 같은 연구에서는 병렬 행동 생성(Parallel Action Decoding), 행동 청킹, 최적화된 미세조정을 통해 추론 속도와 성능을 크게 향상시켰다. 이는 오픈소스 모델이 공개되었기 때문에 가능한 빠른 발전 사례라고 할 수 있다.

연구실이나 기업에서는 OpenVLA를 출발점으로 활용할 수 있다. 자체 로봇 데이터를 수집하고, 지원되는 데이터 형식으로 변환한 후 LoRA 또는 전체 미세조정을 수행한다. 이후 새로운 물체, 조명 변화, 카메라 노이즈, 하중 변화, 작업 표현 변화에 대해 충분한 평가를 수행한다.

실제 산업 적용에서는 정상 작업뿐 아니라 실패 사례도 함께 수집해야 한다. 실패한 파지, 잘못된 배치, 장애물, 사람의 개입, 복구 행동 등을 포함해야 더욱 강건한 정책을 만들 수 있다. 또한 평가 역시 단순한 행동 토큰 정확도가 아니라 작업 성공률(Task Success Rate), 충돌률(Collision Rate), 완료 시간(Completion Time), 복구 능력(Recovery Performance), 행동의 부드러움(Action Smoothness), 사람의 개입 빈도 등을 함께 평가해야 한다.

OpenVLA는 플릿 학습(Fleet Learning)에도 활용될 수 있다. 여러 현장의 로봇이 수집한 데이터를 하나의 공통 데이터셋으로 통합하고, 이를 이용하여 공통 모델을 업데이트한 후 다시 각 현장에 배포할 수 있다. 공통 백본은 시각 및 언어 지식을 유지하고, 로봇마다 행동 정규화와 어댑터만 다르게 유지하는 구조가 가능하다. 이러한 데이터 플라이휠(Data Flywheel)은 성능을 지속적으로 향상시킬 수 있지만, 모델 버전 관리(Model Versioning), 데이터 이력 관리(Data Lineage), 회귀 테스트(Regression Testing), 단계적 배포(Staged Deployment), 롤백(Rollback)이 반드시 함께 수행되어야 한다.

시스템 아키텍처의 관점에서 OpenVLA는 의미 기반 시각-운동 정책 계층(Semantic Visuomotor Policy Layer)으로 이해하는 것이 적절하다. 사람의 자연어 명령을 현재 관찰된 환경과 연결하여 실제 조작 행동을 생성하는 역할을 수행한다. 그러나 미션 계획(Mission Planning), 지도 기반 내비게이션(Map-Based Navigation), 안전 제어(Safety Control), 저수준 서보 제어(Servo Control)를 대체하는 것은 아니다. 실제 Physical AI 시스템에서는 상위 계획기가 현재 작업을 결정하고, OpenVLA가 조작 행동을 생성하며, 저수준 제어기가 이를 안전하게 실행하는 계층 구조가 적합하다.

OpenVLA의 공개는 로봇 연구 생태계에도 매우 큰 의미를 가진다. 소수 기업만이 대규모 VLA를 연구하는 구조에서 벗어나 누구나 동일한 기준 모델을 이용하여 새로운 알고리즘을 연구하고 비교할 수 있게 되었다. 연구자는 동일한 모델을 기반으로 성능 비교, 실패 분석, 편향 평가, 로봇 간 전이 연구, 효율적인 배치 기법을 자유롭게 수행할 수 있다.

결과적으로 OpenVLA는 대규모 비전-언어 모델을 행동 토큰화(Action Tokenization)와 대규모 다중 체화 모방학습(Cross-Embodiment Imitation Learning)을 이용하여 범용 로봇 정책으로 변환할 수 있음을 보여주었다. SigLIP와 DINOv2 기반 시각 인코더, Llama 2 기반 언어 모델, 자연어 작업 조건화, 행동 토큰화를 결합하였으며, 약 97만 개의 실제 로봇 에피소드를 이용하여 폭넓은 조작 경험을 학습하였다. 또한 LoRA와 같은 파라미터 효율적 미세조정을 통해 다양한 로봇과 응용 분야로 쉽게 확장할 수 있음을 보여주었다.

물론 OpenVLA는 아직 모든 로봇에서 제로샷 조작을 수행하거나, 초고속 정밀 제어, 명시적인 물리 추론, 완전한 안전성, 장기 자율성을 제공하는 것은 아니다. 그럼에도 불구하고 공개된 모델, 코드, 학습 도구를 통해 누구나 비전-언어-행동 모델을 연구하고 개선할 수 있는 기반을 마련하였으며, 투명하고 재현 가능한 오픈소스 로봇 파운데이션 모델(Open Robot Foundation Model)의 중요한 이정표를 제시한 연구로 평가된다.

5.7 GR00T Humanoid Foundation Model NVIDIA [w/Code]

NVIDIA Isaac GR00T(Generalist Robot 00 Technology)는 휴머노이드(Humanoid) 및 범용 로봇(General-Purpose Robot)을 위한 파운데이션 모델(Foundation Model), 데이터 파이프라인(Data Pipeline), 시뮬레이션(Simulation), 학습(Training), 그리고 실제 배포(Deployment) 환경을 제공하는 NVIDIA의 개방형 연구 플랫폼(Open Research Platform)이다. GR00T의 목적은 단순히 하나의 로봇 제어 정책(Control Policy)을 제공하는 것이 아니라, 시연 데이터(Demonstration Data)를 수집하고, 합성 데이터(Synthetic Data)를 생성하며, 멀티모달(Multimodal) 로봇 정책을 학습하고, 시뮬레이션에서 평가한 후, 다양한 로봇 플랫폼에 적응시키고 실제 로봇에 배포하는 전체 Physical AI 개발 생태계(Ecosystem)를 구축하는 것이다. NVIDIA는 범용 휴머노이드 로봇이 성공하기 위해서는 뛰어난 하드웨어뿐 아니라 대규모 물리 경험(Physical Experience)을 학습한 로봇 파운데이션 모델이 반드시 필요하다고 보고 있으며, GR00T는 이러한 비전을 실현하기 위한 핵심 플랫폼이다.

휴머노이드 로봇은 인간을 위해 설계된 환경에서 그대로 작업할 수 있다는 점에서 매우 큰 장점을 가진다. 공장, 사무실, 가정, 창고, 계단, 문, 작업대, 공구, 운송 장비 등 대부분의 인프라는 인간의 키, 팔 길이, 손 구조, 이동 방식을 기준으로 설계되어 있다. 따라서 인간과 유사한 형태(Morphology)를 가진 휴머노이드는 환경을 새롭게 설계하지 않고도 기존 인프라를 그대로 사용할 수 있다. 그러나 인간과 비슷한 몸체를 갖추었다고 해서 자동으로 지능을 가지는 것은 아니다. 휴머노이드는 자연어를 이해하고, 복잡한 장면을 인식하며, 양팔을 협조시키고, 균형을 유지하며, 처음 보는 물체를 조작하고, 실패를 복구하며, 변화하는 환경에 적응해야 한다. GR00T는 이러한 범용 지능을 재사용 가능한 기반 모델로 제공하는 것을 목표로 한다.

초기의 Project GR00T는 범용 휴머노이드 로봇을 위한 멀티모달 모델(Multimodal Model)로 발표되었으며, 이후 Isaac GR00T는 이를 데이터 수집, 시뮬레이션, 모델 학습, 실제 배포를 모두 포함하는 개방형 플랫폼으로 확장하였다. NVIDIA는 이후 GR00T N1을 공개형(Open Foundation Model) 휴머노이드 파운데이션 모델로 발표하였다. GR00T N1은 인간의 1인칭 영상(Egocentric Human Video), 실제 로봇 작업 데이터(Real Robot Trajectory), 시뮬레이션 데이터(Simulation Data), 그리고 합성 데이터(Synthetic Data)를 함께 이용하여 학습되었다. 이는 실제 휴머노이드 데이터를 대량으로 수집하기 어렵다는 현실적인 문제를 해결하기 위한 전략이다.

GR00T N1은 비전-언어-행동 모델(Vision-Language-Action Model, VLA)이다. 모델은 카메라 영상, 자연어 명령, 그리고 로봇 상태(Robot State)를 입력받아 연속적인 모터 제어 명령(Continuous Motor Action)을 생성한다. 기존 비전-언어 모델이 텍스트(Text)만 생성하는 것과 달리, GR00T는 의미 이해를 실제 물리적 행동과 직접 연결한다. 예를 들어 "물체를 상자 안에 넣어라", "사람에게 물건을 전달하라", "책상을 정리하라", "양손으로 부품을 조립하라"와 같은 명령을 받으면, 모델은 관련 물체를 인식하고 현재 로봇의 자세를 이해한 후 적절한 행동 궤적(Action Trajectory)을 생성한다.

GR00T N1의 가장 큰 특징은 이중 시스템(Dual-System Architecture) 구조이다. 이는 인간의 인지 과정에서 느린 사고(System 2)와 빠른 행동(System 1)을 구분하는 개념에서 영감을 얻었다. System 2는 비전-언어 모델(Vision-Language Model)로 구성되며, 영상과 언어를 이해하고 현재 장면과 작업 목표를 의미적으로 해석한다. System 1은 확산 트랜스포머(Diffusion Transformer, DiT) 기반의 행동 생성기(Action Module)로 구성되며, System 2가 생성한 의미 정보를 실제 연속적인 로봇 행동으로 변환한다. 두 시스템은 독립적으로 동작하는 것이 아니라 긴밀하게 연결되어 공동으로 학습된다.

비전-언어 부분은 영상과 자연어를 토큰(Token)으로 변환하여 처리한다. 공개된 GR00T N1 구조에서는 Eagle-2 비전-언어 모델(Eagle-2 Vision-Language Model)이 의미 이해를 담당하는 백본(Backbone)으로 사용되었다. 카메라 영상과 자연어 명령은 하나의 멀티모달 표현(Multimodal Representation)으로 변환되며, 이를 통해 현재 무엇이 보이고 사용자가 무엇을 원하는지를 이해한다. 공개된 GR00T-N1-2B 모델은 약 22억 개의 파라미터를 가지며, 이 가운데 약 13.4억 개는 비전-언어 모듈이 담당한다. 이는 초거대 VLA 모델보다 상대적으로 작지만 실제 로봇에 적용하기에는 보다 현실적인 규모이다.

행동 생성 모듈(Action Generation Module)은 비전-언어 백본의 출력과 로봇 상태, 행동 인코딩(Action Encoding)을 함께 입력받는다. 이 모듈은 확산 트랜스포머(Diffusion Transformer, DiT)와 플로우 매칭(Flow Matching)에 기반한 정책을 이용하여 연속적인 행동을 생성한다. 행동을 언어 토큰으로 생성하는 RT-2나 OpenVLA와 달리, GR00T는 실제 연속적인 모터 제어값을 직접 생성한다. 이는 휴머노이드의 팔, 손, 허리, 몸통을 동시에 부드럽게 제어하는 데 적합하다.

연속 행동 생성은 휴머노이드 조작에서 특히 중요하다. 하나의 물체를 집는 방법은 여러 가지가 있으며, 천을 접는 경우에도 다양한 손 위치와 움직임이 가능하다. 결정론적 회귀(Deterministic Regression)는 이러한 여러 행동을 평균하여 실제로는 존재하지 않는 잘못된 움직임을 생성할 수 있다. 반면 확산 기반 또는 플로우 기반 정책은 여러 가능한 행동 모드(Action Mode)를 동시에 표현하고, 그 가운데 하나의 자연스럽고 일관된 행동을 생성할 수 있다.

이중 시스템 구조는 의미 이해와 운동 제어의 시간 척도(Time Scale)를 분리한다. 언어 이해와 시각적 추론은 비교적 느리게 변화하지만, 모터 제어는 수십 Hz 수준으로 매우 빠르게 반응해야 한다. 비전-언어 백본은 작업의 의미를 유지하고, 행동 생성기는 짧은 시간 범위(Short Horizon)의 연속적인 제어를 담당한다. 이러한 구조는 느린 언어 생성으로 인해 모터 제어가 지연되는 문제를 방지한다.

로봇 상태(Robot State)는 행동 생성에서 매우 중요한 입력이다. 동일한 영상이라도 현재 팔의 위치, 손의 상태, 허리 자세, 이전 움직임이 다르면 수행해야 하는 행동도 달라진다. 고유감각(Proprioception)은 현재 로봇의 자세를 알려 주며, 이를 통해 현재 상태에 적합한 행동을 생성할 수 있다. 여기에는 팔의 관절 위치, 손의 상태, 몸통 자세 등이 포함된다.

GR00T는 특정 휴머노이드 한 종류만을 대상으로 하지 않는다. 다양한 로봇 플랫폼(Multiple Robot Embodiments)을 지원하도록 설계되었다. 공식 평가에서도 단일 로봇 팔, 양팔 조작기, 휴머노이드 등 여러 플랫폼에서 실험을 수행하였다. 로봇마다 행동 공간(Action Space), 상태(State), 제어 방식(Control Interface)은 다르지만, 공통된 의미 표현과 조작 표현은 공유할 수 있도록 설계되었다.

다중 체화 학습(Cross-Embodiment Learning)이 모든 로봇이 동일한 행동을 사용한다는 의미는 아니다. 단일 팔, 양팔, 이동형 매니퓰레이터, 휴머노이드는 각각 서로 다른 운동학(Kinematics), 행동 공간, 제어 주기(Control Rate)를 가진다. GR00T는 도달(Reaching), 파지(Grasping), 물체 운반(Object Transport), 공간 정렬(Spatial Alignment), 작업 완료(Task Completion)와 같은 공통 개념을 학습하고, 로봇마다 다른 입력과 출력을 어댑터(Adapter)를 통해 연결한다.

휴머노이드 파운데이션 모델을 학습하는 가장 큰 어려움은 충분한 실제 데이터가 없다는 점이다. 실제 휴머노이드 데이터를 수집하는 것은 매우 많은 시간과 비용이 필요하다. 하드웨어 유지보수, 안전 관리, 작업자, 캘리브레이션(Calibration) 등이 모두 필요하며 기계적 마모도 심하다. 따라서 GR00T는 실제 데이터만 사용하는 대신 여러 종류의 데이터를 결합하는 전략을 사용한다.

실제 로봇 데이터는 가장 중요한 기반이다. 실제 센서, 모터, 접촉(Contact), 마찰(Friction), 기계 오차(Mechanical Error), 카메라 노이즈(Camera Noise) 등을 모두 포함하기 때문이다. 그러나 이러한 데이터만으로는 충분한 작업 다양성을 확보하기 어렵다.

인간의 1인칭 영상(Egocentric Human Video)은 훨씬 더 많은 행동 데이터를 제공한다. 사람이 물체를 사용하는 방식, 공구를 사용하는 방법, 환경을 정리하는 순서, 여러 단계의 작업 구조를 학습할 수 있다. 인간의 움직임을 그대로 복사할 수는 없지만 작업 구조(Task Structure), 물체의 용도(Affordance), 시간적 순서(Temporal Ordering)를 학습하는 데 매우 유용하다.

시뮬레이션(Simulation)은 또 하나의 핵심 데이터 원천이다. NVIDIA Isaac Sim과 Isaac Lab은 GPU 기반 물리 시뮬레이션 환경을 제공한다. Isaac Lab은 모방학습(Imitation Learning)과 강화학습(Reinforcement Learning)을 지원하는 오픈소스 프레임워크이며 GR00T 학습의 중요한 기반이 된다. 시뮬레이션을 이용하면 수많은 작업을 빠르게 생성하고, 위험한 실패도 안전하게 재현하며, 실제 로봇을 사용하기 전에 충분한 평가를 수행할 수 있다.

합성 데이터(Synthetic Data)는 이러한 과정을 더욱 확장한다. 장면(Scene), 조명(Lighting), 카메라 위치, 물체 배치 등을 자동으로 생성할 수 있으며, 실제로는 거의 발생하지 않는 희귀 상황(Rare Event)도 대량으로 생성할 수 있다. NVIDIA는 GR00T-Dreams를 이용하여 월드 파운데이션 모델(World Foundation Model)이 새로운 작업 궤적(Trajectory)을 생성하는 방식도 제안하였다.

이러한 데이터는 서로 다른 역할을 가진다. 인간 영상은 작업 구조와 의미를 제공한다. 시뮬레이션은 대규모 물리 경험을 제공한다. 합성 데이터는 희귀한 상황을 보완한다. 실제 로봇 데이터는 물리적 정확성을 제공한다. GR00T는 이들을 하나의 공통 학습 구조 안에서 결합한다.

이를 위해서는 데이터 정규화(Data Normalization)와 체화 메타데이터(Embodiment Metadata)가 매우 중요하다. 로봇마다 관절 제어(Joint Control), 말단 효과기 제어(End-Effector Control), 손 제어(Hand Control), 이동 베이스(Base Velocity), 허리 제어(Waist Control)가 모두 다르기 때문이다. 따라서 각 로봇의 입력과 행동을 공통 표현으로 변환하면서도 어떤 로봇에서 수집된 데이터인지는 유지해야 한다.

GR00T는 NVIDIA Isaac 생태계와 긴밀하게 연결된다. Isaac Teleop은 사람이 직접 로봇을 조작하여 시연 데이터를 수집하는 기능을 제공한다. Isaac Sim은 물리 시뮬레이션과 합성 데이터를 생성한다. Isaac Lab은 대규모 정책 학습을 지원한다. GR00T는 이 위에서 동작하는 파운데이션 정책이며, 실제 로봇 배포 도구와 연결된다. NVIDIA는 이러한 전체 구조를 하나의 통합 개발 플랫폼으로 제공하고 있다.

텔레오퍼레이션(Teleoperation)은 특히 중요한 역할을 한다. 사람이 휴머노이드를 직접 조작하면 카메라 영상, 로봇 상태, 행동, 언어 명령을 동시에 기록할 수 있다. 이는 위험한 시행착오 없이 성공적인 시연 데이터를 얻는 가장 효율적인 방법이다.

GR00T는 주로 모방학습(Imitation Learning)으로 학습된다. 영상, 언어, 로봇 상태, 전문가 행동을 이용하여 적절한 행동을 생성하도록 학습한다. 비전-언어 모델은 의미를 이해하고, 행동 생성기는 실제 움직임을 생성한다. 두 모듈은 함께 학습되어 의미 표현이 실제 행동으로 연결되도록 한다.

GR00T N1은 Fourier GR-1 휴머노이드에서 자연어 기반 양팔 조작(Bimanual Manipulation)을 수행하였다. 실험에서는 양손을 이용한 조작 작업을 수행하면서도 적은 양의 추가 데이터만으로 새로운 작업에 적응할 수 있음을 보여주었다. 또한 다양한 시뮬레이션 벤치마크에서도 기존 방법보다 우수한 성능을 보였다.

양팔 조작은 매우 어려운 문제이다. 한 손이 물체를 고정하는 동안 다른 손이 작업을 수행하거나, 두 손이 동시에 하나의 큰 물체를 들어야 하는 경우가 많다. 두 팔을 각각 독립적으로 제어하면 타이밍이 맞지 않거나 서로 충돌할 수 있다. GR00T는 두 팔의 행동을 하나의 공동 행동(Joint Action)으로 생성하여 더욱 자연스러운 협조 동작을 수행한다.

휴머노이드 조작은 몸통(Torso)과 전신(Whole Body)의 움직임도 함께 고려해야 한다. 작업 공간을 넓히기 위해 허리를 움직이거나 몸을 기울여야 하는 경우가 많다. 초기 GR00T N1은 주로 조작에 초점을 맞추었지만, 장기적으로는 이동(Locomotion)과 조작을 통합한 전신 제어를 목표로 하고 있다.

GR00T가 기존 제어기를 대체하는 것은 아니다. 관절 안정화(Joint Stabilization), 토크 제어(Torque Control), 균형 유지(Balance Control), 충돌 방지(Collision Avoidance), 비상 정지(Emergency Stop)는 여전히 저수준 제어기(Low-Level Controller)가 담당한다. VLA 모델은 작업에 필요한 행동을 생성하고, 실제 안전한 실행은 기존 제어기가 담당한다.

이러한 계층 구조는 안전을 위해 필수적이다. 의미적으로는 올바른 행동이라도 실제로는 관절 제한을 넘거나 장애물과 충돌할 수 있다. 따라서 도달 가능성(Reachability), 속도, 가속도, 자가 충돌(Self-Collision), 외부 충돌, 힘 제한(Force Limit), 안정성(Stability)을 항상 별도의 안전 시스템이 검증해야 한다.

GR00T는 미션 수준 오케스트레이션(Mission-Level Orchestration)을 수행하는 시스템도 아니다. 작업 계획(Task Scheduling), 내비게이션(Navigation), 플릿(Fleet) 관리, 작업 상태(Task State), 복구(Recovery), 작업 검증은 별도의 상위 시스템이 담당해야 한다. 예를 들어 창고 휴머노이드는 작업 지시를 받고, 지정된 위치로 이동한 후, 부품을 조작하고, 완료 결과를 보고해야 한다. 이러한 전체 흐름은 상위 미션 관리 시스템이 수행한다.

상위 계획기는 복잡한 작업을 여러 개의 하위 목표(Subgoal)로 분해한다. 이후 GR00T는 각각의 하위 작업에 필요한 조작을 수행한다. 월드 모델(World Model)은 행동의 결과를 예측하고, 미션 상태 머신(Mission State Machine)은 전체 작업 진행 상황을 관리한다. 이러한 계층 구조는 산업용 로봇에서 매우 중요한 구조이다.

최근에는 GR00T와 월드 모델의 결합도 중요한 연구 방향이 되고 있다. GR00T는 행동을 생성하고, NVIDIA Cosmos와 같은 월드 모델은 미래 장면(Scene), 접촉(Contact), 작업 진행(Task Progress)을 예측한다. 계획기는 여러 후보 행동 가운데 가장 안전하고 성공 가능성이 높은 행동을 선택할 수 있다.

GR00T의 공개는 전략적으로도 매우 큰 의미를 가진다. 누구나 모델을 분석하고 수정하며, 데이터 어댑터를 변경하고, 특정 산업에 맞게 미세조정할 수 있다. NVIDIA는 GR00T를 폐쇄형 제품이 아니라 개방형 참조 플랫폼(Open Reference Platform)으로 제공하고 있다.

그러나 오픈소스라고 해서 바로 사용할 수 있는 것은 아니다. 기업은 여전히 자체 시연 데이터를 수집하고, 센서와 행동 공간을 설정하며, 카메라를 보정하고, 안전 제어기를 연결한 후 충분한 검증을 수행해야 한다. 파운데이션 모델은 출발점을 제공하지만 실제 하드웨어 적응은 반드시 필요하다.

새로운 휴머노이드는 팔 구조, 손 구조, 카메라, 제어 주기, 하중, 좌표계가 모두 다를 수 있다. 따라서 사전학습 모델은 의미 표현만 제공하며, 실제 제어는 새로운 하드웨어에 맞게 다시 학습되어야 한다. 필요한 데이터 양은 새로운 로봇이 기존 학습 데이터와 얼마나 유사한지에 따라 달라진다.

실제 데이터에는 성공 사례만 포함되어서는 안 된다. 실패한 파지, 물체 이동, 사람의 개입, 작업 중단, 복구 과정도 함께 포함되어야 한다. 완벽한 시연만 학습한 로봇은 실제 환경에서 작은 실패에도 쉽게 멈출 수 있다.

시뮬레이션은 이러한 복구 사례를 대량으로 생성할 수 있다. 물체 위치, 조명, 마찰, 센서 노이즈, 초기 자세를 무작위(Randomization)로 변경할 수 있으며, 다양한 실패를 안전하게 실험할 수 있다. 이후 충분한 시뮬레이션 검증 후 실제 로봇에서 최종 평가를 수행하는 것이 바람직하다.

평가 역시 단순한 행동 오차가 아니라 작업 성공률(Task Success Rate), 양팔 협조(Bimanual Coordination), 완료 시간, 충돌률, 사람의 개입 빈도, 복구 능력, 행동의 부드러움(Action Smoothness), 자연어 이해(Language Following), 새로운 환경에서의 일반화 성능까지 함께 고려해야 한다.

GR00T는 다양한 데이터로 학습되었지만 완전한 일반화는 아직 어렵다. 새로운 휴머노이드가 기존과 전혀 다른 손 구조, 센서, 동역학을 가진다면 추가적인 적응이 필요하다. 인간과 비슷한 형태라고 해서 동일한 제어를 사용할 수 있는 것은 아니다.

비전-언어 백본 역시 인터넷 데이터 기반의 한계를 가진다. 물체가 무엇인지는 잘 이해하지만 무게, 강성(Stiffness), 마찰, 깨지기 쉬운 정도와 같은 물리적 특성은 충분히 알지 못한다. 따라서 실제 로봇 데이터와 촉각(Tactile), 힘 센서(Force Sensor)를 통한 물리적 학습이 반드시 필요하다.

자연어 명령도 모호할 수 있다. "저것을 저쪽에 놓아라"처럼 대상이 명확하지 않을 수도 있으며, 산업 현장에서는 일반 인터넷 언어와 다른 전문 용어가 사용된다. 따라서 모호한 명령은 추가 질문을 하거나 작업 맥락(Context)을 이용하여 해석하는 기능이 필요하다.

추론 비용(Inference Cost)도 현실적인 문제이다. 대규모 비전-언어 모델과 생성형 행동 생성기는 상당한 GPU 성능을 요구한다. 휴머노이드는 전력(Power), 발열(Thermal), 무게, 지연 시간(Latency)에 매우 민감하다. 일부 시스템은 온보드 GPU를 사용하고, 일부는 외부 엣지 서버(Edge Server)를 사용할 수 있지만, 안전 제어는 항상 로컬(Local)에서 수행되어야 한다.

모델 압축(Model Compression), 양자화(Quantization), TensorRT 최적화, 효율적인 어텐션(Efficient Attention), 캐시(Cache), 소형 모델은 실제 배치에서 매우 중요한 기술이다. 그러나 추론 속도가 빨라졌다고 해서 반드시 작업 성능이 유지되는 것은 아니므로 실제 작업 기준(Task-Level Evaluation)으로 평가해야 한다.

이후 NVIDIA는 N1.5와 N1.6을 발표하며 비전-언어 백본, 데이터 구성, 후처리(Post-Training), 일반화 성능을 지속적으로 향상시켰다. 이는 GR00T가 단일 모델이 아니라 지속적으로 발전하는 모델 계열(Model Family)이라는 점을 보여준다.

초기 N1의 가장 중요한 기여는 System 2의 의미 이해와 System 1의 행동 생성을 결합한 이중 시스템 구조를 제시한 것이다. 이후 버전들은 세부 구조를 개선하고 있지만 기본 철학은 그대로 유지하고 있다.

산업 현장에서 GR00T는 범용 사전학습 모델을 기반으로 공장 작업, 물류, 조립, 설비 관리에 필요한 데이터를 추가하여 미세조정하는 방식으로 활용될 수 있다. 시뮬레이션과 합성 데이터를 이용하여 먼저 학습한 후 제한된 실제 데이터로 보정하는 방식이 매우 유망하다.

실제 공장에서는 생산 관리 시스템(Manufacturing Execution System), PLC(Programmable Logic Controller), 안전 구역(Safety Zone), 작업 절차(Standard Operating Procedure)와 반드시 연동되어야 한다. GR00T는 조작 지능을 담당하고, 생산 시스템은 작업 흐름을 관리한다.

플릿 학습(Fleet Learning)은 지속적인 성능 향상을 가능하게 한다. 여러 공장의 휴머노이드가 작업 데이터를 수집하고, 이를 중앙 서버에서 통합 학습한 후 새로운 모델을 다시 배포한다. 이러한 구조에는 데이터 이력 관리(Data Lineage), 모델 버전 관리(Model Versioning), 회귀 테스트(Regression Testing), 모니터링(Monitoring), 롤백(Rollback), 사이버 보안(Cybersecurity)이 반드시 포함되어야 한다.

인간 시연 데이터는 개인정보와 기업 기밀을 포함할 수도 있다. 따라서 데이터 수집에는 사용자 동의(Consent), 접근 제어(Access Control), 익명화(Anonymization), 보존 정책(Retention Policy), 데이터 소유권(Data Ownership)에 대한 명확한 관리가 필요하다. 합성 데이터는 이러한 문제를 일부 줄일 수 있지만 실제 데이터를 완전히 대체할 수는 없다.

Physical AI의 관점에서 보면 GR00T는 하나의 신경망 모델이 아니라 하나의 생태계(Ecosystem)이다. 파운데이션 모델, 텔레오퍼레이션, 시뮬레이션, 합성 데이터, 월드 모델, 저수준 제어기, GPU 가속, 안전 시스템, 실제 배포 환경이 모두 함께 동작해야 한다. 강력한 모델만으로는 실제 산업용 로봇을 만들 수 없으며, 데이터와 검증 시스템까지 포함된 전체 플랫폼이 필요하다.

GR00T는 여러 파운데이션 모델 기술이 하나로 융합되는 방향도 보여준다. 비전-언어 사전학습은 의미 이해를 제공하고, 모방학습은 이를 실제 행동으로 연결하며, 확산 및 플로우 기반 생성은 연속적인 모터 제어를 수행한다. 시뮬레이션과 합성 데이터는 대규모 학습을 가능하게 하고, 월드 모델은 미래 예측과 데이터 생성을 지원한다. 다중 체화 학습은 다양한 로봇에서 재사용 가능한 표현을 만든다. 이러한 기술들이 결합되어 차세대 휴머노이드 Physical AI를 구성하게 된다.

결국 NVIDIA Isaac GR00T는 단순한 휴머노이드 파운데이션 모델이 아니라 범용 휴머노이드 개발을 위한 개방형 참조 플랫폼(Open Reference Platform)으로 이해할 수 있다. 핵심 구조는 비전-언어 기반의 System 2와 연속 행동 생성기인 System 1을 결합한 이중 시스템 구조이며, 인간 영상, 실제 로봇 데이터, 시뮬레이션, 합성 데이터를 함께 이용하여 학습된다. 또한 Isaac 생태계를 이용하여 데이터 수집, 시뮬레이션, 정책 학습, 평가, 실제 배포를 하나의 통합 환경으로 제공한다.

물론 GR00T는 아직 인간 수준의 완전한 자율성(Human-Level Autonomy), 모든 휴머노이드에 대한 제로샷 제어(Zero-Shot Control), 완전한 전신 지능(Whole-Body Intelligence), 절대적인 안전성을 제공하는 것은 아니다. 그러나 대규모 멀티모달 이해와 실제 물리 행동을 연결하는 확장 가능한 아키텍처와 개발 생태계를 제시하였으며, 앞으로 다양한 휴머노이드가 더욱 적은 데이터로 새로운 작업을 배우고, 여러 플랫폼 간 지식을 공유하며, 인간 환경에서 유연하게 작업할 수 있도록 하는 핵심 기반 기술로 평가되고 있다.

5.8 Robot Foundation Model Benchmarking Protocol [w/Code]

로봇 파운데이션 모델(Robot Foundation Model)의 급속한 발전은 로봇 지능을 학습하고 평가하는 방식을 근본적으로 변화시키고 있다. 기존의 로봇공학은 일반적으로 하나의 로봇, 하나의 실험실 환경, 그리고 제한된 작업(Task)을 대상으로 연구가 이루어졌으며, 성능 역시 해당 환경에서의 작업 성공률(Task Success Rate)로 평가되는 경우가 많았다. 그러나 파운데이션 모델은 완전히 다른 패러다임을 요구한다. 하나의 모델이 서로 다른 로봇 플랫폼(Embodiment), 다양한 환경(Environment), 여러 센서(Modality), 자연어 명령(Natural Language Instruction), 그리고 처음 보는 작업(Unseen Task)까지 일반화(Generalization)할 수 있어야 하기 때문이다. 따라서 현대의 로봇 파운데이션 모델 벤치마크(Benchmark)는 단순한 성능 비교가 아니라 확장성(Scalability), 적응성(Adaptability), 강건성(Robustness), 안전성(Safety), 계산 효율성(Efficiency), 일반화 능력을 종합적으로 평가하는 다차원 평가 체계가 되어야 한다.

벤치마킹은 파운데이션 모델의 복잡성이 매우 높아짐에 따라 더욱 중요해지고 있다. 두 개의 모델이 실험실 환경에서는 비슷한 성공률을 보이더라도, 새로운 물체나 새로운 자연어 명령, 다른 로봇 플랫폼, 변화하는 환경에서는 전혀 다른 성능을 나타낼 수 있다. 어떤 모델은 언어 이해(Language Understanding)는 뛰어나지만 실제 행동 생성이 불안정할 수 있으며, 또 다른 모델은 조작 능력은 우수하지만 복잡한 자연어를 제대로 이해하지 못할 수도 있다. 표준화된 평가 프로토콜(Standardized Benchmarking Protocol)이 없다면 연구자는 실제 일반 지능이 아닌 특정 실험만 잘 수행하는 모델을 개발하게 될 위험이 있다.

따라서 로봇 파운데이션 모델 벤치마크의 가장 중요한 목표는 암기(Memorization)가 아니라 일반화(Generalization)를 측정하는 것이다. 로봇은 단순히 학습한 시연(Demonstration)을 반복하는 것이 아니라, 기존에 학습한 시각 개념, 언어 이해, 운동 기술(Motor Skill), 공간 추론(Spatial Reasoning), 물리적 상호작용을 새로운 환경에서 조합하여 성공적으로 작업을 수행해야 한다. 이러한 일반화 능력은 작업(Task), 환경(Environment), 로봇 플랫폼, 센서 조건, 물체 종류, 자연어 표현 등 다양한 요소에 대해 평가되어야 한다.

종합적인 벤치마크는 일반적으로 여러 평가 항목으로 구성된다. 첫 번째는 인식(Perception) 능력이다. 로봇은 물체를 정확하게 인식하고, 위치와 자세를 추정하며, 공간 관계를 이해하고, 물체의 활용 가능성(Affordance)을 파악하며, 사람의 제스처(Gesture)를 이해하고, 복잡한 장면(Scene)을 안정적으로 인식해야 한다. 또한 RGB 영상뿐 아니라 깊이 카메라(Depth Camera), 촉각 센서(Tactile Sensor), 힘 센서(Force Sensor), 고유감각(Proprioception), 자연어 정보를 함께 사용하는 멀티모달 인식(Multimodal Perception) 능력도 평가 대상이 되어야 한다.

두 번째 핵심 평가 요소는 자연어 이해(Language Understanding)이다. 현대의 로봇 파운데이션 모델은 미리 정의된 작업 번호(Task ID)가 아니라 자연어 명령을 이해해야 한다. 따라서 동일한 의미를 다양한 표현으로 설명했을 때도 일관된 행동을 생성해야 한다. 동의어(Synonym), 바꿔 말하기(Paraphrase), 간접 표현, 순차 명령(Sequential Command), 공간 표현(Spatial Reference), 시간 조건(Temporal Constraint), 문맥(Context)에 따라 달라지는 명령 등을 모두 이해할 수 있어야 한다. 또한 모호한 명령을 받았을 때는 잘못된 행동을 수행하는 대신 추가 질문을 하거나 명확한 설명을 요청하는지도 평가해야 한다.

조작 능력(Manipulation Capability)은 가장 중요한 평가 항목 가운데 하나이다. 기본적인 Pick-and-Place 작업뿐 아니라 물체 재배치(Object Rearrangement), 서랍 열기(Drawer Opening), 공구 사용(Tool Use), 삽입 작업(Insertion Task), 변형 물체 조작(Deformable Object Manipulation), 양팔 협조(Bimanual Coordination), 정밀 조립(Precision Assembly), 용기(Container) 조작, 적재(Stacking), 접촉 기반 조작(Contact-Rich Manipulation)까지 평가해야 한다. 작업은 물체의 형태, 재질, 정밀도, 수행 시간 등 다양한 조건을 포함해야 하며, 특정 물체 하나가 아니라 여러 물체에서도 일반화되어야 한다.

장기 작업(Long-Horizon Task)은 단순한 조작 능력보다 훨씬 높은 수준의 평가를 요구한다. 하나의 물체를 집을 수 있다고 해서 여러 단계의 작업을 수행할 수 있는 것은 아니다. 따라서 작업 공간 정리, 다단계 조립, 선반 정리, 물품 포장, 청소, 다양한 물체 분류와 같은 복합 작업도 벤치마크에 포함되어야 한다. 이러한 작업은 기억(Memory), 작업 분해(Task Decomposition), 진행 상황 관리(Progress Tracking), 실패 복구(Recovery), 재계획(Replanning) 능력을 함께 요구한다.

다중 체화 일반화(Cross-Embodiment Generalization)는 로봇 파운데이션 모델을 기존 로봇 제어기와 구분하는 핵심 요소이다. 기존 제어기는 특정 로봇 하나만을 대상으로 하지만, 파운데이션 모델은 서로 다른 로봇에도 적용될 수 있어야 한다. 따라서 벤치마크는 운동학(Kinematics), 관절 수(Joint Configuration), 작업 공간, 카메라 위치, 그리퍼 구조, 이동 능력, 적재 능력(Payload), 센서 구성이 서로 다른 다양한 로봇에서 평가되어야 한다. 또한 추가 학습 없이 사용하는 제로샷 전이(Zero-Shot Transfer)와 소량의 시연만으로 적응하는 퓨샷(Few-Shot Adaptation) 성능을 각각 구분하여 평가하는 것이 중요하다.

작업 일반화(Task Generalization) 역시 별도로 평가해야 한다. 서로 다른 로봇으로 전이는 잘 수행하지만 새로운 작업은 수행하지 못하는 경우도 있기 때문이다. 따라서 기존 작업에서 새로운 물체를 사용하는 경우, 새로운 작업에서 기존 물체를 사용하는 경우, 작업과 환경이 모두 새로운 경우를 각각 독립적으로 평가해야 한다. 이를 통해 성능 향상이 실제 의미 이해 때문인지, 운동 학습 때문인지, 아니면 단순한 데이터 암기인지를 분석할 수 있다.

시각적 강건성(Visual Robustness)도 매우 중요한 평가 요소이다. 실제 환경은 실험실과 달리 조명이 계속 변하고, 그림자가 생기며, 물체가 서로 가려지고, 배경도 복잡하게 변한다. 따라서 벤치마크는 조명 변화, 그림자, 배경 혼잡(Clutter), 카메라 흔들림, 모션 블러(Motion Blur), 렌즈 오염, 센서 노이즈, 부분 가림(Occlusion), 투명 물체, 반사 물체 등을 포함해야 한다. 우수한 정책은 이러한 변화에도 안정적인 성능을 유지해야 한다.

물리적 강건성(Physical Robustness)은 시각적 강건성과는 또 다른 평가 요소이다. 동일하게 보이는 물체라도 무게(Mass), 마찰(Friction), 강성(Stiffness), 변형성(Deformability), 무게 중심(Center of Mass)이 모두 다를 수 있다. 빈 플라스틱 용기를 집는 것과 동일한 크기의 금속 용기를 집는 것은 완전히 다른 문제이다. 따라서 가능한 경우에는 외형은 같지만 물리적 특성이 다른 물체를 이용하여 평가해야 한다.

분포 외 데이터(Out-of-Distribution, OOD) 평가는 최근 더욱 중요해지고 있다. 어떤 학습 데이터도 모든 환경과 모든 작업을 포함할 수는 없다. 따라서 벤치마크에는 학습에 등장하지 않은 물체, 새로운 작업 조합, 새로운 환경, 예상하지 못한 사람의 행동 등을 포함해야 한다. 또한 성공률뿐 아니라 모델이 자신의 불확실성(Uncertainty)을 얼마나 정확하게 판단하는지도 함께 평가해야 한다.

안전성(Safety)은 실제 산업용 로봇에서는 반드시 평가되어야 하는 요소이다. 파운데이션 모델은 의미적으로는 올바른 행동을 생성하더라도 실제로는 위험한 행동을 할 수 있다. 따라서 충돌(Collision), 자가 충돌(Self-Collision), 작업 공간 이탈, 과도한 속도(Velocity), 힘 제한(Force Limit) 초과, 균형 상실(Balance Loss), 사람과의 안전 거리 위반 등을 모두 독립적으로 평가해야 한다. 작업 성공률이 높더라도 위험한 행동을 수행하는 모델은 실제 산업 현장에서는 사용할 수 없다.

실패 복구(Recovery Capability)는 별도의 평가 항목으로 다루어져야 한다. 대부분의 논문은 성공 사례만 평가하지만 실제 로봇은 물체를 놓치거나, 미끄러뜨리거나, 사람이 개입하거나, 위치 추정이 틀어지는 상황을 항상 경험한다. 따라서 벤치마크는 의도적으로 실패 상황을 만들어 모델이 스스로 복구할 수 있는지를 평가해야 한다. 복구 성공률, 복구 시간, 추가 행동 수, 최종 작업 완료 여부를 함께 측정하는 것이 바람직하다.

사람과의 상호작용(Human-Robot Interaction)도 중요한 평가 분야가 되고 있다. 로봇은 음성 명령, 손짓, 시연, 수정 명령, 작업 중단, 협업 등을 이해할 수 있어야 한다. 작업 도중 새로운 명령을 받았을 때 기존 계획을 적절히 수정하는 능력도 평가 대상이 된다. 공동 조립(Cooperative Assembly), 물체 전달(Object Handover), 공동 운반(Collaborative Transportation)은 이러한 능력을 평가하는 대표적인 시나리오이다.

계산 효율성(Computational Efficiency)도 반드시 함께 평가되어야 한다. 최신 파운데이션 모델은 수십억 개의 파라미터를 가지며 매우 큰 계산 자원을 요구한다. 따라서 평균 추론 시간(Inference Latency), GPU 메모리 사용량, 처리 속도(Throughput), 에너지 소비(Energy Consumption), 하드웨어 구성(Hardware Configuration)을 작업 성능과 함께 보고해야 한다. 성공률만 비교하고 계산 비용을 공개하지 않으면 실제 적용 가능성을 판단하기 어렵다.

학습 효율성(Training Efficiency)도 중요한 평가 요소이다. 어떤 모델은 수백만 개의 시연이 필요하지만, 다른 모델은 훨씬 적은 데이터만으로 비슷한 성능을 얻을 수 있다. 따라서 데이터 크기, 로봇 시연 수, 작업 종류 수, 로봇 다양성, 언어 다양성, 합성 데이터 비율, 시뮬레이션 비율 등을 함께 공개해야 한다. 또한 데이터 양에 따른 성능 변화를 보여주는 학습 곡선(Learning Curve)도 매우 유용하다.

미세조정 효율성(Fine-Tuning Efficiency) 역시 중요한 평가 대상이다. 대부분의 파운데이션 모델은 새로운 로봇에 다시 적응해야 한다. 따라서 새로운 환경에서 필요한 시연 개수, 미세조정 시간, GPU 비용, LoRA(Low-Rank Adaptation)와 같은 파라미터 효율적 학습의 성능을 함께 비교해야 한다. 적은 데이터만으로 빠르게 적응하는 모델은 실제 산업에서 매우 큰 장점을 가진다.

시뮬레이션 벤치마크(Simulation Benchmark)는 반복 가능성(Reproducibility) 때문에 매우 중요하다. Isaac Lab, ManiSkill, RLBench, Meta-World, CALVIN, Habitat 등 다양한 시뮬레이션 환경은 수천 개의 조건을 체계적으로 생성할 수 있다. 마찰, 조명, 물체 위치, 센서 노이즈, 초기 자세를 각각 독립적으로 변경할 수 있으며, 연구실마다 동일한 조건으로 평가할 수 있다. 그러나 실제 접촉, 기계 오차, 센서 노이즈는 완벽하게 재현하기 어렵기 때문에 시뮬레이션만으로는 충분하지 않다.

따라서 실제 환경 평가(Real-World Benchmark)는 반드시 필요하다. 산업용 로봇, 협동 로봇(Collaborative Robot), 이동형 매니퓰레이터(Mobile Manipulator), 양팔 로봇, 휴머노이드 등을 포함해야 하며, 공장, 창고, 연구실, 사무실, 가정 등 다양한 환경에서 평가해야 한다. 이러한 교차 환경(Cross-Domain) 평가는 모델이 실제로 일반화되었는지를 판단하는 중요한 기준이 된다.

연구실 간 재현성(Cross-Laboratory Reproducibility)도 매우 중요하다. 특정 연구실에서만 좋은 성능을 보이는 모델은 과학적 가치가 제한적이다. 공개 데이터셋, 고정된 랜덤 시드(Random Seed), 표준화된 평가 코드, 동일한 시뮬레이션 환경을 제공해야 다른 연구자가 동일한 결과를 재현할 수 있다.

벤치마크는 사전학습(Pretraining) 성능과 사후학습(Post-Training) 성능도 명확히 구분해야 한다. 어떤 모델은 제로샷 능력을 강조하고, 어떤 모델은 미세조정을 전제로 한다. 최종 성능만 보고 적응 비용을 공개하지 않으면 잘못된 비교가 이루어질 수 있다. 따라서 사전학습, LoRA 기반 적응, 전체 미세조정, 강화학습 기반 개선을 각각 구분하여 보고하는 것이 바람직하다.

평가 지표(Metric)도 단순한 성공률만으로는 충분하지 않다. 작업 완료율뿐 아니라 행동의 부드러움(Action Smoothness), 경로 효율(Path Efficiency), 완료 시간, 충돌 횟수, 힘 제어 품질, 에너지 소비, 복구 빈도, 사람의 개입 횟수, 정책 안정성(Policy Stability), 불확실성 추정(Uncertainty Calibration), 반복 실험의 일관성까지 함께 평가해야 한다.

통계적 평가(Statistical Evaluation)도 점점 중요해지고 있다. 생성형 행동 모델은 확률적(Stochastic) 특성을 가지므로 동일한 작업도 결과가 달라질 수 있다. 따라서 평균 성능, 표준편차(Standard Deviation), 신뢰구간(Confidence Interval), 통계적 유의성(Statistical Significance)을 함께 보고해야 하며, 단 한 번의 성공 사례만 제시해서는 안 된다.

공정한 비교(Fair Comparison)를 위해서는 학습 조건도 가능한 한 함께 공개되어야 한다. 데이터셋, GPU 수, 학습 시간, 파라미터 수, 최적화 방법, 평가 하드웨어 등을 함께 공개해야 성능 향상의 원인이 모델 구조 때문인지 단순히 더 많은 계산 자원을 사용했기 때문인지를 판단할 수 있다.

해석 가능성(Interpretability)도 새로운 평가 요소가 되고 있다. 산업용 로봇은 왜 특정 행동을 선택했는지를 설명할 수 있어야 한다. 시각적 어텐션 맵(Attention Map), 언어 연결(Language Grounding), 행동 궤적 시각화(Trajectory Visualization), 실패 원인 분석(Failure Explanation), 내부 표현 분석(Representation Analysis) 등을 통해 모델의 동작을 이해하는 연구가 증가하고 있다.

지속학습(Continual Learning) 역시 중요한 평가 분야이다. 실제 로봇은 새로운 작업을 배우면서 기존 능력을 잃지 않아야 한다. 따라서 점진적 학습(Incremental Learning), 장기 기억(Long-Term Retention), 파국적 망각(Catastrophic Forgetting), 학습 속도, 메모리 효율 등을 함께 평가해야 한다.

플릿 학습(Fleet Learning)도 새로운 벤치마크 분야가 되고 있다. 여러 로봇이 서로 다른 현장에서 경험을 수집하고 하나의 공통 모델을 지속적으로 개선하는 구조에서는 통신 효율(Communication Efficiency), 분산 학습 안정성(Distributed Learning Stability), 개인정보 보호(Privacy Preservation), 동기화 비용(Synchronization Cost), 지식 전이(Knowledge Transfer)를 함께 평가해야 한다.

산업 적용성(Industrial Readiness)은 학술 연구와는 다른 평가 기준을 가진다. 실제 제품은 장시간 연속 운전(Long-Term Operation), 발열 안정성(Thermal Stability), 하드웨어 신뢰성(Hardware Reliability), 통신 안정성, 소프트웨어 오류 복구, 버전 호환성, 업데이트 안전성(Update Safety), 롤백(Rollback), 사이버 보안(Cybersecurity), 유지보수(Maintainability)까지 모두 평가되어야 한다.

벤치마크는 연구실 시연(Demonstration)과 실제 산업용 인증(Qualification)도 구분해야 한다. 연구실은 정리된 환경에서 실험하지만 실제 공장은 장비 마모, 작업자 변화, 일정 변경, 센서 오차, 예상하지 못한 장애물이 항상 존재한다. 따라서 실제 운영 조건을 반영한 시나리오가 반드시 포함되어야 한다.

윤리(Ethics)도 점점 중요한 평가 요소가 되고 있다. 사람과 함께 작업하는 로봇은 개인정보를 보호하고, 차별적인 행동을 하지 않으며, 민감한 물체를 적절하게 다루고, 안전 규정을 준수해야 한다. 데이터 관리(Data Governance), 개인정보 보호(Privacy Preservation), 책임 있는 AI(Responsible AI), 사람의 감독(Human Oversight)도 함께 평가 대상이 되어야 한다.

벤치마크 자체도 지속적으로 발전해야 한다. 시간이 지나면 기존 벤치마크는 너무 쉬워질 수 있다. 따라서 새로운 작업, 새로운 로봇, 더 복잡한 자연어 명령, 어려운 조작 문제, 실제 환경을 지속적으로 추가하면서도 기존 결과와 비교할 수 있도록 유지하는 것이 중요하다.

오픈소스(Open Source) 벤치마크 생태계는 연구 발전을 크게 가속한다. 공개 데이터셋, 공개 평가 코드, 기준 모델(Baseline), 시뮬레이션 자산(Assets), 표준 보고 형식은 연구자들이 동일한 기준에서 성능을 비교하도록 만들어 준다. 이는 컴퓨터 비전과 자연어 처리 분야에서 성공한 벤치마크 생태계를 로봇 분야에도 구축하는 중요한 기반이 된다.

물론 하나의 벤치마크만으로 로봇 지능 전체를 평가할 수는 없다. 산업용 로봇, 가정용 서비스 로봇, 물류 로봇, 농업 로봇, 휴머노이드의 요구사항은 서로 다르다. 따라서 하나의 만능 벤치마크보다 여러 목적에 맞는 다양한 벤치마크를 함께 사용하는 것이 바람직하다. 조작, 내비게이션, 언어 이해, 장기 계획, 안전성, 플랫폼 전이, 실제 환경 강건성 등을 각각 전문적으로 평가하는 체계가 필요하다.

미래의 로봇 파운데이션 모델 벤치마크는 월드 모델(World Model), 불확실성 기반 계획(Uncertainty-Aware Planning), 멀티모달 메모리(Multimodal Memory), 협업 로봇(Collaborative Robot), 휴머노이드 이동(Locomotion), 촉각 지능(Tactile Intelligence), 힘 기반 조작(Force-Aware Manipulation), 지속학습, 과학 실험 자동화까지 포함하게 될 가능성이 높다. 또한 시뮬레이션, 합성 데이터, 디지털 트윈(Digital Twin), 실제 환경을 하나의 통합 평가 체계로 연결하는 방향으로 발전할 것이다.

Physical AI의 관점에서 보면 로봇 파운데이션 모델 벤치마킹은 단순히 모델의 순위를 매기는 과정이 아니다. 로봇이 실제 환경에서 인식하고, 이해하고, 추론하고, 행동하며, 적응하고, 복구하고, 사람과 협력하며, 안전하게 작업할 수 있는지를 체계적으로 검증하는 종합적인 평가 방법론(Methodology)이다. 효과적인 벤치마킹을 위해서는 표준화된 데이터셋(Standardized Dataset), 재현 가능한 평가 절차(Reproducible Evaluation Procedure), 실제 환경을 반영한 시나리오, 통계적으로 신뢰할 수 있는 평가 지표, 그리고 투명한 성능 보고가 반드시 필요하다. 앞으로 로봇 파운데이션 모델이 더욱 발전할수록 이러한 종합적인 벤치마킹 프로토콜은 학술 연구, 산업 인증, 규제 대응, 그리고 신뢰할 수 있는 자율 로봇의 상용화를 위한 핵심 기반으로 자리 잡게 될 것이다.

5.9 Cross Embodiment Generalization Open X Embodiment [w/Code]

기존 로봇 학습(Robot Learning)의 가장 큰 한계 가운데 하나는 하나의 로봇 플랫폼(Embodiment)에 지나치게 의존한다는 점이었다. 특정 로봇 팔(Robot Arm)을 위해 학습된 조작 정책(Manipulation Policy)은 운동학(Kinematics), 센서(Sensor), 제어 인터페이스(Control Interface), 물리적 크기 등이 조금만 달라져도 다른 로봇에서는 성능이 크게 저하되는 경우가 많았다. 그리퍼(Gripper)의 형태, 카메라 위치, 작업 공간, 관절 구조가 조금만 달라져도 대부분의 경우 처음부터 다시 학습해야 했다. 이러한 낮은 전이성(Transferability)은 로봇 학습이 대규모 언어 모델(Large Language Model)이나 비전 파운데이션 모델(Vision Foundation Model)처럼 확장되지 못한 가장 큰 이유 가운데 하나였다. 다중 체화 일반화(Cross-Embodiment Generalization)는 이러한 문제를 해결하기 위해 등장한 개념으로, 하나의 파운데이션 모델이 서로 다른 로봇 플랫폼에서도 재사용 가능한 지식을 학습하도록 하는 것을 목표로 한다. 즉 특정 로봇의 제어 방법을 암기하는 것이 아니라, 인식(Perception), 언어(Language), 조작(Manipulation), 공간 추론(Spatial Reasoning), 물리적 상호작용(Physical Interaction)에 대한 보편적인 표현(Universal Representation)을 학습하는 것이다.

로봇 파운데이션 모델(Robot Foundation Model)의 등장은 다중 체화 학습을 Physical AI의 핵심 연구 분야로 만들었다. 파운데이션 모델은 특정 로봇만을 위한 제어기가 아니라 여러 로봇이 공유하는 공통 지능(Common Intelligence Backbone) 역할을 수행해야 한다. 서로 다른 로봇은 공통적인 의미 표현(Semantic Representation)을 공유하고, 실제 모터 제어(Motor Command)만 각 로봇에 맞게 적응시키는 구조가 이상적이다. 이러한 개념은 컴퓨터 비전과 자연어 처리에서 사용되는 전이 학습(Transfer Learning)과 유사하지만, 로봇에서는 하드웨어 자체가 다르기 때문에 훨씬 복잡한 문제가 된다.

로봇의 체화(Embodiment)는 단순히 외형만을 의미하지 않는다. 운동학 구조(Kinematic Structure), 자유도(Degree of Freedom), 관절 제한(Joint Limit), 액추에이터(Actuator) 특성, 말단 효과기(End-Effector), 센서 구성, 이동 방식(Mobility System), 제어 주기(Control Frequency), 작업 공간, 적재 능력(Payload), 기계적 순응성(Mechanical Compliance)까지 모두 포함하는 개념이다. 동일한 작업이라도 산업용 6축 로봇, 이동형 매니퓰레이터(Mobile Manipulator), 양팔 휴머노이드, 로봇 팔이 장착된 사족보행 로봇(Quadruped)은 전혀 다른 움직임을 수행해야 한다.

다중 체화 학습의 핵심은 체화와 무관한 지식(Embodiment-Independent Knowledge)과 체화에 의존하는 지식(Embodiment-Dependent Knowledge)을 분리하는 것이다. 물체를 인식하고, 자연어를 이해하며, 목표를 파악하고, 공간 관계를 이해하고, 작업 순서를 계획하는 능력은 대부분 체화와 무관하다. 반면 관절 궤적(Joint Trajectory), 역운동학(Inverse Kinematics), 균형 유지(Balance Control), 그리퍼 제어, 저수준 서보 제어(Low-Level Servo Control)는 로봇마다 다르다. 성공적인 로봇 파운데이션 모델은 전자는 공통 표현으로 학습하고, 후자는 각 로봇에 맞는 작은 어댑터(Adapter)를 통해 적응하도록 설계된다.

이러한 분리는 데이터 효율성(Data Efficiency)을 크게 향상시킨다. 기존 방식에서는 새로운 로봇이 추가될 때마다 시연(Demonstration)을 처음부터 다시 수집해야 했다. 그러나 공통적인 의미 표현을 공유할 수 있다면 새로운 로봇에서는 하드웨어에 맞는 제어만 추가로 학습하면 되므로 훨씬 적은 데이터만으로도 새로운 플랫폼에 적응할 수 있다.

Open X-Embodiment 프로젝트는 이러한 다중 체화 학습을 위한 가장 큰 국제 공동 프로젝트 가운데 하나이다. 여러 대학, 연구소, 기업이 함께 참여하여 다양한 로봇 플랫폼, 작업(Task), 센서 구성, 환경(Environment)에서 수집한 데이터를 하나의 공개 데이터셋(Open Dataset)으로 통합하는 것을 목표로 한다. 특정 연구실의 데이터만 사용하는 것이 아니라 전 세계 여러 기관에서 수집한 실제 로봇 시연 데이터를 결합함으로써 지금까지 가장 다양한 로봇 경험을 제공하는 데이터셋을 구축하였다.

Open X-Embodiment 데이터셋은 약 100만 개의 실제 로봇 에피소드(Episode)를 포함하고 있으며, 20종 이상의 서로 다른 로봇 플랫폼과 수십 개의 독립적인 데이터셋으로 구성되어 있다. 여기에는 탁상형 조작(Tabletop Manipulation), 이동형 조작(Mobile Manipulation), 양팔 협조(Bimanual Coordination), 산업용 조작, 공구 사용(Tool Use), 물체 재배치(Object Rearrangement), 서랍 조작(Drawer Interaction), 삽입 작업(Insertion), 가정 환경 작업(Household Activity) 등 매우 다양한 작업이 포함되어 있다. 현재 공개된 실제 로봇 데이터 가운데 가장 규모가 큰 데이터셋 가운데 하나이다.

Open X-Embodiment의 가장 큰 장점은 로봇 플랫폼의 다양성이다. WidowX, Franka Panda, Kinova, UR5, 이동형 매니퓰레이터, 다양한 연구용 로봇 등 매우 다양한 플랫폼이 포함되어 있다. 이들은 운동학, 센서 구성, 행동 표현(Action Representation), 작업 공간, 제어 인터페이스가 모두 다르다. 데이터셋은 이러한 차이를 숨기지 않고 그대로 유지하면서도 공통적인 학습 구조를 제공한다.

이처럼 다양한 플랫폼은 여러 가지 장점을 제공한다. 첫째, 특정 로봇의 움직임에 과적합(Overfitting)되는 것을 방지한다. 둘째, 다양한 카메라 위치와 시점을 경험하게 된다. 셋째, 물체의 형태, 배경, 작업 스타일, 환경 구성이 매우 다양해진다. 마지막으로 모델이 특정 로봇의 움직임이 아니라 작업 자체의 의미를 학습하도록 유도한다.

이처럼 방대한 데이터를 구축하기 위해서는 강력한 표준화(Standardization)가 필요하다. 각 연구실은 서로 다른 좌표계(Coordinate System), 카메라 해상도, 제어 주기, 행동 표현, 언어 주석(Language Annotation), 센서 구성, 메타데이터(Metadata)를 사용한다. 이를 그대로 합치면 데이터의 일관성이 사라진다. Open X-Embodiment는 공통 데이터 구조와 메타데이터 규격을 정의하면서도 각 로봇의 체화 정보를 유지하도록 설계되었다.

이를 위해 사용되는 핵심 기술이 RLDS(Robot Learning Dataset Standard)이다. RLDS는 관측(Observation), 행동(Action), 보상(Reward), 자연어 주석(Language Annotation), 시간 정보(Timestamp), 메타데이터를 하나의 공통 형식으로 저장하는 표준 데이터 구조이다. 하나의 에피소드는 시간 순서대로 정렬된 로봇의 행동 기록으로 구성되며, 이를 통해 서로 다른 데이터셋도 동일한 학습 파이프라인에서 사용할 수 있다.

각 에피소드는 일반적으로 RGB 영상, 깊이 영상(Depth Image), 여러 카메라 시점, 로봇 상태(Robot State), 행동 벡터(Action Vector), 작업 설명(Task Description), 시간 정보를 포함한다. 로봇 상태에는 관절 위치, 말단 효과기 자세, 그리퍼 상태, 고유감각(Proprioception) 등이 포함된다. 행동 표현은 로봇마다 다르지만 학습 전에 공통된 형식으로 변환된다.

자연어(Language)는 Open X-Embodiment에서 매우 중요한 역할을 한다. 과거처럼 작업 번호(Task ID)를 사용하는 대신 자연어 명령을 함께 저장하는 데이터가 점점 증가하고 있다. 자연어는 서로 다른 로봇에서도 동일한 작업 의미를 표현할 수 있는 공통 인터페이스 역할을 한다. 예를 들어 "빨간 블록을 상자 안에 넣어라"는 Franka 로봇이 수행하든 WidowX가 수행하든 동일한 의미를 가진다. 이러한 의미적 연결(Semantic Alignment)은 다중 체화 일반화를 크게 향상시킨다.

시각 정보(Visual Observation) 역시 공통 표현을 제공한다. 카메라 위치는 로봇마다 다르지만 물체의 색상, 형태, 위치, 장면 구조는 대부분 동일하다. 따라서 비전 파운데이션 모델(Vision Foundation Model)은 다양한 로봇에서 공통적으로 사용할 수 있는 시각 표현을 학습하는 데 매우 적합하다.

반면 행동 표현(Action Representation)은 가장 어려운 문제 가운데 하나이다. 어떤 로봇은 관절 공간(Joint Space)을 사용하고, 어떤 로봇은 말단 효과기 제어를 사용하며, 이동형 로봇은 바퀴 속도와 팔 움직임을 동시에 제어해야 한다. 휴머노이드는 전신(Whole Body)을 동시에 제어해야 한다. 따라서 최근 파운데이션 모델은 행동 토큰(Action Tokenization), 잠재 행동 공간(Latent Action Space), 확산 정책(Diffusion Policy), 체화 조건부 디코더(Embodiment-Conditioned Decoder), 계층적 행동 표현(Hierarchical Motor Representation) 등을 연구하고 있다.

다중 체화 학습이 모든 로봇에서 동일한 행동을 수행한다는 의미는 아니다. 동일한 컵을 집는 작업이라도 탁상형 로봇은 위에서 접근하고, 휴머노이드는 몸을 숙여 앞으로 팔을 뻗으며, 이동형 매니퓰레이터는 먼저 베이스를 이동한 후 팔을 뻗는다. 목표는 동일하지만 실제 행동은 각 로봇의 구조에 맞게 달라진다.

RT-1-X, OpenVLA, Octo, GR00T와 같은 최신 로봇 파운데이션 모델은 모두 Open X-Embodiment 또는 이와 유사한 대규모 데이터셋을 적극 활용하고 있다. RT-1-X는 다양한 로봇 데이터를 함께 학습하면 새로운 플랫폼으로의 전이 성능이 크게 향상된다는 것을 보여주었다. Octo는 여러 플랫폼에서 연속 행동 생성(Continuous Action Generation)을 수행하였다. OpenVLA는 Open X-Embodiment와 비전-언어 사전학습을 결합하여 범용 조작 모델을 구축하였다. NVIDIA GR00T 역시 실제 로봇 데이터, 인간 영상, 시뮬레이션, 합성 데이터를 함께 이용하여 휴머노이드 일반화를 향상시키고 있다.

다중 체화 학습에서도 규모(Scale)는 매우 중요하다. 로봇 수, 작업 수, 환경 수, 물체 수, 시연 수가 증가할수록 모델은 더욱 다양한 물리 경험을 학습할 수 있다. 로봇 분야에서도 데이터 규모에 따른 스케일링 법칙(Scaling Law)이 나타나고 있지만, 단순히 데이터 수만 늘리는 것으로는 충분하지 않다. 데이터의 다양성과 품질이 함께 증가해야 한다.

작업 다양성(Task Diversity)은 특히 중요하다. 수백만 개의 동일한 Pick-and-Place 작업보다, 열기(Open), 닫기(Close), 밀기(Push), 당기기(Pull), 회전(Rotation), 삽입(Insertion), 접기(Folding), 적재(Stacking), 분류(Sorting), 청소(Cleaning), 협업(Cooperative Manipulation) 등 다양한 작업을 포함하는 데이터가 훨씬 높은 일반화 성능을 제공한다.

환경 다양성(Environment Diversity)도 매우 중요하다. 연구실마다 배경, 조명, 책상 재질, 물체 배치, 카메라 위치가 모두 다르다. 이러한 차이는 단순한 노이즈가 아니라 오히려 모델이 작업과 관계없는 요소를 무시하고 핵심 특징만 학습하도록 만드는 좋은 정규화(Regularization) 역할을 한다.

센서 다양성(Sensor Diversity) 역시 강건성을 향상시킨다. 카메라 해상도, 깊이 센서 품질, 캘리브레이션 오차, 로봇 상태 표현이 서로 다르기 때문에 다양한 센서 조건에서 학습한 모델은 특정 환경에 덜 의존하게 된다.

그러나 다중 체화 학습에는 여전히 어려운 문제들이 존재한다. 가장 큰 문제는 행동 공간(Action Space)의 차이이다. 7자유도 로봇, 양팔 휴머노이드, 이동형 매니퓰레이터는 동일한 행동 표현을 사용할 수 없다. 따라서 행동 토큰화(Action Tokenization), 잠재 행동 공간(Latent Action Space), 연속 확산 정책(Continuous Diffusion Policy), 체화 조건부 정책 등이 활발히 연구되고 있다.

시간(Time)도 중요한 문제이다. 산업용 로봇은 수백 Hz로 동작하지만 데이터는 훨씬 낮은 주기로 기록되는 경우가 많다. 따라서 시간 정규화(Time Normalization), 행동 청킹(Action Chunking), 궤적 분할(Trajectory Segmentation), 시간 추상화(Temporal Abstraction)가 필요하다.

기계적 능력(Mechanical Capability)도 다르다. 어떤 로봇은 정교한 손(Dexterous Hand)을 가지고 있지만, 다른 로봇은 단순한 평행 그리퍼만 사용할 수 있다. 이동 능력이 있는 로봇도 있고 없는 로봇도 있다. 따라서 모델은 각 로봇이 수행할 수 없는 행동을 생성하지 않도록 체화 정보를 함께 사용해야 한다.

시뮬레이션(Simulation)은 이러한 다중 체화 학습을 크게 지원한다. Isaac Lab, MuJoCo, ManiSkill, Habitat 등은 다양한 로봇을 빠르게 생성하고 새로운 링크 길이(Link Length), 센서 위치, 액추에이터 특성을 변경할 수 있다. 실제 로봇을 새로 제작하지 않아도 다양한 체화를 실험할 수 있다.

합성 데이터(Synthetic Data)는 이러한 다양성을 더욱 확장한다. 디지털 트윈(Digital Twin)을 이용하면 로봇 구조, 카메라 위치, 물체 배치, 조명 등을 자동으로 변경할 수 있다. 도메인 랜덤화(Domain Randomization)는 시뮬레이션에서 실제 환경으로의 전이(Sim-to-Real Transfer)를 향상시키는 중요한 기술이다.

그러나 시뮬레이션만으로는 충분하지 않다. 접촉(Contact), 기계적 순응성(Compliance), 액추에이터 지연(Actuator Latency), 센서 드리프트(Sensor Drift), 기계 마모(Wear)는 정확하게 모델링하기 어렵다. 따라서 실제 로봇 데이터와 시뮬레이션 데이터를 함께 사용하는 것이 가장 효과적이다.

다중 체화 학습을 평가하기 위해서는 특별한 벤치마크가 필요하다. 학습에 포함되지 않은 새로운 로봇에서의 성능, 새로운 작업, 새로운 물체, 새로운 환경을 평가해야 한다. 제로샷 전이(Zero-Shot Transfer), 소량 적응(Few-Shot Adaptation), 전체 미세조정(Full Fine-Tuning)을 모두 평가해야 진정한 일반화 능력을 측정할 수 있다.

센서 일반화(Sensor Generalization)도 평가해야 한다. RGB만 학습한 모델이 깊이 정보(Depth)를 추가로 활용할 수 있는지, 촉각(Tactile), 힘 센서(Force Sensor), 고유감각(Proprioception)을 자연스럽게 통합할 수 있는지도 앞으로 중요한 평가 요소가 될 것이다.

자연어(Language)는 다중 체화 일반화에서 매우 중요한 역할을 한다. "서랍을 열어라", "컵을 상자 안에 넣어라"와 같은 개념은 로봇의 구조와 관계없이 동일하다. 따라서 언어는 서로 다른 로봇을 연결하는 공통 추상화 계층(Abstraction Layer) 역할을 수행한다. 대규모 비전-언어 모델(Vision-Language Model)은 이러한 의미 표현을 매우 효과적으로 학습할 수 있다.

그러나 의미 이해만으로는 충분하지 않다. 실제 행동은 여전히 로봇의 기하학적 구조(Geometry), 동역학(Dynamics), 제어 방식(Control)에 따라 달라진다. 따라서 최신 파운데이션 모델은 공통 의미 표현과 체화 전용 행동 생성기를 결합하는 계층 구조를 사용한다.

Open X-Embodiment는 개방형 연구(Open Science)에도 매우 큰 의미를 가진다. 연구실마다 데이터를 따로 보관하는 대신 표준 형식으로 공유함으로써 ImageNet이나 Common Crawl이 컴퓨터 비전과 자연어 처리 분야에서 수행했던 역할을 로봇 분야에서도 수행하고 있다.

공개 데이터는 로봇 연구를 민주화(Democratization)한다. 과거에는 대규모 로봇 데이터를 수집할 수 있는 소수 기관만이 범용 모델을 연구할 수 있었지만, Open X-Embodiment를 통해 작은 연구실도 새로운 모델 구조와 알고리즘 개발에 집중할 수 있게 되었다.

그러나 공개 데이터에는 관리(Governance) 문제도 존재한다. 연구실마다 안전 기준, 데이터 품질, 작업 정의, 언어 주석이 모두 다르다. 따라서 메타데이터 품질, 라이선스(License), 개인정보 보호(Privacy), 버전 관리(Version Control), 데이터 품질 관리가 매우 중요하다.

데이터 품질(Data Quality)은 데이터 규모만큼 중요하다. 잘못된 행동, 부정확한 언어 설명, 캘리브레이션 오류, 불완전한 시연은 모델의 품질을 크게 떨어뜨릴 수 있다. 따라서 자동 품질 평가(Automatic Quality Assessment), 이상 탐지(Anomaly Detection), 데이터 균형(Data Balancing)이 앞으로 더욱 중요해질 것이다.

다중 체화 학습은 지속학습(Continual Learning)과도 자연스럽게 연결된다. 새로운 로봇이 등장할 때마다 데이터를 기존 데이터셋에 추가하면 파운데이션 모델은 기존 지식을 유지하면서 새로운 체화를 계속 학습할 수 있다. 이는 인간이 평생 동안 새로운 도구를 배우는 과정과 매우 유사하다.

산업 현장에서는 다중 체화 학습의 활용 가능성이 더욱 크다. 하나의 공장에는 협동 로봇(Collaborative Robot), 산업용 로봇, 이동형 매니퓰레이터, 무인 운반차(Autonomous Forklift), 검사 로봇, 휴머노이드가 함께 존재할 수 있다. 구조는 다르지만 수행하는 작업은 매우 유사하다. 하나의 공통 파운데이션 모델을 사용하면 한 로봇이 학습한 지식을 다른 로봇도 활용할 수 있어 전체 개발 비용을 크게 줄일 수 있다.

플릿 학습(Fleet Learning)은 이러한 개념을 더욱 확장한다. 여러 공장의 로봇이 작업 데이터를 수집하고, 실패 사례와 복구 과정을 중앙 서버에서 통합 학습한 후 새로운 모델을 다시 배포할 수 있다. 이를 위해서는 안전한 데이터 파이프라인(Data Pipeline), 모델 버전 관리(Model Versioning), 회귀 테스트(Regression Testing), 단계적 배포(Staged Deployment), 롤백(Rollback)이 반드시 필요하다.

미래의 다중 체화 학습은 조작뿐 아니라 내비게이션(Navigation), 이동(Locomotion), 이동형 조작(Mobile Manipulation), 드론(Aerial Robot), 수중 로봇(Underwater Robot), 농업 로봇(Agricultural Robot), 건설 로봇, 의료 로봇(Medical Robot), 휴머노이드까지 확대될 것이다. 핵심 목표는 항상 동일하다. 공통 지능(Common Intelligence)과 로봇별 제어(Embodiment-Specific Execution)를 분리하는 것이다.

Physical AI의 관점에서 Open X-Embodiment는 로봇 지능의 확장이 더 큰 신경망만으로 이루어지는 것이 아니라, 더 크고 다양한 실제 로봇 경험(Robot Experience)에 의해 이루어진다는 사실을 보여준다. 다중 체화 일반화는 로봇 학습을 개별 플랫폼 중심의 개발 방식에서 공유 가능한 학습 생태계(Shared Learning Ecosystem)로 변화시키고 있다. 파운데이션 모델은 서로 다른 로봇에서 공통적으로 사용할 수 있는 인식, 언어, 추론, 조작 표현을 학습하고, 각 로봇은 작은 체화 전용 모듈만 추가하여 새로운 하드웨어에 적응하게 된다.

현재의 모델들은 아직 모든 종류의 로봇으로 완전한 일반화를 달성하지는 못하였다. 그러나 Open X-Embodiment는 표준화된 데이터 구조(Standardized Data Structure), 공동 데이터 수집(Collaborative Data Collection), 다양한 로봇 플랫폼, 의미 기반 연결(Semantic Alignment), 그리고 개방형 접근(Open Accessibility)을 통해 차세대 로봇 파운데이션 모델의 핵심 기반을 마련하였다. 앞으로 데이터 규모가 더욱 확대되고 학습 알고리즘이 발전할수록 다중 체화 일반화는 차세대 Physical AI의 가장 중요한 핵심 기술 가운데 하나가 될 것이며, 서로 다른 형태의 로봇들이 하나의 공통 지능을 공유하면서도 자신의 기계적 특성에 맞는 행동을 수행하는 시대를 앞당기게 될 것이다.

5.10 Robotics Foundation Model Strategy

로봇 파운데이션 모델(Robot Foundation Model)은 로봇을 특정 작업(Task)만 수행하는 자동화 장비에서 범용 지능(General-Purpose Embodied Intelligence)을 갖춘 시스템으로 발전시키고 있다. 그러나 현재 대부분의 파운데이션 모델은 연구 중심(Research-Oriented)으로 개발되고 있으며, 실험실 환경에서의 조작(Manipulation), 탁상 작업(Tabletop Task), 휴머노이드 벤치마크(Humanoid Benchmark)에 초점을 맞추고 있다. 반면 Hills Robotics의 전략은 연구용 데모를 만드는 것이 아니라 물류 센터(Logistics Center), 철도 시설(Railway Facility), 항만(Port), 공장(Factory), 산업 단지(Industrial Complex), 스마트 시티(Smart City), 대규모 야외 인프라(Outdoor Infrastructure)에서 장기간 자율적으로 동작할 수 있는 산업용 Physical AI 파운데이션 모델을 구축하는 것이다. 장기적인 목표는 다양한 로봇 플랫폼(Embodiment)과 다양한 산업 분야를 지원하며, 지속적인 자율 운용을 가능하게 하는 공통 지능 플랫폼(Intelligence Platform)을 구축하는 것이다. 이 플랫폼은 인식(Perception), 추론(Reasoning), 월드 모델(World Model), 미션 계획(Mission Planning), 내비게이션(Navigation), 검사(Inspection), 조작(Manipulation), 플릿 관리(Fleet Coordination)를 하나의 통합 아키텍처로 연결한다.

이 전략은 산업용 로봇이 결코 단독으로 동작하지 않는다는 사실에서 출발한다. 자율주행 로봇(Autonomous Mobile Robot)은 단순히 이동하는 것이 아니라 미션을 수신하고, 복잡한 환경을 탐색하며, 장애물을 회피하고, 배터리 상태를 관리하며, 클라우드와 통신하고, 다른 로봇과 협력하며, 설비를 검사하고, 이상을 보고하고, 예상하지 못한 상황에서 스스로 복구해야 한다. 기존의 Robot Foundation Model은 주로 조작 정책(Manipulation Policy)이나 Vision-Language-Action(VLA)에 집중하고 있지만, Hills Robotics는 파운데이션 모델을 계층형 Physical AI 아키텍처(Hierarchical Physical AI Architecture)의 하나의 구성 요소로 정의한다. 상위 계층에서는 미션 계획, 월드 모델, 내비게이션, 플릿 관리가 동작하고, 파운데이션 모델은 그 안에서 의미 기반 추론과 행동 생성을 담당한다.

제안하는 시스템은 여러 계층으로 구성된다. 가장 아래에는 RGB 카메라(RGB Camera), 깊이 카메라(Depth Camera), LiDAR, Radar, GNSS, IMU, 마이크(Microphone), 초음파 센서(Ultrasonic Sensor), 향후 촉각 센서(Tactile Sensor)까지 포함하는 멀티모달 센서(Multimodal Sensor) 계층이 존재한다. 이들 센서는 통합되어 하나의 장면 표현(Scene Representation)을 생성한다. 그 위에는 월드 모델(World Model)이 존재하며 환경 변화, 로봇 상태, 장애물 움직임, 사람의 행동, 미션 진행 상황을 지속적으로 예측한다. Robot Foundation Model은 이러한 구조화된 환경 표현을 입력으로 받아 영상, 언어, 로봇 상태, 미션 정보를 통합하여 상위 수준의 행동 정책(Action Policy)을 생성한다. 마지막으로 결정론적 경로 계획기(Motion Planner), 내비게이션 시스템, 저수준 제어기(Low-Level Controller), 안전 감독기(Safety Supervisor)가 실제 모터 제어를 수행한다.

산업용 파운데이션 모델은 일반적인 언어 모델과 달리 지속적인 상황 인식(Persistent Situational Awareness)이 필요하다. 로봇은 이전에 관찰한 정보를 기억하고, 지도를 유지하며, 이동하는 사람과 차량을 추적하고, 장시간의 미션을 이해하며, 앞으로 발생할 환경 변화를 예측해야 한다. 따라서 Hills Robotics는 현재 센서 입력만 사용하는 방식이 아니라 지속적으로 갱신되는 월드 모델과 결합된 파운데이션 모델을 제안한다. 이러한 예측 기반 추론(Predictive Reasoning)을 통해 로봇은 위험을 미리 예측하고, 작업 완료 시간을 추정하며, 에너지 소비를 최적화하고, 가장 효율적인 작업 순서를 계획할 수 있다.

Hills Robotics 전략의 가장 큰 특징은 미션 수준 지능(Mission-Level Intelligence)을 강조한다는 점이다. 현재 대부분의 Vision-Language-Action 모델은 현재 장면을 기반으로 즉시 수행할 행동을 생성한다. 그러나 실제 산업 환경에서는 계층적인 추론이 필요하다. 예를 들어 "2층의 모든 비상구를 점검하고, 손상된 설비를 보고하며, 배터리가 부족하면 충전한 후 나머지 점검을 계속 수행하라."와 같은 명령은 하나의 행동 정책으로 해결할 수 없다. 이러한 작업은 내비게이션, 위치 추정(Localization), 검사, 이상 탐지(Anomaly Detection), 보고(Reporting), 충전(Charging), 복구(Recovery), 일정 관리(Scheduling) 등으로 분해되어야 한다. 따라서 파운데이션 모델은 미션 계획기(Mission Planner)를 대체하는 것이 아니라 함께 동작한다.

장시간 자율 운용(Long-Term Autonomous Operation)에서는 이러한 미션 분해가 더욱 중요하다. 예를 들어 12시간 동안 순찰하는 로봇은 수백 개의 하위 작업(Subtask)을 수행하게 된다. 위치 추정 갱신, 엘리베이터 사용, 복도 이동, 문 통과, 검사 지점 수행, 배터리 관리, 장애물 회피, 운영자와의 통신, 예외 상황 복구 등이 모두 포함된다. 파운데이션 모델은 의미 이해와 적응적인 의사결정을 담당하고, 결정론적 워크플로우 엔진(Workflow Engine)은 안정적인 미션 수행을 보장한다.

또한 Hills Robotics는 다양한 로봇 플랫폼에 대응하기 위해 공통 파운데이션 모델과 플랫폼별 실행 모듈(Embodiment-Specific Execution Module)을 분리하는 전략을 채택한다. 야외 자율주행 로봇(Outdoor Autonomous Robot), 검사 로봇(Inspection Robot), 물류 로봇(Logistics Robot), 이동형 매니퓰레이터(Mobile Manipulator), 향후 개발될 휴머노이드(Humanoid)는 모두 동일한 의미 이해를 공유하지만 실제 행동 생성은 서로 다르다. 따라서 시각 인식, 자연어 이해, 객체 인식, 이상 탐지, 작업 추론은 하나의 공통 백본(Semantic Backbone)을 사용하고, 행동 생성만 플랫폼별 어댑터(Adapter)를 통해 수행한다.

이러한 구조에서는 다중 체화 일반화(Cross-Embodiment Generalization)가 핵심 목표가 된다. 하나의 로봇이 학습한 지식은 가능한 한 다른 로봇도 함께 활용해야 한다. 예를 들어 야외 검사 로봇이 전기 설비의 이상을 학습하면 향후 휴머노이드 정비 로봇도 동일한 의미 지식을 사용할 수 있다. 반대로 미래의 이동형 매니퓰레이터가 습득한 조작 기술은 기존 검사 로봇의 물체 조작 능력 향상에도 활용될 수 있다. 이러한 공통 표현은 중복 개발을 줄이고 지속적인 성능 향상을 가능하게 한다.

데이터 전략(Data Strategy)은 Hills Robotics 로드맵의 또 다른 핵심 요소이다. 언어 모델처럼 인터넷 텍스트만으로 학습할 수 없기 때문에 실제 물리 환경에서의 경험이 필수적이다. 회사는 다섯 가지 데이터 원천을 결합하는 전략을 제안한다. 첫 번째는 실제 산업 현장에서 운영되는 로봇으로부터 수집되는 운영 데이터이다. 두 번째는 전문가가 원격 조작(Teleoperation)하여 수집한 시연 데이터이다. 세 번째는 디지털 트윈(Digital Twin)을 이용한 시뮬레이션 데이터이다. 네 번째는 월드 모델이 생성하는 합성 궤적(Synthetic Trajectory)이다. 다섯 번째는 Open X-Embodiment, RT-X, BridgeData, RoboNet, DROID와 같은 공개 로봇 데이터셋이다. 이러한 데이터를 함께 사용하면 의미 기반 사전학습과 실제 산업 환경 적응을 동시에 수행할 수 있다.

실제 운영 데이터는 가장 가치가 높은 데이터로 간주된다. 실제 현장에서는 센서 노이즈(Sensor Noise), 바퀴 미끄러짐(Wheel Slip), 액추에이터 성능 저하, 날씨 변화, 통신 지연, 사람과의 상호작용, 조명 변화, 설비 노후화 등 시뮬레이션으로 완벽하게 재현하기 어려운 다양한 현상이 발생한다. 이러한 경험은 파운데이션 모델이 현실적인 환경에 적응하도록 만드는 핵심 요소이다.

시뮬레이션은 실제 데이터를 대체하는 것이 아니라 보완하는 역할을 한다. 철도 시설, 물류 센터, 항만, 아파트 단지, 산업 시설 등을 디지털 트윈으로 구축하면 수백만 개의 학습 에피소드(Episode)를 안전하게 생성할 수 있다. 조명, 날씨, 센서 오차, 물체 배치, 보행자 행동, 차량 이동 등을 다양하게 변경하는 도메인 랜덤화(Domain Randomization)를 적용하면 실제 환경에서도 높은 일반화 성능을 얻을 수 있다.

합성 데이터(Synthetic Data)는 이러한 기능을 더욱 확장한다. 월드 모델은 미래 상황을 예측하고, 다양한 가상 시나리오를 생성하며, 실제로는 거의 발생하지 않는 비상 상황이나 설비 고장을 만들어 낼 수 있다. 이를 통해 위험한 환경을 실제로 만들지 않고도 안전하게 학습할 수 있으며, 모델의 강건성(Robustness)을 크게 향상시킬 수 있다.

언어(Language)는 Hills Robotics 전략에서 매우 중요한 역할을 한다. 산업용 로봇은 앞으로 사전에 정의된 스크립트가 아니라 사람이 자연어로 설명한 작업을 수행하게 된다. 따라서 모델은 여러 언어(Multilingual Instruction), 산업 용어(Industrial Terminology), 유지보수 절차(Maintenance Procedure), 물류 작업(Logistics Workflow), 검사 규칙(Inspection Protocol)을 이해해야 한다. 인터넷에서 학습한 일반 언어만으로는 충분하지 않기 때문에 산업 환경에 맞는 언어 적응(Domain Adaptation)이 필요하다.

멀티모달 인식(Multimodal Perception)은 산업용 Physical AI의 핵심이다. RGB 카메라는 의미 정보를 제공하고, 깊이 카메라는 3차원 구조를 추정하며, LiDAR는 안정적인 위치 추정을 담당한다. GNSS는 야외 내비게이션을 지원하고, IMU는 위치 추정을 안정화한다. Radar는 악천후에서도 환경을 인식하며, 방향성 마이크(Direction Microphone)는 이상 소리를 감지한다. 초음파 센서는 낮은 장애물을 탐지하고, 향후에는 촉각 센서와 힘 센서도 함께 사용될 것이다. 파운데이션 모델은 이러한 다양한 센서를 하나의 통합된 환경 표현으로 결합한다.

실험실 환경과 달리 산업 환경에서는 센서 중복성(Sensor Redundancy)이 매우 중요하다. 카메라는 야간이나 강한 햇빛에서 성능이 저하될 수 있고, LiDAR는 폭우나 안개에서 성능이 감소할 수 있으며, GNSS는 건물 사이에서 오차가 커질 수 있다. 따라서 여러 센서를 융합(Sensor Fusion)하여 일부 센서가 실패하더라도 지속적으로 상황을 인식할 수 있어야 한다.

월드 모델(World Model)은 전체 시스템에서 중심적인 역할을 수행한다. 로봇은 현재 장면만 이해하는 것이 아니라 사람의 이동, 차량의 진행 방향, 문과 엘리베이터의 상태 변화, 날씨의 변화 등을 지속적으로 예측한다. 이러한 예측은 보다 안전한 이동, 조기 이상 탐지, 효율적인 에너지 관리, 선제적인 의사결정을 가능하게 한다.

미션 계획(Mission Planning)은 월드 모델과 결합될 때 더욱 강력해진다. 여러 개의 후보 계획을 내부 시뮬레이션에서 미리 평가하고, 이동 시간, 배터리 사용량, 교통 혼잡, 날씨, 설비 상태 등을 고려하여 최적의 계획을 선택할 수 있다. 이러한 예측 기반 계획은 작업 효율을 높이고 위험을 줄여 준다.

내비게이션(Navigation)은 여전히 결정론적 알고리즘을 중심으로 유지된다. SLAM, 위치 추정(Localization), 경로 계획(Path Planning), 장애물 회피(Obstacle Avoidance), 모션 제어(Motion Control)는 이미 매우 성숙한 기술이다. 따라서 Hills Robotics는 기존 내비게이션 시스템을 파운데이션 모델이 대체하는 것이 아니라 의미 기반 추론으로 보완하는 구조를 채택한다.

검사(Inspection)는 Hills Robotics의 핵심 응용 분야이다. 검사 로봇은 단순히 물체를 인식하는 것이 아니라 검사 순서를 계획하고, 설비 종류를 이해하며, 과거 데이터와 비교하여 이상을 탐지하고, 심각도를 평가하며, 보고서를 생성하고, 유지보수 우선순위를 추천해야 한다. 파운데이션 모델은 의미 기반 이해를 담당하고, 전문 검사 AI는 결함 탐지와 같은 도메인 특화 기능을 수행한다.

향후 이동형 매니퓰레이션(Mobile Manipulation)도 중요한 발전 방향이다. 현재 플랫폼은 검사와 물류에 집중하고 있지만, 미래에는 문을 열고, 공구를 사용하며, 충전 커넥터를 연결하고, 장비를 조작하는 기능까지 확장될 것이다. 기존 미션 시스템은 그대로 유지한 채 조작 정책만 추가함으로써 보다 범용적인 서비스 로봇으로 발전할 수 있다.

플릿 지능(Fleet Intelligence)은 Hills Robotics 전략을 차별화하는 중요한 요소이다. 실제 산업 환경에서는 수십 대에서 수백 대의 로봇이 동시에 운영된다. 따라서 개별 로봇의 지능뿐 아니라 전체 플릿의 최적화가 필요하다. 작업 할당(Task Allocation), 교통 제어(Traffic Control), 충전 계획, 유지보수 일정, 통신, 자원 활용을 모두 통합적으로 관리하는 플릿 관리 시스템(Fleet Management System)이 필요하며, 파운데이션 모델은 그 아래에서 개별 로봇의 지능을 담당한다.

플릿 학습(Fleet Learning)은 이를 더욱 발전시킨다. 한 로봇이 경험한 성공 사례, 실패 사례, 복구 전략, 이상 사례, 환경 변화, 운영자의 수정 내용은 중앙 서버에서 통합 관리된다. 이를 바탕으로 새로운 파운데이션 모델을 생성한 후 단계적으로 모든 로봇에 배포한다. 이러한 지속적인 학습 구조는 동일한 문제를 여러 로봇이 반복해서 학습하는 비효율을 제거한다.

모델 적응(Model Adaptation)은 계층적인 구조를 따른다. 먼저 공개 Robot Foundation Model을 이용하여 기본적인 의미 이해를 확보하고, 이후 산업 데이터를 이용하여 도메인 적응(Domain Adaptation)을 수행한다. 고객 현장에서는 해당 시설의 환경과 작업 절차에 맞는 추가 미세조정(Fine-Tuning)을 수행하며, 운영 중에는 제한적인 온라인 적응(Online Adaptation)을 통해 지속적으로 성능을 향상시킨다.

안전성(Safety)은 전체 시스템에서 가장 높은 우선순위를 가진다. 파운데이션 모델은 상위 수준의 의도(Intent)만 생성하며, 실제 액추에이터는 결정론적 안전 계층이 항상 검증한다. 충돌 회피(Collision Avoidance), 속도 제한, 가속도 제한, 안전 거리, 작업 영역, 배터리 상태, 액추에이터 상태, 통신 상태는 항상 독립적인 안전 시스템이 감시하며, 위험이 감지되면 파운데이션 모델보다 안전 시스템이 우선권을 가진다.

설명 가능성(Explainability)도 산업 현장에서는 매우 중요하다. 운영자는 로봇이 특정 경로를 선택한 이유, 이상을 탐지한 이유, 미션을 중단한 이유를 이해할 수 있어야 한다. 따라서 추론 과정(Reasoning Trace), 신뢰도(Confidence), 이상 설명(Anomaly Explanation), 시각적 근거(Evidence Visualization)를 함께 제공하는 구조를 제안한다.

사이버 보안(Cybersecurity)도 핵심 설계 요소이다. 파운데이션 모델은 클라우드, 엣지 서버, 로봇, 운영 시스템과 연결되므로 암호화된 통신, 모델 배포 보안, 접근 제어, 감사 로그(Audit Log), 이상 탐지, 안전한 롤백(Rollback)이 반드시 필요하다.

계산 효율성(Computational Efficiency)은 실제 제품에서 매우 중요한 요소이다. 일부 로봇은 고성능 GPU를 탑재하지만, 일부는 전력과 발열 제약이 크다. 따라서 소형 모델은 온보드(Onboard)에서 실행하고, 대형 모델은 클라우드나 엣지 서버에서 수행하는 하이브리드(Hybrid) 구조를 지원한다.

양자화(Quantization), TensorRT 최적화, 지식 증류(Knowledge Distillation), 파라미터 효율적 미세조정(Parameter-Efficient Fine-Tuning), 검색 기반 증강(Retrieval Augmentation) 등은 계산 비용을 줄이면서도 성능을 유지하기 위한 중요한 기술이다.

평가 방법(Evaluation Methodology)도 연구용 벤치마크와 다르다. 실험실에서의 성공률뿐 아니라 장시간 자율 운용(Long-Term Operation), 악천후 운용, 검사 정확도, 플릿 효율, 복구 성능, 사람의 개입 횟수, 가동률(Availability), 에너지 효율, 통신 안정성, 유지보수 비용 절감 등을 함께 평가해야 한다.

다중 체화 벤치마크(Cross-Embodiment Benchmark) 역시 내부 개발의 중요한 목표이다. 새로운 로봇 플랫폼이 기존 플랫폼의 의미 지식을 얼마나 쉽게 재사용하는지, 얼마나 적은 데이터로 적응하는지를 지속적으로 평가해야 한다.

장기적인 로드맵은 단계적인 발전을 목표로 한다. 초기에는 검사와 물류를 중심으로 시작하고, 이후 이동형 조작, 사람과의 협업, 반자율 유지보수, 휴머노이드 서비스 로봇으로 점진적으로 발전한다. 모든 단계에서 축적되는 경험은 하나의 공통 파운데이션 모델을 지속적으로 성장시키는 자산이 된다.

디지털 트윈(Digital Twin)과의 통합도 중요한 요소이다. 각 시설은 설비 구조, 의미 정보(Semantic Annotation), 검사 기록, 작업 일정, 환경 정보를 포함하는 가상 공간을 가지며, 파운데이션 모델은 이를 이용하여 계획, 시뮬레이션, 이상 진단, 예지 보전(Predictive Maintenance)을 수행한다. 디지털 트윈은 로봇의 장기 기억(Long-Term Memory) 역할도 수행한다.

이러한 구조는 향후 월드 파운데이션 모델(World Foundation Model)과도 자연스럽게 연결된다. 로봇은 실제 행동을 수행하기 전에 여러 가지 미래 시나리오를 내부적으로 시뮬레이션하고, 다양한 미션 계획과 에너지 소비, 플릿 운영, 비상 대응을 미리 평가할 수 있다. 파운데이션 모델은 의미 추론을 담당하고, 월드 모델은 미래 결과를 예측하는 역할을 수행한다.

클라우드-엣지 협업(Cloud-Edge Collaboration)도 핵심 전략이다. 대규모 학습, 플릿 분석, 장기 기억, 글로벌 최적화는 클라우드에서 수행하고, 실시간 인식, 장애물 회피, 모션 제어, 안전 제어는 온보드 컴퓨터에서 수행한다. 공장 내부의 엣지 서버는 이 둘을 연결하는 중간 계층 역할을 한다.

사람의 감독(Human Supervision)은 전체 운영 과정에서 계속 유지된다. 운영자는 미션을 정의하고, 중요한 작업을 승인하며, 이상 보고를 검토하고, 새로운 모델을 승인하며, 예외 상황에서는 직접 개입한다. 파운데이션 모델은 사람을 대체하는 것이 아니라 반복적인 인식과 추론을 자동화하여 운영자의 생산성을 높이는 역할을 수행한다.

오픈소스(Open Source)도 전략적으로 적극 활용한다. 공개 Robot Foundation Model, 공개 데이터셋, 시뮬레이션 플랫폼, 오픈소스 프레임워크를 최대한 활용하고, 그 위에 산업 특화 기능을 추가하는 방식으로 개발을 진행한다. 이는 개발 속도를 높이고 연구 커뮤니티와의 호환성을 유지하는 데 큰 장점이 있다.

따라서 Hills Robotics의 핵심 지식재산(IP)은 기본적인 인식 알고리즘보다 산업 지식(Industrial Knowledge)에 있다. 미션 오케스트레이션(Mission Orchestration), 산업 워크플로우(Industrial Workflow), 검사 지능(Inspection Intelligence), 예지 보전(Predictive Maintenance), 플릿 최적화(Fleet Optimization), 고객 맞춤 적응(Customer-Specific Adaptation), 장기간 운영 경험(Long-Term Operational Experience)이 가장 중요한 경쟁력이 된다.

결국 Hills Robotics Foundation Model Strategy는 하나의 거대한 신경망을 구축하는 것이 아니라 산업용 Physical AI 생태계(Industrial Physical AI Ecosystem)를 구축하는 것을 목표로 한다. 파운데이션 모델은 의미 기반 추론과 적응적 의사결정을 제공하고, 월드 모델은 미래 예측과 계획을 담당하며, 플릿 지능은 다수의 로봇을 협력시키고, 디지털 트윈은 장기 기억을 유지하며, 결정론적 제어 시스템은 안전성과 신뢰성을 보장한다. 이러한 요소들이 하나의 통합 플랫폼으로 동작하는 것이 핵심 전략이다.

향후 Robot Foundation Model이 더욱 발전함에 따라 Hills Robotics의 목표는 단순히 더 큰 모델을 만드는 것이 아니다. 실제 산업 현장에서 지속적으로 학습하는 산업용 지능 플랫폼(Industrial Intelligence Platform)을 구축하는 것이다. 모든 검사 작업, 물류 작업, 이상 사례, 유지보수 활동, 내비게이션 경험, 사람과의 상호작용은 새로운 지식으로 축적된다. 이러한 물리적 경험(Physical Experience)이 지속적으로 증가함에 따라 개별 자율주행 로봇은 점차 하나의 통합된 Physical AI 생태계로 발전하게 되며, 다양한 로봇 플랫폼과 산업 분야를 지원하면서도 실제 산업 현장에서 요구되는 안전성(Safety), 신뢰성(Reliability), 설명 가능성(Explainability)을 동시에 만족하는 차세대 산업용 자율 로봇 플랫폼으로 성장하게 될 것이다.


저자: Richard Minsoo Go

LinkedIn: Richard Minsoo Go

Top comments (0)