DEV Community

Richard Minsoo Go
Richard Minsoo Go

Posted on

Data Engines and Scaling for Physical AI — Ch.00: Introduction [KR]

STATERA Library · Series 09 · Volume 04 · Chapter 00 · KR
Source: https://github.com/Statera-Library/09_Vol_04_Data_Engines_and_Scaling_for_Physical_AI/blob/main/Chapter_00_Introduction/Chapter_00_Introduction_KR.md

Volume 04. Data Engines and Scaling for Physical AI

Chapter 00. Introduction

00.01. Why Data is Central to Physical AI

피지컬 인공지능(Physical AI)은 의사결정이 물리적 세계(Physical World)에 직접적인 영향을 미친다는 점에서 기존 인공지능(Artificial Intelligence)과 근본적으로 다르다. 로봇은 주변 환경을 인식하고, 변화하는 조건을 해석하며, 적절한 행동을 선택하고, 실제 환경의 제약조건(Real-World Constraints) 아래에서 동작을 수행해야 한다. 데이터(Data)는 이러한 능력을 연결하는 핵심 기반으로, 지능형 시스템(Intelligent Systems)이 물리적 환경의 작동 원리와 행동이 가져오는 결과를 학습하도록 지원한다.

전통적인 디지털 인공지능(Digital AI)은 대규모 텍스트(Text), 이미지(Image), 구조화된 데이터(Structured Data)를 활용하여 예측과 추론을 수행한다. 반면 피지컬 인공지능은 움직임(Motion), 기하학적 구조(Geometry), 힘(Force), 접촉(Contact), 시간적 관계(Timing), 환경과의 상호작용(Environmental Interaction)을 설명하는 추가 정보가 필요하다. 로봇은 시각적 인식만으로 조작이나 주행을 안정적으로 학습할 수 없으며, 물체가 움직임에 어떻게 반응하고 물리적 제약이 작업 수행에 어떤 영향을 미치는지 이해해야 한다.

데이터의 중심적 역할은 인식(Perception)과 행동(Action)의 관계를 살펴보면 명확해진다. 카메라(Camera), 라이다(LiDAR), 깊이 센서(Depth Sensor), 관성측정장치(Inertial Measurement Unit, IMU), 힘 센서(Force Sensor), 관절 엔코더(Joint Encoder)는 환경과 로봇 상태의 다양한 측면을 지속적으로 관측한다. 이러한 관측 데이터(Observation Data)가 행동 및 결과와 연결되면 의미 있는 학습 정보가 형성되며, 학습 시스템은 효과적인 행동과 실패하거나 위험할 수 있는 동작을 구분할 수 있다.

피지컬 인공지능 데이터는 개별 관측이 아니라 연속적인 상호작용을 통해 지능형 행동이 형성되므로 본질적으로 시간적 특성(Temporal Characteristics)을 가진다. 단일 이미지는 물체의 위치를 보여줄 수 있지만, 물체를 밀거나 잡았을 때 어떻게 움직이는지는 충분히 설명하지 못한다. 시간적으로 정렬된 관측(Observation), 제어 명령(Control Command), 상태 전이(State Transition)는 물리적 동역학(Physical Dynamics)에 관한 정보를 제공하며, 모델이 미래 상태를 예측하고 장기적인 목표를 달성하기 위한 행동을 선택하도록 한다.

자율이동로봇(Autonomous Mobile Robot, AMR)은 데이터가 필수적인 이유를 잘 보여준다. 성공적인 자율주행(Autonomous Navigation)을 위해서는 벽, 사람, 장애물을 식별하는 것 이상의 능력이 필요하다. 로봇은 서로 다른 바닥 표면이 접지력(Traction)에 미치는 영향, 보행자가 공유 공간에서 이동하는 방식, 위치 추정 불확실성(Localization Uncertainty)이 안전한 이동에 미치는 영향을 학습해야 한다. 창고, 병원, 공장, 실외 환경에서 수집된 운영 데이터(Operational Data)는 수작업으로 작성된 규칙만으로 표현하기 어려운 다양한 조건에 주행 정책(Navigation Policy)이 적응하도록 지원한다.

로봇 조작(Robotic Manipulation)은 상호작용 데이터(Interaction Data)에 더욱 크게 의존한다. 익숙하지 않은 물체를 파지(Grasping)하려면 형상(Geometry), 방향(Orientation), 마찰(Friction), 순응성(Compliance), 접촉 안정성(Contact Stability)에 관한 지식이 필요하다. 시각 정보는 가능한 파지 위치를 제안할 수 있지만, 성공적인 조작은 촉각 피드백(Tactile Feedback)과 가해진 힘 및 물체 움직임 사이의 관계에도 의존한다. 반복적인 시연(Demonstration)과 상호작용 에피소드(Interaction Episode)는 파지 선택, 동작 계획(Motion Planning), 복구 행동(Recovery Behavior)을 개선하는 데 필요한 경험을 제공한다.

물리적 환경의 다양성(Environmental Diversity)은 데이터 기반 학습(Data-Driven Learning)에 근본적인 도전 과제를 제시한다. 물체는 크기, 재질, 무게, 외형이 서로 다르며 조명, 온도, 표면 상태, 인간의 행동도 예측하기 어렵게 변화한다. 제한된 운영 조건에서만 학습된 모델은 평가 과정에서는 우수한 성능을 보이더라도 다른 환경에 배치되면 실패할 수 있다. 따라서 광범위한 환경 포괄성(Environmental Coverage)은 익숙한 학습 조건을 넘어 안정적으로 작동하는 강건한 정책(Robust Policy)을 개발하는 데 필수적이다.

데이터 다양성(Data Diversity)은 로봇의 형태(Morphology)와 체화 구조(Embodiment)까지 확장되어야 한다. 바퀴형 이동로봇(Wheeled Mobile Robot), 로봇 매니퓰레이터(Robotic Manipulator), 휴머노이드(Humanoid), 사족보행로봇(Quadruped), 비행로봇(Aerial Robot)은 서로 다른 기계적 구조와 행동 공간(Action Space)을 통해 환경과 상호작용한다. 관측 데이터는 공통된 의미 정보를 포함할 수 있지만 제어 요구사항은 상당히 다르다. 서로 다른 체화 구조 간 학습(Cross-Embodiment Learning)을 위해서는 센싱, 이동, 구동 방식의 차이를 수용하면서 유용한 물리적 관계를 보존하는 표현 방식이 필요하다.

인간 시연(Human Demonstration)은 사람이 인식, 협응, 적응이 필요한 복잡한 작업을 일상적으로 수행한다는 점에서 중요한 물리적 지식의 원천이다. 원격조작 시스템(Teleoperation System)은 로봇 센서와 구동기를 통해 전문가의 행동을 직접 기록하여 모방학습(Imitation Learning)에 적합한 시연 데이터를 생성할 수 있다. 인간 영상(Human Video)은 작업 이해(Task Understanding)를 위한 보완적인 데이터 원천이지만, 인간과 로봇의 신체 구조가 다르므로 관측된 행동을 실행 가능한 로봇 행동으로 변환하려면 추가적인 해석 과정이 필요하다.

시뮬레이션 생성 데이터(Simulation-Generated Data)는 모든 상호작용을 실제 하드웨어에서 수행하지 않고도 학습에 활용할 수 있는 경험의 범위를 확장한다. 가상 환경(Virtual Environment)은 물체 특성, 조명, 지형, 로봇 동역학(Robot Dynamics), 작업 구성(Task Configuration)을 통제된 방식으로 다양하게 생성할 수 있다. 또한 드물거나 위험한 상황을 학습 시스템에 제공할 수 있다. 그러나 시뮬레이션과 현실의 물리적 특성에는 차이가 있으므로 검증(Validation)과 합성 데이터(Synthetic Data) 및 실제 데이터(Real Data)의 신중한 조합이 필요하다.

수집된 데이터의 양(Data Quantity)만으로 학습 성능이 결정되지는 않는다. 거의 동일한 성공 작업을 반복 기록한 데이터는 다양한 실패, 복구, 낯선 조건을 포함하는 소규모 데이터보다 유용한 정보가 적을 수 있다. 데이터 품질(Data Quality), 완전성(Completeness), 동기화(Synchronization), 대표성(Representativeness)은 모델이 획득할 수 있는 지식에 큰 영향을 미친다. 따라서 효과적인 데이터 엔지니어링(Data Engineering)은 단순히 저장 용량을 최대화하기보다 각 에피소드(Episode)에 포함된 정보의 가치를 중요하게 평가한다.

실패 데이터(Failure Data)는 성공적인 시연에서 드러나지 않는 한계를 보여주기 때문에 특히 가치가 높다. 주행 실패는 간과된 장애물 배치를 드러낼 수 있으며, 물체를 떨어뜨리는 현상은 파지 안정성(Grasp Stability)이나 힘 제어(Force Control)의 약점을 보여줄 수 있다. 이러한 사건에 앞서 발생한 관측, 행동, 환경 조건을 기록하면 엔지니어는 부족한 기능을 식별할 수 있다. 이후 교정 시연(Corrective Demonstration)과 복구 궤적(Recovery Trajectory)을 활용하여 향후 행동을 개선하기 위한 목표 지향적 학습 데이터를 구성할 수 있다.

데이터와 모델 능력(Model Capability)의 관계는 반드시 선형적(Linear)이지 않다. 학습 데이터의 양을 늘리면 초기에는 성능이 향상될 수 있지만, 이미 익숙한 조건을 반복하는 추가 사례는 수익 체감(Diminishing Returns)을 초래할 수 있다. 따라서 피지컬 인공지능의 스케일링(Scaling)은 작업 다양성(Task Diversity), 환경 포괄성, 체화 구조의 변화, 모델 용량(Model Capacity), 컴퓨팅 자원(Computational Resources)을 함께 고려해야 한다. 이러한 관계를 이해하는 것은 데이터 수집 자원을 효율적으로 배분하고 점차 범용적인 시스템을 개발하는 데 필수적이다.

데이터는 정적인 학습 자원(Static Training Resource)으로 유지되기보다 지속적인 개선 과정(Continuous Improvement Process)으로 구성될 때 더욱 높은 가치를 가진다. 데이터 엔진(Data Engine)은 수집(Collection), 수집 데이터 유입(Ingestion), 처리(Processing), 라벨링(Labeling), 정제(Curation), 학습(Training), 평가(Evaluation), 배포(Deployment)를 하나의 통합된 작업 흐름으로 연결한다. 새로운 운영 경험은 모델의 약점을 드러내고 후속 데이터 확보와 학습 방향을 결정한다. 이러한 폐쇄 루프 구조(Closed-Loop Architecture)는 일상적인 로봇 운영을 체계적인 능력 향상의 기회로 전환한다.

대규모 로봇 군집 배포(Fleet-Scale Deployment)는 여러 로봇이 서로 다른 위치와 운영 조건에서 관측 데이터를 제공하도록 하여 이러한 과정을 강화한다. 한 로봇에서 발생한 실패는 유사한 능력을 가진 다른 시스템의 학습에도 유용할 수 있다. 다양한 배포 환경에서 경험을 통합하면 개별 로봇에서는 거의 발생하지 않는 희귀 사건(Rare Event)을 발견할 수 있다. 이러한 공유 학습(Shared Learning)을 위해서는 신뢰할 수 있는 메타데이터(Metadata), 일관된 데이터 표현(Data Representation), 데이터 출처 추적(Data Provenance), 정보 가치가 높은 경험을 식별하는 메커니즘이 필요하다.

다중모달 동기화(Multimodal Synchronization)는 물리적 이해가 서로 다른 측정값 사이의 관계에 의존하기 때문에 또 다른 필수 요구사항이다. 카메라 프레임(Camera Frame), 깊이 지도(Depth Map), 관절 위치(Joint Position), 모터 명령(Motor Command), 힘 측정값(Force Measurement), 작업 설명(Task Description)은 동일한 실제 사건에 대응해야 한다. 잘못된 타임스탬프(Timestamp)나 누락된 센서 기록은 이러한 관계를 왜곡하고 잘못된 학습 사례를 생성할 수 있다. 따라서 정밀한 동기화와 검증은 신뢰할 수 있는 피지컬 인공지능 데이터 인프라(Data Infrastructure)의 기본 구성요소이다.

데이터 라벨링(Data Labeling)과 의미적 구성(Semantic Organization)은 수집된 경험이 의미 있는 학습을 지원할 수 있는지를 결정한다. 로봇 데이터셋(Robot Dataset)에는 물체 자세(Object Pose), 접촉 상태(Contact State), 행동 구간(Action Segment), 작업 설명, 성공 지표(Success Indicator), 실패 분류(Failure Classification) 등이 필요할 수 있다. 이러한 주석(Annotation)은 저수준 센서 측정값과 고수준 행동 목표(Behavioral Objective)를 연결한다. 일관된 라벨링 규칙(Labeling Convention)은 실험 비교, 데이터셋 통합, 모델 성능 평가, 서로 다른 로봇 플랫폼 간 경험 재사용을 더욱 용이하게 한다.

로봇 시스템이 복잡해지고 널리 배포될수록 데이터의 경제적 중요성(Economic Importance)도 증가한다. 물리적 데이터 수집(Physical Data Collection)에는 하드웨어, 운영자, 유지보수, 안전 감독, 상당한 운영 시간이 필요하다. 일반적으로 적은 비용으로 복제할 수 있는 디지털 정보와 달리, 물리적 상호작용 데이터는 비용이 높은 실제 실행 과정을 요구할 수 있다. 효율적인 수집 전략(Collection Strategy), 능동학습(Active Learning), 자동 데이터 정제(Automated Curation), 시뮬레이션 기반 데이터 증강(Simulation-Based Augmentation)은 가치 있는 학습 정보를 유지하면서 이러한 비용을 줄이는 데 기여한다.

안전성(Safety)과 신뢰성(Reliability)은 피지컬 인공지능 데이터를 기존의 많은 기계학습 데이터셋과 구별하는 추가 요구사항을 제시한다. 학습 데이터는 위험한 조건, 예상하지 못한 상호작용, 센서 성능 저하(Sensor Degradation), 제어 실패(Control Failure)를 충분히 표현해야 한다. 그러나 실패 사례를 학습하는 것만으로 안전한 운영이 보장되지는 않는다. 신뢰할 수 있는 배포를 위해서는 독립적인 안전 메커니즘(Safety Mechanism), 실행 중 감시(Runtime Monitoring), 제약 기반 제어(Constrained Control), 학습된 정책의 한계를 검증하는 체계적인 시험이 함께 필요하다.

로봇이 사람, 산업시설, 민감한 기반시설 주변에서 운영될수록 데이터 거버넌스(Data Governance)의 중요성이 커진다. 카메라와 기타 센서는 개인정보(Personal Information), 기밀 제조 공정(Confidential Manufacturing Process), 특정 위치의 운영 정보를 수집할 수 있다. 책임 있는 데이터 관리(Responsible Data Management)를 위해서는 명확한 소유권(Ownership), 적절한 권한(Permission), 안전한 저장(Secure Storage), 접근 통제(Access Control), 문서화된 보존 정책(Retention Policy)이 필요하다. 이러한 관행은 규제 준수(Regulatory Compliance)를 지원하면서 지속적인 실제 데이터 수집에 필요한 신뢰를 유지하도록 한다.

로봇 파운데이션 모델(Robot Foundation Model)과 시각-언어-행동 아키텍처(Vision-Language-Action Architecture, VLA)의 등장은 데이터의 전략적 중요성을 더욱 높이고 있다. 이러한 모델은 다양한 학습 경험으로부터 물체, 환경, 작업, 행동에 대한 재사용 가능한 표현(Reusable Representation)을 획득하는 것을 목표로 한다. 모델의 효과는 의미적 지식(Semantic Knowledge)과 물리적 상호작용에 기반한 정보(Physically Grounded Interaction Information)를 결합하는 능력에 달려 있다. 대규모 학습은 폭넓은 전이(Transfer)를 지원할 수 있지만, 신뢰할 수 있는 행동 생성을 위해서는 관련 물리적 조건과 로봇 능력에 대한 충분한 데이터 포괄성이 여전히 필요하다.

궁극적으로 데이터가 피지컬 인공지능의 중심에 있는 이유는 물리적 세계에서의 지능이 관측 가능한 상호작용과 그 결과에 기반해야 하기 때문이다. 모델(Model), 알고리즘(Algorithm), 센서(Sensor), 구동기(Actuator)는 지능형 행동을 구현하는 수단을 제공하지만, 데이터는 축적된 경험을 통해 이러한 구성요소를 연결한다. 따라서 고도화된 피지컬 인공지능 시스템의 장기적인 발전은 단순히 더 많은 정보를 수집하는 것이 아니라, 물리적 경험을 신뢰할 수 있고 적응 가능하며 점차 범용적인 지능으로 지속적으로 전환하는 확장 가능한 데이터 엔진(Scalable Data Engine)을 구축하는 데 달려 있다.

00.02. From Datasets to Data Engines

데이터셋(Dataset)에서 데이터 엔진(Data Engine)으로의 발전은 피지컬 인공지능(Physical AI) 시스템이 지능을 획득하고, 데이터를 구성하며, 학습 능력을 개선하는 방식에서 근본적인 전환을 의미한다. 전통적인 기계학습(Machine Learning)은 일반적으로 학습을 시작하기 전에 수집된 정적 데이터셋(Static Dataset)에 의존한다. 반면 피지컬 인공지능은 로봇이 변화하는 환경, 익숙하지 않은 물체, 예상하지 못한 상호작용을 지속적으로 경험하므로 더욱 동적인 접근 방식이 필요하다. 데이터 엔진은 데이터를 고정된 자원으로 취급하지 않고 이러한 경험을 지속적인 학습 과정(Continuous Learning Process)으로 전환한다.

데이터셋은 일반적으로 특정 학습 목표(Learning Objective)를 위해 준비된 관측(Observation), 라벨(Label), 시연(Demonstration), 궤적(Trajectory)의 구조화된 집합이다. 일단 구축되면 여러 학습 실험(Training Experiment)에서 변경 없이 사용될 수 있다. 이러한 접근 방식은 통제된 벤치마크(Benchmark)에서는 효과적이지만, 로봇이 다양한 물리적 환경에서 작동할 때는 제약이 발생한다. 새로운 배포 환경(Deployment Environment)은 기존 데이터셋의 부족한 부분을 드러낼 수 있으며, 추가적인 경험을 체계적으로 수집하고 통합하는 메커니즘이 필요하다.

데이터 파이프라인(Data Pipeline)은 데이터 유입(Ingestion), 전처리(Preprocessing), 라벨링(Labeling), 검증(Validation), 저장(Storage)과 같은 작업을 자동화하여 데이터셋 개념을 확장한다. 그러나 파이프라인 자체가 반드시 어떤 새로운 데이터를 수집해야 하는지 또는 배포된 모델의 실패가 향후 학습에 어떻게 반영되어야 하는지를 결정하지는 않는다. 데이터 엔진은 운영 성능(Operational Performance), 데이터 선택(Data Selection), 모델 개발(Model Development), 배포(Deployment)를 지속적으로 개선되는 시스템으로 연결함으로써 피드백 기반 지능(Feedback-Driven Intelligence)을 도입한다.

피지컬 인공지능 데이터 엔진의 핵심 특징은 폐쇄 루프 아키텍처(Closed-Loop Architecture)이다. 로봇은 운영 중 관측 데이터와 행동 궤적(Action Trajectory)을 생성하며, 모니터링 시스템(Monitoring System)은 성공적인 행동, 실패, 비정상적인 조건을 식별한다. 관련 경험은 데이터 처리 및 학습 인프라(Training Infrastructure)로 전달되어 새로운 학습 사례로 변환된다. 업데이트된 모델은 평가와 배포를 거치며, 이후 추가적인 운영 데이터를 생성하여 다음 개선 주기(Improvement Cycle)를 시작한다.

이러한 전환은 데이터 수집(Data Collection)의 역할을 수동적인 기록(Passive Recording)에서 목적 지향적 획득(Purposeful Acquisition)으로 변화시킨다. 모든 센서 스트림(Sensor Stream)을 무차별적으로 저장하는 대신, 데이터 엔진은 특정 모델의 약점을 해결하는 경험을 우선적으로 선택한다. 대표적인 사례로는 익숙하지 않은 장애물, 불안정한 파지(Unstable Grasp), 위치 추정 실패(Localization Failure), 예상하지 못한 인간 행동, 복구 상황(Recovery Situation)이 있다. 목표 지향적 데이터 수집(Targeted Data Collection)은 불필요한 저장 및 처리 비용을 줄이면서 학습 데이터의 정보 가치를 높인다.

데이터 엔진은 로봇 상호작용 에피소드(Robot Interaction Episode)의 전체 생명주기(Lifecycle)를 지원해야 한다. 각 에피소드에는 동기화된 카메라 영상(Camera Image), 깊이 측정값(Depth Measurement), 관절 상태(Joint State), 제어 명령(Control Command), 작업 지시(Task Instruction), 환경 조건(Environmental Condition), 결과 지표(Outcome Indicator)가 포함될 수 있다. 물리적 행동은 개별 측정값만으로 이해할 수 없으므로 이러한 요소 사이의 관계를 보존하는 것이 필수적이다. 에피소드 기반 구성(Episode-Based Organization)은 엔지니어가 사건을 재구성하고 개별 행동의 결과를 평가하도록 지원한다.

데이터 유입 계층(Ingestion Layer)은 물리적 로봇과 중앙 집중형 학습 인프라(Centralized Learning Infrastructure)를 연결한다. 데이터는 로봇 내부 저장장치(Onboard Storage), 원격조작 스테이션(Teleoperation Station), 시뮬레이션 환경(Simulation Environment), 인간 시연(Human Demonstration), 분산 로봇 군집(Distributed Robot Fleet)에서 생성될 수 있다. 신뢰할 수 있는 데이터 유입을 위해서는 타임스탬프 보존(Timestamp Preservation), 형식 검증(Format Validation), 무결성 검사(Integrity Check), 메타데이터 등록(Metadata Registration)이 필요하다. 이러한 메커니즘은 서로 다른 운영 조건에서 수집된 경험이 중요한 맥락 정보를 잃지 않고 일관되게 처리되도록 보장한다.

데이터 처리(Processing)와 정제(Curation)는 원시 운영 기록(Raw Operational Recording)을 신뢰할 수 있는 학습 자원으로 변환한다. 센서 동기화(Sensor Synchronization), 보정 검증(Calibration Verification), 잡음 제거(Noise Filtering), 중복 탐지(Duplicate Detection), 궤적 분할(Trajectory Segmentation)은 수집된 데이터의 활용성을 높인다. 자동 품질 평가(Automated Quality Assessment)는 손상된 기록, 불완전한 에피소드, 일관성이 없는 라벨을 식별할 수 있다. 정보 가치가 높은 예외 사례를 보존하면서 가치가 낮은 정보를 제거함으로써 데이터 엔진은 후속 모델 학습의 효율성을 향상시킨다.

라벨링(Labeling)은 기록된 물리적 경험을 의미 있는 학습 목표(Learning Objective)와 연결한다. 로봇 데이터에는 물체 위치(Object Position), 접촉 사건(Contact Event), 작업 단계(Task Phase), 행동 의도(Action Intention), 성공 조건(Success Condition), 실패 원인(Failure Cause)을 설명하는 주석(Annotation)이 필요할 수 있다. 수동 라벨링(Manual Labeling)은 상세한 해석을 제공하며, 자동화 및 인공지능 지원 방식(AI-Assisted Method)은 처리량(Throughput)을 향상시킨다. 확장 가능한 데이터 엔진(Scalable Data Engine)은 작업 복잡도, 주석 신뢰성, 각 학습 사례의 경제적 가치를 고려하여 이러한 방식을 결합한다.

모델 평가(Model Evaluation)는 데이터 엔진의 발전 방향을 결정하는 데 핵심적인 역할을 한다. 성능 측정(Performance Measurement)은 전체 성공률(Aggregate Success Rate)을 넘어 강건성(Robustness), 복구 능력(Recovery Capability), 작업 완료 시간(Task Completion Time), 안전 위반(Safety Violation), 익숙하지 않은 조건에서의 행동까지 포함해야 한다. 평가 결과는 어떤 환경이나 상호작용 유형이 충분히 표현되지 않았는지를 보여준다. 이러한 약점은 목표 지향적 데이터 수집 요청(Targeted Data Collection Request)으로 변환되어 모델 오류(Model Error)와 향후 학습 경험 사이의 직접적인 연결을 형성한다.

능동학습(Active Learning)은 모델 성능을 개선할 가능성이 높은 관측 데이터를 식별하여 이러한 연결을 더욱 강화한다. 불확실성 추정(Uncertainty Estimation), 예측 오류(Prediction Error), 모델 간 불일치(Model Disagreement)는 후보 에피소드의 우선순위를 결정하는 데 활용될 수 있다. 주행 모델(Navigation Model)은 반사 표면(Reflective Surface)에 대한 추가 사례를 요구할 수 있으며, 조작 정책(Manipulation Policy)은 변형 가능한 물체(Deformable Object)를 다루는 시연을 통해 성능을 개선할 수 있다. 이러한 전략은 추가 정보의 가치가 가장 높은 상황에 데이터 수집 자원을 집중하도록 한다.

시뮬레이션(Simulation)은 별도의 실험 도구가 아니라 데이터 엔진의 통합 구성요소로 발전한다. 실제 환경에서 발생한 실패가 누락된 시나리오(Missing Scenario)를 드러내면, 가상 환경(Virtual Environment)은 관련 조건을 재현하고 통제된 변형 사례를 생성할 수 있다. 도메인 무작위화(Domain Randomization)는 조명, 기하학적 구조(Geometry), 마찰(Friction), 동역학(Dynamics)의 변화를 도입하여 학습 범위를 확장한다. 그러나 부정확한 물리 모델(Inaccurate Physics Model)이나 비현실적인 관측은 체계적인 학습 오류(Systematic Learning Error)를 유발할 수 있으므로 시뮬레이션 경험은 실제 환경의 행동과 비교하여 평가해야 한다.

원격조작(Teleoperation)은 로봇의 능력 부족(Capability Gap)을 해결하기 위한 또 다른 메커니즘을 제공한다. 자율로봇(Autonomous Robot)이 현재 능력으로 해결하기 어려운 상황에 직면하면 인간 운영자(Human Operator)가 개입하여 적절한 행동을 시연할 수 있다. 이러한 개입(Intervention)을 기록하면 어려운 작업, 교정 행동(Corrective Action), 복구 전략(Recovery Strategy)에 관한 학습 사례가 생성된다. 데이터 엔진은 반복적으로 발생하는 개입 유형을 식별하고 학습 우선순위를 부여하여, 신뢰할 수 있는 자율성(Autonomy)을 확보할 수 있는 영역에서 인간 지원에 대한 의존도를 점진적으로 줄일 수 있다.

대규모 로봇 군집(Fleet Scale)에서 데이터 엔진은 서로 다른 현장에서 운영되는 다수 로봇의 경험을 활용할 수 있다. 분산 배포(Distributed Deployment)는 공간 배치(Layout), 장비(Equipment), 조명(Lighting), 인간 활동(Human Activity), 운영 절차(Operational Procedure)의 다양한 변화를 모델에 제공한다. 통합된 데이터(Aggregated Data)는 개별 배포 환경에서는 발견하기 어려운 희귀 실패 유형(Rare Failure Pattern)을 드러낼 수 있다. 따라서 군집 전체 학습(Fleet-Wide Learning)은 로봇 구성과 데이터 분포(Data Distribution)의 차이를 적절히 관리한다는 전제 아래 공유된 성능 개선(Shared Improvement)의 기회를 제공한다.

효율적인 로봇 군집 데이터 엔진(Fleet Data Engine)은 기록된 모든 센서 스트림을 중앙 저장소(Centralized Storage)로 전송하는 방식에 의존할 수 없다. 통신 대역폭(Communication Bandwidth), 에너지 소비(Energy Consumption), 저장 용량(Storage Capacity), 개인정보 보호 제한(Privacy Restriction)은 실질적인 제약조건을 형성한다. 엣지 필터링(Edge Filtering), 압축(Compression), 이벤트 기반 기록(Event-Triggered Recording), 우선순위 기반 업로드(Prioritized Upload)는 전송 전에 가치 있는 정보를 선택하도록 지원한다. 이러한 메커니즘을 통해 대규모 로봇 군집은 데이터 인프라 비용이 통제할 수 없을 정도로 증가하지 않으면서 유용한 경험을 제공할 수 있다.

지속적인 학습(Continuous Learning)으로 데이터셋과 모델이 빈번하게 업데이트되면서 데이터 계보(Data Lineage)와 버전 관리(Version Control)가 필수적인 요소가 된다. 엔지니어는 특정 기록을 생성한 로봇, 데이터를 수정한 처리 작업, 해당 데이터를 사용한 학습 실행(Training Run)을 확인할 수 있어야 한다. 추적 가능성(Traceability)은 재현성(Reproducibility), 오류 조사(Error Investigation), 모델 버전 간 성능 비교(Performance Comparison)를 지원한다. 또한 예상하지 못한 행동이 데이터 변경, 라벨링 불일치, 학습 알고리즘(Learning Algorithm)의 수정 중 어디에서 발생했는지를 식별할 수 있도록 한다.

성숙한 데이터 엔진(Mature Data Engine)은 데이터 품질(Data Quality), 다양성(Diversity), 포괄성(Coverage)을 조화롭게 관리해야 한다. 일상적인 성공 작업이 대부분을 차지하는 대규모 데이터 집합은 드물지만 운영상 중요한 상황을 충분히 표현하지 못할 수 있다. 따라서 샘플링 전략(Sampling Strategy)은 일반적인 행동과 어려운 사례(Hard Example), 환경 변화(Environmental Variation), 안전에 중요한 사건(Safety-Critical Event) 사이의 균형을 유지해야 한다. 목표는 단순히 데이터셋 크기를 최대화하는 것이 아니라 의도된 배포 조건 전반에서 신뢰할 수 있는 성능을 지원하는 학습 분포(Training Distribution)를 구성하는 것이다.

데이터 엔진으로의 전환은 피지컬 인공지능 개발의 경제성(Economics)도 변화시킨다. 전통적인 데이터셋 제작(Dataset Production)은 모델 학습 전에 상당한 수집 및 주석 비용(Collection and Annotation Cost)을 요구하는 경우가 많다. 지속적인 데이터 엔진은 이러한 활동을 전체 운영 생명주기(Operational Lifecycle)에 분산시키고 반복적인 처리 작업을 자동화한다. 데이터 엔진의 가치는 추가 학습이 작업 성능(Task Performance)을 향상시키고, 인간 개입 요구(Intervention Requirement)를 줄이며, 지능형 로봇 시스템의 배포 및 유지보수 비용(Deployment and Maintenance Cost)을 절감하는지에 따라 결정된다.

데이터 거버넌스(Data Governance)는 초기 단계부터 데이터 엔진 아키텍처(Data Engine Architecture)에 통합되어야 한다. 물리적 로봇은 개인 이미지(Personal Image), 위치 정보(Location Information), 산업 공정 세부정보(Industrial Process Detail), 기타 민감한 기록(Sensitive Record)을 수집할 수 있다. 데이터 소유권(Data Ownership), 동의(Consent), 접근 권한(Access Permission), 보존 정책(Retention Policy), 보안 통제(Security Control)는 수집, 처리, 학습, 공유의 전체 과정에서 지속적으로 적용되어야 한다. 책임 있는 거버넌스(Responsible Governance)는 부적절한 사용을 제한하고 기밀 운영 정보(Confidential Operational Information)를 보호하면서 지속적인 학습을 가능하게 한다.

지속적 배포(Continuous Deployment)는 향상된 학습 지표(Training Metric)가 반드시 더 나은 실제 환경의 행동으로 이어지는 것은 아니므로 추가적인 책임을 수반한다. 후보 모델(Candidate Model)은 광범위한 배포 전에 통제된 평가(Controlled Evaluation), 회귀 테스트(Regression Testing), 안전 검증(Safety Validation)을 거쳐야 한다. 섀도 테스트(Shadow Testing)와 제한적인 카나리 배포(Canary Release)는 잠재적 실패에 대한 노출을 제한하면서 운영 성능에 관한 근거를 제공할 수 있다. 이후 배포된 모델을 모니터링하면 성능 저하(Performance Degradation), 분포 변화(Distribution Shift), 예상하지 못한 행동을 탐지하는 데 필요한 피드백을 확보할 수 있다.

데이터 엔진의 효과는 궁극적으로 피드백 메커니즘(Feedback Mechanism)의 품질에 달려 있다. 운영 실패(Operational Failure)는 이해 가능한 데이터 요구사항(Data Requirement)으로 변환되어야 하며, 수집된 경험은 신뢰할 수 있는 학습 사례로 가공되어야 하고, 모델 업데이트(Model Update)는 측정 가능한 성능 개선(Measurable Improvement)을 입증해야 한다. 이러한 순환 과정의 어느 부분에서든 약점이 발생하면 축적된 데이터가 의미 있는 발전으로 이어지지 못할 수 있다. 따라서 성공적인 시스템은 수집, 학습, 배포를 독립적인 활동으로 취급하기보다 전체 학습 과정(End-to-End Learning Process)을 최적화한다.

데이터셋에서 데이터 엔진으로의 전환은 지속적으로 개선되는 피지컬 인공지능(Continuously Improving Physical AI)의 기반을 확립한다. 정적 데이터셋(Static Dataset)은 초기 학습(Initial Training), 벤치마킹(Benchmarking), 재현 가능한 평가(Reproducible Evaluation)에 여전히 중요하지만, 실제 로봇 운영의 모든 다양성을 독립적으로 해결할 수는 없다. 데이터 엔진은 체계적인 피드백(Systematic Feedback), 목표 지향적 수집(Targeted Collection), 확장 가능한 처리(Scalable Processing), 통제된 배포(Controlled Deployment)를 통해 물리적 경험과 모델 개발을 연결한다. 이러한 전환은 데이터 인프라(Data Infrastructure)를 적응 가능하고 신뢰할 수 있으며 점차 고도화되는 로봇 지능(Robotic Intelligence)의 핵심 성장 동력으로 만든다.

00.03. The Physical AI Data Flywheel

피지컬 인공지능 데이터 플라이휠(Physical AI Data Flywheel)은 로봇 운영에서 데이터가 생성되고, 데이터가 모델을 개선하며, 개선된 모델이 추가적인 운영 경험을 가능하게 하는 지속적인 학습 메커니즘(Continuous Learning Mechanism)을 의미한다. 배포(Deployment) 이후 종료되는 기존 학습 작업 흐름(Training Workflow)과 달리, 데이터 플라이휠은 물리적 상호작용(Physical Interaction)과 지능 개발(Intelligence Development) 사이에 반복적인 관계를 형성한다. 그 효과는 일상적인 로봇 활동을 학습, 평가, 체계적인 개선을 위한 구조화된 기회로 전환하는 능력에 달려 있다.

데이터 플라이휠은 로봇이 실제 환경(Real Environment)과 상호작용하면서 관측(Observation), 행동(Action), 결과(Outcome)를 생성하는 단계에서 시작된다. 카메라(Camera), 라이다(LiDAR), 힘 센서(Force Sensor), 관절 엔코더(Joint Encoder), 제어 시스템(Control System)은 이러한 상호작용의 서로 다른 측면을 기록한다. 각 에피소드(Episode)는 독립적인 측정값이 아니라 연속적인 물리적 사건을 나타낸다. 센서 측정값, 제어 명령(Control Command), 환경 변화(Environmental Change) 사이의 시간적 관계(Temporal Relationship)를 보존하면 학습 시스템이 행동이 이후 상태에 미치는 영향을 이해할 수 있다.

운영 데이터(Operational Data)는 기존 로봇 능력의 한계를 드러낼 때 특히 높은 가치를 가진다. 주행 실패(Navigation Failure), 불안정한 파지(Unstable Grasp), 예상하지 못한 장애물(Unexpected Obstacle), 인간 개입(Human Intervention), 미완료 작업(Incomplete Task)은 학습 데이터셋(Training Dataset)에 충분히 포함되지 않은 상황을 보여준다. 데이터 플라이휠은 이러한 사건을 체계적으로 식별하고 학습 기회(Learning Opportunity)로 전환한다. 이 과정은 대량의 일상적인 데이터를 수집하는 방식에서 모델 행동(Model Behavior)을 실질적으로 개선할 수 있는 경험을 발견하는 방식으로 개발 방향을 변화시킨다.

데이터 수집 단계(Collection Stage)에서는 고해상도 센서 데이터를 지속적으로 기록하면 막대한 데이터가 생성되므로 지능형 기록 전략(Intelligent Recording Strategy)이 필요하다. 이벤트 기반 기록(Event-Triggered Recording), 불확실성 기반 샘플링(Uncertainty-Based Sampling), 선택적 궤적 저장(Selective Trajectory Storage)은 정보 가치가 높은 경험을 우선적으로 확보하도록 한다. 일반적인 성공 작업은 대표성(Representativeness)을 유지하기 위해 표본으로 수집하고, 비정상적인 사건에는 더 높은 우선순위를 부여할 수 있다. 이러한 균형은 효과적인 학습에 필요한 운영 맥락(Operational Context)을 유지하면서 통신 및 저장 비용을 줄인다.

수집 이후 원시 기록(Raw Recording)은 동기화(Synchronization), 검증(Validation), 분할(Segmentation), 메타데이터 구성(Metadata Organization)을 담당하는 데이터 처리 인프라(Processing Infrastructure)로 전달된다. 카메라 프레임(Camera Frame), 깊이 측정값(Depth Measurement), 로봇 상태(Robot State), 행동 명령(Action Command)은 의미 있는 상호작용 에피소드를 재구성할 수 있도록 시간적으로 정렬되어야 한다. 손상된 기록(Corrupted Record), 누락된 타임스탬프(Missing Timestamp), 일관되지 않은 센서 보정(Inconsistent Sensor Calibration)은 학습 품질을 저하시킬 수 있다. 따라서 신뢰할 수 있는 전처리(Preprocessing)는 운영 경험이 신뢰성 있는 학습 자원이 될지, 잘못된 학습 사례가 될지를 결정한다.

데이터 정제(Data Curation)는 처리된 에피소드를 전략적으로 유용한 학습 데이터 집합(Training Collection)으로 변환한다. 중복 탐지(Duplicate Detection), 품질 점수화(Quality Scoring), 다양성 분석(Diversity Analysis), 실패 분류(Failure Classification)는 정보 가치가 높은 경험과 중복된 기록을 구분하도록 지원한다. 희귀 사건(Rare Event)과 어려운 사례(Hard Example)에 더 높은 샘플링 우선순위(Sampling Priority)를 부여할 수 있지만, 일반적인 운영 조건도 충분히 표현되어야 한다. 효과적인 데이터 정제는 일상적인 작업과 로봇이 처리해야 하는 어려운 상황을 모두 반영하는 균형 잡힌 학습 분포(Learning Distribution)를 유지한다.

라벨링(Labeling)과 의미적 해석(Semantic Interpretation)은 물리적 기록을 학습 목표(Learning Objective)와 연결한다. 하나의 에피소드에는 작업 지시(Task Instruction), 물체 자세(Object Pose), 접촉 상태(Contact State), 행동 단계(Action Phase), 성공 조건(Success Condition), 실패 원인(Failure Cause)을 설명하는 주석(Annotation)이 필요할 수 있다. 자동 라벨링 시스템(Automated Labeling System)은 대규모 데이터를 처리할 수 있으며, 인간 검토자(Human Reviewer)는 모호하거나 안전에 중요한 사례를 해결한다. 일관된 주석은 데이터 플라이휠이 저수준 센서 측정값(Low-Level Sensor Measurement)을 고수준 작업 이해(High-Level Task Understanding) 및 행동 개선(Behavioral Improvement)과 연결하도록 한다.

학습 단계(Training Stage)에서는 정제된 경험을 활용하여 인식 모델(Perception Model), 월드 모델(World Model), 계획 시스템(Planning System), 로봇 제어 정책(Robot Control Policy)을 업데이트한다. 지도학습(Supervised Learning), 모방학습(Imitation Learning), 강화학습(Reinforcement Learning), 자기지도학습(Self-Supervised Learning)은 활용 가능한 데이터에 따라 서로 다른 능력을 제공할 수 있다. 학습 목표는 배포 과정에서 확인된 운영상의 약점(Operational Weakness)을 반영해야 한다. 데이터 플라이휠은 단순히 학습 데이터의 양을 늘리기보다 측정 가능한 성능 부족을 해결하는 방향으로 모델을 업데이트할 때 더욱 효과적으로 작동한다.

모델 평가(Model Evaluation)는 새롭게 학습된 시스템이 실제로 개선되었는지를 판단하는 데 필요한 근거를 제공한다. 오프라인 벤치마크(Offline Benchmark), 시뮬레이션 시험(Simulation Test), 통제된 물리적 시험(Controlled Physical Trial), 안전성 평가(Safety Assessment)는 관련 운영 조건에서의 성능을 검증한다. 익숙한 작업에서의 개선이 다른 영역의 성능 저하(Regression)를 감출 수 있으므로 성공률(Success Rate)만으로는 충분하지 않다. 모델 배포 승인 전에 강건성(Robustness), 복구 행동(Recovery Behavior), 일반화(Generalization), 작업 완료 효율성(Task Completion Efficiency), 안전성(Safety)을 함께 평가해야 한다.

배포(Deployment)는 개선된 모델을 물리적 로봇에 다시 적용함으로써 학습 루프(Learning Loop)를 완성한다. 업데이트된 정책(Updated Policy)은 학습 과정에서 완전히 재현하기 어려운 다양한 조건을 포함한 실제 환경과 상호작용한다. 모니터링 시스템(Monitoring System)은 로봇의 행동을 관찰하고 기존 기준 성능(Baseline Performance)과 비교한다. 새롭게 발견된 오류와 익숙하지 않은 조건은 후속 데이터 수집의 후보가 된다. 반복적인 배포와 피드백(Feedback)을 통해 데이터 플라이휠은 운영 경험을 연속적인 모델 개선(Model Improvement)으로 전환한다.

인간 개입(Human Intervention)은 자율 행동(Autonomous Behavior)이 현재 능력으로 해결하기 어려운 상황에 직면했을 때 중요한 역할을 한다. 원격조작자(Teleoperator)나 감독자(Supervisor)는 실패한 작업을 복구하고, 교정 행동(Corrective Action)을 시연하며, 안전하지 않은 의사결정(Unsafe Decision)을 식별할 수 있다. 개입이 발생한 주변 상황을 기록하면 어려운 상태(Difficult State)와 효과적인 복구 전략(Recovery Strategy)에 관한 가치 있는 사례를 확보할 수 있다. 시간이 지나면서 이러한 시연은 자율 수행 능력(Autonomous Competence)을 개선하고 개입 빈도(Intervention Frequency)를 줄일 수 있지만, 학습된 행동은 독립적인 검증(Independent Validation)을 거쳐야 한다.

시뮬레이션(Simulation)은 실제 운영에서 발견된 약점을 중심으로 추가 경험을 생성하여 데이터 플라이휠을 가속할 수 있다. 파지 실패(Grasp Failure)는 마찰(Friction), 물체 형상(Object Geometry), 접촉 조건(Contact Condition)의 변화를 포함한 가상 실험(Virtual Experiment)으로 이어질 수 있다. 주행 사고(Navigation Incident)는 장애물 배치(Obstacle Configuration)와 보행자 행동(Pedestrian Behavior)을 변화시킨 시뮬레이션으로 확장될 수 있다. 합성 데이터(Synthetic Data)는 시나리오 포괄성(Scenario Coverage)을 넓히지만, 시뮬레이션의 부정확성이 배포된 정책에 전파되지 않도록 실제 환경 시험(Real-World Testing)을 통해 기여도를 검증해야 한다.

대규모 로봇 군집 운영(Fleet-Scale Operation)은 서로 다른 환경에서 작동하는 다수의 로봇으로부터 경험을 수집하여 잠재적인 학습 속도(Learning Rate)를 높인다. 창고(Warehouse), 공장(Factory), 병원(Hospital), 실외 시설(Outdoor Facility)은 서로 다른 공간 배치(Layout), 물체(Object), 조명 조건(Lighting Condition), 인간 활동(Human Activity)을 제공한다. 이러한 경험을 통합하면 개별 로봇에서는 거의 발생하지 않는 희귀 실패 유형(Rare Failure Pattern)을 발견할 수 있다. 하드웨어(Hardware), 센서(Sensor), 운영 맥락(Operating Context)의 차이를 신중하게 관리하면 공유 학습(Shared Learning)을 통해 군집 전체의 성능(Fleet-Wide Performance)을 개선할 수 있다.

데이터 플라이휠에는 운영 데이터 분포(Operational Data Distribution)의 변화를 탐지하는 메커니즘도 필요하다. 새로운 장비, 변경된 공간 배치, 계절적 조건(Seasonal Condition), 변화하는 인간 행동은 모델 신뢰성을 저하시키는 분포 변화(Distribution Shift)를 발생시킬 수 있다. 드리프트 모니터링(Drift Monitoring)은 현재 관측과 결과를 기존 참조 분포(Reference Distribution)와 비교한다. 중요한 편차(Significant Deviation)가 발견되면 목표 지향적 데이터 수집(Targeted Data Collection), 평가(Evaluation), 재학습(Retraining)을 수행하여 과거 경험에 무기한 의존하지 않고 변화하는 환경에 대응하도록 한다.

데이터 계보(Data Lineage)와 버전 관리(Version Management)는 반복적인 학습 주기(Learning Cycle)를 통제하는 데 필수적이다. 모든 학습 에피소드(Training Episode)는 데이터가 생성된 로봇(Source Robot), 운영 환경(Operating Environment), 수집 시간(Collection Time), 처리 이력(Processing History), 주석 버전(Annotation Version)에 관한 정보를 유지해야 한다. 모델 버전(Model Version)은 학습에 사용된 데이터셋(Dataset) 및 설정(Configuration)과 연결되어야 한다. 이러한 추적 가능성(Traceability)은 재현성(Reproducibility), 실패 조사(Failure Investigation), 롤백 결정(Rollback Decision), 연속적인 데이터 플라이휠 반복 사이의 신뢰할 수 있는 비교를 지원한다.

피지컬 인공지능 데이터 플라이휠의 효율성은 유용한 운영 근거(Operational Evidence)가 검증된 모델 개선(Validated Model Improvement)으로 얼마나 빠르게 전환되는지에 달려 있다. 수집 지연(Collection Latency), 라벨링 처리량(Labeling Throughput), 학습 시간(Training Time), 평가 비용(Evaluation Cost), 배포 빈도(Deployment Frequency)는 전체 주기에 영향을 미친다. 빠른 반복(Fast Iteration)은 데이터 품질과 안전 보증(Safety Assurance)이 충분히 유지될 때에만 가치가 있다. 따라서 데이터 플라이휠 최적화(Flywheel Optimization)를 위해서는 인프라(Infrastructure), 자동화(Automation), 모델 개발(Model Development), 운영 모니터링(Operational Monitoring)의 조화로운 개선이 필요하다.

데이터 품질(Data Quality)은 생산적인 데이터 플라이휠(Productive Data Flywheel)과 비효율적인 데이터 축적 과정(Ineffective Data Accumulation Process)을 구분하는 핵심 요소이다. 유사한 성공 궤적(Successful Trajectory)을 반복적으로 수집하면 저장 용량은 증가하지만 일반화 성능(Generalization Performance)은 크게 향상되지 않을 수 있다. 반대로 잘못 라벨링된 실패 사례나 부정확하게 동기화된 관측은 유해한 학습 신호(Harmful Learning Signal)를 발생시킬 수 있다. 생산적인 데이터 플라이휠은 수집된 경험이 모델 성능에 기여하는 정도를 측정하고, 이에 따라 수집 및 정제 전략(Collection and Curation Strategy)을 지속적으로 조정한다.

데이터 양(Data Volume)과 능력 향상(Capability Improvement)의 관계는 스케일링 과제(Scaling Challenge)도 발생시킨다. 모델의 능력이 향상되면 일반적인 실패는 감소할 수 있지만, 남아 있는 약점은 더욱 드물고 재현하기 어려워질 수 있다. 추가적인 정보 가치가 높은 사례를 수집하려면 더 넓은 배포 범위(Broader Deployment), 목표 지향적 실험(Targeted Experiment), 정교한 시뮬레이션(Sophisticated Simulation)이 필요할 수 있다. 따라서 데이터 플라이휠은 일반적인 경험 축적(Experience Accumulation)에서 롱테일 시나리오(Long-Tail Scenario)와 능력 격차(Capability Gap)를 점점 더 선택적으로 발견하는 방향으로 발전해야 한다.

경제적 지속가능성(Economic Sustainability)은 지속적인 학습(Continuous Learning)을 위한 또 다른 요구사항이다. 물리적 데이터 수집(Physical Data Collection)에는 하드웨어 마모(Hardware Wear), 운영자 시간(Operator Time), 통신 대역폭(Communication Bandwidth), 저장 공간(Storage), 컴퓨팅 자원(Computational Resource), 검증 비용(Validation Expense)이 수반된다. 성공적인 데이터 플라이휠은 이러한 비용을 정당화할 수 있는 측정 가능한 운영상 이점(Measurable Operational Benefit)을 창출해야 한다. 인간 개입률 감소(Reduced Intervention Rate), 작업 완료율 향상(Improved Task Completion), 실패 감소(Fewer Failures), 적응성 향상(Better Adaptability)은 지속적인 데이터 기반 개선(Continuous Data-Driven Improvement)이 충분한 가치를 창출하는지를 판단하는 실질적인 지표이다.

안전성(Safety), 개인정보 보호(Privacy), 거버넌스(Governance)는 데이터 플라이휠의 모든 단계에 통합되어야 한다. 운영 기록(Operational Recording)에는 개인정보(Personal Information), 기밀 산업 정보(Confidential Industrial Information), 안전에 민감한 사건(Safety-Sensitive Event)이 포함될 수 있다. 접근 통제(Access Control), 데이터 최소화(Data Minimization), 안전한 저장(Secure Storage), 보존 정책(Retention Policy), 문서화된 출처 정보(Documented Provenance)는 수집된 정보를 보호한다. 또한 모델 업데이트(Model Update)는 지속적인 학습이 허용할 수 없는 운영 위험(Operational Risk)을 초래하거나 기존 안전 요구사항(Safety Requirement)을 약화시키지 않도록 통제된 검증 및 배포 절차를 거쳐야 한다.

피지컬 인공지능 데이터 플라이휠(Physical AI Data Flywheel)은 궁극적으로 로봇 지능(Robotic Intelligence)을 초기 개발 단계에서 주로 확립되는 능력에서 축적된 물리적 경험(Accumulated Physical Experience)을 통해 지속적으로 개선되는 시스템으로 전환한다. 핵심 원리는 관측(Observation), 행동(Action), 결과(Outcome), 실패(Failure)를 더 나은 모델과 신뢰할 수 있는 행동으로 지속적으로 변환하는 것이다. 확장 가능한 인프라(Scalable Infrastructure), 목표 지향적 데이터 획득(Targeted Data Acquisition), 엄격한 평가(Rigorous Evaluation), 책임 있는 배포(Responsible Deployment)가 뒷받침될 때 데이터 플라이휠은 점차 적응성과 능력이 향상되는 피지컬 인공지능 시스템의 핵심 기반이 된다.

00.04. Observation Action Outcome Data

관측(Observation), 행동(Action), 결과(Outcome) 데이터는 피지컬 인공지능(Physical AI) 시스템이 인식(Perception), 행동(Behavior), 물리적 결과(Physical Consequence) 사이의 관계를 학습하는 기본 구조를 형성한다. 관측은 환경과 로봇의 상태를 설명하고, 행동은 명령 또는 실행된 움직임을 나타내며, 결과는 그에 따라 발생한 변화를 기록한다. 이러한 요소를 연결하면 학습 시스템(Learning System)은 단순한 물체 인식을 넘어 지능형 행동(Intelligent Behavior)이 물리적 세계에 어떤 영향을 미치는지 이해할 수 있다.

관측 데이터(Observation Data)는 로봇과 주변 환경의 다양한 측면을 측정하는 센서(Sensor)에서 생성된다. 카메라(Camera)는 시각적 외형(Visual Appearance)을 제공하고, 깊이 센서(Depth Sensor)는 공간 기하학적 구조(Spatial Geometry)를 설명하며, 라이다(LiDAR)는 주변 구조물을 측정하고, 힘 센서(Force Sensor)는 물리적 상호작용(Physical Interaction)을 감지한다. 관절 엔코더(Joint Encoder)와 관성 센서(Inertial Sensor)는 로봇 내부의 운동 상태(Motion State)를 나타낸다. 이러한 측정값을 결합하면 로봇이 행동을 선택하고 실행하는 조건을 더욱 풍부하게 표현할 수 있다.

행동 데이터(Action Data)는 로봇이 환경에 영향을 미치기 위해 수행하려는 동작을 기록한다. 로봇 플랫폼(Robot Platform)에 따라 행동에는 바퀴 속도 명령(Wheel Velocity Command), 관절 위치 목표(Joint Position Target), 토크 명령(Torque Command), 그리퍼 동작(Gripper Operation), 비행 추력 조정(Aerial Thrust Adjustment) 등이 포함될 수 있다. 구동기(Actuator)의 한계, 지연(Latency), 환경에서 작용하는 힘(Environmental Force)은 실제 실행 결과를 변화시킬 수 있으므로 명령된 행동과 실제로 수행된 움직임을 구분해야 한다. 정확한 학습을 위해서는 의도된 명령(Intended Command)과 측정된 응답(Measured Response)이 모두 필요하다.

결과 데이터(Outcome Data)는 실행된 행동의 결과를 설명한다. 결과에는 물체 위치(Object Position)의 변화, 로봇 변위(Robot Displacement), 접촉력(Contact Force), 작업 완료 상태(Task Completion Status), 충돌 사건(Collision Event), 복구 행동(Recovery Behavior) 등이 포함될 수 있다. 성공적인 파지(Successful Grasp)는 물체를 안정적으로 유지하는 상태로 표현할 수 있으며, 주행 실패(Navigation Failure)는 예상하지 못한 정지나 위치 추정 상실(Localization Loss)로 나타날 수 있다. 결과 측정값은 물리적 행동을 해당 행동의 목적이 된 목표(Objective)와 연결한다.

관측, 행동, 결과 사이의 관계는 본질적으로 시간적 특성(Temporal Characteristics)을 가진다. 로봇은 특정 시점의 상태를 관측하고, 행동을 적용하며, 자신의 행동과 외부 교란(External Disturbance)의 영향을 받은 다음 상태(Subsequent State)를 경험한다. 이러한 상태 전이(State Transition)를 학습하려면 정확한 타임스탬프(Timestamp)와 일관된 샘플링 간격(Sampling Interval)이 필요하다. 시간 정렬(Temporal Alignment)이 올바르지 않으면 모델은 특정 행동을 관련 없는 결과와 연결하여 물리적 동역학(Physical Dynamics)에 대한 잘못된 가정을 학습할 수 있다.

일반적인 데이터 표현 방식(Common Data Representation)은 로봇 경험을 관측, 행동, 다음 관측(Subsequent Observation), 선택적인 보상(Reward) 또는 종료 정보(Termination Information)를 포함하는 상태 전이로 구성한다. 반복적인 상태 전이는 시간에 따른 전체 상호작용을 설명하는 궤적(Trajectory)을 형성한다. 이러한 구조는 모방학습(Imitation Learning), 강화학습(Reinforcement Learning), 동역학 예측(Dynamics Prediction), 정책 평가(Policy Evaluation)를 지원한다. 또한 서로 다른 로봇과 작업에서 생성된 경험을 저장하기 위한 일관된 기반을 제공한다.

관측(Observation)과 상태(State)는 서로 관련되어 있지만 동일한 개념은 아니다. 관측은 센서를 통해 직접 얻을 수 있는 정보를 포함하지만, 실제 물리적 상태(Physical State)에는 완전히 측정할 수 없는 요소가 존재할 수 있다. 가려진 물체(Occluded Object), 알려지지 않은 마찰계수(Unknown Friction Coefficient), 숨겨진 접촉 조건(Hidden Contact Condition)은 부분 관측 가능성(Partial Observability)을 발생시킨다. 따라서 피지컬 인공지능 모델은 모든 중요한 물리적 특성을 즉시 관측할 수 있다고 가정하기보다 관측 이력(Observation History)을 통해 관련 상태 정보를 추론해야 한다.

행동 표현(Action Representation)은 로봇이 서로 다른 기계적 구조(Mechanical Structure)와 제어 인터페이스(Control Interface)를 사용하기 때문에 추가적인 복잡성을 가진다. 이동로봇(Mobile Robot)은 선속도(Linear Velocity)와 각속도(Angular Velocity) 명령을 사용할 수 있으며, 매니퓰레이터(Manipulator)는 관절 위치(Joint Position), 말단효과기 자세(End-Effector Pose), 토크(Torque)를 제어할 수 있다. 휴머노이드(Humanoid)는 협조적인 전신 동작(Whole-Body Action)이 필요하며, 비행로봇(Aerial Robot)은 추력(Thrust)과 자세(Attitude)를 제어한다. 기록된 명령을 올바르게 해석하려면 이러한 행동 공간(Action Space)을 설명하는 표준화된 메타데이터(Standardized Metadata)가 필요하다.

결과 표현(Outcome Representation)은 즉각적인 물리적 변화(Immediate Physical Change)와 장기적인 작업 성공(Long-Term Task Success)을 구분해야 한다. 그리퍼(Gripper)를 물체 방향으로 이동시키는 행동은 파지 작업(Grasping Task)을 완료하지 않았더라도 유효한 중간 상태(Intermediate State)를 생성할 수 있다. 마찬가지로 장애물 회피(Obstacle Avoidance)는 국소적으로 성공했더라도 목적지 도착을 지연시킬 수 있다. 계층적 결과 설명(Hierarchical Outcome Description)은 단기적인 진행 상태(Short-Term Progress)와 전체 작업 성공(Overall Task Success)을 혼동하지 않으면서 개별 상태 전이, 중간 목표(Intermediate Objective), 전체 작업 에피소드(Task Episode)를 평가하도록 지원한다.

접촉이 많은 조작 작업(Contact-Rich Manipulation)은 세 가지 데이터 범주를 결합하는 것이 왜 중요한지를 보여준다. 로봇은 물체를 파지하기 전에 형상(Shape), 위치(Position), 방향(Orientation)을 관측한다. 실행 과정에서는 그리퍼 움직임(Gripper Motion), 관절 명령(Joint Command), 촉각 측정값(Tactile Measurement), 접촉력(Contact Force)을 기록한다. 이후 시스템은 물체가 들어 올려졌는지, 안정적으로 유지되었는지, 떨어졌는지를 판단한다. 이러한 전체 상호작용 이력(Interaction History)은 시각 이미지나 행동 명령만으로 얻을 수 있는 정보보다 훨씬 풍부한 학습 정보를 제공한다.

자율주행(Autonomous Navigation)은 관측-행동-결과(Observation-Action-Outcome) 관계를 보여주는 또 다른 사례이다. 이동로봇은 속도 명령(Velocity Command)을 선택하기 전에 장애물(Obstacle), 이동 가능한 공간(Free Space), 위치 추정값(Localization Estimate), 주변 사람의 움직임(Human Movement)을 관측한다. 이후 관측은 실제 이동 거리(Actual Displacement), 장애물과의 이격 거리(Obstacle Clearance), 계획 경로(Planned Path)로부터의 편차(Deviation)를 보여준다. 이러한 상태 전이를 기록하면 변화하는 환경 조건에서 주행 가능성(Traversability), 움직임 예측(Motion Prediction), 충돌 회피(Collision Avoidance), 복구 전략(Recovery Strategy)을 학습할 수 있다.

행동과 결과를 연결할 때 데이터 품질(Data Quality)은 특히 중요하다. 센서 지연(Sensor Delay), 일관되지 않은 좌표계(Coordinate Frame), 구동기 지연(Actuator Latency), 타임스탬프 오류(Timestamp Error)는 기록된 명령과 측정된 결과 사이의 관계를 왜곡할 수 있다. 따라서 보정(Calibration)과 동기화(Synchronization) 절차는 데이터 기록 인프라(Recording Infrastructure)에 통합되어야 한다. 정확한 좌표 변환(Coordinate Transformation)과 일관된 물리 단위(Physical Unit)는 신뢰할 수 있는 궤적(Trajectory)을 재구성하는 데 필수적이다.

관측-행동-결과 데이터는 처리 방식에 따라 서로 다른 학습 목표(Learning Objective)를 지원할 수 있다. 행동 복제(Behavioral Cloning)는 관측에서 시연된 행동으로의 매핑(Mapping)을 학습하며, 동역학 모델(Dynamics Model)은 행동이 물리적 상태를 어떻게 변화시키는지 추정한다. 강화학습(Reinforcement Learning)은 보상(Reward)과 미래 결과(Future Consequence)를 통해 행동을 평가한다. 월드 모델(World Model)은 이러한 관계를 결합하여 실행 전에 가능한 결과를 예측하고, 계획 시스템(Planning System)이 대안적인 행동(Alternative Behavior)을 비교할 수 있도록 한다.

인간 시연(Human Demonstration)은 원격조작(Teleoperation)을 통해 기록될 때 가치 있는 관측-행동-결과 시퀀스(Observation-Action-Outcome Sequence)를 제공한다. 운영자(Operator)는 환경을 관측하고, 제어 입력(Control Input)을 선택하며, 로봇의 응답(Robot Response)에 따라 행동을 조정한다. 이러한 시연은 성공적인 작업 수행뿐 아니라 교정 의사결정(Corrective Decision)도 포함한다. 실패한 시도(Failed Attempt), 개입(Intervention), 복구 행동(Recovery Action)을 포함하면 실제 환경 조건이 예상과 다를 때 모델이 적절하게 대응하는 방법을 학습하는 데 도움이 된다.

시뮬레이션 환경(Simulation Environment)은 실제 물리적 환경에서 측정하기 어려운 정보에 접근하여 구조화된 상태 전이(Structured Transition)를 생성할 수 있다. 물체 속도(Object Velocity), 접촉 상태(Contact State), 마찰 매개변수(Friction Parameter), 충돌 사건(Collision Event)은 시뮬레이션 엔진(Simulation Engine)에서 직접 기록할 수 있다. 이러한 추가 정보는 지도 기반 동역학 학습(Supervised Dynamics Learning)과 상세한 평가(Detailed Evaluation)를 지원한다. 그러나 시뮬레이션에서의 행동-결과 관계(Action-Outcome Relationship)는 현실과 다를 수 있으므로 학습된 행동에 의존하기 전에 실제 환경 검증(Physical Validation)이 필요하다.

관측-행동-결과 데이터의 구성 방식은 확장성(Scalability)에도 영향을 미친다. 카메라, 고유수용감각 센서(Proprioceptive Sensor), 제어 시스템(Control System)의 연속적인 기록은 대규모 데이터를 생성할 수 있다. 에피소드 기반 저장(Episode-Based Storage), 효율적인 압축(Efficient Compression), 이벤트 인덱싱(Event Indexing), 메타데이터 관리(Metadata Management)는 이러한 기록을 검색하고 재사용할 수 있도록 한다. 압축 과정에서도 동기화와 행동의 의미(Action Semantics)를 보존하는 것이 중요하며, 시간적 관계가 손실되면 전체 데이터셋의 활용 가치가 감소할 수 있다.

실패 분석(Failure Analysis)은 개별 오류 보고서(Isolated Error Report)보다 완전한 상호작용 이력(Complete Interaction History)을 활용할 때 더욱 효과적이다. 로봇이 물체를 떨어뜨린 경우 엔지니어는 이전 관측(Preceding Observation), 선택된 행동(Selected Action), 접촉 변화(Contact Change), 최종 결과(Final Outcome)를 조사해야 한다. 충돌(Collision), 불안정한 보행(Unstable Locomotion), 주행 중단(Navigation Interruption)에도 유사한 분석이 적용된다. 이러한 이력은 실패가 인식 오류(Perception Error), 잘못된 의사결정(Incorrect Decision), 구동기 한계(Actuator Limitation), 예상하지 못한 환경 동역학(Environmental Dynamics) 중 어디에서 발생했는지를 밝히는 데 도움이 된다.

결과 라벨(Outcome Label)은 모든 에피소드를 단순한 성공 또는 실패 분류(Success-or-Failure Classification)로 강제하기보다 불확실성(Uncertainty)과 모호성(Ambiguity)을 표현해야 한다. 조작 시도(Manipulation Attempt)는 작업의 일부만 완료할 수 있으며, 주행 에피소드(Navigation Episode)는 인간 개입이 필요했더라도 최종적으로 성공할 수 있다. 신뢰도 추정값(Confidence Estimate), 부분 완료 지표(Partial Completion Indicator), 상세한 실패 범주(Failure Category)는 더욱 풍부한 지도 정보(Supervisory Information)를 제공한다. 이러한 표현은 로봇 행동의 정밀한 평가(Precise Evaluation)와 목표 지향적 개선(Targeted Improvement)을 지원한다.

대규모 로봇 군집(Fleet Scale)에서는 일관된 관측-행동-결과 스키마(Observation-Action-Outcome Schema)를 통해 여러 로봇의 경험을 공유 학습(Shared Learning)에 활용할 수 있다. 센서 구성(Sensor Configuration), 행동 주파수(Action Frequency), 좌표계(Coordinate System), 구동기 능력(Actuator Capability)의 차이는 명시적으로 표현되어야 한다. 로봇 간 데이터셋(Cross-Robot Dataset)에는 정규화(Normalization) 또는 체화 구조별 변환(Embodiment-Specific Transformation)이 필요할 수 있다. 적절하게 구조화된 기록은 모든 로봇이 동일한 행동을 수행한다고 가정하지 않으면서 모델이 전이 가능한 물리적 관계(Transferable Physical Relationship)를 식별하도록 한다.

이러한 데이터 구조(Data Structure)의 가치는 모델 학습(Model Training)을 넘어 모니터링(Monitoring), 디버깅(Debugging), 지속적인 개선(Continuous Improvement)까지 확장된다. 배포된 로봇(Deployed Robot)은 불확실성이 증가하거나, 예상하지 못한 결과가 발생하거나, 안전 임계값(Safety Threshold)에 접근할 때 선택적인 상태 전이를 기록할 수 있다. 데이터 엔진(Data Engine)은 이러한 에피소드에 우선순위를 부여하여 검사(Inspection), 라벨링(Labeling), 재학습(Retraining)에 활용할 수 있다. 이러한 피드백 메커니즘(Feedback Mechanism)은 운영 근거(Operational Evidence)를 모델의 약점(Model Weakness) 및 향후 데이터 수집 우선순위(Data Collection Priority)와 직접 연결한다.

관측-행동-결과 데이터는 궁극적으로 지능적인 물리적 행동(Intelligent Physical Behavior)을 학습하기 위한 인과적·시간적 기반(Causal and Temporal Foundation)을 제공하지만, 관측 기록만으로 항상 인과관계(Causality)가 입증되는 것은 아니다. 로봇이 무엇을 인식했고, 어떤 행동을 시도하고 실행했으며, 이후 어떤 결과가 발생했는지를 보존함으로써 데이터 엔진은 재사용 가능한 물리적 경험 표현(Reusable Representation of Physical Experience)을 구축한다. 이러한 구조화된 관계는 예측(Prediction), 계획(Planning), 제어(Control), 평가(Evaluation), 그리고 점차 신뢰성과 적응성이 향상되는 피지컬 인공지능 시스템의 지속적인 발전을 지원한다.

00.05. Multimodal and Temporal Robot Data

다중모달 및 시간적 로봇 데이터(Multimodal and Temporal Robot Data)는 여러 감지 채널(Sensing Channel)과 연속적인 상호작용 시퀀스(Interaction Sequence)를 통해 물리적 환경(Physical Environment)을 이해하기 위한 기반을 제공한다. 개별 이미지나 텍스트로 구성된 기존 데이터셋(Conventional Dataset)과 달리, 로봇 경험(Robotic Experience)은 시각적 관측(Visual Observation), 공간 측정값(Spatial Measurement), 내부 상태(Internal State), 행동(Action), 결과(Outcome)를 결합한다. 시간에 따른 이들 사이의 관계는 피지컬 인공지능(Physical AI) 시스템이 변화하는 조건을 해석하고, 숨겨진 상태(Hidden State)를 추정하며, 물리적 동역학(Physical Dynamics)에 기반한 행동을 학습하도록 한다.

다중모달 데이터(Multimodal Data)는 서로 다른 센서 유형(Sensor Type)과 표현 형식(Representation Format)에서 수집된 정보를 의미한다. 카메라(Camera)는 외형(Appearance)과 질감(Texture)을 포착하고, 깊이 센서(Depth Sensor)는 기하학적 구조(Geometric Structure)를 측정하며, 라이다(LiDAR)는 공간 거리(Spatial Distance) 정보를 제공하고, 촉각 센서(Tactile Sensor)는 물리적 접촉(Physical Contact)을 감지한다. 관성 센서(Inertial Sensor)와 관절 엔코더(Joint Encoder)는 로봇의 움직임(Motion)과 구성 상태(Configuration)를 설명한다. 각 모달리티(Modality)는 상호보완적인 정보를 제공하므로 모델은 단일 센서만으로 얻을 수 있는 것보다 풍부한 환경 표현(Environmental Representation)을 구성할 수 있다.

시간적 데이터(Temporal Data)는 관측(Observation), 행동(Action), 물리적 상태(Physical State)가 시간에 따라 어떻게 변화하는지를 설명한다. 단일 이미지(Single Image)는 물체의 위치(Object Location)를 보여줄 수 있지만, 속도(Velocity), 가속도(Acceleration), 외력(External Force)에 대한 반응을 완전히 설명할 수는 없다. 연속적인 관측(Sequential Observation)은 움직임 패턴(Motion Pattern), 상호작용 동역학(Interaction Dynamics), 환경 조건(Environmental Condition)의 변화를 보여준다. 따라서 시간적 추론(Temporal Reasoning)은 로봇이 정지 물체(Stationary Object)와 이동 장애물(Moving Obstacle)을 구분하고 주변 환경이 어떻게 변화할지 예측하도록 한다.

다중모달 정보(Multimodal Information)와 시간적 정보(Temporal Information)의 결합은 물리적 상호작용(Physical Interaction)이 연속적으로 발생하며 여러 상호 연결된 과정(Interconnected Process)을 포함하기 때문에 필수적이다. 파지 작업(Grasping) 중 로봇은 물체를 시각적으로 관측하고, 매니퓰레이터(Manipulator)를 이동시키며, 접촉(Contact)을 감지하고, 파지력(Gripping Force)을 조정한다. 이러한 사건은 조정된 시퀀스(Coordinated Sequence)로 해석되어야 한다. 동기화된 센서 스트림(Synchronized Sensor Stream)으로 학습하면 모델은 시각적 조건(Visual Condition)을 물리적 접촉 및 이후의 조작 결과(Manipulation Outcome)와 연결할 수 있다.

로봇 센서(Robot Sensor)는 서로 다른 샘플링 주파수(Sampling Frequency)로 작동하므로 데이터 통합(Data Integration)에 어려움이 발생한다. 카메라는 초당 수십 개의 프레임(Frame)을 획득할 수 있지만, 관절 엔코더(Joint Encoder)와 모터 제어기(Motor Controller)는 초당 수백 또는 수천 개의 측정값을 생성할 수 있다. 라이다(LiDAR), 힘 센서(Force Sensor), 관성측정장치(Inertial Measurement Unit, IMU) 역시 고유한 데이터 획득 주기(Acquisition Schedule)를 가진다. 정확한 동기화(Synchronization)는 어떤 측정값이 동일한 물리적 사건(Physical Event)에 대응하는지를 판단하는 데 필요하다.

따라서 타임스탬프 관리(Timestamp Management)는 다중모달 로봇 데이터셋(Multimodal Robot Dataset)의 기본 요구사항이다. 각 관측과 명령은 신뢰할 수 있는 시간 기준(Time Reference)을 유지해야 하며, 가능하면 동기화된 시계(Synchronized Clock)를 기반으로 해야 한다. 하드웨어 타임스탬프(Hardware Timestamp), 시계 동기화 프로토콜(Clock Synchronization Protocol), 지연 보상(Latency Compensation)은 정렬 오류(Alignment Error)를 줄이는 데 도움이 된다. 일관된 시간 정보가 없으면 모델은 특정 모터 명령(Motor Command)을 해당 물리적 움직임보다 이전이나 훨씬 이후에 기록된 센서 측정값과 잘못 연결할 수 있다.

시간 정렬(Temporal Alignment)에는 보간(Interpolation), 재샘플링(Resampling), 이벤트 기반 동기화(Event-Based Synchronization)가 필요한 경우가 많다. 고주파 관절 측정값(High-Frequency Joint Measurement)은 카메라 프레임을 기준으로 집계할 수 있으며, 낮은 주파수의 공간 관측(Spatial Observation)은 인접한 제어 구간(Control Interval)과 연결할 수 있다. 그러나 이러한 처리 과정은 물리적으로 의미 있는 상태 전이(Physically Meaningful Transition)를 보존해야 한다. 과도한 평활화(Excessive Smoothing)는 정확한 로봇 행동 학습에 중요한 갑작스러운 접촉(Sudden Contact), 충돌(Collision), 제어 불안정성(Control Instability)을 감출 수 있다.

좌표계(Coordinate System)는 다중모달 관측(Multimodal Observation)을 결합할 때 또 다른 복잡성을 발생시킨다. 카메라(Camera), 라이다(LiDAR), 로봇 관절(Robot Joint), 말단효과기(End Effector)는 서로 다른 기준 좌표계(Reference Frame)를 기준으로 정보를 측정한다. 보정(Calibration)은 이러한 측정값을 일관되게 표현하는 데 필요한 변환(Transformation)을 결정한다. 타임스탬프가 정확하더라도 잘못된 외부 보정(Extrinsic Calibration)은 공간 정렬 오류(Spatial Misalignment)를 발생시켜 인식(Perception), 조작(Manipulation), 주행(Navigation) 모델의 신뢰성을 저하시킬 수 있다.

시각 데이터(Visual Data)는 주변 환경에 관한 중요한 의미적 정보(Semantic Information)와 기하학적 정보(Geometric Information)를 제공한다. RGB 이미지(RGB Image)는 물체 인식(Object Recognition), 장면 해석(Scene Interpretation), 시각적 추적(Visual Tracking)을 지원하며, 깊이 이미지(Depth Image)와 포인트 클라우드(Point Cloud)는 3차원 구조(Three-Dimensional Structure)를 설명한다. 이러한 표현을 결합하면 로봇이 물체 자세(Object Pose)를 추정하고, 이동 가능한 공간(Free Space)을 식별하며, 공간적 관계(Spatial Relationship)를 이해할 수 있다. 시간적 시각 시퀀스(Temporal Visual Sequence)는 움직임 추정(Motion Estimation), 물체 추적(Object Tracking), 미래 장면 구성(Future Scene Configuration)의 예측도 지원한다.

고유수용감각 데이터(Proprioceptive Data)는 로봇 내부의 물리적 상태(Internal Physical Condition)를 설명한다. 관절 위치(Joint Position), 속도(Velocity), 모터 전류(Motor Current), 구동기 토크(Actuator Torque), 관성 측정값(Inertial Measurement)은 기계 시스템(Mechanical System)이 명령과 외력(External Force)에 어떻게 반응하는지를 보여준다. 이러한 신호는 보행(Locomotion), 조작(Manipulation), 접촉이 많은 제어(Contact-Rich Control)에서 특히 중요하다. 고유수용감각(Proprioception)을 외부 관측(External Observation)과 결합하면 모델은 환경 조건과 로봇의 실제 물리적 행동(Physical Behavior)을 연결할 수 있다.

힘 및 촉각 측정값(Force and Tactile Measurement)은 시각 센서(Visual Sensor)만으로는 신뢰성 있게 포착하기 어려운 정보를 제공한다. 접촉 압력(Contact Pressure), 전단력(Shear Force), 진동(Vibration), 파지 안정성(Grip Stability)은 물리적 접촉면(Physical Interface)에서 발생하는 상호작용을 나타낸다. 매니퓰레이터(Manipulator)가 시각적으로는 물체를 올바르게 파지한 것처럼 보이더라도 촉각 데이터(Tactile Data)는 미끄러짐(Slipping)이나 불안정한 접촉(Unstable Contact)을 나타낼 수 있다. 이러한 측정값을 시간에 따라 통합하면 적응형 힘 제어(Adaptive Force Control), 접촉 감지(Contact Detection), 예상하지 못한 상호작용 조건에서의 복구(Recovery)를 지원할 수 있다.

행동 데이터(Action Data)는 제어 의사결정(Control Decision)과 물리적 결과(Physical Consequence) 사이의 관계를 보존하기 위해 센서 관측(Sensor Observation)과 동기화되어야 한다. 로봇 명령(Robot Command)은 관절 목표(Joint Target), 속도(Velocity), 토크(Torque), 말단효과기 움직임(End-Effector Movement)을 지정할 수 있으며, 측정된 구동기 응답(Measured Actuator Response)은 실제 실행 상태(Actual Execution)를 보여준다. 명령 생성(Command Generation)과 기계적 응답(Mechanical Response) 사이의 지연(Delay)은 정확하게 표현되어야 한다. 그렇지 않으면 학습된 모델은 특정 행동이 이후의 관측과 결과에 어떤 영향을 미치는지 잘못 이해할 수 있다.

다중모달 로봇 데이터(Multimodal Robot Data)는 일반적으로 연속적인 작업 수행(Continuous Task Execution)을 나타내는 에피소드(Episode)와 궤적(Trajectory)으로 구성된다. 에피소드는 초기 관측(Initial Observation)과 작업 지시(Task Instruction)로 시작하여 여러 행동 및 감지 주기(Action and Sensing Cycle)를 거치고, 작업이 성공하거나 실패하거나 종료 조건(Stopping Condition)에 도달하면 끝날 수 있다. 구조화된 궤적(Structured Trajectory)은 사건 순서(Event Ordering)와 맥락 정보(Contextual Information)를 보존한다. 이러한 구성은 모방학습(Imitation Learning), 강화학습(Reinforcement Learning), 월드 모델링(World Modeling), 체계적인 평가(Systematic Evaluation)를 지원한다.

시간적 표현(Temporal Representation)은 로봇 행동의 서로 다른 시간 척도(Timescale)도 수용해야 한다. 저수준 제어 루프(Low-Level Control Loop)는 밀리초(Millisecond) 단위로 작동하고, 조작 행동(Manipulation Action)은 수초 동안 진행될 수 있으며, 복잡한 작업(Complex Task)은 수분 이상이 필요할 수 있다. 계층적 표현(Hierarchical Representation)은 빠른 모터 응답(Motor Response)을 중간 수준의 기술(Intermediate Skill) 및 장기 작업 목표(Long-Horizon Task Objective)와 연결할 수 있다. 이러한 구조는 모델이 즉각적인 물리적 동역학(Immediate Physical Dynamics)과 의미 있는 작업을 완료하는 데 필요한 전체 행동 시퀀스(Action Sequence)를 모두 이해하도록 돕는다.

관측 누락(Missing Observation)과 센서 성능 저하(Sensor Degradation)는 실제 환경 운영(Real-World Operation)에서 피할 수 없는 과제이다. 카메라는 가림 현상(Occlusion)을 경험할 수 있고, 라이다 측정값(LiDAR Measurement)은 반사 표면(Reflective Surface) 주변에서 신뢰성이 낮아질 수 있으며, 무선 통신(Wireless Communication)은 데이터 전송(Data Transmission)을 중단시킬 수 있다. 다중모달 학습(Multimodal Learning)은 상호보완적인 센서를 활용하여 강건성(Robustness)을 향상시킬 수 있지만, 모델이 불확실성(Uncertainty)과 누락된 정보(Missing Information)를 인식할 때에만 가능하다. 명시적인 유효성 지표(Validity Indicator)와 센서 상태 메타데이터(Sensor Health Metadata)는 신뢰할 수 없는 측정값이 정확한 관측으로 취급되는 것을 방지한다.

다중모달 융합(Multimodal Fusion)은 학습 아키텍처(Learning Architecture)의 서로 다른 단계에서 수행될 수 있다. 초기 융합(Early Fusion)은 본격적인 처리 전에 동기화된 센서 특징(Sensor Feature)을 결합하고, 후기 융합(Late Fusion)은 개별 모달리티 전용 모델(Modality-Specific Model)이 생성한 예측이나 표현을 통합한다. 중간 융합(Intermediate Fusion)은 학습된 표현(Learned Representation)을 사용하여 감지 채널 사이에서 정보를 교환한다. 적절한 전략은 센서 특성(Sensor Characteristic), 컴퓨팅 제약(Computational Constraint), 작업 요구사항(Task Requirement), 시간적 관계(Temporal Relationship) 보존의 중요성에 따라 결정된다.

시간적 학습 아키텍처(Temporal Learning Architecture)는 관측 이력(Observation History)을 사용하여 움직임(Motion), 상호작용 패턴(Interaction Pattern), 부분적으로 숨겨진 환경 상태(Partially Hidden Environmental State)를 추론한다. 순환 신경망(Recurrent Network), 시간적 합성곱 모델(Temporal Convolutional Model), 트랜스포머(Transformer), 상태공간 모델(State-Space Model)은 서로 다른 계산상의 절충관계(Computational Tradeoff)를 바탕으로 시퀀스 정보(Sequential Information)를 처리할 수 있다. 이러한 모델의 효과는 시퀀스 길이(Sequence Length), 샘플링 일관성(Sampling Consistency), 학습 데이터 품질(Training Data Quality)에 달려 있다. 긴 이력(Long History)은 더 넓은 맥락을 제공하지만 메모리 요구량(Memory Requirement)과 처리 비용(Processing Cost)을 증가시킨다.

월드 모델(World Model)은 서로 다른 행동에 따라 물리적 환경이 어떻게 변화하는지를 예측하려고 하므로 동기화된 다중모달 궤적(Synchronized Multimodal Trajectory)에서 특히 큰 이점을 얻는다. 시각적 관측(Visual Observation)은 장면의 외형(Scene Appearance)을 설명하고, 고유수용감각 측정값(Proprioceptive Measurement)은 로봇 동역학(Robot Dynamics)을 나타내며, 접촉 신호(Contact Signal)는 상호작용 사건(Interaction Event)을 식별한다. 행동 조건부 예측 모델(Action-Conditioned Prediction Model)은 이러한 신호를 결합하여 미래 상태(Future State)를 추정한다. 이러한 능력은 계획(Planning), 시뮬레이션 기반 추론(Simulation-Based Reasoning), 실행 전 대안 행동(Alternative Action)의 평가를 지원한다.

데이터 저장 및 처리 인프라(Data Storage and Processing Infrastructure)는 다중모달 기록(Multimodal Recording)의 상당한 크기와 복잡성을 수용해야 한다. 고해상도 비디오(High-Resolution Video), 포인트 클라우드(Point Cloud), 촉각 센서 배열(Tactile Array), 고주파 제어 로그(High-Frequency Control Log)는 연속적인 운영 과정에서 막대한 데이터량(Data Volume)을 생성할 수 있다. 압축(Compression), 청크 기반 저장(Chunked Storage), 효율적인 인덱싱(Efficient Indexing), 선택적 기록(Selective Recording)은 인프라 요구사항(Infrastructure Requirement)을 줄인다. 그러나 이러한 기술은 학습에 중요한 시간 정보(Timing), 보정 메타데이터(Calibration Metadata), 희귀 사건(Rare Event)을 보존해야 한다.

데이터 품질 평가(Data Quality Assessment)는 개별 모달리티(Individual Modality)뿐 아니라 모달리티 사이의 관계도 검사해야 한다. 카메라 스트림(Camera Stream)은 시각적으로 선명하더라도 제어 명령(Control Command)과 시간적으로 잘못 정렬되어 있을 수 있으며, 정확한 관절 측정값(Joint Measurement)도 잘못된 좌표계 규약(Coordinate Convention)을 사용할 수 있다. 따라서 검증 절차(Validation Procedure)는 타임스탬프 일관성(Timestamp Consistency), 센서 보정(Sensor Calibration), 누락 구간(Missing Interval), 물리 단위(Physical Unit), 궤적 연속성(Trajectory Continuity)을 검사해야 한다. 신뢰할 수 있는 다중모달 데이터셋(Multimodal Dataset)을 구축하려면 개별 신호 품질(Isolated Signal Quality)만이 아니라 센서 간 일관성(Cross-Sensor Coherence)이 필요하다.

다중모달 및 시간적 로봇 데이터(Multimodal and Temporal Robot Data)의 장기적인 가치(Long-Term Value)는 물리적 경험(Physical Experience)을 인식(Perception), 행동(Action), 결과(Consequence)가 조정된 시퀀스(Coordinated Sequence)로 표현할 수 있다는 점에 있다. 동기화된 관측(Synchronized Observation), 내부 상태(Internal State), 제어 명령(Control Command), 결과(Outcome)를 보존함으로써 데이터 엔진(Data Engine)은 점차 정교해지는 로봇 지능(Robot Intelligence)을 지원하는 학습 자원(Training Resource)을 구축한다. 이러한 구조화된 경험(Structured Experience)은 피지컬 인공지능 시스템이 동적 관계(Dynamic Relationship)를 학습하고, 다양한 환경에 일반화(Generalization)하며, 실제 환경 행동(Real-World Behavior)의 신뢰성(Reliability)을 향상시키도록 한다.

00.06. Real Synthetic and Human Data

피지컬 인공지능(Physical AI) 개발은 다양한 환경에서 안정적으로 작동할 수 있는 로봇을 구축하기 위해 실제 환경 데이터(Real-World Data), 합성 데이터(Synthetic Data), 인간 생성 데이터(Human-Generated Data)를 결합하는 데 의존한다. 각 데이터 소스(Data Source)는 인식(Perception), 행동(Action), 물리적 상호작용(Physical Interaction)에 관한 서로 다른 형태의 지식을 제공한다. 실제 데이터(Real Data)는 실제 운영 조건을 포착하고, 합성 데이터는 제어 가능한 경험을 확장하며, 인간 데이터(Human Data)는 목적 지향적 행동(Purposeful Behavior)의 시연을 제공한다. 이러한 데이터의 통합은 확장 가능한 로봇 학습(Scalable Robot Learning)의 기반을 형성한다.

실제 환경 로봇 데이터(Real-World Robot Data)는 실제 환경과 상호작용하는 물리적 시스템(Physical System)에서 생성된다. 카메라(Camera), 깊이 센서(Depth Sensor), 관절 엔코더(Joint Encoder), 힘 센서(Force Sensor), 제어 시스템(Control System)은 운영 과정에서 관측(Observation), 행동(Action), 결과(Outcome)를 기록한다. 이러한 기록은 마찰(Friction), 진동(Vibration), 센서 잡음(Sensor Noise), 구동기 지연(Actuator Delay), 예상하지 못한 외란(Unexpected Disturbance)과 같은 물리적 영향을 포착한다. 이러한 세부 특성은 시뮬레이션(Simulation)에서 완벽하게 재현하기 어렵기 때문에 실제 데이터는 학습된 행동(Learned Behavior)을 검증하는 데 필수적이다.

실제 환경 데이터(Real-World Data)의 주요 장점은 배포 환경(Deployment Condition)과 직접적으로 연결된다는 점이다. 창고 로봇(Warehouse Robot)은 불규칙한 바닥 표면(Irregular Floor Surface), 이동하는 작업자(Moving Worker), 변화하는 조명(Changing Illumination), 예측하기 어려운 장애물(Unpredictable Obstacle)을 마주한다. 조작 로봇(Manipulation Robot)은 물체 무게(Object Weight), 재료 특성(Material Property), 접촉 동역학(Contact Dynamics)의 변화를 경험한다. 이러한 상호작용을 기록하면 모델은 실제 물리적 복잡성(Authentic Physical Complexity)을 학습하고 단순화된 학습 환경(Training Environment)에서 간과할 수 있는 한계를 식별할 수 있다.

그러나 실제 환경 데이터 수집(Real-World Data Collection)에는 상당한 운영 비용(Operational Cost)과 제약조건(Constraint)이 따른다. 로봇에는 하드웨어 유지보수(Hardware Maintenance), 감독하의 운영(Supervised Operation), 통신 인프라(Communication Infrastructure), 안전한 데이터 저장(Secure Data Storage)이 필요하다. 희귀한 실패(Rare Failure)를 수집하려면 장기간 운영해야 할 수 있으며, 위험한 상황을 의도적으로 재현하는 것은 허용되지 않을 수 있다. 이러한 한계는 모든 경험을 물리적으로 발생시키지 않으면서 학습 범위(Learning Coverage)를 확장할 수 있는 보완적 데이터 소스(Complementary Data Source)의 활용을 촉진한다.

합성 데이터(Synthetic Data)는 시뮬레이션 엔진(Simulation Engine), 절차적 환경(Procedural Environment), 물리 모델(Physics Model), 기타 계산적 방법(Computational Method)을 통해 생성된다. 가상 로봇(Virtual Robot)은 시뮬레이션된 창고, 공장, 가정, 실외 환경에서 행동을 실행할 수 있다. 연구자는 완전한 상호작용 이력(Interaction History)을 기록하면서 물체 형상(Object Geometry), 조명(Lighting), 마찰(Friction), 장애물(Obstacle), 작업 구성(Task Configuration)을 변화시킬 수 있다. 이러한 제어 가능성(Controllability)은 합성 데이터를 체계적인 실험(Systematic Experimentation)과 대규모 시나리오 생성(Large-Scale Scenario Generation)에 유용하게 만든다.

합성 데이터(Synthetic Data)의 주요 이점 중 하나는 자동으로 생성되는 라벨(Automatically Generated Label)을 활용할 수 있다는 점이다. 시뮬레이션 시스템(Simulation System)은 물체 자세(Object Pose), 분할 마스크(Segmentation Mask), 깊이 측정값(Depth Measurement), 충돌 상태(Collision State), 접촉력(Contact Force), 정밀한 로봇 궤적(Precise Robot Trajectory)을 제공할 수 있다. 이러한 주석(Annotation)은 실제 센서에서 획득하기 어렵거나 높은 비용이 필요할 수 있다. 자동 라벨링(Automated Labeling)은 특히 인식(Perception), 기하학적 추론(Geometric Reasoning), 동역학 예측(Dynamics Prediction)을 위한 대규모 학습 데이터셋(Training Dataset)을 효율적으로 생성하도록 한다.

합성 환경(Synthetic Environment)은 희귀하고 잠재적으로 위험한 상황(Rare and Potentially Hazardous Situation)을 탐색하는 데에도 활용된다. 로봇은 실제 장비나 인간의 안전을 위협하지 않으면서 시뮬레이션된 충돌(Simulated Collision), 불안정한 파지(Unstable Grasp), 미끄러운 표면(Slippery Surface), 예상하지 못한 보행자 움직임(Unexpected Pedestrian Movement)을 경험할 수 있다. 반복적인 실험(Repeated Experiment)은 제어 정책(Control Policy)이 변화하는 조건에 어떻게 반응하는지를 보여준다. 그러나 이러한 경험이 신뢰할 수 있는 실제 환경 학습(Real-World Learning)을 지원하려면 시뮬레이션된 실패가 물리적으로 타당한 행동(Physically Plausible Behavior)을 나타내야 한다.

시뮬레이션과 현실 사이의 격차(Simulation-to-Reality Gap)는 합성 학습 데이터(Synthetic Training Data)의 핵심적인 한계로 남아 있다. 물리 엔진(Physics Engine)은 접촉 동역학(Contact Dynamics), 재료 거동(Material Behavior), 센서 특성(Sensor Characteristic), 환경 변동성(Environmental Variability)을 근사적으로 표현한다. 시뮬레이션 조건과 실제 조건 사이의 차이로 인해 가상 환경에서 우수한 성능을 보인 정책(Policy)이 실제 배포 이후 실패할 수 있다. 도메인 무작위화(Domain Randomization), 시스템 식별(System Identification), 실제 환경 보정(Real-World Calibration)은 이러한 격차를 줄이는 데 도움이 되지만, 운영 신뢰성(Operational Reliability)을 확보하려면 물리적 시험(Physical Testing)이 여전히 필요하다.

인간 생성 데이터(Human-Generated Data)는 또 다른 필수적인 학습 경험(Learning Experience)의 원천을 제공한다. 인간은 목적 지향적 행동(Purposeful Behavior)을 시연하고, 예상하지 못한 상황에 적응하며, 행동을 선택할 때 맥락적 지식(Contextual Knowledge)을 활용한다. 인간 시연(Human Demonstration)은 원격조작(Teleoperation), 동작 포착(Motion Capture), 웨어러블 센서(Wearable Sensor), 비디오 기록(Video Recording), 직접적인 로봇 지도(Direct Robot Guidance)를 통해 수집할 수 있다. 이러한 기록은 로봇이 자율 탐색(Autonomous Exploration)만으로 발견하기 어려운 작업 수행(Task Execution)의 사례를 제공한다.

원격조작 데이터(Teleoperation Data)는 인간의 의사결정(Human Decision-Making)을 로봇 고유의 행동(Robot-Specific Action)과 연결한다. 운영자(Operator)는 환경을 관측하고 조이스틱(Joystick), 햅틱 장치(Haptic Device), 특수 인터페이스(Specialized Interface)를 통해 로봇을 제어한다. 생성된 기록에는 센서 관측(Sensor Observation), 제어 명령(Control Command), 작업 결과(Task Outcome)가 포함된다. 행동이 로봇의 물리적 구조(Physical Structure)를 통해 실행되므로 원격조작은 대상 플랫폼(Target Platform)의 체화 구조(Embodiment)와 제어 요구사항(Control Requirement)에 밀접하게 부합하는 시연을 제공한다.

인간 비디오 데이터(Human Video Data)는 더 광범위하지만 직접적인 전이 가능성(Transferability)은 상대적으로 낮은 경험의 원천을 제공한다. 가사 작업(Household Task), 물체 조립(Object Assembly), 도구 조작(Tool Manipulation)을 수행하는 인간의 비디오는 작업 구조(Task Structure), 물체 상호작용(Object Interaction), 행동 시퀀스(Action Sequence)에 관한 정보를 포함한다. 그러나 인간의 신체(Human Body)는 로봇의 기계적 구조(Robotic Mechanism)와 상당히 다르다. 인간의 움직임을 실행 가능한 로봇 행동(Executable Robot Action)으로 변환하려면 대응 관계 모델링(Correspondence Modeling), 동작 재매핑(Motion Retargeting), 체화 구조 차이(Embodiment Difference)에 대한 추론이 필요하다.

인간 시연(Human Demonstration)에는 학습 과정에서 고려해야 할 불완전성(Imperfection)도 포함되어 있다. 운영자는 실수를 하거나 비효율적인 움직임(Inefficient Movement)을 사용하거나 특정 로봇이 갖추지 못한 능력(Capability)에 의존하는 행동을 수행할 수 있다. 비디오 기록(Video Recording)에는 힘(Force), 접촉 조건(Contact Condition), 정밀한 제어 명령(Precise Control Command)이 누락될 수 있다. 따라서 직접 재현해서는 안 되는 행동과 유용한 시연을 구분하려면 품질 평가(Quality Assessment)와 맥락 기반 라벨링(Contextual Labeling)이 필요하다.

세 가지 데이터 소스(Data Source)는 각각의 강점이 서로 다른 학습 요구사항(Learning Requirement)을 충족하기 때문에 상호보완적이다. 실제 데이터(Real Data)는 물리적 타당성(Physical Validity)을 확립하고, 합성 데이터(Synthetic Data)는 확장 가능한 다양성(Scalable Variation)을 제공하며, 인간 데이터(Human Data)는 작업 지식(Task Knowledge)과 행동 지침(Behavioral Guidance)을 도입한다. 조작 시스템(Manipulation System)은 합성 이미지(Synthetic Image)로 물체 인식(Object Recognition)을 학습하고, 시연(Demonstration)으로 파지 전략(Grasp Strategy)을 습득하며, 실제 환경 상호작용(Real-World Interaction)을 통해 접촉 제어(Contact Control)를 개선할 수 있다. 이러한 결합은 단일 수집 방법(Collection Method)에 대한 의존도를 줄일 수 있다.

데이터 혼합 전략(Data Mixing Strategy)은 이러한 데이터 소스가 모델 학습(Model Training)에 어떻게 기여하는지를 결정한다. 이용 가능한 모든 기록을 단순히 결합하면 합성 데이터셋(Synthetic Dataset)의 규모가 실제 환경 데이터 집합(Real-World Collection)을 크게 초과할 수 있으므로 불균형(Imbalance)이 발생할 수 있다. 샘플링 가중치(Sampling Weight), 커리큘럼 학습(Curriculum Learning), 데이터 소스별 학습 목표(Source-Specific Objective), 단계적 학습(Staged Training)은 이러한 차이를 관리하는 데 도움이 된다. 적절한 혼합 비율(Mixture Ratio)은 작업 복잡성(Task Complexity), 모델 아키텍처(Model Architecture), 체화 구조(Embodiment), 각 데이터 소스의 신뢰성(Reliability)에 따라 달라진다.

일반적인 개발 전략(Development Strategy)은 합성 환경(Synthetic Environment)과 인간 시연(Human Demonstration)을 활용한 광범위한 사전학습(Pretraining)으로 시작한 다음, 로봇별 실제 데이터(Robot-Specific Real Data)를 사용하여 적응(Adaptation)하는 방식이다. 사전학습은 유용한 시각적 표현(Visual Representation), 작업 패턴(Task Pattern), 초기 제어 행동(Preliminary Control Behavior)을 확립한다. 이후 물리적 상호작용(Physical Interaction)을 통해 부정확한 부분과 플랫폼별 한계(Platform-Specific Limitation)를 발견한다. 반복적인 미세조정(Iterative Fine-Tuning)은 이러한 경험을 활용하여 실제 배포 조건(Actual Deployment Condition)에서의 신뢰성을 향상시킨다.

서로 다른 유형의 데이터를 결합할 때는 데이터 소스 간 정렬(Cross-Source Alignment)이 필수적이다. 실제 로봇(Real Robot), 시뮬레이션 플랫폼(Simulated Platform), 인간 시연(Human Demonstration)은 서로 다른 좌표계(Coordinate System), 행동 표현(Action Representation), 관측 주파수(Observation Frequency), 작업 설명(Task Description)을 사용할 수 있다. 일관된 메타데이터(Consistent Metadata)와 변환 절차(Transformation Procedure)는 이러한 기록을 연결하는 데 도움이 된다. 신중한 정렬이 이루어지지 않으면 모델은 호환되지 않는 관계(Incompatible Relationship)를 학습하거나 데이터 수집 방법의 차이를 의미 있는 물리적 행동(Physical Behavior)으로 혼동할 수 있다.

데이터 출처 정보(Data Provenance)는 각 경험이 물리적 로봇(Physical Robot), 시뮬레이션(Simulation), 인간 시연(Human Demonstration) 중 어디에서 생성되었는지를 식별해야 한다. 기록에는 수집 조건(Collection Condition), 센서 구성(Sensor Configuration), 시뮬레이터 버전(Simulator Version), 운영자 개입(Operator Involvement), 주석 방법(Annotation Method)에 관한 정보가 보존되어야 한다. 이러한 추적 가능성(Traceability)은 재현성(Reproducibility)을 지원하고 데이터 소스별 성능 분석(Performance Analysis)을 가능하게 한다. 또한 엔지니어가 모델 실패(Model Failure)의 원인이 시뮬레이션의 부정확성(Simulation Inaccuracy), 시연 품질(Demonstration Quality), 실제 환경 데이터의 부족한 포괄성(Insufficient Real-World Coverage) 중 어디에 있는지를 식별하는 데 도움이 된다.

능동학습(Active Learning)은 세 가지 데이터 소스 전반에 걸쳐 데이터 획득(Data Acquisition)을 조정할 수 있다. 배포된 로봇(Deployed Robot)이 불확실성(Uncertainty)에 직면하면 엔지니어는 추가적인 실제 환경 기록(Real-World Recording)을 요청하거나, 목표 지향적 시뮬레이션 시나리오(Targeted Simulation Scenario)를 생성하거나, 교정용 인간 시연(Corrective Human Demonstration)을 수집할 수 있다. 각 방법은 동일한 능력 격차(Capability Gap)를 서로 다른 관점에서 해결한다. 정보 가치(Information Value)와 비용 효율성(Cost-Effectiveness)이 가장 높은 데이터 소스를 선택하면 무분별한 데이터 축적(Indiscriminate Data Accumulation)보다 효율적인 데이터 엔진(Data Engine)을 구축할 수 있다.

평가(Evaluation)는 합성 환경(Synthetic Environment)에서 입증된 개선과 물리적 운영(Physical Operation)을 통해 검증된 개선을 구분해야 한다. 시뮬레이션 벤치마크(Simulation Benchmark)는 반복 가능한 시험(Repeatable Testing)을 제공하고, 인간 시연(Human Demonstration)은 기준 행동(Reference Behavior)을 확립하며, 실제 환경 시험(Real-World Trial)은 실질적인 신뢰성(Practical Reliability)을 측정한다. 혼합 데이터(Mixed Data)로 학습한 모델은 익숙한 조건(Familiar Condition)과 익숙하지 않은 조건(Unfamiliar Condition) 모두에서 평가되어야 한다. 강건성(Robustness), 안전성(Safety), 작업 성공(Task Success), 복구 성능(Recovery Performance)은 학습 정확도(Training Accuracy)만으로 판단하는 것보다 더 유용한 정보를 제공한다.

데이터 소스 결합(Combining Data Sources)의 경제적 가치(Economic Value)는 수집 비용(Collection Expense)과 능력 향상(Capability Improvement) 사이의 균형에 달려 있다. 합성 데이터 생성(Synthetic Generation)은 물리적 실험 비용(Physical Experimentation Cost)을 줄일 수 있으며, 인간 시연(Human Demonstration)은 복잡한 작업(Complex Task)의 학습을 가속할 수 있다. 실제 환경 데이터(Real-World Data)는 운영상의 약점(Operational Weakness)을 식별하고 성능(Performance)을 확인하는 데 여전히 필요하다. 효과적인 데이터 엔진(Data Engine)은 정보 가치(Information Value), 개발 우선순위(Development Priority), 배포 제약조건(Deployment Constraint)에 따라 데이터 획득 전략(Data Acquisition Strategy)을 지속적으로 조정한다.

실제 환경 데이터(Real-World Data), 합성 데이터(Synthetic Data), 인간 생성 데이터(Human-Generated Data)는 궁극적으로 피지컬 인공지능(Physical AI)을 위한 상호 연결된 학습 생태계(Interconnected Learning Ecosystem)를 형성한다. 이러한 데이터의 조화로운 활용(Coordinated Use)은 모델이 광범위한 경험(Broad Experience)을 습득하고, 목적 지향적 행동(Purposeful Behavior)을 학습하며, 실제 물리적 조건(Authentic Physical Condition)에 적응하도록 한다. 데이터 품질(Data Quality), 출처 추적 가능성(Source Traceability), 시간적 일관성(Temporal Consistency), 엄격한 검증(Rigorous Validation)을 유지함으로써 피지컬 인공지능 데이터 엔진(Physical AI Data Engine)은 이질적인 경험(Heterogeneous Experience)을 점차 높은 능력(Capability), 일반화 성능(Generalizability), 신뢰성(Reliability)을 갖춘 로봇 지능(Robotic Intelligence)으로 전환할 수 있다.

00.07. Data Quality Diversity and Coverage

데이터 품질(Data Quality), 다양성(Diversity), 포괄성(Coverage)은 피지컬 인공지능(Physical AI) 시스템이 학습 환경(Training Environment)을 넘어 일반화(Generalization)할 수 있는 신뢰성 높은 행동(Reliable Behavior)을 학습할 수 있는지를 결정한다. 대규모 데이터셋(Large Dataset)만으로는 우수한 성능이 보장되지 않는다. 중복되거나 부정확하거나 분포가 제한된 경험은 기존의 한계를 더욱 강화할 수 있기 때문이다. 효과적인 로봇 학습(Robot Learning)에는 신뢰할 수 있는 측정값(Trustworthy Measurement), 다양한 상호작용(Varied Interaction), 관련 운영 조건(Operating Condition)에 대한 충분한 표현이 필요하다. 이 세 가지 요소는 피지컬 인공지능 데이터 엔진(Physical AI Data Engine)의 실질적인 가치를 공동으로 결정한다.

데이터 품질(Data Quality)은 기록된 경험(Recorded Experience)의 정확성(Accuracy), 일관성(Consistency), 완전성(Completeness), 신뢰성(Reliability)을 의미한다. 로봇 데이터셋(Robot Dataset)에는 센서 관측(Sensor Observation), 제어 명령(Control Command), 물리적 상태(Physical State), 타임스탬프(Timestamp), 작업 결과(Task Outcome)가 포함되며, 이들은 상호 일관성을 유지해야 한다. 어느 한 요소의 오류도 행동과 결과 사이의 학습된 관계(Learned Relationship)를 왜곡할 수 있다. 고품질 데이터(High-Quality Data)는 상호작용의 물리적 의미(Physical Meaning)를 보존하고 학습(Training), 평가(Evaluation), 실패 분석(Failure Analysis)에 신뢰할 수 있는 근거를 제공한다.

센서 품질(Sensor Quality)은 신뢰할 수 있는 로봇 데이터(Robot Data)의 기본 구성요소이다. 카메라 흐림(Camera Blur), 깊이 잡음(Depth Noise), 라이다 아티팩트(LiDAR Artifact), 엔코더 드리프트(Encoder Drift), 부정확한 힘 측정(Inaccurate Force Measurement)은 잘못된 관측을 발생시킬 수 있다. 보정 오류(Calibration Error)는 감지 모달리티(Sensing Modality) 사이의 공간적 불일치(Spatial Inconsistency)를 유발하며, 동기화 실패(Synchronization Failure)는 행동을 잘못된 결과와 연결할 수 있다. 따라서 데이터 검증 절차(Data Validation Procedure)는 센서 무결성(Sensor Integrity), 좌표 변환(Coordinate Transformation), 시간 정렬(Temporal Alignment), 측정 불확실성(Measurement Uncertainty)을 평가해야 한다.

라벨 품질(Label Quality)도 지도 기반 로봇 학습(Supervised Robot Learning)의 효과에 영향을 미친다. 잘못된 물체 주석(Object Annotation), 모호한 작업 설명(Ambiguous Task Description), 일관되지 않은 성공 기준(Inconsistent Success Criteria), 불완전한 실패 라벨(Incomplete Failure Label)은 서로 충돌하는 학습 신호(Conflicting Training Signal)를 생성할 수 있다. 자동 라벨링(Automated Labeling)은 처리량(Throughput)을 향상시키지만 대규모 데이터 집합에 체계적인 오류(Systematic Error)를 확산시킬 수 있다. 인간 검토(Human Review), 신뢰도 점수화(Confidence Scoring), 주석 지침(Annotation Guideline), 의견 불일치 분석(Disagreement Analysis)은 실제 물리적 사건(Physical Event)을 반영하는 일관된 라벨을 확립하는 데 도움이 된다.

데이터 다양성(Data Diversity)은 데이터셋에 포함된 환경(Environment), 물체(Object), 작업(Task), 행동(Behavior), 물리적 조건(Physical Condition)의 범위를 설명한다. 고정된 조명(Fixed Lighting) 아래에서 유사한 물체만 학습한 조작 시스템(Manipulation System)은 익숙하지 않은 재료(Unfamiliar Material)나 형상(Geometry)을 접했을 때 성능이 저하될 수 있다. 하나의 창고에서 학습한 주행 로봇(Navigation Robot)은 다른 공간 배치(Layout)나 보행자 이동 패턴(Pedestrian Pattern)에 적응하기 어려울 수 있다. 다양한 경험(Diverse Experience)은 모델을 여러 변화 조건에 노출시켜 적응(Adaptation)과 일반화(Generalization)를 지원한다.

다양성(Diversity)은 시각적 외형(Visual Appearance)을 넘어 물리적 상호작용(Physical Interaction)의 의미 있는 차이까지 포함해야 한다. 물체 질량(Object Mass), 마찰(Friction), 순응성(Compliance), 접촉 형상(Contact Geometry), 구동기 응답(Actuator Response), 환경 외란(Environmental Disturbance)은 동일한 명령의 결과를 변화시킬 수 있다. 학습 데이터(Training Data)는 목표 작업(Target Task)과 관련된 경우 이러한 변화를 표현해야 한다. 그렇지 않으면 모델은 신뢰할 수 있는 제어(Reliable Control)에 필요한 물리적 관계(Physical Relationship)를 이해하지 못한 채 피상적인 시각적 상관관계(Superficial Visual Correlation)만 학습할 수 있다.

포괄성(Coverage)은 데이터셋이 로봇이 마주할 것으로 예상되는 상황을 얼마나 충분하게 표현하는지를 측정한다. 다양성이 변화의 범위를 설명한다면, 포괄성은 운영 영역(Operational Domain)의 중요한 부분이 충분히 샘플링(Sampling)되었는지를 평가한다. 데이터셋에 다양한 장면(Scene)이 포함되어 있더라도 좁은 통로(Narrow Passage), 반사 표면(Reflective Surface), 특이한 물체 방향(Unusual Object Orientation), 어려운 복구 조건(Difficult Recovery Condition)이 누락될 수 있다. 포괄성 분석(Coverage Analysis)은 이러한 공백을 식별하고 목표 지향적 데이터 수집(Targeted Data Collection)을 안내한다.

운영 설계 영역(Operational Design Domain, ODD)은 데이터 포괄성(Data Coverage)을 측정하기 위한 실질적인 기준을 제공한다. 운영 설계 영역은 로봇이 작동하도록 의도된 환경(Environment), 작업(Task), 운영 속도(Operating Speed), 적재하중(Payload), 환경 조건(Environmental Condition), 상호작용 제약조건(Interaction Constraint)을 정의한다. 데이터셋 평가(Dataset Evaluation)는 수집된 경험을 이러한 정의된 영역과 비교해야 한다. 의도된 운영 범위를 벗어난 포괄성은 강건성(Robustness)에 도움이 될 수 있지만, 필수 운영 조건(Essential Operating Condition)에 대한 사례 부족을 보완할 수는 없다.

희귀 사건(Rare Event)과 롱테일 시나리오(Long-Tail Scenario)는 데이터 포괄성(Data Coverage)에 특별한 어려움을 발생시킨다. 충돌(Collision), 예상하지 못한 인간 개입(Unexpected Human Intervention), 불안정한 파지(Unstable Grasp), 센서 고장(Sensor Failure), 특이한 환경 외란(Unusual Environmental Disturbance)은 정상 운영(Normal Operation) 중 드물게 발생할 수 있다. 이러한 희소성(Scarcity) 때문에 수동적인 데이터 수집(Passive Collection)만으로는 확보하기 어렵다. 목표 지향적 실험(Targeted Experiment), 시뮬레이션(Simulation), 선택적 이벤트 기록(Selective Event Recording)은 과도한 일상 데이터 축적 없이 이러한 사례의 표현을 확대할 수 있다.

데이터셋 불균형(Dataset Imbalance)은 모델이 어려운 상황이나 안전에 중요한 사례(Safety-Critical Case)를 소홀히 하고 일반적인 상황을 우선하도록 만들 수 있다. 수천 개의 성공적인 주행 에피소드(Successful Navigation Episode)가 소수의 충돌 회피 실패(Collision-Avoidance Failure)를 압도할 수 있다. 마찬가지로 자주 접하는 물체가 조작 학습(Manipulation Training)을 지배하는 동안 드문 재료(Uncommon Material)는 충분히 표현되지 않을 수 있다. 샘플링 전략(Sampling Strategy), 손실 가중치(Loss Weighting), 커리큘럼 학습(Curriculum Learning)은 불균형을 완화할 수 있지만, 과도한 오버샘플링(Excessive Oversampling)은 새로운 편향(Bias)을 발생시킬 수 있다.

품질(Quality)과 다양성(Diversity)은 때때로 서로 충돌하는 수집 우선순위(Collection Priority)를 발생시킨다. 엄격한 필터링(Strict Filtering)은 손상된 기록(Corrupted Recording)을 제거하지만, 가치 있는 실패 정보(Failure Information)를 포함한 어려운 에피소드(Difficult Episode)까지 버릴 수 있다. 반대로 모든 특이한 사례(Unusual Example)를 유지하면 과도한 잡음(Noise)과 신뢰할 수 없는 라벨(Unreliable Label)이 유입될 수 있다. 효과적인 데이터 정제(Data Curation)는 실제로 정보 가치가 높은 복잡성(Informative Complexity)과 사용할 수 없는 데이터를 구분한다. 어려운 경험은 물리적 의미를 재구성할 수 있고 불확실성을 적절하게 문서화할 수 있을 때 보존해야 한다.

포괄성(Coverage)은 개별 변수(Isolated Variable)뿐 아니라 조건의 조합(Combination of Conditions)에 대해서도 평가되어야 한다. 로봇이 무거운 물체(Heavy Object)와 미끄러운 표면(Slippery Surface)을 각각 다룬 경험은 풍부하더라도 미끄러운 표면 위에서 무거운 물체를 취급한 경험은 부족할 수 있다. 이러한 상호작용(Interaction)은 개별 요인(Individual Factor)만으로 예측하기 어려운 실패를 발생시킬 수 있다. 조합적 포괄성 분석(Combinatorial Coverage Analysis)은 물체, 환경, 행동, 외란의 조합에서 누락된 부분을 식별하는 데 도움이 된다.

시간적 다양성(Temporal Diversity)은 로봇 행동(Robotic Behavior)이 개별 관측이 아니라 시퀀스(Sequence)를 통해 전개되기 때문에 중요한 요구사항이다. 데이터셋에는 작업 시작(Task Initiation), 정상 실행(Normal Execution), 예상하지 못한 중단(Unexpected Interruption), 복구 행동(Recovery Action), 완료 결과(Completion Outcome)가 포함되어야 한다. 짧은 성공 시연(Short Successful Demonstration)은 지연된 실패(Delayed Failure)나 장기 의존관계(Long-Horizon Dependency)를 포착하지 못할 수 있다. 서로 다른 작업 지속시간(Task Duration)에 걸쳐 완전한 궤적(Complete Trajectory)을 기록하면 계획(Planning), 적응(Adaptation), 강건한 복구 행동(Robust Recovery Behavior)의 학습을 지원할 수 있다.

데이터 품질 지표(Data Quality Metric)는 의도된 학습 목표(Learning Objective)를 반영해야 한다. 인식 데이터셋(Perception Dataset)은 이미지 선명도(Image Clarity), 기하학적 정확도(Geometric Accuracy), 주석 일관성(Annotation Consistency)을 강조할 수 있으며, 제어 데이터셋(Control Dataset)은 정확한 타임스탬프(Timestamp), 행동 측정값(Action Measurement), 상태 전이(State Transition)가 필요하다. 조작 작업(Manipulation Task)은 접촉 정보(Contact Information)와 힘 보정(Force Calibration)을 우선할 수 있다. 하나의 범용 품질 점수(Universal Quality Score)로는 모든 데이터셋을 충분히 설명할 수 없으므로 작업별 검증 기준(Task-Specific Validation Criteria)이 필수적이다.

다양성 및 포괄성 지표(Diversity and Coverage Metric)는 메타데이터(Metadata), 특징 분포(Feature Distribution), 군집화(Clustering), 시나리오 분류체계(Scenario Taxonomy)를 활용하여 개발할 수 있다. 엔지니어는 작업 범주(Task Category), 환경 조건(Environmental Condition), 물체 특성(Object Property), 실패 유형(Failure Type)의 발생 빈도를 조사할 수 있다. 임베딩 기반 분석(Embedding-Based Analysis)은 학습된 특징 공간(Learned Feature Space)에서 중복 경험(Redundant Experience)이나 표현이 부족한 영역(Underrepresented Region)을 발견할 수 있다. 그러나 통계적 다양성(Statistical Diversity)이 항상 의미 있는 물리적 변화(Meaningful Physical Variation)에 대응하는 것은 아니므로 도메인 지식(Domain Knowledge)이 여전히 필요하다.

능동학습(Active Learning)은 불확실하거나 충분히 표현되지 않은 상황에 데이터 수집을 집중하여 데이터 효율성(Data Efficiency)을 향상시킨다. 모델은 배포(Deployment) 과정에서 익숙하지 않은 관측(Unfamiliar Observation), 일관되지 않은 예측(Inconsistent Prediction), 반복적인 실패 패턴(Repeated Failure Pattern)을 식별할 수 있다. 이러한 신호는 새로운 로봇 시연(Robot Demonstration), 목표 지향적 시뮬레이션 시나리오(Targeted Simulation Scenario), 추가적인 물리적 시험(Physical Trial)의 우선순위를 결정하는 데 도움이 된다. 목표는 단순히 데이터셋 크기(Dataset Size)를 증가시키는 것이 아니라 능력 격차(Capability Gap)를 줄이는 경험을 확보하는 것이다.

로봇 군집 규모의 데이터 수집(Fleet-Scale Data Collection)은 여러 시설(Facility), 운영자(Operator), 작업(Task), 환경 조건(Environmental Condition)에 로봇을 노출시켜 다양성을 확장할 수 있다. 그러나 대규모 로봇 군집(Larger Fleet)은 하드웨어 보정(Hardware Calibration), 센서 구성(Sensor Configuration), 소프트웨어 버전(Software Version), 운영 절차(Operating Procedure)의 차이도 발생시킨다. 표준화된 메타데이터(Standardized Metadata)와 검증(Validation)이 없으면 이러한 차이는 데이터셋 일관성(Dataset Consistency)을 저하시킬 수 있다. 로봇 군집 데이터 엔진(Fleet Data Engine)은 광범위한 경험 수집(Broad Experience Collection)과 신뢰할 수 있는 정규화(Normalization), 출처 추적 가능성(Source Traceability) 사이의 균형을 유지해야 한다.

합성 데이터(Synthetic Data)는 실제 사례(Physical Example)가 부족한 영역의 포괄성을 개선하기 위한 제어 가능한 방법을 제공한다. 시뮬레이션(Simulation)은 조명(Lighting), 물체 형상(Object Geometry), 마찰(Friction), 장애물 배치(Obstacle Placement), 실패 조건(Failure Condition)의 변화를 생성할 수 있다. 도메인 무작위화(Domain Randomization)는 학습 분포(Training Distribution)를 확장하고, 목표 지향적 시나리오 생성(Targeted Scenario Generation)은 알려진 약점(Known Weakness)을 해결한다. 그러나 비현실적인 변화(Unrealistic Variation)는 잘못된 학습 신호(Misleading Learning Signal)를 생성할 수 있으므로 합성 데이터의 다양성은 물리적 현실성(Physical Realism)을 기준으로 평가되어야 한다.

평가 데이터셋(Evaluation Dataset)은 학습 데이터(Training Data)와 분리하고 일반화(Generalization)의 약점을 드러낼 수 있도록 설계해야 한다. 단순한 무작위 분할(Random Splitting)만으로는 매우 유사한 궤적(Trajectory)이나 환경(Environment)이 학습 집합과 평가 집합 모두에 포함될 수 있어 지나치게 낙관적인 결과(Overly Optimistic Result)가 발생할 수 있다. 학습에서 접하지 않은 시설(Unseen Facility), 물체(Object), 조건(Condition), 작업 구성(Task Configuration)에 대한 시험은 전이 가능성(Transferability)에 관한 더 강력한 근거를 제공한다. 안전에 중요한 시나리오(Safety-Critical Scenario)와 롱테일 시나리오(Long-Tail Scenario)는 실제 발생 빈도가 낮더라도 명시적으로 평가해야 한다.

로봇이 새로운 운영 조건(New Operating Condition)을 경험함에 따라 데이터 품질(Data Quality)과 포괄성(Coverage)이 변화하므로 지속적인 모니터링(Continuous Monitoring)이 필요하다. 장비 변경(Equipment Modification), 계절적 영향(Seasonal Effect), 변화하는 작업 흐름(Evolving Workflow), 인간 행동(Human Behavior)의 변화는 배포 데이터 분포(Deployment Distribution)를 이동시킬 수 있다. 드리프트 탐지(Drift Detection)와 성능 모니터링(Performance Monitoring)은 기존 데이터셋이 현재 운영 조건을 더 이상 대표하지 못하는 시점을 식별하는 데 도움이 된다. 이러한 결과는 목표 지향적 데이터 수집(Targeted Collection), 데이터셋 개정(Dataset Revision), 통제된 모델 업데이트(Controlled Model Update)로 이어져야 한다.

데이터 거버넌스(Data Governance)는 출처 정보(Provenance), 버전 이력(Version History), 주석 정책(Annotation Policy), 재현 가능한 처리 절차(Reproducible Processing Procedure)를 보존함으로써 품질을 지원한다. 각 기록(Recording)은 데이터 소스(Source), 수집 조건(Collection Condition), 보정 상태(Calibration Status), 변환 이력(Transformation History)에 관한 정보를 유지해야 한다. 문서화된 데이터셋 버전(Documented Dataset Version)은 엔지니어가 모델 개선(Model Improvement)이나 성능 저하(Regression)를 특정 데이터 변경(Data Change)과 연결하도록 한다. 추적 가능성(Traceability)은 감사(Auditing), 개인정보 보호(Privacy Protection), 운영 실패(Operational Failure)에 대한 체계적인 조사도 지원한다.

궁극적인 목표는 데이터셋의 양(Dataset Volume)을 최대화하는 것이 아니라 수집 및 처리 노력(Collection and Processing Effort) 단위당 유용한 학습 정보(Useful Learning Information)를 최대화하는 것이다. 고품질 기록(High-Quality Record)은 신뢰할 수 있는 물리적 관계(Trustworthy Physical Relationship)를 확립하고, 다양성(Diversity)은 모델을 의미 있는 변화(Meaningful Variation)에 노출시키며, 포괄성(Coverage)은 중요한 운영 상황(Important Operating Situation)이 충분히 표현되도록 한다. 이러한 요소를 통합적으로 관리하면 피지컬 인공지능 데이터 엔진(Physical AI Data Engine)은 더욱 신뢰할 수 있는 일반화(Reliable Generalization), 효율적인 학습(Efficient Learning), 실제 환경 로봇 성능(Real-World Robotic Performance)의 지속적인 향상을 달성할 수 있다.

00.08. Roadmap of Physical AI Data Engines

피지컬 인공지능 데이터 엔진(Physical AI Data Engine)의 로드맵(Roadmap)은 개별적인 데이터 수집 파이프라인(Isolated Data Collection Pipeline)에서 로봇 지능(Robotic Intelligence)을 지속적으로 향상시키는 통합 학습 인프라(Integrated Learning Infrastructure)로의 발전 과정을 설명한다. 이러한 전환에는 데이터 획득(Data Acquisition), 처리(Processing), 라벨링(Labeling), 모델 학습(Model Training), 평가(Evaluation), 배포(Deployment) 전반에 걸친 조화로운 기술 발전이 필요하다. 데이터셋(Dataset)을 정적인 자원(Static Resource)으로 취급하는 대신, 이 로드맵은 데이터를 물리적 경험(Physical Experience)과 점점 더 높은 수준의 자율 행동(Autonomous Behavior)을 연결하는 지속적으로 진화하는 자산(Evolving Asset)으로 정의한다.

첫 번째 단계에서는 로봇 경험(Robot Experience)을 안정적으로 수집하고 구성하기 위한 기반을 확립한다. 카메라(Camera), 깊이 센서(Depth Sensor), 라이다(LiDAR), 관절 엔코더(Joint Encoder), 힘 센서(Force Sensor), 제어 시스템(Control System)은 동기화된 관측(Observation), 행동(Action), 결과(Outcome)를 생성해야 한다. 표준화된 데이터 스키마(Standardized Data Schema)는 타임스탬프(Timestamp), 좌표계(Coordinate Frame), 작업 식별자(Task Identifier), 하드웨어 구성(Hardware Configuration)을 보존한다. 이러한 기반을 통해 이질적인 기록(Heterogeneous Recording)을 서로 연결되지 않은 센서 측정값의 집합이 아니라 일관된 학습 자원(Consistent Training Resource)으로 전환할 수 있다.

실용적인 데이터 엔진(Data Engine)은 명확하게 정의된 학습 목표(Learning Objective)와 운영 요구사항(Operational Requirement)에서 시작한다. 엔지니어는 로봇이 수행해야 할 작업(Task), 마주하게 될 환경(Environment), 가장 중요하게 고려해야 할 실패 조건(Failure Condition)을 식별해야 한다. 이러한 요구사항은 어떤 데이터를 수집해야 하는지와 그 유용성(Usefulness)을 어떻게 평가할 것인지를 결정한다. 데이터 획득 전략(Data Acquisition Strategy)을 측정 가능한 능력 격차(Measurable Capability Gap)와 연결하면 실제 로봇 성능(Robot Performance)에 거의 기여하지 못하는 기록을 높은 비용을 들여 축적하는 문제를 방지할 수 있다.

원격조작(Teleoperation)은 초기 단계에서 로봇 고유의 시연(Robot-Specific Demonstration)을 확보하기 위한 중요한 데이터 소스를 제공한다. 인간 운영자(Human Operator)가 물리적 로봇(Physical Robot)을 제어하는 동안 동기화된 센서(Synchronized Sensor)는 관측(Observation), 행동(Action), 작업 결과(Task Outcome)를 기록한다. 이러한 궤적(Trajectory)은 성공적인 행동(Successful Behavior)과 복구 전략(Recovery Strategy)의 초기 사례를 확립한다. 자율 정책(Autonomous Policy)의 성능이 향상됨에 따라 원격조작은 어려운 상황(Difficult Situation), 개입 이벤트(Intervention Event), 현재 로봇의 능력을 넘어서는 작업에 점차 집중하게 된다.

인간 비디오 데이터(Human Video Data)는 로봇 하드웨어(Robot Hardware)를 통해 직접 기록된 경험을 넘어 학습 기반(Learning Foundation)을 확장한다. 인간이 물체를 조작하고, 환경을 이동하며, 일상적인 작업을 완료하는 비디오에는 목표(Goal)와 행동 시퀀스(Action Sequence)에 관한 가치 있는 정보가 포함되어 있다. 그러나 인간의 움직임(Human Movement)은 기계적 구조(Mechanical Structure)가 다른 로봇에 직접 전이될 수 없다. 따라서 로드맵에는 작업 지식(Task Knowledge)을 추출하고 인간 행동(Human Behavior)을 실행 가능한 로봇 행동(Executable Robot Action)과 정렬하는 방법이 포함된다.

시뮬레이션 생성 데이터(Simulation-Generated Data)는 데이터 엔진(Data Engine)에 확장성(Scalability)과 제어 가능한 실험(Controlled Experimentation)을 도입한다. 가상 환경(Virtual Environment)은 일반적인 작업을 재현하면서 물체 형상(Object Geometry), 조명(Lighting), 마찰(Friction), 장애물(Obstacle), 상호작용 조건(Interaction Condition)의 변화를 생성할 수 있다. 또한 시뮬레이션(Simulation)은 물리적 장비(Physical Equipment)를 불필요한 위험에 노출시키지 않으면서 희귀하거나 위험한 시나리오(Rare or Hazardous Scenario)를 탐색할 수 있도록 한다. 그 효과는 충분한 물리적 현실성(Physical Realism)을 유지하고 학습된 행동(Learned Behavior)을 실제 환경 관측(Real-World Observation)과 비교하여 검증하는 데 달려 있다.

다음 개발 단계에서는 실제 데이터(Real Data), 합성 데이터(Synthetic Data), 인간 생성 데이터(Human-Generated Data)를 통합된 학습 데이터셋(Unified Training Dataset)으로 결합한다. 이러한 데이터 소스는 센서 구성(Sensor Configuration), 행동 표현(Action Representation), 물리적 충실도(Physical Fidelity), 주석 품질(Annotation Quality)에서 차이가 있다. 데이터 변환(Data Transformation)과 메타데이터 표준(Metadata Standard)은 각 데이터의 출처(Origin)를 보존하면서 서로 간의 관계를 확립한다. 효과적인 통합(Effective Integration)은 시뮬레이션된 행동(Simulated Behavior)과 검증된 물리적 경험(Verified Physical Experience)을 혼동하지 않으면서 광범위한 사전학습(Broad Pretraining)과 로봇별 적응(Robot-Specific Adaptation)을 가능하게 한다.

데이터 수집량(Collection Volume)이 증가함에 따라 데이터 라벨링(Data Labeling)은 점차 자동화된다. 물체 식별 정보(Object Identity), 공간적 관계(Spatial Relationship), 접촉 이벤트(Contact Event), 작업 단계(Task Phase), 성공 조건(Success Condition), 실패 범주(Failure Category)는 일관되게 표현되어야 한다. 자동화된 인식 모델(Automated Perception Model)과 시뮬레이션 메타데이터(Simulation Metadata)는 초기 주석(Preliminary Annotation)을 생성할 수 있으며, 인간 검토자(Human Reviewer)는 모호한 사례(Ambiguous Case)를 처리한다. 확장 가능한 라벨링 인프라(Scalable Labeling Infrastructure)는 주석 효율성(Annotation Efficiency), 품질 보증(Quality Assurance), 추적 가능성(Traceability)을 결합한다.

데이터 정제 및 필터링(Data Curation and Filtering)은 모든 데이터를 수집하는 방식에서 학습 개선에 기여하는 경험을 선택하는 방식으로의 전환을 의미한다. 중복 기록(Duplicate Recording), 손상된 센서 스트림(Corrupted Sensor Stream), 정보량이 적은 궤적(Low-Information Trajectory)은 상당한 저장 자원(Storage Resource)과 학습 자원(Training Resource)을 소비할 수 있다. 품질 점수화(Quality Scoring), 다양성 분석(Diversity Analysis), 실패 분류(Failure Classification)는 가치 있는 사례(Valuable Example)를 식별하는 데 도움이 된다. 목표는 대표성 있는 데이터셋(Representative Dataset)을 유지하면서 어려운 상호작용(Difficult Interaction)과 충분히 표현되지 않은 운영 조건(Underrepresented Operating Condition)을 강조하는 것이다.

능동학습(Active Learning)은 식별된 모델의 약점(Model Weakness)에 새로운 데이터 획득(Data Acquisition)을 집중시키는 피드백 메커니즘(Feedback Mechanism)을 도입한다. 불확실한 예측(Uncertain Prediction), 반복적인 개입 이벤트(Repeated Intervention Event), 예상하지 못한 결과(Unexpected Outcome)는 추가 경험이 유용할 수 있는 영역을 나타낸다. 데이터 엔진(Data Engine)은 목표 지향적 원격조작(Targeted Teleoperation)을 요청하거나, 시뮬레이션 시나리오(Simulation Scenario)를 생성하거나, 추가적인 물리적 시험(Physical Trial)을 수행하는 방식으로 대응할 수 있다. 이러한 접근법은 데이터 수집 의사결정(Data Collection Decision)을 로봇 능력(Robotic Capability)의 측정 가능한 향상과 직접 연결한다.

모델 학습 인프라(Model Training Infrastructure)는 데이터 파이프라인(Data Pipeline)과 함께 발전해야 한다. 대규모 다중모달 데이터셋(Large Multimodal Dataset)에는 분산 저장소(Distributed Storage), 효율적인 데이터 로딩(Efficient Data Loading), 확장 가능한 연산(Scalable Computation), 재현 가능한 학습 구성(Reproducible Training Configuration)이 필요하다. 인식 모델(Perception Model), 제어 정책(Control Policy), 월드 모델(World Model)은 동일한 경험 기록(Experience Record)을 공유하면서도 서로 다른 학습 목표(Learning Objective)를 사용할 수 있다. 버전이 관리되는 데이터셋(Versioned Dataset)과 실험 추적(Experiment Tracking)은 어떤 데이터 변경(Data Change)이 의미 있는 성능 향상(Meaningful Improvement)을 발생시키는지 엔지니어가 이해하도록 한다.

스케일링 법칙(Scaling Law)은 데이터(Data), 모델 용량(Model Capacity), 연산 자원(Computational Resource)의 증가에 따라 로봇 능력(Robot Capability)이 어떻게 변화하는지 조사하기 위한 프레임워크(Framework)를 제공한다. 언어 중심 학습(Language-Only Learning)과 달리 피지컬 인공지능(Physical AI)은 다양한 상호작용(Diverse Interaction), 정확한 행동 라벨(Accurate Action Label), 물리적으로 의미 있는 결과(Physically Meaningful Outcome)에 의존한다. 경험이 중복되거나 분포가 제한되어 있으면 데이터가 추가되어도 성능 향상 효과가 감소할 수 있다. 따라서 확장 전략(Scaling Strategy)은 데이터셋 크기(Dataset Size)뿐 아니라 정보 품질(Information Quality)과 체화 구조의 다양성(Embodiment Diversity)도 고려해야 한다.

학습 주기(Learning Cycle)가 빨라질수록 평가 인프라(Evaluation Infrastructure)의 중요성이 커진다. 오프라인 벤치마크(Offline Benchmark), 시뮬레이션 시험(Simulation Test), 통제된 물리적 실험(Controlled Physical Experiment), 배포 모니터링(Deployment Monitoring)은 모델 행동(Model Behavior)의 서로 다른 측면을 검토한다. 평가에는 익숙하지 않은 환경(Unfamiliar Environment), 희귀한 실패(Rare Failure), 장기 작업(Long-Horizon Task), 안전에 중요한 조건(Safety-Critical Condition)이 포함되어야 한다. 모델은 개선 효과가 근거(Evidence)로 뒷받침되고 허용할 수 없는 성능 저하(Unacceptable Regression)가 배제된 경우에만 더 넓은 범위로 배포되어야 한다.

지속적 배포(Continuous Deployment)는 데이터 엔진(Data Engine)을 폐루프 운영 시스템(Closed-Loop Operational System)으로 전환한다. 업데이트된 모델(Updated Model)은 통제된 릴리스(Controlled Release)를 통해 도입되고, 실제 환경 운영(Real-World Operation) 중 모니터링되며, 기존 성능 기준선(Performance Baseline)과 비교된다. 예상하지 못한 실패(Unexpected Failure)와 어려운 상호작용(Difficult Interaction)은 후속 분석(Subsequent Analysis)을 위해 기록된다. 이러한 과정은 모델 개발(Model Development)을 실제 운영 결과(Operating Outcome)와 연결하고 운영 신뢰성(Operational Reliability)을 저해하지 않으면서 반복적인 개선을 지원한다.

로봇 군집 규모 학습(Fleet-Scale Learning)은 데이터 엔진 로드맵(Data Engine Roadmap)의 중요한 확장 단계이다. 창고(Warehouse), 공장(Factory), 병원(Hospital), 실외 시설(Outdoor Facility)에서 운영되는 로봇은 서로 다른 작업(Task)과 환경 조건(Environmental Condition)을 경험한다. 집계된 경험(Aggregated Experience)은 희귀한 실패 패턴(Rare Failure Pattern)을 발견하고 공유 모델 능력(Shared Model Capability)을 향상시킬 수 있다. 그러나 하드웨어 차이(Hardware Difference), 소프트웨어 버전(Software Version), 통신 제약(Communication Limitation), 일관되지 않은 보정(Inconsistent Calibration)을 관리하려면 표준화된 메타데이터(Standardized Metadata)와 신중한 관리가 필요하다.

엣지-클라우드 아키텍처(Edge-Cloud Architecture)는 대규모 로봇 데이터 엔진(Large-Scale Robotic Data Engine)의 실질적인 운영을 지원한다. 로봇은 로컬 추론(Local Inference)을 수행하고, 특이한 이벤트(Unusual Event)를 탐지하며, 정보 가치가 높은 에피소드(Informative Episode)를 선택적으로 저장할 수 있다. 중앙 집중식 인프라(Centralized Infrastructure)는 데이터 집계(Aggregation), 라벨링(Labeling), 학습(Training), 평가(Evaluation)를 관리한다. 대역폭 제약(Bandwidth Limitation)과 개인정보 보호 요구사항(Privacy Requirement)은 어떤 정보를 전송할 수 있는지에 영향을 미친다. 엣지와 클라우드 자원(Edge and Cloud Resource) 사이의 효율적인 기능 분할(Efficient Partitioning)은 유용한 학습 피드백(Learning Feedback)을 유지하면서 인프라 비용(Infrastructure Cost)을 줄인다.

데이터 거버넌스(Data Governance)는 기술적 능력(Technical Capability)의 발전과 함께 강화되어야 한다. 운영 기록(Operational Recording)에는 개인정보(Personal Information), 기밀 산업 공정(Confidential Industrial Process), 안전에 민감한 이벤트(Safety-Sensitive Event)가 포함될 수 있다. 접근 제어(Access Control), 암호화(Encryption), 보존 정책(Retention Policy), 출처 추적(Provenance Tracking), 감사 절차(Audit Procedure)는 이러한 자원을 보호하는 데 도움이 된다. 또한 데이터 거버넌스는 주석 의사결정(Annotation Decision), 모델 업데이트(Model Update), 데이터셋 재사용(Dataset Reuse)에 대한 책임(Accountability)을 정의하여 규모 확장(Scaling)이 개인정보 보호(Privacy), 보안(Security), 운영 신뢰(Operational Trust)를 저해하지 않도록 한다.

로드맵에는 데이터 엔진 효과성(Data Engine Effectiveness)에 대한 신뢰할 수 있는 측정도 필요하다. 유용한 지표(Indicator)에는 수집 비용(Collection Cost), 라벨링 처리량(Labeling Throughput), 학습 효율성(Training Efficiency), 개입 빈도(Intervention Frequency), 작업 성공률(Task Success Rate), 실패 복구(Failure Recovery), 배포 안정성(Deployment Stability)이 포함된다. 이러한 지표는 특정 학습 주기(Specific Learning Cycle)와 연결되어야 데이터와 모델 변경(Data and Model Change)에 따른 개선 효과를 확인할 수 있다. 운영 가치(Operational Value)는 단순한 데이터셋 규모(Raw Dataset Volume)보다 발전 수준을 평가하는 더 강력한 기준을 제공한다.

미래의 데이터 엔진(Future Data Engine)은 학습 요구사항(Learning Need)을 식별하고 데이터 획득(Data Acquisition)을 조정하는 과정에서 점차 높은 자율성(Autonomy)을 갖출 것으로 예상된다. 모델은 인간의 감독(Human Supervision)을 줄이면서 능력 격차(Capability Gap)를 탐지하고, 시뮬레이션 시나리오(Simulation Scenario)를 제안하며, 시연(Demonstration)을 요청하고, 평가 사례(Evaluation Case)의 우선순위를 결정할 수 있다. 월드 모델(World Model)과 생성형 시뮬레이션(Generative Simulation)은 학습에 활용할 수 있는 경험의 범위를 확장할 수 있다. 그러나 자동화된 학습(Automated Learning)이 신뢰할 수 있는 행동(Reliable Behavior)을 생성하도록 보장하려면 물리적 검증(Physical Validation)과 통제된 배포(Controlled Deployment)가 여전히 필요하다.

성숙한 피지컬 인공지능 데이터 엔진(Mature Physical AI Data Engine)은 기술적 확장성(Technical Scalability)과 경제적 지속 가능성(Economic Sustainability)을 결합한다. 데이터 획득(Data Acquisition), 저장(Storage), 연산(Computation), 주석(Annotation), 물리적 검증(Physical Validation)에는 모두 비용이 발생하며, 이러한 비용은 로봇 성능(Robotic Performance)의 향상으로 정당화되어야 한다. 효율적인 시스템(Efficient System)은 기대 학습 가치(Expected Learning Value)가 높은 경험을 우선하고 호환 가능한 작업(Compatible Task) 전반에서 검증된 데이터(Validated Data)를 재사용한다. 이를 통해 운영 배포(Operational Deployment), 학습 투자(Learning Investment), 측정 가능한 능력 향상(Measurable Capability Improvement) 사이에 지속 가능한 관계가 형성된다.

장기적인 로드맵(Long-Term Roadmap)은 궁극적으로 로봇 군집(Robot Fleet), 인간 전문성(Human Expertise), 시뮬레이션 환경(Simulation Environment), 파운데이션 모델(Foundation Model)을 연결하는 지속적으로 개선되는 생태계(Continuously Improving Ecosystem)로 완성된다. 실제 환경 경험(Real-World Experience)은 운영상의 한계(Operational Limitation)를 드러내고, 합성 데이터(Synthetic Data)는 시나리오 포괄성(Scenario Coverage)을 확장하며, 인간 시연(Human Demonstration)은 교정 지식(Corrective Knowledge)을 제공한다. 엄격한 데이터 정제(Rigorous Data Curation), 평가(Evaluation), 거버넌스(Governance), 피드백(Feedback)을 통해 이러한 데이터 소스는 점점 더 높은 범용성(Generality), 적응성(Adaptability), 신뢰성(Reliability)을 갖춘 피지컬 인공지능 시스템(Physical AI System)을 지원하는 확장 가능한 학습 인프라(Scalable Learning Infrastructure)를 형성한다.


저자: Richard Minsoo Go

LinkedIn: Richard Minsoo Go

Top comments (0)