STATERA Library · Series 09 · Volume 04 · Chapter 01 · KR
Source: https://github.com/Statera-Library/09_Vol_04_Data_Engines_and_Scaling_for_Physical_AI/blob/main/Chapter_01_Data_Engine_Fundamentals/Chapter_01_Data_Engine_Fundamentals_KR.md
Volume 04. Data Engines and Scaling for Physical AI
Chapter 01. Data Engine Fundamentals
01.01. What is a Data Engine
데이터 엔진(Data Engine)은 인공지능(Artificial Intelligence) 모델의 개발을 지원하기 위해 데이터를 지속적으로 수집, 처리, 구성, 평가 및 개선하는 통합 시스템이다. 정적 데이터셋(Static Dataset)과 달리 데이터 엔진은 학습(Training)과 배포(Deployment) 과정에서 생성된 정보가 후속 학습을 위한 자원으로 활용되는 진화형 인프라(Evolving Infrastructure)로 작동한다. 주요 목적은 원시 경험(Raw Experience)을 신뢰할 수 있고 재사용 가능한 지식으로 변환하여 지능형 시스템의 성능을 향상시키는 것이다.
피지컬 인공지능(Physical AI)에서 데이터 엔진은 물리적 세계(Physical World)와의 상호작용을 컴퓨터 기반 학습 과정(Computational Learning Process)에 연결한다. 로봇은 환경을 관찰하고, 동작을 실행하며, 불확실성을 경험하고, 측정 가능한 결과를 생성한다. 이러한 경험에는 인식(Perception), 운동(Motion), 접촉(Contact), 동역학(Dynamics), 작업 완료(Task Completion)에 관한 정보가 포함된다. 데이터 엔진은 이러한 관계를 수집하고 구조화된 학습 사례(Structured Learning Examples)로 변환하여 로봇의 행동 능력을 지속적으로 향상시킨다.
기존 데이터 관리(Conventional Data Management)와 데이터 엔진의 근본적인 차이는 지속적인 피드백(Continuous Feedback)의 존재 여부에 있다. 전통적인 데이터 시스템은 주로 정보를 저장하고 검색하는 반면, 데이터 엔진은 모델 성능(Model Performance)을 활용하여 다음에 수집해야 할 정보를 결정한다. 학습 실패(Training Failure), 예측 오류(Prediction Error), 예상하지 못한 환경 조건, 운영 중 개입(Operational Intervention)은 기존 지식의 부족한 부분을 드러내며 후속 데이터 수집 방향을 결정하는 근거가 된다.
따라서 피지컬 인공지능 데이터 엔진(Physical AI Data Engine)은 폐루프 학습 인프라(Closed-Loop Learning Infrastructure)로 작동한다. 로봇, 인간 시연(Human Demonstration), 시뮬레이션 환경(Simulation Environment), 운영 시스템에서 데이터를 수집한 후 검증(Validation), 동기화(Synchronization), 라벨링(Labeling), 필터링(Filtering)을 수행한다. 처리된 정보는 모델 학습과 평가에 활용되며, 새롭게 배포된 모델은 추가 경험을 생성한다. 이를 통해 데이터 엔진은 점진적으로 개선된 정보를 활용하면서 학습 개선 주기를 반복한다.
물리적 상호작용 데이터(Physical Interaction Data)는 행동이 후속 관측 결과에 영향을 미친다는 점에서 일반적인 디지털 정보와 근본적으로 다르다. 로봇이 물체를 이동시키면 물체의 위치(Position), 방향(Orientation), 접촉 조건(Contact Condition), 주변 환경이 변화한다. 따라서 유용한 학습 기록은 관측(Observation), 내부 상태(Internal State), 실행된 행동(Action), 결과(Outcome) 사이의 시간적 관계(Temporal Relationship)를 보존해야 한다. 이러한 관계가 없다면 학습 시스템은 의사결정의 물리적 결과를 신뢰성 있게 재구성하기 어렵다.
일반적인 로봇 경험은 관측, 행동, 상태 전이(State Transition)의 연속으로 구성된 에피소드(Episode)로 표현된다. 관측에는 카메라 영상(Camera Image), 깊이 측정(Depth Measurement), 라이다 스캔(LiDAR Scan), 촉각 신호(Tactile Signal)가 포함될 수 있으며, 내부 상태는 관절 위치(Joint Position), 속도(Velocity), 액추에이터 상태(Actuator Condition)를 나타낸다. 행동은 로봇에 전달된 명령을 의미하고, 결과는 해당 명령이 발생시킨 영향을 설명한다. 이러한 연결 관계를 유지하면 모델은 개별 시각 패턴이 아니라 실제 행동을 학습할 수 있다.
데이터 수집(Data Collection)은 데이터 엔진의 시작 단계이며 여러 상호보완적인 데이터 소스를 활용할 수 있다. 실제 로봇(Physical Robot)은 현실적인 운영 경험을 제공하고, 원격조작 시스템(Teleoperation System)은 인간이 안내하는 행동을 기록하며, 시뮬레이션 환경은 통제된 상호작용을 대규모로 생성한다. 인간 영상(Human Video)도 작업과 물체 조작에 관한 지식을 제공할 수 있지만, 이러한 정보를 실행 가능한 로봇 행동으로 변환하려면 추가적인 해석과 정렬(Alignment)이 필요하다.
수집된 정보의 유용성은 단순한 데이터 양(Data Volume)보다 품질(Quality), 다양성(Diversity), 관련성(Relevance)에 의해 결정된다. 단순한 성공 작업을 반복적으로 기록한 데이터는 어렵거나 특이한 상황을 포함하는 소규모 데이터보다 학습 가치가 낮을 수 있다. 따라서 효과적인 데이터 엔진은 정보 가치가 높은 경험을 식별하고, 손상된 기록을 제거하며, 중복 데이터를 탐지한다. 또한 서로 다른 작업, 환경, 물체, 로봇 구성, 운영 조건에 대한 데이터 포괄성(Coverage)을 유지한다.
데이터 처리(Data Processing)는 이질적인 센서 기록(Heterogeneous Sensor Record)을 기계학습(Machine Learning)에 적합한 일관된 표현(Consistent Representation)으로 변환한다. 이 과정에는 타임스탬프 정렬(Timestamp Alignment), 좌표 변환(Coordinate Transformation), 센서 보정 검증(Sensor Calibration Verification), 결측값 처리(Missing-Value Handling), 궤적 분할(Trajectory Segmentation)이 포함된다. 물리적 시스템은 인식과 행동의 동기화에 의존하므로 작은 시간 불일치도 인과관계(Causal Relationship)를 왜곡하고 학습된 제어 정책(Control Policy)의 품질을 저하시킬 수 있다.
라벨링(Labeling)은 기록된 경험에 의미적·운영적 정보(Semantic and Operational Information)를 부여한다. 라벨(Label)은 물체, 공간적 관계(Spatial Relationship), 파지 위치(Grasp Location), 접촉 이벤트(Contact Event), 작업 단계(Task Phase), 개입 조건(Intervention Condition), 성공 또는 실패 결과를 식별할 수 있다. 일부 라벨은 인간 주석(Human Annotation)에서 생성되며, 다른 라벨은 로봇 원격측정 데이터(Robot Telemetry), 시뮬레이션 정답 데이터(Simulation Ground Truth), 자동 추론(Automated Inference)으로부터 도출된다. 신뢰성 있는 라벨링에는 일관된 정의와 검증 절차가 필요하다.
데이터 큐레이션(Data Curation)은 특정 학습 목표에 어떤 경험을 활용할지 결정하는 과정이다. 조작 모델(Manipulation Model)은 상세한 접촉 및 파지 궤적(Contact and Grasp Trajectory)이 필요할 수 있으며, 자율이동로봇(Autonomous Mobile Robot)은 장애물 조우, 주행 실패, 복구 행동(Recovery Behavior)에서 더 큰 학습 효과를 얻을 수 있다. 데이터 선택 전략은 불확실한 예측, 희귀 이벤트(Rare Event), 어려운 사례(Hard Example), 충분히 표현되지 않은 환경을 강조하여 학습 자원이 실제 능력 부족을 해결하도록 한다.
모델 평가(Model Evaluation)는 데이터 엔진을 적응형 시스템(Adaptive System)으로 만드는 피드백 신호(Feedback Signal)를 제공한다. 성능 측정은 로봇이 성공하는 상황, 실패하는 상황, 예측 신뢰성이 낮은 상황을 드러낸다. 이러한 관측 결과는 어려운 파지 작업에 대한 추가 시연을 수집하거나 특이한 조명 조건에서 주행 에피소드를 기록하는 것과 같은 목표 지향적 데이터 요청(Targeted Data Request)으로 변환될 수 있다. 이를 통해 데이터 엔진은 측정 가능한 성능 약점을 교정 학습(Corrective Learning) 활동에 연결한다.
성숙한 데이터 엔진의 중요한 특징은 실제 경험(Real-World Experience)과 합성 경험(Synthetic Experience)을 통합적으로 관리하는 능력이다. 시뮬레이션은 현실에서 재현하기에 비용이 많이 들거나 위험한 희귀 상황을 포함하여 대량의 통제된 데이터를 생성할 수 있다. 그러나 합성 관측(Synthetic Observation)은 실제 센서 측정과 물리적 상호작용에서 차이를 보일 수 있으므로, 실제 환경의 행동 결과를 기준으로 검증하는 과정이 필수적이다.
데이터 엔진은 여러 로봇 플랫폼(Robot Platform)에 걸쳐 확장 가능한 로봇 학습(Scalable Robot Learning)을 위한 기반도 제공한다. 서로 다른 로봇에서 수집된 경험은 센서 구성(Sensor Configuration), 행동 표현(Action Representation), 운영 맥락(Operational Context)이 적절하게 문서화되어 있다면 공동 학습 자원(Shared Learning Resource)으로 활용될 수 있다. 표준화된 메타데이터(Standardized Metadata)와 변환 절차(Transformation Procedure)를 통해 서로 다른 로봇 형태(Robot Embodiment)의 정보를 비교, 결합하거나 선택적으로 전이할 수 있다.
로봇 군집 규모(Fleet Scale)에서 배포된 로봇은 분산된 운영 지능(Distributed Operational Intelligence)의 데이터 소스가 된다. 각 로봇은 서로 다른 환경, 물체, 장애물, 인간 상호작용을 경험하므로 중앙 집중형 학습 데이터에 포함되지 않은 상황을 발견할 수 있다. 이벤트 기반 기록(Event-Triggered Recording)과 우선순위 기반 업로드(Prioritized Uploading)는 실패, 불확실성, 개입, 비정상적인 운영 조건과 관련된 에피소드를 보존하면서 통신 및 저장 요구량을 줄일 수 있다.
데이터 엔진은 전체 학습 생명주기(Learning Lifecycle)에 걸쳐 추적성(Traceability)을 유지해야 한다. 데이터 출처 정보(Data Provenance)는 정보가 어디에서 생성되었는지, 어떤 방식으로 수집되었는지, 어떤 변환이 적용되었는지, 어떤 모델의 학습에 활용되었는지를 식별한다. 데이터셋 버전 관리(Dataset Versioning), 주석 이력(Annotation History), 재현 가능한 처리 구성(Reproducible Processing Configuration)은 개발자가 성능 변화를 조사하고, 문제가 있는 기록을 식별하며, 통제된 조건에서 실험 결과를 비교할 수 있도록 한다.
데이터 거버넌스(Data Governance) 역시 중요하다. 물리적 로봇은 사람, 작업장, 산업 공정, 사적 환경에 관한 정보를 수집할 수 있기 때문이다. 책임 있는 데이터 엔진 설계(Responsible Data Engine Design)에는 접근 제한(Access Restriction), 보존 정책(Retention Policy), 익명화 절차(Anonymization Procedure), 적절한 사용 권한(Usage Permission)이 포함된다. 이러한 통제는 독립적인 관리 요구사항으로 취급하기보다 수집, 저장, 처리, 학습, 공유의 전체 과정에 걸쳐 적용되어야 한다.
데이터 엔진의 효과는 데이터 관련 지표(Data-Related Metrics)와 모델 관련 지표(Model-Related Metrics)를 함께 활용하여 평가할 수 있다. 데이터 품질, 작업 포괄성(Task Coverage), 주석 일관성(Annotation Consistency), 수집 효율성(Collection Efficiency), 처리 지연시간(Processing Latency)은 인프라 성능을 나타낸다. 작업 성공률(Task Success Rate), 일반화 성능(Generalization), 강건성(Robustness), 복구 능력(Recovery Capability), 배포 신뢰성(Deployment Reliability)은 축적된 경험이 실제로 로봇의 지능과 활용성을 개선하는지 보여준다.
데이터 엔진을 구축하려면 로봇 하드웨어(Robotics Hardware), 소프트웨어 인프라(Software Infrastructure), 기계학습, 운영 관리(Operational Management) 전반에 걸친 협력 개발이 필요하다. 센서와 제어기는 의미 있는 관측과 행동 정보를 제공해야 하며, 데이터 서비스(Data Service)는 데이터 수집·수용(Ingestion), 저장(Storage), 색인(Indexing), 검색(Retrieval)을 지원해야 한다. 학습 인프라(Training Infrastructure)는 정제된 경험을 활용하고, 평가 시스템은 후속 데이터 수집 우선순위에 영향을 주는 실행 가능한 피드백(Actionable Feedback)을 반환해야 한다.
최소 구성의 피지컬 인공지능 데이터 엔진(Minimal Physical AI Data Engine)은 단일 로봇이 동기화된 관측, 명령, 작업 결과를 기록하는 구조에서 시작할 수 있다. 시스템이 성숙함에 따라 자동 검증(Automated Validation), 메타데이터 색인(Metadata Indexing), 데이터셋 버전 관리, 모델 평가, 목표 지향적 데이터 수집 기능을 도입할 수 있다. 이러한 점진적 아키텍처(Incremental Architecture)는 분산 저장(Distributed Storage), 시뮬레이션 통합(Simulation Integration), 로봇 군집 규모 운영(Fleet-Scale Operation)으로 확장하기 전에 신뢰성 있는 학습 피드백 체계를 확립하도록 한다.
데이터 엔진의 장기적 가치(Long-Term Value)는 축적된 물리적 경험을 로봇 능력의 지속적인 개선으로 전환하는 데 있다. 데이터 수집, 큐레이션, 학습, 평가, 배포가 점점 긴밀하게 연결되면서 개발 과정은 개별적인 모델 업데이트(Model Update)에서 운영 경험을 활용한 체계적인 학습(Systematic Learning)으로 전환된다. 따라서 잘 설계된 데이터 엔진은 확장 가능하고(Scalable), 적응적이며(Adaptive), 점차 범용성을 확보하는 피지컬 인공지능(Physical AI)을 위한 핵심 기반 인프라(Foundational Infrastructure)가 된다.
01.02. Data Engine vs Dataset and Pipeline
데이터셋(Dataset), 데이터 파이프라인(Data Pipeline), 데이터 엔진(Data Engine)은 인공지능(Artificial Intelligence) 개발에 사용되는 데이터 인프라(Data Infrastructure)의 서로 다른 세 가지 수준을 나타낸다. 이러한 용어들은 때때로 혼용되지만 각각 구별되는 기능을 설명한다. 데이터셋은 체계적으로 구성된 정보의 집합이고, 데이터 파이프라인은 해당 정보를 처리하고 전달하며, 데이터 엔진은 데이터 품질(Data Quality)과 모델 성능(Model Performance)을 지속적으로 개선하기 위해 전체 학습 주기(Learning Cycle)를 조정하는 시스템이다.
데이터셋은 기본적으로 특정 목적을 위해 수집된 관측(Observation), 측정값(Measurement), 주석(Annotation), 경험(Experience)을 저장한 표현이다. 피지컬 인공지능(Physical AI)에서 데이터셋에는 카메라 영상(Camera Image), 라이다 측정값(LiDAR Measurement), 관절 상태(Joint State), 로봇 행동(Robot Action), 작업 설명(Task Description), 실행 결과(Execution Outcome)가 포함될 수 있다. 이러한 기록은 학습과 평가에 필요한 정보를 제공하지만, 데이터셋 자체가 새로운 경험을 수집하는 방법이나 학습의 부족한 부분을 해결하는 방법을 결정하지는 않는다.
데이터셋은 사용 목적에 따라 정적(Static)이거나 주기적으로 갱신(Periodic Update)될 수 있다. 정적 데이터셋(Static Dataset)은 재현 가능한 실험(Reproducible Experiment)과 일관된 벤치마킹(Consistent Benchmarking)을 지원하는 고정된 사례 집합을 제공한다. 그러나 물리적 환경은 지속적으로 변화하며 로봇은 기존 기록에 포함되지 않은 조건을 경험한다. 따라서 대규모 데이터셋이라도 배포된 시스템이 익숙하지 않은 물체, 환경, 작업 또는 상호작용 패턴(Interaction Pattern)을 마주하면 충분하지 않을 수 있다.
데이터 파이프라인은 서로 다른 처리 단계 사이에서 정보를 이동시키고 변환하는 일련의 컴퓨터 연산(Computational Operation)이다. 일반적인 작업에는 데이터 수집·수용(Ingestion), 디코딩(Decoding), 동기화(Synchronization), 검증(Validation), 주석 처리(Annotation), 필터링(Filtering), 형식 변환(Formatting), 저장(Storage)이 포함된다. 파이프라인은 원시 로봇 기록(Raw Robot Recording)을 구조화된 학습 사례(Structured Training Example)로 변환하면서 데이터 소스 간 일관성을 유지한다. 주요 책임은 전체 학습 방향을 결정하는 것이 아니라 신뢰성 있는 정보 처리에 있다.
로봇공학(Robotics)에서 데이터 파이프라인은 복잡한 다중모달(Multimodal) 및 시간적 관계(Temporal Relationship)를 처리해야 한다. 카메라 프레임(Camera Frame), 깊이 영상(Depth Image), 관성 측정값(Inertial Measurement), 관절 위치(Joint Position), 힘 측정값(Force Reading), 모터 명령(Motor Command)은 서로 다른 샘플링 주기(Sampling Rate)로 작동하는 경우가 많다. 파이프라인은 타임스탬프(Timestamp), 좌표 변환(Coordinate Transformation), 보정 매개변수(Calibration Parameter)를 사용하여 이러한 데이터 흐름을 정렬한다. 이러한 처리가 없으면 기록된 행동이 관측과 잘못 연결되어 학습된 행동의 신뢰성이 저하될 수 있다.
기존 데이터 파이프라인(Conventional Data Pipeline)의 주요 한계는 처리 로직(Processing Logic)이 일반적으로 사전에 정의된 규칙(Predefined Rule)을 따른다는 점이다. 파이프라인은 손상된 기록을 자동으로 거부하거나 센서 데이터 형식을 변환할 수 있지만, 어떤 부족한 경험을 추가해야 로봇 정책(Robot Policy)이 가장 크게 개선되는지를 반드시 판단하지는 않는다. 파이프라인은 생성된 학습 데이터가 인식(Perception), 조작(Manipulation), 내비게이션(Navigation), 제어(Control)의 중요한 약점을 해결하는지 이해하지 못하더라도 효율적으로 작동할 수 있다.
데이터 엔진은 데이터 작업을 측정 가능한 학습 목표(Measurable Learning Objective)에 연결함으로써 저장과 처리의 범위를 넘어선다. 데이터 수집(Collection), 변환(Transformation), 큐레이션(Curation), 학습(Training), 평가(Evaluation), 배포(Deployment), 피드백(Feedback)을 하나의 조정된 시스템으로 통합한다. 모델 성능은 후속 데이터 확보(Data Acquisition)에 영향을 미치며, 운영 경험은 새로운 학습 요구사항을 드러낸다. 이러한 적응적 관계(Adaptive Relationship)가 데이터 엔진을 독립적인 데이터셋이나 기존 처리 파이프라인과 구별한다.
이러한 차이는 투명한 물체(Transparent Object)를 반복적으로 파지하지 못하는 로봇을 생각하면 명확해진다. 데이터셋에는 기록된 파지 시도(Grasping Attempt)가 포함될 수 있으며, 파이프라인은 이러한 기록을 동기화된 관측-행동 시퀀스(Observation-Action Sequence)로 처리할 수 있다. 데이터 엔진은 여기에서 더 나아가 성능 약점을 탐지하고, 부족한 학습 사례를 식별하며, 투명 물체와의 추가 상호작용을 우선적으로 수집하고, 그 결과를 후속 학습에 반영한다.
따라서 피드백은 성숙한 데이터 엔진(Mature Data Engine)을 정의하는 핵심적인 운영 특성이다. 평가 결과(Evaluation Result), 예측 불확실성(Prediction Uncertainty), 작업 실패(Task Failure), 인간 개입(Human Intervention), 배포 이상 현상(Deployment Anomaly)은 추가 정보에 대한 목표 지향적 요청(Targeted Request)을 생성할 수 있다. 시스템은 무분별하게 데이터를 수집하는 대신 성능 개선에 기여할 것으로 예상되는 경험에 자원을 집중한다. 이러한 접근 방식은 데이터 확보를 수동적인 기록 활동에서 능동적인 학습 과정(Active Learning Process)으로 전환한다.
세 가지 개념은 시간(Time)과의 관계에서도 차이가 있다. 데이터셋은 특정 버전(Version)이나 수집 단계(Collection Stage)에서 이용 가능한 정보를 나타낸다. 파이프라인은 정보가 처리 단계를 통과하면서 적용되는 작업을 설명한다. 데이터 엔진은 반복적인 개발 및 배포 주기(Development and Deployment Cycle)에 걸쳐 작동하며, 관측된 모델 행동(Model Behavior)과 변화하는 운영 요구사항(Operational Requirement)에 따라 데이터 수집 우선순위와 처리 전략을 지속적으로 조정한다.
데이터 품질 관리(Data Quality Management)는 또 다른 중요한 차이를 보여준다. 데이터셋은 품질 지표(Quality Indicator)를 포함할 수 있고, 파이프라인은 타임스탬프 일관성(Timestamp Consistency)이나 결측값 임계값(Missing-Value Threshold)과 같은 검증 규칙을 적용할 수 있다. 데이터 엔진은 이러한 품질 관리가 실제로 더 나은 학습 결과를 생성하는지 평가한다. 기술적으로 유효한 데이터라도 강건한 로봇 행동(Robust Robot Behavior)을 학습하기에 충분하지 않다는 평가 결과가 나타나면 샘플링 우선순위(Sampling Priority), 라벨링 절차(Labeling Procedure), 데이터셋 구성(Dataset Composition)을 변경할 수 있다.
데이터 엔진은 데이터 파이프라인을 대체하는 것이 아니라 여러 파이프라인을 조정한다. 원격조작 시연(Teleoperation Demonstration), 자율 로봇 로그(Autonomous Robot Log), 시뮬레이션 궤적(Simulation Trajectory), 인간 영상(Human Video)을 처리하기 위해 별도의 작업 흐름(Processing Workflow)이 존재할 수 있다. 각 데이터 소스는 서로 다른 변환 및 검증 절차를 필요로 한다. 데이터 엔진은 데이터 출처 정보(Source Information), 호환성 요구사항(Compatibility Requirement), 작업별 데이터 선택 기준(Task-Specific Data Selection Criteria)을 유지하면서 이러한 결과를 일관된 학습 전략(Coherent Learning Strategy)으로 통합한다.
피지컬 인공지능에서 이러한 통합의 중요성은 서로 다른 데이터 소스가 물리적 지능(Physical Intelligence)의 서로 다른 측면을 포착하기 때문에 더욱 커진다. 인간 시연은 의도된 행동(Intended Behavior)의 사례를 제공하고, 자율 실행(Autonomous Execution)은 실제 운영상의 한계를 드러내며, 시뮬레이션은 통제된 탐색(Controlled Exploration)을 지원한다. 데이터셋은 이러한 경험을 저장하고, 파이프라인은 표현을 표준화하며, 데이터 엔진은 결합된 정보가 인식과 행동의 개선에 어떻게 기여할지 결정한다.
데이터셋 버전 관리(Dataset Versioning)와 데이터 계보(Data Lineage)는 세 가지 수준 모두에서 필요하지만 서로 다른 목적을 수행한다. 데이터셋 버전은 재현 가능한 기록 집합(Reproducible Record Collection)을 식별한다. 파이프라인은 해당 기록을 생성하는 데 사용된 변환 과정과 처리 구성(Processing Configuration)을 기록한다. 데이터 엔진은 데이터셋 버전, 처리 이력(Processing History), 모델 체크포인트(Model Checkpoint), 평가 결과, 배포 피드백을 연결하여 개발자가 특정 데이터 변경이 로봇 능력에 어떤 영향을 미치는지 이해하도록 한다.
이러한 차이는 범용 로봇 시스템(General-Purpose Robotic System)을 개발할 때 특히 중요하다. 단일 데이터셋은 제한된 작업, 물체, 환경만 포함할 수 있으며, 파이프라인은 기존 절차를 사용하여 추가 사례를 효율적으로 처리할 수 있다. 데이터 엔진은 데이터 포괄성의 부족한 영역(Coverage Gap)을 지속적으로 평가하고 다양한 행동에 걸쳐 수집 자원을 배분해야 한다. 목표는 단순히 데이터 양(Data Volume)을 늘리는 것이 아니라 로봇이 신뢰성 있게 수행할 수 있는 능력의 범위(Capability Range)를 확장하는 것이다.
로봇 군집 규모(Fleet Scale)에서 데이터 엔진은 수백 또는 수천 대의 배포된 로봇으로부터 수집되는 경험을 조정할 수 있다. 개별 플랫폼은 운영 기록(Operational Record)을 생성하고, 로컬 파이프라인(Local Pipeline)은 필터링과 압축(Compression)을 수행하며, 중앙 집중형 인프라(Centralized Infrastructure)는 선택된 에피소드(Episode)를 분석할 수 있도록 구성한다. 데이터 엔진은 여러 위치에서 반복적으로 발생하는 실패, 희귀 상황(Rare Situation), 데이터 분포 변화(Distribution Change)를 식별한다. 이러한 발견은 후속 데이터 수집, 학습 우선순위, 통제된 모델 배포(Controlled Model Deployment)의 방향을 결정한다.
운영 효율성(Operational Efficiency)은 이러한 개념을 구별해야 하는 또 다른 이유이다. 대규모 데이터셋을 유지한다고 해서 정보의 유용성이 보장되는 것은 아니며, 빠른 파이프라인을 운영한다고 해서 처리된 데이터가 모델 성능을 개선하는 것도 아니다. 데이터 엔진은 데이터 수집 비용(Collection Cost), 처리 비용(Processing Expense), 학습 요구사항(Training Requirement), 실제 능력 향상(Capability Gain) 사이의 관계를 평가한다. 이러한 포괄적인 관점은 컴퓨팅 자원(Computational Resource)과 운영 자원(Operational Resource)을 더욱 효과적으로 배분하도록 지원한다.
데이터셋의 효과는 일반적으로 크기(Size), 완전성(Completeness), 다양성(Diversity), 주석 품질(Annotation Quality), 대표성(Representativeness)을 통해 평가한다. 파이프라인 성능은 처리량(Throughput), 처리 지연시간(Processing Latency), 신뢰성(Reliability), 오류율(Error Rate), 자원 소비량(Resource Consumption)을 통해 평가한다. 데이터 엔진의 효과를 평가하려면 수집된 에피소드당 성능 향상(Improvement per Collected Episode), 실패율 감소(Failure Rate Reduction), 일반화 성능 향상(Generalization Gain), 배포 신뢰성(Deployment Reliability) 등 데이터 작업과 학습 결과를 연결하는 추가 지표가 필요하다.
이러한 차이가 데이터 엔진이 존재할 때 데이터셋과 파이프라인이 독립적이거나 불필요하다는 의미는 아니다. 오히려 세 가지는 상호보완적인 아키텍처 계층(Complementary Architectural Layer)을 형성한다. 신뢰성 있는 데이터셋은 재현 가능한 학습 자원(Reproducible Learning Resource)을 제공하고, 견고한 파이프라인(Robust Pipeline)은 일관된 정보 변환을 보장하며, 데이터 엔진은 피드백 기반 의사결정(Feedback-Driven Decision)을 통해 이러한 구성요소를 조정한다. 어느 계층에서든 약점이 발생하면 전체 피지컬 인공지능 개발 과정의 효과가 제한될 수 있다.
조직은 처음에 단일 로봇의 시연(Demonstration)을 기록하여 데이터셋을 구축할 수 있다. 데이터 양이 증가하면 동기화, 검증, 라벨링, 저장을 관리하기 위한 자동화 파이프라인(Automated Pipeline)이 필요해진다. 평가 결과가 어떤 경험을 수집할지, 학습 자원을 어떻게 배분할지에 영향을 미치기 시작하면 해당 인프라는 데이터 엔진의 특성을 갖추게 된다. 이러한 발전 과정은 기존 구성요소를 교체해야 한다는 의미가 아니라 시스템 간 통합 수준(Integration Level)이 높아지는 과정을 나타낸다.
궁극적으로 데이터셋, 파이프라인, 데이터 엔진의 차이는 정보를 저장하는 단계에서 정보를 처리하는 단계로, 나아가 정보를 통해 지능을 체계적으로 개선하는 단계로 발전하는 데 있다. 데이터셋은 경험을 보존하고, 파이프라인은 경험을 변환하며, 데이터 엔진은 경험을 지속적인 학습 과정(Continuous Learning Process)으로 조직한다. 피지컬 인공지능에서는 신뢰성 있는 로봇 지능(Reliable Robotic Intelligence)이 변화하는 물리적 세계(Changing Physical World)와의 상호작용에서 반복적으로 학습하는 능력에 의존하므로, 이러한 최종적인 기능이 필수적이다.
01.03. Closed Loop Data Engine Architecture
폐루프 데이터 엔진 아키텍처(Closed-Loop Data Engine Architecture)는 데이터 수집(Data Collection), 처리(Processing), 모델 학습(Model Training), 평가(Evaluation), 배포(Deployment)를 피드백(Feedback)을 통해 연결하는 지속적으로 작동하는 학습 시스템(Continuous Learning System)이다. 학습 데이터셋을 생성한 후 종료되는 선형 데이터 파이프라인(Linear Data Pipeline)과 달리, 폐루프 아키텍처는 모델 실행 결과를 활용하여 향후 데이터 수집 방향을 결정한다. 이러한 피드백 메커니즘(Feedback Mechanism)을 통해 피지컬 인공지능(Physical AI) 시스템은 실제 환경과 시뮬레이션 환경에서 반복적인 상호작용을 수행하면서 성능을 개선할 수 있다.
폐루프 아키텍처의 핵심 원리(Central Principle)는 모든 단계가 후속 학습 주기(Learning Cycle)에 필요한 정보를 제공한다는 것이다. 로봇은 관측(Observation)과 행동(Action)을 생성하고, 데이터 처리 시스템(Data Processing System)은 기록을 구조화된 데이터셋(Structured Dataset)으로 변환하며, 학습 알고리즘(Learning Algorithm)은 개선된 모델을 생성한다. 평가는 남아 있는 약점을 식별하고, 배포 과정은 예상하지 못한 운영 조건을 드러낸다. 이러한 결과는 새로운 데이터 수집 우선순위(Collection Priority)와 학습 요구사항(Training Requirement)으로 데이터 엔진에 다시 전달된다.
일반적인 아키텍처는 상호 연결된 운영 계층(Operational Layer), 데이터 관리 계층(Data Management Layer), 학습 계층(Learning Layer), 피드백 계층(Feedback Layer)으로 구성된다. 운영 계층에는 실제 로봇(Physical Robot), 센서(Sensor), 제어기(Controller), 시뮬레이션 환경(Simulation Environment)이 포함된다. 데이터 관리 계층은 데이터 수집·수용(Ingestion), 저장(Storage), 동기화(Synchronization), 라벨링(Labeling), 큐레이션(Curation)을 처리한다. 학습 계층은 모델을 학습하고 평가하며, 피드백 계층은 관측된 성능 부족을 전체 시스템의 실행 가능한 개선 활동(Actionable Improvement)으로 변환한다.
운영 계층은 물리적 환경(Physical Environment)과의 상호작용을 통해 경험(Experience)을 생성하는 역할을 담당한다. 카메라(Camera), 라이다 센서(LiDAR Sensor), 관성측정장치(Inertial Measurement Unit), 관절 엔코더(Joint Encoder), 힘 센서(Force Sensor)는 외부 환경 조건과 로봇 내부 상태에 대한 관측 정보를 제공한다. 제어기는 이동 명령(Movement Command)을 생성하며, 실행 결과(Execution Outcome)는 의도한 행동이 달성되었는지를 보여준다. 이러한 관계를 기록하면 인식-행동 정책(Perception-Action Policy)의 학습에 필요한 시간적 구조(Temporal Structure)를 보존할 수 있다.
데이터 수집·수용(Data Ingestion)은 분산된 기록 시스템(Distributed Recording System)을 중앙 집중형 또는 연합형 데이터 인프라(Centralized or Federated Data Infrastructure)에 연결한다. 로봇 로그(Robot Log)에는 고주파 센서 측정값(High-Frequency Sensor Measurement), 제어 명령(Control Command), 진단 이벤트(Diagnostic Event), 작업 메타데이터(Task Metadata)가 포함될 수 있다. 수집 서비스(Ingestion Service)는 기록 형식을 검증하고, 타임스탬프(Timestamp)를 확인하며, 불완전한 전송을 탐지하고, 수신된 정보를 로봇 식별 정보(Robot Identity) 및 소프트웨어 버전(Software Version)과 연결한다. 신뢰성 있는 데이터 수집은 손상되거나 의미가 불분명한 경험이 후속 학습 단계에 유입되는 것을 방지한다.
저장 아키텍처(Storage Architecture)는 대규모 다중모달 데이터셋(Multimodal Dataset)을 지원하면서 개별 경험에 대한 효율적인 접근을 유지해야 한다. 원시 센서 기록(Raw Sensor Recording), 처리된 궤적(Processed Trajectory), 주석(Annotation), 메타데이터(Metadata)는 서로 연결된 별도의 저장 구조에 유지될 수 있다. 에피소드 식별자(Episode Identifier)는 처리 단계 전반에 걸쳐 관련 정보를 연결한다. 작업, 환경, 로봇 구성, 실패 유형에 따른 색인(Indexing)을 통해 전체 데이터 집합을 반복적으로 검색하지 않고도 필요한 정보를 선택적으로 검색할 수 있다.
처리 계층(Processing Layer)은 이질적인 기록(Heterogeneous Recording)을 기계학습(Machine Learning)에 적합한 일관된 표현(Consistent Representation)으로 변환한다. 센서 데이터 흐름(Sensor Stream)을 동기화하고, 좌표계(Coordinate Frame)를 정렬하며, 궤적(Trajectory)을 의미 있는 에피소드(Episode)로 분할한다. 물리적 일관성(Physical Consistency)을 유지하기 위해 보정 정보(Calibration Information)와 행동 명령 규약(Action Convention)을 보존한다. 자동 검증(Automated Validation)은 학습 데이터를 구성하기 전에 누락된 관측, 손상된 프레임, 불일치하는 타임스탬프, 물리적으로 타당하지 않은 상태 전이(State Transition)를 탐지한다.
데이터 큐레이션(Data Curation)은 현재 학습 목표(Learning Objective)에 가장 큰 가치를 제공하는 처리된 경험을 결정한다. 중복 기록(Redundant Recording)은 줄이고, 어려운 사례(Hard Example), 희귀 이벤트(Rare Event), 충분히 표현되지 않은 조건(Underrepresented Condition)은 더 높은 우선순위를 부여할 수 있다. 선택 기준(Selection Criteria)에는 모델 불확실성(Model Uncertainty), 작업 실패(Task Failure), 환경 다양성(Environmental Diversity), 궤적 품질(Trajectory Quality)이 포함될 수 있다. 이러한 메커니즘은 무분별하게 데이터 수집량을 최대화하는 대신 정보 가치가 높은 데이터를 우선적으로 활용하도록 지원한다.
학습 계층(Training Layer)은 정제된 경험(Curated Experience)을 개선된 인식(Perception), 예측(Prediction), 계획(Planning), 제어(Control) 모델로 변환한다. 사용 가능한 정보와 목표 능력(Target Capability)에 따라 지도학습(Supervised Learning), 모방학습(Imitation Learning), 강화학습(Reinforcement Learning), 자기지도학습(Self-Supervised Learning)을 적용할 수 있다. 학습 구성(Training Configuration)은 특정 데이터셋 버전(Dataset Version), 전처리 절차(Preprocessing Procedure), 모델 매개변수(Model Parameter)를 참조하여 재현 가능한 실험(Reproducible Experiment)과 연속적인 학습 주기 사이의 체계적인 비교를 가능하게 한다.
평가(Evaluation)는 모델 개발(Model Development)과 피드백 기반 데이터 수집(Feedback-Driven Data Acquisition)을 연결하는 핵심 요소이다. 모델은 별도로 보관된 평가 데이터셋(Held-Out Dataset), 시뮬레이션 시나리오(Simulation Scenario), 통제된 실제 환경 실험(Controlled Physical Experiment)을 통해 시험된다. 측정 항목에는 작업 성공률(Task Success Rate), 궤적 정확도(Trajectory Accuracy), 충돌 빈도(Collision Frequency), 복구 성능(Recovery Performance), 환경 변화에 대한 강건성(Robustness)이 포함될 수 있다. 평가는 전체적인 성능뿐 아니라 모델의 신뢰성이 부족한 구체적인 조건도 식별해야 한다.
데이터 엔진 내부의 피드백 제어기(Feedback Controller)는 평가 결과를 데이터 수집 및 처리 의사결정(Collection and Processing Decision)으로 변환한다. 예를 들어 반사 표면(Reflective Surface) 주변에서 주행 실패가 반복되면 유사한 조건에서 추가 센서 기록을 수집하도록 요청할 수 있다. 변형 가능한 물체(Deformable Object)의 조작 실패가 발생하면 새로운 시연(Demonstration)이나 시뮬레이션 시나리오를 우선적으로 생성할 수 있다. 따라서 피드백 제어기는 학습 목표와 데이터 생성 자원(Data-Generation Resource)을 연결하는 조정 메커니즘(Coordination Mechanism)으로 작동한다.
능동적 데이터 수집(Active Data Acquisition)은 예상 학습 가치(Expected Learning Value)에 따라 경험을 선택함으로써 효율성을 향상시킨다. 불확실성 추정(Uncertainty Estimation), 예측 불일치(Prediction Disagreement), 실패 빈도(Failure Frequency), 데이터 포괄성 분석(Coverage Analysis)은 추가 관측이 유용할 수 있는 상황을 식별한다. 데이터 수집 정책(Collection Policy)은 목표 지향적 원격조작 세션(Targeted Teleoperation Session)을 요청하거나, 시뮬레이션 실험을 시작하거나, 로봇 기록 동작(Logging Behavior)을 조정할 수 있다. 이러한 결정은 정보 가치(Information Value)와 운영 비용(Operational Cost), 안전 제약조건(Safety Constraint) 사이의 균형을 고려해야 한다.
배포(Deployment)는 학습된 모델을 실제 운영 환경(Operating Environment)에 도입하는 과정이며, 이때 모델의 행동을 실질적인 조건에서 모니터링할 수 있다. 실행 중 시스템(Runtime System)은 작업 결과(Task Outcome), 신뢰도 지표(Confidence Indicator), 개입(Intervention), 예상하지 못한 이벤트를 기록한다. 배포 과정에서는 광범위한 적용에 앞서 단계적 배포(Staged Rollout), 섀도 평가(Shadow Evaluation), 제한된 로봇 그룹(Limited Robot Group)을 활용할 수 있다. 이러한 절차는 운영 위험(Operational Risk)을 줄이는 동시에 통제된 학습 환경 외부에서 모델의 신뢰성에 관한 근거를 생성한다.
현장 모니터링(Field Monitoring)은 실제 로봇 행동을 예상 성능(Expected Performance)과 비교하여 학습 루프(Learning Loop)를 완성한다. 조명(Lighting), 물체 특성(Object Property), 인간 활동(Human Activity), 운영 환경이 변화하면 데이터 분포 변화(Distribution Shift)가 발생할 수 있다. 모니터링 서비스(Monitoring Service)는 반복적인 오류, 비정상적인 상태 전이(Unusual State Transition), 작업 성능 저하(Performance Degradation)를 식별한다. 선택된 에피소드는 데이터 인프라로 다시 전달되어 분석, 라벨링, 후속 모델 개선을 위한 후보 데이터가 된다.
인간 개입(Human Intervention)은 자율 시스템(Autonomous System)이 어려운 상황에 직면했을 때 추가적인 피드백 경로(Feedback Channel)를 제공한다. 운영자는 궤적을 수정하고, 실패한 작업을 복구하거나, 대안적인 전략(Alternative Strategy)을 시연할 수 있다. 이러한 개입은 최초 실패 상황과 성공적인 수정 과정을 설명하는 맥락 정보(Contextual Information)와 함께 기록할 수 있다. 이렇게 생성된 사례는 현재 모델의 능력 한계(Capability Limit) 근처에서 발생하는 행동을 포착하므로 특히 높은 학습 가치를 가진다.
시뮬레이션(Simulation)은 실제 로봇을 반복적으로 위험에 노출하지 않고도 실패를 조사할 수 있도록 피드백 루프에 통합될 수 있다. 실제 환경 관측(Real-World Observation)은 대표적인 시뮬레이션 시나리오(Simulated Scenario)를 구성하는 데 활용되며, 통제된 실험은 형상(Geometry), 마찰(Friction), 조명(Lighting), 물체 동역학(Object Dynamics)의 변화를 탐색한다. 시뮬레이션 생성 경험(Simulation-Generated Experience)은 실제 기록을 보완할 수 있지만, 잘못된 성능 개선 판단을 방지하기 위해 실제 환경 평가(Real-World Evaluation)를 통해 그 기여도를 검증해야 한다.
로봇 군집 규모(Fleet Scale)에서 폐루프 아키텍처는 서로 다른 위치에서 작동하는 여러 로봇의 정보를 조정한다. 엣지 장치(Edge Device)는 로컬 기록(Local Recording)과 초기 필터링(Preliminary Filtering)을 수행하며, 중앙 집중형 서비스(Centralized Service)는 선택된 경험을 집계하고 반복적인 패턴을 분석한다. 공유 학습 자원(Shared Learning Resource)을 통해 한 로봇에서 발견된 개선 사항을 호환 가능한 구성을 가진 다른 로봇에도 적용할 수 있다. 군집 수준 피드백(Fleet-Level Feedback)은 개별 로봇에서는 발생 빈도가 너무 낮아 발견하기 어려운 희귀 이벤트도 드러낸다.
데이터 계보(Data Lineage)와 버전 관리(Version Control)는 연속적인 학습 주기 전반에 걸쳐 추적성(Traceability)을 제공한다. 모든 학습 모델은 식별 가능한 데이터셋, 처리 구성(Processing Configuration), 평가 결과, 배포 기록(Deployment Record)과 연결되어야 한다. 이러한 관계를 통해 엔지니어는 예상하지 못한 성능 회귀(Performance Regression)를 조사하고, 성능 변화가 새로운 데이터, 변경된 라벨(Altered Label), 전처리 수정(Preprocessing Modification), 모델 아키텍처 업데이트(Model Architecture Update) 중 어디에서 발생했는지 판단할 수 있다. 재현성(Reproducibility)은 신뢰성 있는 반복 개발(Iterative Development)을 위한 필수 조건이다.
안전 및 거버넌스 제약조건(Safety and Governance Constraint)은 폐루프 아키텍처 전반에서 지속적으로 적용되어야 한다. 데이터 수집은 개인정보 보호(Privacy), 운영 권한(Operational Permission), 데이터 보존 요구사항(Retention Requirement)을 준수해야 하며, 자동화된 학습(Automated Learning)이 기존 안전 제어(Safety Control)를 우회해서는 안 된다. 후보 모델(Candidate Model)은 배포 전에 검증되어야 하고, 모니터링 시스템은 성능이 저하될 경우 롤백(Rollback)을 지원해야 한다. 따라서 지속적 학습(Continuous Learning)은 제한 없는 자율적 모델 교체(Unrestricted Autonomous Model Replacement)가 아니라 반복적인 개선 과정을 의미한다.
아키텍처 효율성(Architectural Efficiency)은 데이터 수집 대역폭(Collection Bandwidth), 저장 용량(Storage Capacity), 주석 작업량(Annotation Effort), 학습 연산 자원(Training Compute), 평가 자원(Evaluation Resource)을 조정하는 능력에 달려 있다. 과도한 로깅(Excessive Logging)은 학습 성능을 개선하지 못하면서 인프라에 부담을 줄 수 있으며, 지나치게 공격적인 필터링(Aggressive Filtering)은 가치 있는 희귀 경험을 제거할 수 있다. 효과적인 시스템은 예상 능력 향상(Expected Capability Gain), 데이터 품질, 운영 제약조건에 따라 우선순위를 설정한다. 자원 배분(Resource Allocation)은 고정된 인프라 결정이 아니라 피드백 과정의 일부가 된다.
폐루프 데이터 엔진의 성숙도(Maturity)는 개선 주기(Improvement Cycle)의 속도와 효과를 통해 평가할 수 있다. 관련 지표에는 실패 발견부터 교정 학습(Corrective Training)까지 소요되는 시간, 수집된 에피소드 중 유용한 데이터의 비율, 반복적인 운영 오류(Recurring Operational Error)의 감소 정도가 포함된다. 성공적인 아키텍처는 재현성, 안전성, 효율적인 자원 활용(Resource Utilization)을 유지하면서 현장 근거(Field Evidence)를 검증된 능력 향상(Validated Capability Improvement)으로 지속적으로 전환한다.
궁극적으로 폐루프 데이터 엔진 아키텍처는 피지컬 인공지능 개발을 개별적인 학습 프로젝트(Isolated Training Project)의 연속에서 지속적인 개선을 위한 통합적 과정(Coordinated Process of Continuous Improvement)으로 전환한다. 로봇은 경험을 생성하고, 데이터 인프라는 지식을 체계화하며, 학습 시스템은 새로운 능력을 개발하고, 평가는 다음에 무엇을 학습해야 하는지 결정한다. 물리적 상호작용(Physical Interaction)과 컴퓨터 기반 학습(Computational Learning)을 반복적으로 연결함으로써 이 아키텍처는 점점 더 적응적이고(Adaptive) 신뢰성 높은(Reliable) 로봇 지능(Robotic Intelligence)을 위한 확장 가능한 기반(Scalable Foundation)을 구축한다.
01.04. Data Collection Ingestion and Storage
데이터 수집(Data Collection), 데이터 수집·수용(Data Ingestion), 저장(Storage)은 피지컬 인공지능(Physical AI) 데이터 엔진의 핵심 기반 인프라(Foundational Infrastructure)를 형성한다. 데이터 수집은 로봇, 인간, 시뮬레이션 환경(Simulation Environment)에서 생성된 경험을 기록하고, 데이터 수집·수용은 이러한 기록을 후속 처리(Downstream Processing)를 위해 전송하고 검증한다. 저장 시스템은 원시 관측(Raw Observation), 행동(Action), 결과(Outcome), 메타데이터(Metadata)를 접근 가능한 구조로 보존한다. 이러한 기능들은 물리적 경험을 신뢰성 있고 재사용 가능한 학습 자원(Reusable Learning Resource)으로 변환할 수 있는지를 결정한다.
데이터 수집은 로봇 행동(Robot Behavior)과 환경 상호작용(Environmental Interaction)을 이해하는 데 필요한 정보를 식별하는 것에서 시작한다. 관련 신호에는 카메라 영상(Camera Image), 깊이 측정값(Depth Measurement), 라이다 스캔(LiDAR Scan), 관절 위치(Joint Position), 액추에이터 명령(Actuator Command), 힘 측정값(Force Measurement), 작업 결과(Task Outcome)가 포함된다. 이러한 신호를 함께 기록하면 학습 시스템(Learning System)은 관측이 행동에 어떤 영향을 미치고, 행동이 시간에 따라 물리적 세계를 어떻게 변화시키는지 재구성할 수 있다.
피지컬 인공지능의 데이터 소스(Data Source)는 자율 로봇 운영(Autonomous Robot Operation)을 넘어 다양한 영역으로 확장된다. 원격조작 시스템(Teleoperation System)은 인간이 안내하는 궤적(Human-Guided Trajectory)을 기록하고, 시연 플랫폼(Demonstration Platform)은 성공적인 작업 실행을 기록하며, 시뮬레이션 환경은 통제된 경험(Controlled Experience)을 생성한다. 인간 영상(Human Video)은 물체 상호작용(Object Interaction)과 작업 구조(Task Structure)에 관한 정보를 제공할 수 있다. 각 데이터 소스는 서로 다른 학습 기회를 제공하며, 센싱(Sensing)과 행동 표현(Action Representation)에 적합한 수집 절차가 필요하다.
로봇 데이터 수집은 관측(Observation), 내부 상태(Internal State), 실행된 명령(Executed Command) 사이의 시간적 관계(Temporal Relationship)를 보존해야 한다. 센서는 서로 다른 샘플링 주파수(Sampling Frequency)로 작동하는 경우가 많으며, 제어기(Controller)는 카메라보다 훨씬 높은 주기로 갱신될 수 있다. 정확한 타임스탬프(Timestamp)와 동기화된 클록(Synchronized Clock)을 통해 후속 처리 시스템은 행동을 관련 관측과 연결할 수 있다. 시간적 일관성(Temporal Consistency)이 확보되지 않으면 학습 사례가 물리적 동역학(Physical Dynamics)을 잘못 표현하여 학습된 정책(Learned Policy)에 오류를 발생시킬 수 있다.
데이터 수집 아키텍처(Collection Architecture)는 대역폭(Bandwidth), 컴퓨팅 자원(Computing Resource), 온보드 저장장치(Onboard Storage)의 제약조건도 고려해야 한다. 고해상도 카메라(High-Resolution Camera)와 고밀도 포인트 클라우드(Dense Point Cloud)는 특히 연속 운영 중에 상당한 데이터 양(Data Volume)을 생성할 수 있다. 선택적 기록(Selective Recording), 압축(Compression), 이벤트 기반 로깅(Event-Triggered Logging)은 중요한 경험을 보존하면서 불필요한 정보를 줄일 수 있다. 데이터 수집 정책(Collection Policy)은 운영 신뢰성(Operational Reliability)을 저해하지 않으면서 학습 가치(Learning Value)를 우선해야 한다.
이벤트 기반 데이터 수집(Event-Triggered Data Collection)은 희귀하고 정보 가치가 높은 상황을 식별하는 데 특히 유용하다. 작업 실패(Task Failure), 예상하지 못한 장애물(Unexpected Obstacle), 인간 개입(Human Intervention), 비정상적인 센서 측정값(Abnormal Sensor Reading), 높은 모델 불확실성(Model Uncertainty)에 의해 기록이 활성화될 수 있다. 이러한 이벤트는 일상적인 성공 작업에서는 드러나지 않는 약점을 보여주는 경우가 많다. 이벤트 발생 전후의 맥락적 관측(Contextual Observation)을 보존하면 개발자가 원인과 결과를 이해하는 데 도움이 된다.
데이터 수집·수용(Data Ingestion)은 수집된 정보를 검증(Validation), 구성(Organization), 후속 처리(Subsequent Processing)를 담당하는 인프라로 전달한다. 데이터 수집·수용은 직접적인 네트워크 스트리밍(Network Streaming), 주기적 업로드(Periodic Upload), 이동식 저장장치(Removable Storage), 로컬 동기화 서비스(Local Synchronization Service)를 통해 이루어질 수 있다. 서로 다른 배포 환경(Deployment Environment)에는 서로 다른 전송 전략(Transfer Strategy)이 필요하다. 신뢰성 있는 데이터 수집·수용은 간헐적인 연결(Intermittent Connectivity), 가변적인 데이터 전송률(Variable Data Rate), 일시적인 통신 장애(Temporary Communication Failure)에 대응할 수 있어야 한다.
데이터 수집·수용 서비스(Ingestion Service)는 수신된 기록이 예상 형식(Expected Format)을 준수하고 해석에 충분한 정보를 포함하는지 검증해야 한다. 검증 과정에서는 파일 무결성(File Integrity), 타임스탬프, 센서 식별자(Sensor Identifier), 로봇 구성(Robot Configuration), 에피소드 경계(Episode Boundary)를 검사할 수 있다. 손상되거나 불완전한 기록은 실제 학습용 데이터셋(Production Training Dataset)에 포함되기 전에 식별되어야 한다. 그러나 잠재적으로 가치 있는 실패 에피소드(Failure Episode)는 자동으로 삭제하기보다 별도로 격리(Quarantine)하여 조사할 수 있도록 해야 한다.
메타데이터(Metadata)는 수집된 로봇 경험을 해석하는 데 필요한 맥락 정보(Contextual Information)를 제공한다. 중요한 속성에는 로봇 식별 정보(Robot Identity), 하드웨어 구성(Hardware Configuration), 소프트웨어 버전(Software Version), 센서 보정(Sensor Calibration), 작업 설명(Task Description), 환경(Environment), 수집 시간(Collection Time), 운영 조건(Operating Condition)이 포함된다. 메타데이터를 통해 서로 다른 플랫폼과 배포 환경에서 수집된 기록을 적절하게 비교할 수 있다. 또한 목표 지향적 검색(Targeted Retrieval), 데이터셋 구성(Dataset Construction), 재현 가능한 모델 개발(Reproducible Model Development)을 지원한다.
데이터 수집·수용 시스템은 원시 기록(Raw Recording)과 후속 처리 결과(Subsequent Processing Result) 사이의 관계를 보존해야 한다. 각 기록에는 원본 파일(Original File), 검증 상태(Validation Status), 파생 궤적(Derived Trajectory), 주석(Annotation), 데이터셋 소속 정보(Dataset Membership)를 연결하는 영구 식별자(Persistent Identifier)를 부여할 수 있다. 이러한 관계는 데이터 계보(Data Lineage)를 형성하며 엔지니어가 학습 사례를 실제 물리적 데이터 소스까지 추적할 수 있도록 한다. 이러한 추적성(Traceability)은 데이터 수집 규모가 여러 로봇과 위치로 확장될수록 더욱 중요해진다.
저장 인프라(Storage Infrastructure)는 이질적인 데이터 형식(Heterogeneous Data Format)과 접근 패턴(Access Pattern)을 수용해야 한다. 영상 기록(Video Recording), 포인트 클라우드(Point Cloud), 관절 궤적(Joint Trajectory), 제어 명령(Control Command), 구조화된 메타데이터(Structured Metadata)는 크기와 구성 방식에서 상당한 차이를 보인다. 객체 저장소(Object Storage)는 대용량 바이너리 기록(Large Binary Recording)에 적합하며, 데이터베이스(Database)는 검색 가능한 메타데이터와 에피소드 참조 정보(Episode Reference)를 관리할 수 있다. 상호보완적인 저장 기술을 결합하면 모든 데이터 유형에 동일한 표현 방식을 강제하지 않고도 효율적으로 관리할 수 있다.
원시 데이터 보존(Raw Data Preservation)은 학습 알고리즘(Learning Algorithm)이 발전함에 따라 전처리 요구사항(Preprocessing Requirement)이 변경될 수 있기 때문에 중요하다. 원본 센서 측정값(Original Sensor Measurement)을 유지하면 엔지니어는 개선된 방법을 사용하여 보정(Calibration), 동기화(Synchronization), 주석 처리(Annotation), 특징 추출(Feature Extraction)을 다시 수행할 수 있다. 비용이 많이 드는 물리적 실험을 반복하지 않고도 처리된 데이터셋(Processed Dataset)을 재생성할 수 있다. 변경 불가능한 원시 기록(Immutable Raw Record)을 유지하면 디버깅(Debugging), 감사(Auditing), 예상하지 못한 모델 행동(Model Behavior)의 조사도 지원할 수 있다.
에피소드 중심 저장(Episode-Oriented Storage)은 로봇 학습(Robot Learning)을 위한 실용적인 데이터 구성 구조를 제공한다. 에피소드(Episode)는 관측, 상태(State), 행동, 결과를 포함하는 경계가 정의된 상호작용 시퀀스(Bounded Interaction Sequence)를 의미한다. 에피소드 경계는 작업 시작(Task Initiation), 완료(Completion), 실패(Failure), 운영자 개입(Operator Intervention)에 따라 정의될 수 있다. 기록을 에피소드 단위로 구성하면 궤적 검색(Trajectory Retrieval), 시간적 분석(Temporal Analysis), 모방학습(Imitation Learning) 및 기타 순차 모델(Sequential Model)을 위한 학습 사례 구성이 간단해진다.
효율적인 저장을 위해서는 관련 경험을 선택적으로 검색할 수 있는 색인 메커니즘(Indexing Mechanism)이 필요하다. 엔지니어는 특정 물체와 관련된 조작 실패(Manipulation Failure), 조명이 나쁜 환경에서의 주행 에피소드(Navigation Episode), 특정 하드웨어 구성에서 수집된 궤적을 찾아야 할 수 있다. 검색 가능한 메타데이터(Searchable Metadata)와 이벤트 주석(Event Annotation)은 전체 기록 보관소(Recording Archive)를 검사할 필요성을 줄여준다. 따라서 색인 기능은 저장 인프라를 데이터 큐레이션(Data Curation)과 모델 개선(Model Improvement)에 직접 연결한다.
저장 시스템은 원시 정보(Raw Information), 검증된 정보(Validated Information), 처리된 정보(Processed Information), 학습 준비가 완료된 정보(Training-Ready Information)를 구분해야 한다. 원시 기록은 원본 증거(Original Evidence)를 보존하고, 검증된 기록은 무결성 요구사항(Integrity Requirement)을 충족하며, 처리된 데이터는 동기화되고 변환된 표현(Synchronized and Transformed Representation)을 포함한다. 학습 데이터셋(Training Dataset)은 선택된 사례를 포함한다. 이러한 단계를 별도로 유지하면 의도하지 않은 수정(Accidental Modification)을 줄이고 재현성(Reproducibility)을 지원할 수 있다. 단계 사이의 명확한 전환은 품질 보증(Quality Assurance)과 운영 모니터링(Operational Monitoring)도 단순화한다.
분산형 피지컬 인공지능 배포(Distributed Physical AI Deployment)에서는 로봇 장치(Robot Device), 로컬 서버(Local Server), 클라우드 인프라(Cloud Infrastructure)에 걸친 계층적 저장(Hierarchical Storage)이 필요한 경우가 많다. 온보드 저장장치는 즉각적인 기록을 지원하고, 엣지 시스템(Edge System)은 초기 필터링(Preliminary Filtering)을 수행하며, 중앙 집중형 플랫폼(Centralized Platform)은 공유 학습 자원(Shared Learning Resource)을 관리한다. 이러한 계층 사이의 데이터 이동은 연결성(Connectivity), 지연시간(Latency), 개인정보 보호 요구사항(Privacy Requirement), 운영 비용(Operational Cost)에 따라 결정된다. 로컬 보존 정책(Local Retention Policy)은 네트워크에 접근할 수 없는 상황에서도 중요한 정보를 유지하도록 지원한다.
데이터 보안(Data Security)과 거버넌스(Governance)는 데이터 수집, 수집·수용, 저장 설계에 통합되어야 한다. 로봇은 식별 가능한 개인(Identifiable Individual), 기밀 산업 공정(Confidential Industrial Process), 민감한 환경 정보(Sensitive Environmental Information)를 수집할 수 있다. 암호화(Encryption), 인증(Authentication), 접근 제어(Access Control), 보존 정책(Retention Policy), 적절한 익명화(Anonymization)는 이러한 기록을 보호하는 데 도움이 된다. 거버넌스 메타데이터(Governance Metadata)는 허용된 사용 목적(Permitted Use)과 제한사항(Restriction)을 식별하여 후속 학습 과정이 데이터 수집 당시의 조건을 준수하도록 해야 한다.
확장성(Scalability)을 확보하려면 저장 및 데이터 수집·수용 인프라가 증가하는 로봇 수, 센서 수, 운영 시간에 대응할 수 있어야 한다. 배포 규모가 확대되면 데이터 생성량(Data Generation Volume)이 가용 통신 용량(Communication Capacity)이나 처리 용량(Processing Capacity)보다 빠르게 증가할 수 있다. 분할 저장(Partitioned Storage), 비동기 데이터 수집·수용(Asynchronous Ingestion), 분산 처리(Distributed Processing), 자동화된 생명주기 관리(Automated Lifecycle Management)는 병목현상(Bottleneck)을 줄일 수 있다. 용량 계획(Capacity Planning)은 전체 저장 용량뿐 아니라 검색 빈도(Retrieval Frequency)와 처리 수요(Processing Demand)도 고려해야 한다.
운영 모니터링(Operational Monitoring)은 데이터 인프라의 상태(Health)에 대한 가시성(Visibility)을 제공한다. 유용한 지표에는 데이터 수집 완전성(Collection Completeness), 업로드 성공률(Upload Success Rate), 데이터 수집·수용 지연시간(Ingestion Latency), 저장장치 사용률(Storage Utilization), 손상된 기록 발생 빈도(Corrupted-Record Frequency), 메타데이터 일관성(Metadata Consistency)이 포함된다. 이러한 지표를 모니터링하면 학습 데이터셋이 손상되기 전에 문제를 식별할 수 있다. 자동 경고(Automated Alert)와 복구 절차(Recovery Procedure)는 대규모 로봇 군집(Robot Fleet)이 분산 환경에서 지속적으로 데이터를 생성할 때 신뢰성을 향상시킨다.
데이터 수집, 수집·수용, 저장의 효과는 궁극적으로 학습에 대한 기여도(Contribution to Learning)를 통해 평가되어야 한다. 경험을 찾거나 해석할 수 없고 올바른 행동 및 결과와 연결할 수 없다면 대규모 데이터 보관소(Large Data Archive)의 가치는 제한적이다. 성공적인 인프라는 고품질 정보(High-Quality Information)를 보존하고, 효율적인 검색(Efficient Retrieval)을 지원하며, 목표 지향적 데이터셋 구성(Targeted Dataset Construction)을 가능하게 한다. 따라서 인프라 설계는 기술적 신뢰성(Technical Reliability)을 측정 가능한 로봇 능력 향상(Measurable Improvement in Robotic Capabilities)과 연결해야 한다.
데이터 수집, 수집·수용, 저장은 함께 피지컬 인공지능 시스템의 기억 인프라(Memory Infrastructure)를 구축한다. 데이터 수집은 물리적 경험(Physical Experience)을 기록하고, 데이터 수집·수용은 분산된 기록을 관리 가능한 정보(Manageable Information)로 변환하며, 저장은 미래 학습에 필요한 관계를 보존한다. 이러한 기능이 데이터 처리(Processing), 큐레이션(Curation), 학습(Training), 평가(Evaluation)와 통합되면 로봇 운영에서 생성된 지식이 다시 모델 개발(Model Development)로 전달되는 지속적인 흐름(Continuous Flow of Knowledge)이 형성되어 확장 가능하고 점차 적응성이 향상되는 피지컬 인공지능을 지원한다.
01.05. Data Processing Labeling and Curation
데이터 처리(Data Processing), 라벨링(Labeling), 큐레이션(Curation)은 원시 로봇 경험(Raw Robotic Experience)을 피지컬 인공지능(Physical AI)을 위한 신뢰성 있는 학습 자원(Learning Resource)으로 변환한다. 데이터 처리는 이질적인 기록(Heterogeneous Recording)을 일관된 표현(Consistent Representation)으로 변환하고, 라벨링은 관측(Observation)과 행동(Action)에 의미 있는 설명을 부여하며, 큐레이션은 모델 개선(Model Improvement)에 기여하는 경험을 선택한다. 이러한 기능들은 수집된 데이터가 단순히 구조화되지 않은 센서 기록(Unstructured Sensor Recording)의 축적에 머무르지 않고 유용한 지식(Useful Knowledge)으로 전환될 수 있는지를 결정한다.
원시 로봇 데이터(Raw Robot Data)에는 동기화 오류(Synchronization Error), 누락된 측정값(Missing Measurement), 센서 잡음(Sensor Noise), 일관되지 않은 형식(Inconsistent Format), 불완전한 궤적(Incomplete Trajectory)이 포함되는 경우가 많다. 데이터 처리 시스템(Processing System)은 학습 사례(Training Example)를 구성하기 전에 이러한 문제를 식별하고 수정해야 한다. 카메라 영상(Camera Image), 라이다 스캔(LiDAR Scan), 관절 상태(Joint State), 힘 측정값(Force Measurement), 제어 명령(Control Command)은 로봇 행동이 물리적 환경(Physical Environment)에 어떤 영향을 미치는지를 설명하므로 상호 연관된 방식으로 처리해야 한다.
시간 동기화(Temporal Synchronization)는 로봇 행동(Robotic Behavior)이 관측, 의사결정(Decision), 물리적 반응(Physical Response)의 순서에 의존하기 때문에 필수적이다. 센서는 서로 다른 주파수(Frequency)로 작동하며, 제어 시스템(Control System)은 훨씬 높은 주기로 명령을 생성할 수 있다. 데이터 처리 파이프라인(Processing Pipeline)은 타임스탬프(Timestamp)를 정렬하고, 적절한 상태 측정값(State Measurement)을 보간(Interpolation)하며, 행동 실행 시점(Action Timing)을 보존한다. 잘못된 동기화는 관측된 조건과 실행된 움직임 사이에 잘못된 관계를 형성하여 학습된 정책(Learned Policy)에 오류를 발생시킬 수 있다.
공간적 일관성(Spatial Consistency)은 여러 센서와 로봇 구성요소(Robot Component)의 측정값을 결합할 때 마찬가지로 중요하다. 좌표 변환(Coordinate Transformation)은 카메라 좌표계(Camera Frame), 로봇 베이스(Robot Base), 매니퓰레이터(Manipulator), 세계 기준 좌표계(World Reference Frame)를 연결한다. 보정 매개변수(Calibration Parameter)는 센서의 위치(Position)와 방향(Orientation)을 설명하여 측정값을 공통 기하학적 표현(Common Geometric Representation)에서 해석할 수 있도록 한다. 데이터 처리는 정확한 인식(Perception), 계획(Planning), 조작 학습(Manipulation Learning)을 지원하기 위해 이러한 관계를 보존해야 한다.
데이터 검증(Data Validation)은 기록이 사전에 정의된 무결성(Integrity) 및 일관성 요구사항(Consistency Requirement)을 충족하는지 검사한다. 자동화된 검사(Automated Check)는 손상된 영상(Corrupted Image), 유효하지 않은 타임스탬프(Invalid Timestamp), 누락된 센서 데이터 흐름(Missing Sensor Stream), 불연속적인 궤적(Discontinuous Trajectory), 물리적으로 타당하지 않은 측정값(Physically Implausible Measurement)을 식별할 수 있다. 검증 결과는 복구 가능한 결함(Recoverable Defect)과 신뢰성 있게 해석할 수 없는 기록을 구분해야 한다. 잠재적으로 정보 가치가 높은 실패 에피소드(Failure Episode)는 자동으로 제거하기보다 추가 조사가 필요할 수 있다.
궤적 분할(Trajectory Segmentation)은 연속적인 기록(Continuous Recording)을 의미 있는 상호작용 에피소드(Interaction Episode)로 구성한다. 하나의 에피소드(Episode)는 로봇이 작업 지시(Task Instruction)를 받는 시점에 시작하여 성공적인 완료(Successful Completion), 실패(Failure), 운영자 개입(Operator Intervention) 이후에 종료될 수 있다. 긴 에피소드는 물체 접근(Object Approach), 접촉 형성(Contact Establishment), 물체 조작(Object Manipulation), 결과 확인(Outcome Verification)과 같은 하위 작업(Subtask)으로 분할할 수 있다. 이러한 구조는 순차 학습(Sequential Learning)과 작업 실행(Task Execution)에 대한 상세한 분석을 지원한다.
데이터 라벨링(Data Labeling)은 처리된 경험에 의미론적(Semantic), 기하학적(Geometric), 시간적(Temporal), 행동적(Behavioral) 정보를 부여한다. 인식 라벨(Perception Label)은 물체 범주(Object Category), 경계 상자(Bounding Box), 분할 마스크(Segmentation Mask), 3차원 자세(Three-Dimensional Pose)를 설명할 수 있다. 행동 라벨(Action Label)은 명령된 움직임(Commanded Movement), 파지 시도(Grasp Attempt), 접촉 이벤트(Contact Event), 작업 전이(Task Transition)를 식별한다. 결과 라벨(Outcome Label)은 성공적인 실행, 부분 완료(Partial Completion), 실패, 복구 행동(Recovery Behavior)을 구분하여 서로 다른 학습 목표(Learning Objective)에 필요한 지도 정보(Supervision)를 제공한다.
라벨링 방법(Labeling Method)은 수동 주석(Manual Annotation)부터 자동 추론(Automated Inference), 시뮬레이션 생성 정답 데이터(Simulation-Generated Ground Truth)까지 다양하다. 인간 주석 작업자(Human Annotator)는 복잡한 상호작용과 모호한 작업 결과(Ambiguous Task Outcome)를 해석할 수 있으며, 자동화 시스템(Automated System)은 반복적인 패턴에 대해 확장 가능한 라벨링(Scalable Labeling)을 제공한다. 인공지능 지원 주석(AI-Assisted Annotation)은 기계가 생성한 예측(Machine-Generated Prediction)과 인간 검증(Human Verification)을 결합한다. 적절한 방법은 라벨 복잡도(Label Complexity), 요구 정확도(Required Accuracy), 가용 자원(Available Resource), 주석 오류(Annotation Error)의 영향에 따라 결정된다.
시간적 라벨링(Temporal Labeling)은 개별 프레임(Individual Frame)만으로 완전한 행동을 설명하기 어렵기 때문에 물리적 상호작용(Physical Interaction)의 학습에서 특히 중요하다. 접촉 시작(Contact Initiation), 물체 변위(Object Displacement), 파지 안정화(Grasp Stabilization), 작업 완료(Task Completion)는 연속적인 관측 과정에서 발생한다. 라벨은 의미 있는 행동을 표현하기 위해 이벤트 순서(Event Order)와 지속시간(Duration)을 보존해야 한다. 잘못된 시간적 경계(Temporal Boundary)는 학습된 행동 의존성(Action Dependency)을 왜곡하고 순차 예측 모델(Sequential Prediction Model)의 신뢰성을 저하시킬 수 있다.
라벨 품질(Label Quality)은 일관된 정의(Consistent Definition), 명확한 주석 지침(Annotation Instruction), 체계적인 검증(Systematic Verification)에 의존한다. 서로 다른 주석 작업자는 특히 실패한 파지(Failed Grasp)와 불완전한 시도(Incomplete Attempt), 성공적인 복구(Successful Recovery)와 부분적인 진행(Partial Progress)을 구분할 때 모호한 이벤트를 다르게 해석할 수 있다. 품질 관리(Quality Control)에는 반복 주석(Repeated Annotation), 일치도 측정(Agreement Measurement), 전문가 검토(Expert Review), 자동 일관성 검사(Automated Consistency Check)가 포함될 수 있다. 신뢰성 있는 라벨은 의미 있는 모델 평가(Model Evaluation)를 위한 필수 조건이다.
데이터 큐레이션(Data Curation)은 처리되고 라벨링된 경험 중 어떤 데이터를 학습 데이터셋(Training Dataset), 검증 데이터셋(Validation Dataset), 평가 데이터셋(Evaluation Dataset)에 포함할지 결정한다. 대규모 데이터 집합(Large Data Collection)에는 중복 시연(Redundant Demonstration), 정보 가치가 낮은 궤적(Low-Information Trajectory), 손상된 기록(Corrupted Record), 불균형한 작업 분포(Uneven Task Distribution)가 포함되는 경우가 많다. 큐레이션은 운영 조건(Operating Condition)의 대표적인 포괄성(Representative Coverage)을 유지하면서 가치 있는 사례를 식별한다. 그 목적은 중요한 행동 다양성(Behavioral Diversity)을 제거하지 않으면서 학습 효율성(Learning Efficiency)을 향상시키는 것이다.
중복 탐지(Duplicate Detection)는 반복된 기록이 학습 분포(Training Distribution)를 지배하는 것을 방지한다. 로봇이 거의 동일한 조건에서 일상적인 작업(Routine Operation)을 수행하면 유사한 궤적(Similar Trajectory)이 생성될 수 있다. 과도한 중복(Excessive Duplication)은 모델을 자주 관측되는 행동(Frequently Observed Behavior)에 편향시키고 비정상적인 상황(Unusual Situation)에 대한 노출을 제한할 수 있다. 큐레이션 시스템(Curation System)은 메타데이터, 궤적 특성(Trajectory Characteristic), 시각적 유사도(Visual Similarity), 학습된 임베딩(Learned Embedding)을 비교하여 중복 경험을 식별할 수 있다.
희귀 이벤트 보존(Rare-Event Preservation)은 발생 빈도가 낮은 상황이 안전성(Safety)이나 성능(Performance)에 중대한 영향을 미칠 수 있기 때문에 피지컬 인공지능에서 특히 중요하다. 예상하지 못한 장애물(Unexpected Obstacle), 불안정한 파지(Unstable Grasp), 센서 고장(Sensor Failure), 충돌(Collision), 긴급 개입(Emergency Intervention)은 일반적인 무작위 표본(Random Sample)에 포함되기 어려울 정도로 드물게 발생할 수 있다. 큐레이션 전략(Curation Strategy)은 이러한 이벤트와 주변 맥락(Surrounding Context)을 보존하여 모델이 복구 전략(Recovery Strategy)을 학습하고 운영 위험(Operational Hazard)을 인식할 수 있도록 해야 한다.
모델 기반 큐레이션(Model-Guided Curation)은 평가 결과(Evaluation Result)를 활용하여 현재의 성능 약점(Performance Weakness)을 보완하는 경험을 식별한다. 예측 불확실성(Prediction Uncertainty), 모델 간 불일치(Model Disagreement), 반복적인 작업 실패(Repeated Task Failure), 데이터 분포의 공백(Distribution Gap)은 사례 선택(Example Selection)의 기준이 될 수 있다. 어려운 사례(Hard Case)가 의미 있는 교정 정보(Corrective Information)를 제공한다면 학습 우선순위(Training Priority)를 높일 수 있다. 그러나 선택 정책(Selection Policy)은 일반화(Generalization)를 저해할 정도로 특정 실패 범주(Failure Category)에 지나치게 집중하지 않도록 해야 한다.
데이터셋 균형 조정(Dataset Balancing)은 작업(Task), 물체(Object), 환경(Environment), 로봇 구성(Robot Configuration), 결과(Outcome)의 상대적인 표현 비율(Relative Representation)을 제어한다. 평탄한 바닥(Smooth Floor)에서 성공한 주행 데이터가 대부분을 차지하는 데이터 집합은 복잡한 공간(Cluttered Space)이나 변화하는 지형(Changing Terrain)에 대한 정보를 충분히 제공하지 못할 수 있다. 균형 조정이 모든 범주에 동일한 비율(Equal Proportion)을 적용해야 한다는 의미는 아니다. 데이터셋 구성(Dataset Composition)은 학습 목표, 배포 조건(Deployment Condition), 충분히 표현되지 않은 행동(Underrepresented Behavior)의 중요성을 반영해야 한다.
큐레이션은 실제 환경(Real-World), 원격조작(Teleoperation), 인간 영상(Human Video), 시뮬레이션 생성 경험(Simulation-Generated Experience) 사이의 차이도 보존해야 한다. 이러한 데이터 소스는 관측 품질(Observation Quality), 행동 정보의 가용성(Action Availability), 물리적 현실성(Physical Realism), 주석 신뢰성(Annotation Reliability)에서 차이가 있다. 데이터 소스에 대한 구분 없이 결합하면 잘못된 상관관계(Misleading Correlation)나 호환되지 않는 표현(Incompatible Representation)이 발생할 수 있다. 데이터 소스 메타데이터(Source Metadata)와 적절한 샘플링 전략(Sampling Strategy)은 도메인 관련 편향(Domain-Related Bias)을 제어하면서 유용한 다양성을 유지하는 데 도움이 된다.
학습 데이터셋(Training Dataset), 검증 데이터셋(Validation Dataset), 테스트 데이터셋(Test Dataset)은 신중하게 설계된 분리 절차(Separation Procedure)가 필요하다. 동일한 궤적에서 개별 프레임을 무작위로 분할하면 인접한 관측이 높은 상관관계(High Correlation)를 가지므로 정보 누출(Information Leakage)이 발생할 수 있다. 에피소드, 환경, 데이터 수집 세션(Collection Session), 로봇 구성에 따른 분할은 더 의미 있는 평가를 제공할 수 있다. 선택한 분할 전략(Splitting Strategy)은 시간(Time), 작업(Task), 환경(Environment), 로봇 형태 및 구성(Embodiment)에 걸친 일반화 중 무엇을 평가하려는지 반영해야 한다.
데이터 계보(Data Lineage)는 처리 작업(Processing Operation), 주석 결정(Annotation Decision), 큐레이션 결과(Curation Outcome)를 원본 기록(Original Recording)과 연결한다. 각각의 파생 사례(Derived Example)는 원본 에피소드(Source Episode), 변환 매개변수(Transformation Parameter), 라벨 버전(Label Version), 선택 이력(Selection History)에 대한 참조 정보를 유지해야 한다. 이러한 추적성(Traceability)을 통해 엔지니어는 데이터셋을 재현하고, 라벨링 오류(Labeling Mistake)를 조사하며, 성능 변화(Performance Change)를 이해할 수 있다. 버전 관리된 데이터 준비(Versioned Data Preparation)는 반복적인 학습 주기(Iterative Training Cycle)에서 모델을 비교하는 데 필수적이다.
자동화(Automation)는 데이터 처리와 큐레이션의 확장성(Scalability)을 향상시키지만 지속적인 모니터링(Continuous Monitoring)이 필요하다. 자동화 시스템은 체계적인 라벨링 오류(Systematic Labeling Error)를 발생시키거나, 비정상적인 경험(Unusual Experience)을 잘못 제거하거나, 기존 모델이 선호하는 사례를 과도하게 포함할 수 있다. 정기적인 감사(Periodic Audit), 인간 검토(Human Review), 독립적인 평가(Independent Evaluation)는 이러한 약점을 식별하는 데 도움이 된다. 신뢰성 있는 데이터 엔진(Data Engine)은 자동화된 처리 결정(Automated Processing Decision)을 의심의 여지가 없는 정답 데이터(Ground Truth)가 아니라 측정하고 평가할 수 있는 작업(Measurable Operation)으로 취급한다.
데이터 처리, 라벨링, 큐레이션의 효과는 데이터 품질(Data Quality)과 후속 학습 성능(Downstream Learning Performance)을 모두 고려하여 평가해야 한다. 관련 지표에는 동기화 정확도(Synchronization Accuracy), 주석 일관성(Annotation Consistency), 데이터셋 다양성(Dataset Diversity), 처리 처리량(Processing Throughput), 유용한 에피소드의 비율(Proportion of Useful Episodes)이 포함된다. 더욱 중요한 것은 정제된 데이터(Curated Data)가 작업 성공률(Task Success Rate), 강건성(Robustness), 복구 능력(Recovery Capability), 익숙하지 않은 물리적 조건(Unfamiliar Physical Condition)에 대한 일반화 성능(Generalization Performance)을 측정 가능하게 향상시켜야 한다는 점이다.
궁극적으로 데이터 처리(Data Processing), 라벨링(Labeling), 큐레이션(Curation)은 물리적 경험(Physical Experience)과 기계 지능(Machine Intelligence) 사이의 변환 계층(Transformation Layer)을 구축한다. 데이터 처리는 관측과 행동의 기술적 일관성(Technical Consistency)을 보장하고, 라벨링은 학습 알고리즘(Learning Algorithm)이 그 의미를 이해할 수 있도록 하며, 큐레이션은 어떤 경험에 우선적으로 주목해야 하는지를 결정한다. 이러한 기능이 폐루프 데이터 엔진(Closed-Loop Data Engine)에 통합되면 지속적으로 증가하는 로봇 경험의 집합을 점차 효과적이고 신뢰성 높은 피지컬 인공지능 모델(Physical AI Model)로 전환할 수 있다.
01.06. Training Evaluation and Feedback Loops
학습(Training), 평가(Evaluation), 피드백 루프(Feedback Loop)는 피지컬 인공지능(Physical AI) 데이터 엔진(Data Engine)의 학습 핵심부(Learning Core)를 형성한다. 학습은 수집된 경험(Collected Experience)을 인식(Perception), 예측(Prediction), 계획(Planning), 제어(Control)가 가능한 모델로 변환한다. 평가는 이러한 모델이 다양한 물리적 조건(Physical Condition)에서 신뢰성 있게 작동하는지를 측정하며, 피드백은 약점을 식별하고 후속 데이터 수집(Subsequent Data Collection)의 방향을 결정한다. 이러한 과정은 개별적인 학습 실험(Isolated Training Experiment)을 로봇 능력(Robotic Capability)을 지속적으로 개선하는 시스템으로 전환한다.
학습은 관측(Observation), 로봇 상태(Robot State), 행동(Action), 작업 설명(Task Description), 실행 결과(Execution Outcome)를 포함하는 데이터셋(Dataset)에서 시작한다. 이러한 요소들은 변화하는 환경에 로봇이 어떻게 대응해야 하는지를 학습하는 데 필요한 관계를 제공한다. 데이터셋 준비(Dataset Preparation) 과정에서는 시간적 일관성(Temporal Consistency), 좌표계 규약(Coordinate Convention), 행동 의미 체계(Action Semantics)를 보존해야 한다. 이러한 관계에 오류가 있으면 오프라인 학습(Offline Training)에서는 효과적으로 보이지만 실제 물리적 실행(Physical Execution)에서는 예측할 수 없는 행동을 보이는 정책(Policy)이 생성될 수 있다.
피지컬 인공지능 학습은 지도학습(Supervised Learning), 모방학습(Imitation Learning), 강화학습(Reinforcement Learning), 자기지도학습(Self-Supervised Learning)을 결합할 수 있다. 지도학습은 관측과 목표 출력(Target Output) 사이의 대응 관계를 학습하며, 모방학습은 시연된 행동(Demonstrated Behavior)을 재현한다. 강화학습은 상호작용(Interaction)과 보상 신호(Reward Signal)를 통해 의사결정(Decision)을 개선한다. 자기지도학습은 라벨이 없는 대규모 센서 데이터(Unlabeled Sensor Data)와 상호작용 데이터(Interaction Data)에서 유용한 표현(Representation)을 추출한다.
모델 아키텍처(Model Architecture)는 물리적 경험(Physical Experience)이 학습된 능력(Learned Capability)으로 변환되는 방식에 영향을 미친다. 비전 인코더(Vision Encoder)는 영상과 공간 정보(Spatial Information)를 처리하고, 시간적 모델(Temporal Model)은 시간에 따라 변화하는 관측을 표현하며, 정책 네트워크(Policy Network)는 행동을 생성한다. 다중모달 아키텍처(Multimodal Architecture)는 시각(Visual), 고유수용감각(Proprioceptive), 촉각(Tactile), 언어(Language) 입력을 결합할 수 있다. 학습 과정에서는 이러한 모달리티(Modality)를 정렬하여 학습된 표현이 우연한 상관관계(Accidental Correlation)가 아니라 물리적으로 의미 있는 관계(Physically Meaningful Relationship)를 반영하도록 해야 한다.
학습 목표(Training Objective)는 배포(Deployment) 과정에서 요구되는 능력과 일치해야 한다. 조작 정책(Manipulation Policy)은 행동 예측(Action Prediction), 파지 성공(Grasp Success), 접촉 안정성(Contact Stability)을 최적화할 수 있으며, 주행 모델(Navigation Model)은 충돌 회피(Collision Avoidance)와 목표 달성(Goal Achievement)을 우선할 수 있다. 보조 목표(Auxiliary Objective)는 상태 추정(State Estimation)이나 미래 예측(Future Prediction)을 개선할 수 있다. 그러나 학습 손실(Training Loss)이 감소했다고 해서 익숙하지 않은 환경(Unfamiliar Environment)에서 로봇이 더욱 신뢰성 있게 작동한다는 사실이 자동으로 입증되는 것은 아니다.
데이터셋 구성(Dataset Composition)은 모델이 학습 데이터 분포(Training Distribution)에 포함된 경험으로부터 학습하기 때문에 학습 결과(Training Outcome)에 큰 영향을 미친다. 성공적인 시연(Successful Demonstration)이 지나치게 많으면 실패 복구(Failure Recovery)에 필요한 정보가 부족할 수 있으며, 환경 포괄성(Environmental Coverage)이 제한적이면 일반화(Generalization) 능력이 저하될 수 있다. 작업(Task), 물체(Object), 운영 조건(Operating Condition), 결과(Outcome)에 대한 균형 잡힌 경험은 강건성(Robustness)을 향상시킨다. 따라서 데이터 큐레이션(Data Curation)은 모델 최적화(Model Optimization)와 긴밀하게 연결된다.
학습 인프라(Training Infrastructure)는 데이터셋, 알고리즘(Algorithm), 컴퓨팅 자원(Computing Resource)에 걸쳐 재현 가능한 실험(Reproducible Experiment)을 지원해야 한다. 각 실험은 데이터셋 버전(Dataset Version), 모델 구성(Model Configuration), 최적화 매개변수(Optimization Parameter), 소프트웨어 의존성(Software Dependency), 난수 시드(Random Seed)를 기록해야 한다. 분산 학습(Distributed Training)은 대규모 다중모달 데이터셋(Multimodal Dataset)의 학습을 가속할 수 있지만, 동기화(Synchronization)와 수치적 차이(Numerical Difference)가 재현성(Reproducibility)에 영향을 미칠 수 있다. 실험 추적(Experiment Tracking)은 연속적인 모델 사이의 체계적인 비교를 가능하게 한다.
평가(Evaluation)는 학습을 통한 개선이 실제로 유용한 로봇 행동(Useful Robotic Behavior)으로 이어지는지를 판단한다. 오프라인 평가(Offline Evaluation)는 별도로 보관된 기록(Held-Out Recording)을 사용하여 성능을 측정하고, 시뮬레이션 평가(Simulation Evaluation)는 상호작용 시나리오(Interactive Scenario)를 통해 모델을 시험한다. 실제 환경 평가(Physical Evaluation)는 통제된 조건(Controlled Condition)에서 실제 로봇의 실행을 관찰한다. 이러한 방법은 상호보완적인 근거(Complementary Evidence)를 제공하지만, 어느 하나도 실제 환경에서 배포 조건을 반영한 시험(Deployment-Relevant Testing)을 완전히 대체할 수는 없다.
평가 지표(Evaluation Metric)는 작업 성능(Task Performance)과 운영 신뢰성(Operational Reliability)을 모두 반영해야 한다. 관련 측정 항목에는 작업 성공률(Task Success Rate), 궤적 정확도(Trajectory Accuracy), 충돌 빈도(Collision Frequency), 완료 시간(Completion Time), 에너지 소비량(Energy Consumption), 복구 효과(Recovery Effectiveness)가 포함된다. 안전 필수 시스템(Safety-Critical System)에서는 개입 빈도(Intervention Frequency)와 제약조건 위반(Constraint Violation)에 대한 추가 측정이 필요할 수 있다. 종합 점수(Aggregate Score)와 함께 환경, 물체, 작업 난이도(Task Difficulty Level)에 따른 성능 분석(Performance Analysis)도 제공해야 한다.
일반화 평가(Generalization Evaluation)는 모델이 학습 과정에서 경험한 조건을 넘어 작동할 수 있는지를 검사한다. 시험 시나리오(Test Scenario)에는 익숙하지 않은 물체(Unfamiliar Object), 변화하는 조명(Changing Lighting), 서로 다른 표면 특성(Surface Property), 센서 교란(Sensor Disturbance), 변경된 로봇 구성(Altered Robot Configuration)이 포함될 수 있다. 이러한 변화에서 나타나는 성능은 모델이 전이 가능한 관계(Transferable Relationship)를 학습했는지를 보여준다. 평가는 진정한 일반화(Genuine Generalization)와 학습 경험 및 시험 경험 사이의 중복(Overlap)으로 인해 발생한 성공을 구분해야 한다.
시뮬레이션(Simulation)은 희귀하거나 어렵고 잠재적으로 위험한 상황을 평가하기 위한 통제된 환경(Controlled Environment)을 제공한다. 시나리오 매개변수(Scenario Parameter)를 체계적으로 변경하여 마찰(Friction), 형상(Geometry), 인식 잡음(Perception Noise), 외부 교란(External Disturbance)에 대한 민감도(Sensitivity)를 조사할 수 있다. 반복 시험(Repeated Trial)은 후보 모델(Candidate Model) 사이의 통계적 비교(Statistical Comparison)를 지원한다. 그러나 불완전한 동역학 모델(Dynamics Model)과 센싱 모델(Sensing Model)이 실제 환경의 약점을 감출 수 있으므로 시뮬레이션 결과는 물리적 검증(Physical Validation)이 필요하다.
실패 분석(Failure Analysis)은 평가 결과(Evaluation Result)를 향후 학습에 활용할 수 있는 정보로 변환한다. 조작 작업(Manipulation Task)의 실패는 잘못된 물체 탐지(Object Detection), 부정확한 상태 추정(State Estimation), 부적절한 파지 선택(Grasp Selection), 불안정한 제어(Unstable Control)에서 비롯될 수 있다. 단순히 실패를 기록하는 것보다 근본 원인(Underlying Cause)을 식별하는 것이 더욱 유용하다. 구조화된 실패 범주(Structured Failure Category)와 진단용 궤적(Diagnostic Trajectory)은 추가 데이터, 수정된 라벨(Revised Label), 모델 변경(Model Change) 중 어떤 개선이 필요한지 판단하는 데 도움이 된다.
피드백 루프(Feedback Loop)는 식별된 약점을 목표 지향적 데이터 수집(Targeted Data Acquisition)과 연결한다. 반사 표면이 있는 복도(Reflective Corridor)에서 주행 실패(Navigation Failure)가 반복되면 유사한 조명 및 기하학적 조건(Geometric Condition)에서 데이터를 추가 수집하도록 할 수 있다. 유연한 재료(Flexible Material)를 다루는 조작 오류(Manipulation Error)는 새로운 원격조작 시연(Teleoperation Demonstration)이나 시뮬레이션 실험(Simulation Experiment)의 필요성을 제기할 수 있다. 피드백 우선순위(Feedback Priority)는 실패 심각도(Failure Severity), 발생 빈도(Occurrence Frequency), 불확실성(Uncertainty), 수집 비용(Collection Cost) 대비 예상 개선 효과(Expected Improvement)를 기준으로 결정할 수 있다.
능동학습(Active Learning)은 상당한 정보 가치를 제공할 것으로 예상되는 경험을 선택하여 피드백 효율성(Feedback Efficiency)을 향상시킨다. 모델 불확실성(Model Uncertainty), 예측 불일치(Prediction Disagreement), 데이터 분포 포괄성(Distribution Coverage)은 새로운 관측이 유용한 영역을 나타낼 수 있다. 목표 지향적 수집(Targeted Collection)은 무분별한 로깅(Indiscriminate Logging)과 반복 시연(Repeated Demonstration)에 대한 의존도를 줄인다. 그러나 불확실성 추정값(Uncertainty Estimate)은 보정(Calibration)되어야 하며, 선택 전략(Selection Strategy)은 기존 모델 편향(Model Bias)이 강화되지 않도록 다양성(Diversity)을 보존해야 한다.
배포 피드백(Deployment Feedback)은 개발 과정에서 완전히 재현할 수 없는 조건에 대한 근거를 제공한다. 로봇은 변화하는 배치(Changing Layout), 예상하지 못한 인간 행동(Unexpected Human Behavior), 장비 성능 저하(Equipment Degradation), 이전에 관측하지 못한 물체(Previously Unseen Object)를 만날 수 있다. 실행 중 모니터링(Runtime Monitoring)은 작업 결과(Outcome), 개입(Intervention), 비정상 상태(Abnormal State), 선택된 센서 기록(Sensor History)을 기록한다. 이러한 관측은 데이터 분포 변화(Distribution Shift)와 새롭게 나타나는 실패 패턴(Emerging Failure Pattern)을 드러내어 데이터 엔진이 학습 우선순위(Learning Priority)를 갱신할 수 있도록 한다.
인간 피드백(Human Feedback)은 자율 행동(Autonomous Behavior)이 불안정하거나 모호해질 때 중요한 역할을 한다. 운영자(Operator)는 안전하지 않은 행동(Unsafe Action)을 방지하기 위해 개입하거나, 궤적(Trajectory)을 수정하거나, 성공적인 복구 전략(Recovery Strategy)을 시연할 수 있다. 이러한 개입을 이전 관측(Preceding Observation)과 함께 기록하면 실패 조건(Failure Condition)과 교정 행동(Corrective Behavior)에 대한 학습 사례를 확보할 수 있다. 인간 평가(Human Assessment)는 자동화된 성공 지표(Automated Success Metric)가 포착하지 못하는 작업 품질 문제(Task Quality Issue)를 식별할 수도 있다.
완전한 피드백 루프(Complete Feedback Loop)에는 관측 결과를 검증된 모델 업데이트(Validated Model Update)로 변환하는 명확한 메커니즘(Mechanism)이 필요하다. 새로운 경험은 수집·수용(Ingestion), 처리(Processing), 라벨링(Labeling), 큐레이션(Curation)을 거쳐 버전 관리된 데이터셋(Versioned Dataset)에 통합된다. 후보 모델(Candidate Model)은 배포 전에 학습되고 기존 기준 모델(Established Baseline)과 비교된다. 모델 승격 결정(Model Promotion Decision)은 단일 성능 지표에만 의존하지 않고 작업 성능 개선(Task Improvement), 안전 제약조건(Safety Constraint), 회귀 테스트(Regression Test), 불확실성(Uncertainty)을 고려해야 한다.
지속적 평가(Continuous Evaluation)는 새로운 학습 데이터나 최적화 절차(Optimization Procedure)로 인해 발생하는 성능 회귀(Performance Regression)를 방지한다. 특정 물체 범주(Object Category)에서 성능이 향상된 모델이 이전에 숙달한 작업(Previously Mastered Task)에서는 신뢰성이 낮아질 수 있다. 고정된 벤치마크 모음(Fixed Benchmark Suite), 과거 실패 데이터 집합(Historical Failure Collection), 목표 지향적 회귀 테스트(Targeted Regression Test)는 이러한 상충관계(Tradeoff)를 식별하는 데 도움이 된다. 일관된 평가 프로토콜(Evaluation Protocol)을 유지하면 엔지니어는 의미 있는 능력 향상(Capability Gain)과 실험 결과의 변동(Experimental Fluctuation)을 구분할 수 있다.
피드백 주기(Feedback Cycle)는 각 기능에 적합한 시간 척도(Timescale)로 작동해야 한다. 실행 중 안전 모니터링(Runtime Safety Monitoring)은 즉각적인 대응이 필요할 수 있지만, 데이터 수집·수용(Data Ingestion)과 자동 분석(Automated Analysis)은 지속적 또는 주기적으로 수행될 수 있다. 모델 재학습(Model Retraining)과 실제 환경 검증(Physical Validation)은 일반적으로 더 긴 시간이 필요하다. 이러한 시간 척도를 분리하면 실험적인 학습 업데이트(Experimental Learning Update)가 실시간 로봇 제어(Real-Time Robot Control)와 기존 안전 메커니즘(Safety Mechanism)을 방해하는 것을 방지할 수 있다.
학습 루프(Learning Loop)의 효과는 운영 과정에서 확보한 근거(Operational Evidence)를 얼마나 효율적으로 측정 가능한 개선(Measurable Improvement)으로 전환하는지에 달려 있다. 유용한 지표에는 실패 발견 시간(Failure Discovery Time), 데이터 수집 비용(Data Acquisition Cost), 학습 소요시간(Training Turnaround), 평가 포괄성(Evaluation Coverage), 반복 오류 감소(Reduction in Recurring Errors)가 포함된다. 데이터 품질(Data Quality)과 검증 수준(Validation Level)이 충분히 유지될 때만 빠른 주기가 유익하다. 성숙한 시스템(Mature System)은 단순히 업데이트 빈도(Update Frequency)를 최대화하기보다 각 반복 과정(Iteration)의 신뢰성과 가치를 최적화한다.
궁극적으로 학습(Training), 평가(Evaluation), 피드백 루프(Feedback Loop)는 피지컬 인공지능 시스템이 경험(Experience)을 통해 개선되는 메커니즘을 구축한다. 학습은 새로운 능력(New Capability)을 생성하고, 평가는 강점(Strength)과 한계(Limitation)를 확인하며, 피드백은 후속 학습(Subsequent Learning)을 형성할 경험을 결정한다. 이러한 기능들이 통합된 폐루프 과정(Integrated Closed-Loop Process)으로 작동하면 로봇 지능(Robotic Intelligence)은 안전성(Safety), 추적성(Traceability), 운영 신뢰성(Operational Reliability)을 유지하면서 다양한 작업과 환경에 점진적으로 적응할 수 있다.
01.07. Robot Episodes and Trajectories
로봇 에피소드(Robot Episode)와 궤적(Trajectory)은 피지컬 인공지능(Physical AI)의 경험을 구성하는 기본적인 시간적 구조(Temporal Structure)를 제공한다. 에피소드(Episode)는 로봇과 환경 사이에서 발생하는 경계가 정의된 상호작용 시퀀스(Bounded Interaction Sequence)를 의미하며, 궤적은 해당 시퀀스 내에서 관측(Observation), 상태(State), 행동(Action), 결과(Outcome)가 시간에 따라 변화하는 과정을 나타낸다. 이 두 요소는 연속적인 센서 기록(Continuous Sensor Recording)을 학습(Training), 평가(Evaluation), 행동 분석(Behavioral Analysis)에 활용할 수 있는 의미 있는 단위로 변환한다.
에피소드는 일반적으로 작업(Task)이 시작될 때 시작되며 종료 조건(Termination Condition)에 도달하면 끝난다. 종료는 성공적인 완료(Successful Completion), 작업 실패(Task Failure), 시간 초과(Timeout), 안전 개입(Safety Intervention), 운영자 취소(Operator Cancellation)에 의해 발생할 수 있다. 각 에피소드에는 작업, 환경(Environment), 로봇 구성(Robot Configuration), 실행 조건(Execution Condition)을 설명하는 맥락 정보(Contextual Information)가 포함된다. 이러한 경계를 통해 데이터 엔진(Data Engine)은 완전한 상호작용(Complete Interaction)과 연속적인 운영 과정에서 발생하는 관련 없는 구간을 구분할 수 있다.
궤적(Trajectory)은 시간에 따라 정렬된 로봇 경험의 시퀀스(Ordered Sequence of Robot Experiences)를 나타낸다. 각 시간 단계(Time Step)에서 로봇은 관측을 수신하고, 자신의 상태를 유지하거나 추정하며, 이후 조건에 영향을 미치는 행동을 실행한다. 이렇게 생성된 시퀀스는 인식(Perception), 의사결정(Decision-Making), 물리적 결과(Physical Consequence) 사이의 관계를 포착한다. 로봇 학습(Robot Learning)은 행동이 시간에 따라 환경을 어떻게 변화시키는지에 의존하므로 이러한 순서를 보존하는 것이 필수적이다.
궤적 표현(Trajectory Representation)에는 카메라 영상(Camera Image), 깊이 맵(Depth Map), 관절 위치(Joint Position), 속도(Velocity), 힘(Force), 제어 명령(Control Command), 작업별 측정값(Task-Specific Measurement)이 포함될 수 있다. 관측은 로봇이 이용할 수 있는 정보를 설명하며, 상태는 로봇의 동역학(Dynamics)과 관련된 물리적 변수(Physical Variable)를 나타낸다. 행동은 관절 토크(Joint Torque), 속도 명령(Velocity Command), 상위 수준의 움직임 목표(Higher-Level Motion Target)에 해당할 수 있다. 결과는 의도한 작업이 달성되었는지와 어떠한 물리적 변화가 발생했는지를 나타낸다.
에피소드 경계(Episode Boundary)는 작업마다 서로 다른 시간 척도(Temporal Scale)로 수행되므로 신중하게 정의해야 한다. 로봇 파지(Robotic Grasp)는 몇 초 만에 완료될 수 있지만, 창고 자율주행(Warehouse Navigation)이나 산업 시설 검사(Industrial Inspection)는 수 분 동안 지속될 수 있다. 복잡한 활동(Complex Activity)은 원래 에피소드와의 관계를 잃지 않으면서 더 짧은 하위 작업(Subtask)으로 분할할 수 있다. 계층적 분할(Hierarchical Segmentation)은 저수준 제어 학습(Low-Level Control Learning)과 고수준 작업 계획(High-Level Task Planning)을 모두 지원한다.
시간적 샘플링(Temporal Sampling)은 궤적이 물리적 상호작용(Physical Interaction)을 얼마나 정확하게 표현하는지를 결정한다. 카메라는 초당 수십 프레임(Frame Per Second)으로 작동할 수 있지만, 모터 제어기(Motor Controller)는 훨씬 높은 주파수로 명령을 생성한다. 데이터 엔진은 타임스탬프(Timestamp)를 보존하고 비동기 데이터 흐름(Asynchronous Stream) 사이의 측정값을 연결해야 한다. 적절한 보간(Interpolation)이나 재샘플링(Resampling)은 모델 학습을 지원할 수 있지만, 과도한 시간적 단순화(Temporal Simplification)는 중요한 접촉 이벤트(Contact Event)나 제어 전이(Control Transition)를 제거할 수 있다.
궤적 품질(Trajectory Quality)은 동기화(Synchronization), 센서 보정(Sensor Calibration), 일관된 행동 정의(Consistent Action Definition)에 의존한다. 관측과 명령의 정렬이 잘못되면 특히 빠른 조작(Fast Manipulation)이나 동적 움직임(Dynamic Movement) 중에 잘못된 인과관계(Causal Association)가 형성될 수 있다. 누락된 프레임(Missing Frame), 통신 지연(Communication Delay), 불연속적인 상태 측정값(Discontinuous State Measurement)은 전처리(Preprocessing) 과정에서 식별해야 한다. 신뢰성 있는 궤적 재구성(Reliable Trajectory Reconstruction)을 위해서는 측정 시점과 기록된 변수의 물리적 의미(Physical Meaning)를 모두 보존해야 한다.
성공 궤적(Successful Trajectory)은 특정 조건에서 의도한 목표(Intended Objective)를 달성하는 행동을 보여준다. 이러한 궤적은 모델이 시연된 행동(Demonstrated Action)을 재현하도록 학습하는 모방학습(Imitation Learning)과 행동 복제(Behavioral Cloning)에 유용한 사례를 제공한다. 그러나 작업이 성공했다고 해서 기록된 모든 행동이 효율적이거나 안전했다는 의미는 아니다. 궤적 평가(Trajectory Evaluation)는 완료 품질(Completion Quality), 에너지 소비량(Energy Consumption), 충돌 회피(Collision Avoidance), 운영 제약조건(Operational Constraint)을 고려해야 한다.
실패 궤적(Failed Trajectory)도 인식(Perception), 계획(Planning), 제어(Control)의 한계를 드러내므로 중요하다. 조작 실패(Manipulation Failure)는 부정확한 물체 위치 추정(Object Localization), 불안정한 접촉(Unstable Contact), 잘못된 힘 적용(Incorrect Force Application)과 관련될 수 있다. 주행 실패(Navigation Failure)는 예상하지 못한 장애물(Unexpected Obstacle), 위치 추정 드리프트(Localization Drift), 부적절한 움직임 결정(Motion Decision)으로 인해 발생할 수 있다. 실패 맥락(Failure Context)을 보존하면 학습 시스템이 성공적인 시연에만 의존하지 않고 교정 행동(Corrective Behavior)을 식별할 수 있다.
복구 궤적(Recovery Trajectory)은 예상하지 못한 이벤트 이후 로봇이나 인간 운영자(Human Operator)가 어떻게 대응하는지를 설명한다. 이러한 시퀀스에는 정지(Stopping), 재계획(Replanning), 위치 재조정(Repositioning), 접촉력 조정(Contact Force Adjustment), 지원 요청(Requesting Assistance)이 포함될 수 있다. 실제 배포(Real Deployment)에서는 이상적인 시연(Ideal Demonstration)에 존재하지 않는 조건을 필연적으로 만나므로 복구 데이터(Recovery Data)는 강건성(Robustness)을 향상시키는 데 특히 유용하다. 실패에서 복구로 이어지는 전이(Transition)를 기록하면 적응적 행동(Adaptive Behavior)을 위한 지도 정보(Supervision)를 제공할 수 있다.
로봇 에피소드는 관측, 행동, 보상(Reward), 종료 표시(Termination Indicator)를 연결하는 구조화된 기록(Structured Record)으로 표현할 수 있다. 강화학습(Reinforcement Learning)에서는 일반적으로 상태(State), 행동(Action), 보상(Reward), 다음 상태(Next State), 완료 플래그(Completion Flag)를 포함하는 전이(Transition)를 사용한다. 모방학습(Imitation Learning)은 관측-행동 쌍(Observation-Action Pair)과 시연된 행동 시퀀스(Demonstrated Action Sequence)를 강조할 수 있다. 유연한 데이터 엔진(Flexible Data Engine)은 동일한 경험을 반복적으로 수집하지 않고도 여러 학습 방법(Learning Method)을 지원할 수 있도록 충분한 정보를 보존해야 한다.
작업 맥락(Task Context)은 궤적에 수치적 측정값(Numerical Measurement) 이상의 의미를 부여한다. 언어 지시(Language Instruction), 목표 물체(Target Object), 환경 조건(Environmental Condition), 성공 기준(Success Criteria)은 특정 행동이 수행된 이유를 설명한다. 시각적으로 유사한 두 움직임도 할당된 작업에 따라 서로 다른 의도(Intention)를 나타낼 수 있다. 맥락 메타데이터(Contextual Metadata)는 조건부 정책 학습(Conditional Policy Learning), 작업별 평가(Task-Specific Evaluation), 대규모 로봇 데이터셋(Robotic Dataset)에서 관련 경험을 검색하는 기능을 지원한다.
에피소드 식별자(Episode Identifier)와 궤적 메타데이터(Trajectory Metadata)는 확장 가능한 데이터 구성(Scalable Data Organization)의 기반을 제공한다. 각 에피소드는 데이터 소스 로봇(Source Robot), 수집 세션(Collection Session), 소프트웨어 버전(Software Version), 센서 구성(Sensor Configuration), 처리 이력(Processing History)을 참조할 수 있다. 궤적 구간(Trajectory Segment)은 상위 에피소드(Parent Episode) 및 관련 주석(Annotation)과의 연결을 유지할 수 있다. 이러한 관계는 데이터 계보(Data Lineage), 재현 가능한 데이터셋 구성(Reproducible Dataset Construction), 예상하지 못한 모델 행동(Model Behavior)의 조사를 지원한다.
궤적 분할(Trajectory Segmentation)은 작업 이벤트(Task Event), 움직임 패턴(Motion Pattern), 접촉 전이(Contact Transition), 학습된 시간적 표현(Learned Temporal Representation)을 활용하여 수행할 수 있다. 규칙 기반 접근법(Rule-Based Approach)은 명시적 신호(Explicit Signal)로부터 경계를 식별하며, 기계학습 방법(Machine Learning Method)은 의미 있는 행동 단계(Behavioral Phase)를 추론한다. 예를 들어 집기 및 놓기 에피소드(Pick-and-Place Episode)는 접근(Approach), 파지(Grasp), 들어 올리기(Lift), 운반(Transport), 놓기(Release) 구간으로 구성될 수 있다. 정확한 분할은 복잡한 행동의 해석을 개선하고 계층적 학습(Hierarchical Learning)을 지원한다.
궤적 다양성(Trajectory Diversity)은 학습된 정책(Learned Policy)이 변화하는 조건에서 일반화(Generalization)할 수 있는지를 결정한다. 동일한 시작 위치(Starting Position)에서 반복적으로 수행된 시연은 수천 개의 에피소드를 수집하더라도 행동 포괄성(Behavioral Coverage)이 제한적일 수 있다. 물체 형상(Object Geometry), 초기 상태(Initial State), 환경 배치(Environmental Layout), 운영자 전략(Operator Strategy)의 변화는 더 폭넓은 경험을 제공한다. 데이터 큐레이션(Data Curation)은 유용한 다양성을 보존하면서 추가적인 정보 가치가 낮은 중복 시퀀스(Redundant Sequence)를 줄여야 한다.
궤적 비교(Trajectory Comparison)는 여러 에피소드에 걸친 행동을 체계적으로 분석할 수 있도록 한다. 엔지니어는 움직임의 부드러움(Motion Smoothness), 경로 길이(Path Length), 작업 소요시간(Task Duration), 힘 프로파일(Force Profile), 성공 결과(Success Outcome)의 차이를 분석할 수 있다. 정렬 기법(Alignment Technique)은 지속시간이나 실행 속도(Execution Speed)가 서로 다른 궤적을 비교할 수 있도록 한다. 이러한 분석은 종합 성공 지표(Aggregate Success Metric)에 가려질 수 있는 비효율적인 전략(Inefficient Strategy), 불안정한 행동(Unstable Behavior), 반복적인 실패 패턴(Recurring Failure Pattern)을 식별하는 데 도움이 된다.
시뮬레이션 생성 에피소드(Simulation-Generated Episode)는 학습과 평가에 활용할 수 있는 경험의 범위를 확장한다. 시뮬레이션 환경(Simulated Environment)은 형상(Geometry), 마찰(Friction), 조명(Lighting), 교란(Disturbance)을 통제된 방식으로 변화시키면서 궤적을 생성할 수 있다. 또한 정확한 상태 정보(State Information)와 자동 생성 라벨(Automatically Generated Label)을 제공할 수 있다. 그러나 시뮬레이션과 실제 물리적 동역학(Physical Dynamics) 사이의 차이를 고려하여 두 데이터 소스의 궤적을 결합해야 한다.
로봇 군집 규모(Fleet Scale)에서는 에피소드 중심 데이터 구성(Episode-Oriented Data Organization)이 서로 다른 위치에서 작동하는 다수의 로봇으로부터 학습하는 것을 지원한다. 분산 기록 시스템(Distributed Recording System)은 작업 관련성(Task Relevance), 실패 심각도(Failure Severity), 모델 불확실성(Model Uncertainty)에 따라 선택된 에피소드를 업로드할 수 있다. 중앙 집중형 인프라(Centralized Infrastructure)는 이러한 경험을 색인(Indexing)하고 여러 배포 환경에 공통적으로 나타나는 패턴을 식별한다. 이러한 접근법은 지리적으로 분산된 로봇 활동(Geographically Distributed Robot Activity)을 통합된 학습 근거(Training Evidence)로 전환한다.
에피소드 및 궤적 데이터셋(Episode and Trajectory Dataset)은 모델 평가(Model Evaluation) 과정에서 신중하게 분리해야 한다. 동일한 에피소드의 인접 프레임(Adjacent Frame)을 학습 데이터와 테스트 데이터로 나누면 정보 누출(Information Leakage)이 발생하여 일반화 성능(Generalization Performance)이 과대평가될 수 있다. 평가 데이터 분할(Evaluation Partition)은 완전한 에피소드(Complete Episode), 수집 세션(Collection Session), 환경(Environment), 로봇 구성(Robot Configuration)을 고려해야 한다. 적절한 분리는 모델이 익숙하지 않은 상황(Unfamiliar Situation)을 처리할 수 있는지에 대한 더욱 신뢰성 있는 근거를 제공한다.
에피소드 및 궤적 데이터의 유용성은 단순한 기록량(Recording Volume) 이상의 요소에 달려 있다. 중요한 품질 지표(Quality Measure)에는 시간적 완전성(Temporal Completeness), 동기화 정확도(Synchronization Accuracy), 행동 일관성(Action Consistency), 메타데이터 포괄성(Metadata Coverage), 결과 다양성(Outcome Diversity)이 포함된다. 학습 가치(Training Value)는 궤적이 의미 있는 의사결정(Meaningful Decision)과 물리적 결과(Physical Consequence)를 포착하는지에도 영향을 받는다. 데이터 엔진은 명확한 학습 목표(Learning Objective) 없이 기록을 축적하기보다 해석 가능하고 정보 가치가 높은 경험(Interpretable and Informative Experience)을 우선해야 한다.
궁극적으로 로봇 에피소드(Robot Episode)와 궤적(Trajectory)은 연속적인 물리적 활동(Continuous Physical Activity)과 구조화된 기계학습(Structured Machine Learning) 사이의 연결을 구축한다. 에피소드는 의미 있는 상호작용 경계(Interaction Boundary)를 정의하고, 궤적은 관측이 행동과 결과로 이어지는 시간적 관계(Temporal Relationship)를 보존한다. 성공 행동(Successful Behavior), 실패 행동(Failed Behavior), 복구 행동(Recovered Behavior)을 추적 가능한 학습 단위(Traceable Learning Unit)로 구성함으로써 피지컬 인공지능 데이터 엔진(Physical AI Data Engine)은 확장 가능한 학습(Scalable Training), 엄격한 평가(Rigorous Evaluation), 로봇 지능(Robotic Intelligence)의 지속적인 개선(Continuous Improvement)을 위한 기반을 마련한다.
01.08. Observation State Action and Outcome Representation
관측(Observation), 상태(State), 행동(Action), 결과(Outcome)의 표현(Representation)은 피지컬 인공지능(Physical AI) 학습 시스템(Learning System)의 기본적인 정보 구조(Information Structure)를 형성한다. 관측은 로봇이 인식하는 정보를 설명하고, 상태는 관련된 물리적 조건(Physical Condition)을 나타내며, 행동은 로봇이 환경에 영향을 미치는 방식을 지정하고, 결과는 실행에 따른 영향을 설명한다. 이러한 요소들은 물리적 경험(Physical Experience)으로부터 인식(Perception), 예측(Prediction), 계획(Planning), 제어(Control)를 학습하는 데 필요한 관계를 구축한다.
관측(Observation)은 특정 시점에 로봇이 센싱 시스템(Sensing System)을 통해 이용할 수 있는 정보를 나타낸다. 여기에는 카메라 영상(Camera Image), 깊이 측정값(Depth Measurement), 라이다 스캔(LiDAR Scan), 촉각 측정값(Tactile Reading), 오디오 신호(Audio Signal), 고유수용감각 측정값(Proprioceptive Measurement)이 포함될 수 있다. 센서는 관측 범위(Coverage), 해상도(Resolution), 정확도(Accuracy)에 한계가 있으므로 관측이 반드시 환경에 대한 완전한 설명을 제공하는 것은 아니다. 따라서 학습 시스템은 불완전하고 잠재적으로 잡음이 포함된 정보(Incomplete and Potentially Noisy Information)를 기반으로 작동해야 한다.
상태(State)는 특정 모델링 목적(Modeling Purpose)에 따라 로봇과 환경을 설명하는 데 필요한 물리적 변수(Physical Variable)를 나타낸다. 로봇 상태(Robot State)에는 관절 위치(Joint Position), 속도(Velocity), 말단효과기 자세(End-Effector Pose), 액추에이터 상태(Actuator Condition)가 포함될 수 있다. 환경 상태(Environmental State)는 물체 위치(Object Location), 방향(Orientation), 접촉 관계(Contact Relationship), 움직임(Motion)을 설명할 수 있다. 직접 측정된 신호인 관측과 달리 상태에는 직접 관측할 수 없는 추정값(Estimated Quantity)이나 잠재 변수(Latent Quantity)가 포함될 수 있다.
관측과 상태의 구분(Distinction Between Observation and State)은 물리적 환경이 부분적으로만 관측 가능한 경우가 많기 때문에 중요하다. 카메라는 물체의 보이는 표면(Visible Surface)을 보여줄 수 있지만, 질량(Mass), 마찰(Friction), 숨겨진 형상(Hidden Geometry)을 식별하지 못할 수 있다. 상태 추정(State Estimation)은 이용 가능한 측정값을 사전 지식(Prior Knowledge) 및 시간적 정보(Temporal Information)와 결합하여 관련 조건을 추론한다. 이러한 구분은 모든 중요한 변수가 직접 측정 가능하다고 가정하는 대신 불확실성(Uncertainty)을 고려하여 추론하는 모델을 지원한다.
행동(Action)은 로봇이 자신의 물리적 상태(Physical State)나 주변 환경(Surrounding Environment)을 변화시키기 위해 사용하는 명령(Command) 또는 의사결정(Decision)을 설명한다. 제어 아키텍처(Control Architecture)에 따라 행동은 관절 토크(Joint Torque), 모터 전류(Motor Current), 속도 명령(Velocity Command), 목표 위치(Target Position), 상위 수준의 움직임 기본 동작(Higher-Level Motion Primitive)을 나타낼 수 있다. 행동의 해석은 로봇 형태 및 구성(Robot Embodiment)과 제어기 인터페이스(Controller Interface)에 따라 달라진다. 일관된 행동 표현(Consistent Action Representation)은 단위(Unit), 좌표계(Coordinate Frame), 실행 시점(Timing), 실행 의미 체계(Execution Semantics)를 명시해야 한다.
결과 표현(Outcome Representation)은 작업 목표(Task Objective)와 물리적 제약조건(Physical Constraint)을 기준으로 행동의 결과를 설명한다. 결과는 작업 완료(Task Completion), 물체 변위(Object Displacement), 파지 안정성(Grasp Stability), 충돌 발생(Collision Occurrence), 복구 성공(Recovery Success)을 나타낼 수 있다. 결과에는 연속적인 측정값(Continuous Measurement)과 이산적인 성공 지표(Discrete Success Indicator)가 포함될 수 있다. 명령된 행동(Commanded Action)과 결과를 별도로 표현하면 학습 시스템은 의도한 행동(Intended Behavior)과 실제 실행 과정에서 발생한 상황을 구분할 수 있다.
완전한 상호작용 기록(Complete Interaction Record)은 관측, 상태, 행동, 결과를 시간에 따라 연결한다. 각 단계에서 로봇은 관측을 수신하고, 관련 조건을 추정하며, 행동을 선택하고, 그에 따른 변화를 경험한다. 이러한 관계는 순서가 정해진 전이(Ordered Transition) 또는 궤적(Trajectory)으로 저장된다. 시간적 구성(Temporal Organization)을 통해 학습 알고리즘(Learning Algorithm)은 현재의 의사결정이 미래의 관측, 물리적 상태, 작업 성능(Task Performance)에 어떤 영향을 미치는지 모델링할 수 있다.
표현 설계(Representation Design)는 서로 다른 주파수(Frequency)로 작동하는 센서와 제어 시스템(Control System) 사이의 시간적 일관성(Temporal Consistency)을 보존해야 한다. 카메라 프레임(Camera Frame), 관절 측정값(Joint Measurement), 촉각 신호(Tactile Signal), 액추에이터 명령(Actuator Command)은 비동기적으로(Asynchronously) 도착할 수 있다. 정확한 타임스탬프(Timestamp)와 동기화 절차(Synchronization Procedure)는 관측을 후속 결과를 발생시킨 행동과 연결한다. 잘못된 정렬(Incorrect Alignment)은 오해를 유발하는 학습 사례(Misleading Training Example)를 생성하고 의사결정과 물리적 결과 사이의 학습된 관계를 약화시킬 수 있다.
공간 표현(Spatial Representation)은 인식과 움직임을 연결하기 위해 일관된 좌표계 규약(Coordinate Convention)을 필요로 한다. 카메라 좌표계(Camera Coordinate Frame), 로봇 베이스 좌표계(Robot-Base Frame), 도구 좌표계(Tool Frame), 세계 좌표계(World Coordinate Frame)는 서로 다른 기준 시스템(Reference System)을 설명한다. 이러한 좌표계 사이의 변환(Transformation)을 통해 모델은 관측된 물체와 실행 가능한 행동(Executable Action)을 연결할 수 있다. 센서, 로봇, 데이터 수집 세션(Collection Session)에 걸쳐 공간적 관계(Spatial Relationship)를 해석할 수 있도록 보정 정보(Calibration Information)가 기록 데이터와 함께 제공되어야 한다.
로봇 형태 및 구성(Robot Embodiment)은 상태 표현(State Representation)과 행동 표현(Action Representation)에 큰 영향을 미친다. 바퀴형 이동 로봇(Wheeled Mobile Robot)은 평면 속도 명령(Planar Velocity Command)과 위치 추정 상태(Localization State)를 사용할 수 있지만, 매니퓰레이터(Manipulator)는 관절 공간(Joint Space) 또는 데카르트 공간(Cartesian Space)의 움직임 표현이 필요하다. 휴머노이드 로봇(Humanoid Robot)과 사족보행 로봇(Quadruped Robot)은 접촉 상태(Contact State), 균형(Balance), 전신 동역학(Whole-Body Dynamics)을 추가로 표현할 수 있다. 공유 학습 아키텍처(Shared Learning Architecture)는 전이 가능한 작업 정보(Transferable Task Information)와 하드웨어별 제어 변수(Hardware-Specific Control Variable)를 구분해야 한다.
다중모달 표현(Multimodal Representation)은 시각(Visual), 기하학적 정보(Geometric Information), 고유수용감각(Proprioception), 촉각(Tactile), 언어(Language) 데이터 소스의 정보를 결합한다. 영상은 외형(Appearance)을 설명하고, 깊이 센서(Depth Sensor)는 공간 구조(Spatial Structure)를 제공하며, 고유수용감각은 로봇 내부 움직임(Internal Robot Motion)을 나타낸다. 촉각 측정값(Tactile Measurement)은 접촉 조건(Contact Condition)을 알려주고, 언어는 목표(Goal)와 제약조건(Constraint)을 지정한다. 효과적인 융합(Effective Fusion)은 서로 관련 없는 측정값을 단순히 연결하는 것이 아니라 각 모달리티(Modality)의 의미와 시점을 보존해야 한다.
표현 세분화 수준(Representation Granularity)은 학습에 사용할 수 있는 정보의 상세도를 결정한다. 저수준 표현(Low-Level Representation)은 개별 센서 샘플(Sensor Sample)과 액추에이터 명령을 보존하는 반면, 고수준 표현(Higher-Level Representation)은 물체 관계(Object Relationship), 작업 단계(Task Phase), 행동 의도(Behavioral Intention)를 설명한다. 세밀한 데이터(Fine-Grained Data)는 정밀 제어 학습(Precise Control Learning)을 지원하고, 추상적 표현(Abstract Representation)은 계획(Planning)을 단순화할 수 있다. 데이터 엔진(Data Engine)은 여러 수준의 로봇 추론(Robotic Reasoning)을 지원할 수 있도록 충분한 상세 정보를 유지해야 한다.
결과 정보(Outcome Information)는 성공적인 행동(Successful Behavior)과 효과적이지 않은 시연(Ineffective Demonstration)을 구분하는 데 특히 중요하다. 두 궤적(Trajectory)은 유사한 행동을 포함하더라도 물체 특성(Object Property), 환경 교란(Environmental Disturbance), 접촉 조건(Contact Condition)에 따라 서로 다른 결과를 생성할 수 있다. 최종 성공 여부(Final Success)만 기록하면 중간 실패(Intermediate Failure)와 복구 시도(Recovery Attempt)가 드러나지 않을 수 있다. 풍부한 결과 표현(Rich Outcome Representation)은 실행 과정 전반의 진행 상태(Progress), 제약조건 위반(Constraint Violation), 의미 있는 물리적 변화(Meaningful Physical Change)를 포착한다.
관측이나 추정된 상태가 불완전하거나 신뢰성이 낮은 경우에는 불확실성(Uncertainty)을 표현해야 한다. 센서 신뢰도(Sensor Confidence), 위치 추정 공분산(Localization Covariance), 물체 자세 불확실성(Object-Pose Uncertainty), 모델 예측 신뢰도(Model Prediction Confidence)는 모호한 조건(Ambiguous Condition)을 식별하는 데 도움이 된다. 학습 시스템은 이러한 값을 활용하여 추가 관측을 요청하거나 더 안전한 행동(Safer Action)을 선택할 수 있다. 명시적인 불확실성 정보(Explicit Uncertainty Information)는 목표 지향적 데이터 수집(Targeted Data Collection)과 실패 가능성이 높은 상황(Failure-Prone Situation)의 평가도 지원한다.
서로 다른 로봇, 시뮬레이터(Simulator), 원격조작 시스템(Teleoperation System)에서 데이터셋이 생성되면 표현 일관성(Representation Consistency)을 유지하기 어려워진다. 하드웨어 플랫폼(Hardware Platform)은 서로 다른 단위(Unit), 관절 규약(Joint Convention), 행동 주파수(Action Frequency), 센서 구성(Sensor Configuration)을 사용할 수 있다. 표준화된 스키마(Standardized Schema)와 문서화된 변환(Documented Transformation)을 통해 호환 가능한 인터페이스(Compatible Interface)를 구축할 수 있다. 그러나 정규화(Normalization)는 액추에이터 한계(Actuator Limit)와 제어 응답 특성(Control Response Characteristic)을 포함하여 실제 물리적 실행에 영향을 미치는 차이를 보존해야 한다.
데이터 스키마(Data Schema)는 관측, 상태, 행동, 결과 필드(Field)에 대한 기계 판독 가능 정의(Machine-Readable Definition)를 제공한다. 각 필드는 데이터 유형(Data Type), 단위(Unit), 좌표계(Coordinate Frame), 샘플링 특성(Sampling Characteristic), 해석 방식(Interpretation)을 명시해야 한다. 스키마 검증(Schema Validation)은 호환되지 않는 기록(Incompatible Recording)이 학습 데이터셋(Training Dataset)에 포함되기 전에 탐지할 수 있다. 버전 관리된 스키마(Versioned Schema)는 원본 경험(Original Experience)과 파생 학습 사례(Derived Learning Example) 사이의 추적성(Traceability)을 유지하면서 표현 형식(Representation Format)이 발전할 수 있도록 지원한다.
학습 방법(Learning Method)은 목표에 따라 이러한 표현을 서로 다르게 활용한다. 모방학습(Imitation Learning)은 주로 관측 또는 추정된 상태(Estimated State)에서 시연된 행동(Demonstrated Action)으로의 대응 관계(Mapping)를 학습한다. 강화학습(Reinforcement Learning)은 상태 전이(State Transition)를 보상(Reward) 및 장기적인 결과(Long-Term Consequence)와 연결한다. 월드 모델(World Model)은 후보 행동(Candidate Action)에 따른 미래 관측(Future Observation)이나 상태를 예측한다. 유연한 데이터 엔진(Flexible Data Engine)은 기록된 변수 사이의 기본적인 관계를 잃지 않으면서 이러한 접근법을 지원해야 한다.
평가(Evaluation)는 학습에 사용된 표현의 정확성(Accuracy)과 완전성(Completeness)에 의존한다. 잘못된 행동 단위(Incorrect Action Unit), 누락된 종료 표시(Missing Termination Indicator), 일관되지 않은 결과 라벨(Inconsistent Outcome Label)은 성능 측정(Performance Measurement)을 왜곡할 수 있다. 평가 데이터셋(Evaluation Dataset)은 실행 맥락(Execution Context)을 보존하고 명령된 행동(Commanded Action)과 관측된 물리적 반응(Observed Physical Response)을 명확하게 구분해야 한다. 이러한 분리는 인식 오류(Perception Error), 계획 실패(Planning Failure), 제어 한계(Control Limitation)에 대한 신뢰성 있는 분석을 지원한다.
표현 품질(Representation Quality)은 동기화 정확도(Synchronization Accuracy), 보정 일관성(Calibration Consistency), 데이터 누락 빈도(Missing-Data Frequency), 의미론적 명확성(Semantic Clarity), 플랫폼 간 호환성(Cross-Platform Compatibility)을 통해 평가할 수 있다. 더욱 중요한 것은 표현이 변화하는 물리적 조건(Changing Physical Condition)에서 신뢰성 있는 예측(Reliable Prediction)과 효과적인 제어(Effective Control)를 지원해야 한다는 점이다. 과도한 압축(Excessive Compression)은 중요한 상호작용 세부 정보(Interaction Detail)를 제거할 수 있으며, 불필요하게 복잡한 표현(Unnecessarily Complex Representation)은 처리 비용(Processing Cost)을 증가시킨다. 설계 선택(Design Choice)은 충실도(Fidelity), 확장성(Scalability), 학습 유용성(Learning Utility) 사이의 균형을 고려해야 한다.
궁극적으로 관측(Observation), 상태(State), 행동(Action), 결과(Outcome)의 표현은 피지컬 인공지능 시스템이 경험(Experience)을 지능(Intelligence)으로 변환하는 데 사용하는 공통 언어(Common Language)를 구축한다. 관측은 감각적 근거(Sensory Evidence)를 제공하고, 상태는 관련 조건을 설명하며, 행동은 물리적 의사결정(Physical Decision)을 표현하고, 결과는 그에 따른 영향을 보여준다. 이러한 요소들이 에피소드(Episode)와 궤적(Trajectory) 전반에 걸쳐 일관되게 연결되면 데이터 엔진은 확장 가능한 학습(Scalable Learning), 엄격한 평가(Rigorous Evaluation), 로봇 행동(Robotic Behavior)의 지속적인 개선(Continuous Improvement)을 지원할 수 있다.
01.09. Multimodal Data Synchronization
다중모달 데이터 동기화(Multimodal Data Synchronization)는 다양한 센서 및 제어 데이터 스트림(Sensor and Control Stream)으로부터 학습하는 피지컬 인공지능(Physical AI) 시스템의 핵심 요구사항이다. 로봇은 시각(Visual), 깊이(Depth), 촉각(Tactile), 고유수용감각(Proprioceptive), 오디오(Audio), 행동(Action) 데이터를 서로 다른 주파수(Frequency)로 지속적으로 생성한다. 동기화(Synchronization)는 이러한 신호 사이의 시간적 관계(Temporal Relationship)를 구축하여 학습 알고리즘(Learning Algorithm)이 관측과 행동을 동일한 물리적 상호작용(Physical Interaction)의 구성 요소로 해석할 수 있도록 한다.
각 센싱 모달리티(Sensing Modality)는 고유한 데이터 획득 특성(Acquisition Characteristic)과 시간적 제약조건(Timing Constraint)에 따라 작동한다. 카메라(Camera)는 개별 영상 프레임(Image Frame)을 획득하고, 라이다 센서(LiDAR Sensor)는 공간 측정값(Spatial Measurement)을 생성하며, 관절 엔코더(Joint Encoder)는 기계적 위치(Mechanical Position)를 보고한다. 힘 센서(Force Sensor)와 모터 제어기(Motor Controller)는 훨씬 높은 주파수로 작동할 수 있다. 동기화가 이루어지지 않으면 서로 다른 물리적 조건에서 기록된 측정값이 동시에 발생한 관측으로 잘못 처리될 수 있다.
타임스탬프 부여(Timestamping)는 비동기 로봇 데이터(Asynchronous Robotic Data)를 구성하는 기본적인 메커니즘(Mechanism)을 제공한다. 각 측정값에는 처리 컴퓨터(Processing Computer)에 도착한 시점뿐 아니라 실제 데이터 획득 시간(Acquisition Time) 또는 실행 시간(Execution Time)에 해당하는 타임스탬프(Timestamp)가 포함되어야 한다. 데이터 획득 타임스탬프(Acquisition Timestamp)는 실제 물리적 이벤트(Physical Event)와 통신 지연(Communication Delay) 및 버퍼링 지연(Buffering Delay)을 구분하는 데 도움이 된다. 일관된 타임스탬프 규약(Timestamp Convention)을 통해 데이터 엔진(Data Engine)은 분산 장치(Distributed Device) 사이의 의미 있는 시간적 관계를 재구성할 수 있다.
클록 동기화(Clock Synchronization)는 센서와 제어기가 독립적인 하드웨어 클록(Hardware Clock)을 유지할 때 필수적이다. 클록 오프셋(Clock Offset), 클록 드리프트(Clock Drift), 측정 해상도(Measurement Resolution)의 차이는 시간이 지남에 따라 시간적 정렬(Temporal Alignment)을 왜곡할 수 있다. 동기화 메커니즘(Synchronization Mechanism)에는 하드웨어 트리거링(Hardware Triggering), 정밀 시간 프로토콜(Precision Time Protocol, PTP), 체계적으로 관리되는 소프트웨어 클록 보정(Software Clock Correction)이 포함될 수 있다. 적절한 방법은 시간 정확도 요구사항(Timing Accuracy Requirement), 네트워크 조건(Network Condition), 하드웨어 지원 기능(Hardware Support)에 따라 결정된다.
시간적 정렬(Temporal Alignment)은 관측과 행동을 실제 물리적 세계(Physical World)에서 발생한 시점에 따라 연결한다. 파지 명령(Grasp Command) 이전에 획득한 카메라 영상(Camera Image)을 접촉 이후 측정된 촉각 반응(Tactile Response)과 연결할 때는 두 데이터 사이의 시간적 간격(Temporal Separation)을 반드시 보존해야 한다. 정확한 정렬은 모델이 예측(Anticipation), 실행(Execution), 결과(Consequence)를 구분할 수 있도록 한다. 이러한 구분은 접촉이 많은 조작(Contact-Rich Manipulation)과 동적 로봇 제어(Dynamic Robot Control)에서 특히 중요하다.
샘플링 주파수 차이(Sampling-Rate Difference)는 데이터셋 준비(Dataset Preparation) 과정에서 명시적으로 처리해야 한다. 카메라는 초당 30프레임(Frame Per Second)을 획득할 수 있지만, 관절 엔코더(Joint Encoder)와 제어 명령(Control Command)은 수백 헤르츠(Hertz)로 작동할 수 있다. 재샘플링(Resampling)은 공통 학습 시간축(Common Training Timeline)을 구축할 수 있지만, 모든 측정값이 원래 동시에 발생했다고 가정해서는 안 된다. 선택된 기준 주파수(Reference Frequency)는 중요한 동역학(Dynamics)을 보존하면서 저장 비용(Storage Cost)과 계산 비용(Computational Cost)을 제어할 수 있어야 한다.
보간(Interpolation)은 연속 신호(Continuous Signal)가 서로 다른 시점에 샘플링되었을 때 중간값(Intermediate Value)을 추정한다. 선형 보간(Linear Interpolation)은 부드럽게 변화하는 관절 위치(Joint Position)에 적합할 수 있지만, 방향 데이터(Orientation Data)에는 기하학적 특성을 고려한 보간(Geometry-Aware Interpolation)이 필요하다. 이산 이벤트(Discrete Event), 범주형 상태(Categorical State), 급격한 접촉 전이(Abrupt Contact Transition)는 일반적인 연속값처럼 보간해서는 안 된다. 모든 보간 방법은 일정한 가정(Assumption)을 포함하므로 이러한 가정이 실제 물리적 특성(Underlying Physics)과 일치하도록 해야 한다.
데이터 버퍼링(Data Buffering)은 관련 데이터 스트림(Related Data Stream)이 도착할 때까지 측정값을 임시로 보관할 수 있도록 한다. 버퍼 크기(Buffer Size)는 예상되는 통신 지연(Communication Latency), 센서 지터(Sensor Jitter), 처리 시간 변동(Processing Variation)을 수용할 수 있어야 한다. 버퍼가 지나치게 작으면 데이터 사이의 연결이 누락될 수 있고, 지나치게 크면 메모리 요구량(Memory Requirement)과 처리 지연(Processing Delay)이 증가한다. 실시간 시스템(Real-Time System)은 동기화 정확도(Synchronization Accuracy)와 운영 지연 제약조건(Operational Latency Constraint) 사이의 균형을 유지해야 한다.
센서 지연(Sensor Latency)은 물리적 이벤트가 발생한 시점부터 해당 측정값이 기록되거나 전달될 때까지의 지연을 의미하므로 클록 오프셋(Clock Offset)과 구별된다. 카메라 노출(Camera Exposure), 영상 처리(Image Processing), 네트워크 전송(Network Transmission), 드라이버 버퍼링(Driver Buffering)은 각각 별도의 지연을 발생시킬 수 있다. 액추에이터 명령(Actuator Command)에도 실행 지연(Execution Latency)이 존재한다. 정확한 동기화를 위해서는 이러한 지연을 이해하여 기록된 명령 시점(Command Time)을 실제 물리적 움직임의 시작 시점(Actual Onset of Physical Motion)과 혼동하지 않아야 한다.
공간 보정(Spatial Calibration)과 시간적 동기화(Temporal Synchronization)는 물리적으로 일관된 다중모달 기록(Physically Consistent Multimodal Record)을 생성하기 위해 함께 작동해야 한다. 카메라 영상(Camera Image)과 깊이 측정값(Depth Measurement)은 서로 다른 좌표계(Coordinate Frame)와 데이터 획득 시점(Acquisition Time)에서 동일한 물체를 나타낼 수 있다. 측정 사이에 발생한 로봇 움직임(Robot Motion)은 겉보기 기하학적 불일치(Apparent Geometric Disagreement)를 유발할 수 있다. 타임스탬프 정렬(Timestamp Alignment)과 좌표 변환(Coordinate Transformation)을 결합하면 움직이는 물체(Moving Object)와 로봇 상호작용(Robot Interaction)을 더욱 정확하게 재구성할 수 있다.
이벤트 기반 동기화(Event-Based Synchronization)는 균일한 샘플링 간격(Uniform Sampling Interval)보다 정확한 물리적 전이(Physical Transition)가 더 중요한 경우에 유용하다. 접촉 감지(Contact Detection), 그리퍼 닫힘(Gripper Closure), 물체 놓기(Object Release), 충돌(Collision), 작업 완료(Task Completion)는 중요한 시간적 기준점(Temporal Landmark)을 정의할 수 있다. 이러한 이벤트는 힘 임계값(Force Threshold), 제어기 상태(Controller State), 학습 기반 탐지기(Learned Detector)를 통해 식별할 수 있다. 이벤트 타임스탬프(Event Timestamp)는 의미 있는 변화에 따라 궤적(Trajectory)을 구성하고 인과관계(Cause-and-Effect Relationship)를 분석하는 데 도움이 된다.
다중모달 동기화(Multimodal Synchronization)는 원격조작 시스템(Teleoperation System)을 통해 데이터를 수집할 때 더욱 복잡해진다. 인간 입력 장치(Human Input Device), 통신 네트워크(Communication Network), 로봇 제어기(Robot Controller), 온보드 센서(Onboard Sensor)는 서로 다른 클록(Clock)을 사용할 수 있다. 운영자 명령(Operator Command)은 실행되기 전에 가변적인 전송 지연(Variable Transmission Delay)을 경험할 수 있다. 명령 생성 시간(Command Generation Time)과 로봇 실행 시간(Robot Execution Time)을 모두 기록하면 인간의 의도(Human Intention)와 지연된 로봇의 물리적 반응(Delayed Physical Response)을 구분할 수 있다.
시뮬레이션 환경(Simulation Environment)은 센서 데이터 생성(Sensor Generation)과 제어 업데이트(Control Update)가 공통 시뮬레이션 클록(Common Simulation Clock)을 공유할 수 있으므로 결정론적 동기화(Deterministic Synchronization)를 구현할 기회를 제공한다. 그러나 시뮬레이션 센서(Simulated Sensor)는 현실적인 지연(Latency), 잡음(Noise), 비동기 샘플링(Asynchronous Sampling)을 의도적으로 재현할 수도 있다. 시뮬레이션에서 내보낸 데이터(Exported Data)는 필요한 경우 이러한 시간적 특성(Timing Characteristic)을 유지해야 한다. 그렇지 않으면 모델이 센서 데이터 가용성(Sensor Availability)과 행동 응답성(Action Responsiveness)에 대해 비현실적인 가정(Unrealistic Assumption)을 학습할 수 있다.
동기화 오류(Synchronization Error)는 기계학습 성능(Machine Learning Performance)에 직접적인 영향을 미칠 수 있다. 지연된 관측(Delayed Observation)으로 학습한 정책(Policy)은 현재 환경(Current Environment)이 아니라 이전 상태(Earlier State)에 적합한 명령을 생성할 수 있다. 정렬되지 않은 촉각 데이터(Tactile Data)와 시각 데이터(Visual Data)는 접촉(Contact)과 물체 움직임(Object Motion) 사이의 관계를 불명확하게 만들 수 있다. 이러한 오류는 실제 원인이 데이터 준비(Data Preparation)에 있더라도 모델의 약점(Model Weakness)으로 나타날 수 있다. 따라서 학습 전에 시간적 검증(Temporal Validation)을 수행하는 것이 필수적이다.
품질 평가(Quality Assessment)는 타임스탬프 완전성(Timestamp Completeness), 클록 드리프트(Clock Drift), 동기화 잔차(Synchronization Residual), 누락된 샘플(Missing Sample), 종단 간 지연(End-to-End Latency)을 측정해야 한다. 진단 절차(Diagnostic Procedure)는 여러 센서에서 관측된 알려진 물리적 이벤트(Known Physical Event)를 비교할 수 있다. 반복적인 타이밍 시험(Repeated Timing Test)은 체계적인 오프셋(Systematic Offset)과 간헐적인 통신 문제(Intermittent Communication Problem)를 식별하는 데 도움이 된다. 이러한 측정값은 후속 데이터 사용자(Downstream User)가 시간적 정렬의 신뢰성(Reliability of Temporal Alignment)을 이해할 수 있도록 메타데이터(Metadata)로 데이터셋(Dataset)에 포함되어야 한다.
동기화 파이프라인(Synchronization Pipeline)은 프레임 손실(Dropped Frame), 중복 메시지(Duplicated Message), 순서가 뒤바뀐 패킷(Out-of-Order Packet), 중단된 센서 스트림(Interrupted Sensor Stream)도 처리해야 한다. 누락된 관측(Missing Observation)은 오해를 유발하는 값으로 조용히 대체하지 않고 명시적으로 식별해야 한다. 시퀀스 번호(Sequence Number)와 단조 증가 타임스탬프(Monotonic Timestamp)는 기록 불일치(Recording Inconsistency)를 탐지하는 데 도움이 된다. 복구 절차(Recovery Procedure)는 유효한 데이터(Valid Data)를 보존하면서 손상된 시간적 관계(Corrupted Temporal Relationship)가 학습 데이터셋(Training Dataset)에 포함되지 않도록 해야 한다.
대규모 데이터 엔진(Large-Scale Data Engine)은 서로 다른 로봇 플랫폼(Robot Platform)과 데이터 수집 환경(Collection Environment)에 걸쳐 표준화된 동기화 규약(Standardized Synchronization Convention)을 필요로 한다. 공통 타임스탬프 정의(Shared Timestamp Definition), 센서 식별자(Sensor Identifier), 클록 도메인 메타데이터(Clock-Domain Metadata), 정렬 정책(Alignment Policy)은 상호운용성(Interoperability)을 향상시킨다. 데이터셋 버전(Dataset Version)에는 동기화 알고리즘(Synchronization Algorithm)과 보정 매개변수(Calibration Parameter)의 변경 사항을 문서화해야 한다. 이러한 방식은 재현 가능한 학습(Reproducible Training)을 지원하고 숨겨진 타이밍 차이(Hidden Timing Difference)가 플랫폼 간 비교(Cross-Platform Comparison)를 왜곡하는 것을 방지한다.
궁극적으로 다중모달 데이터 동기화(Multimodal Data Synchronization)는 이질적인 로봇 기록(Heterogeneous Robotic Recording)을 신뢰할 수 있는 학습 경험(Reliable Learning Experience)으로 변환하는 데 필요한 시간적 일관성(Temporal Coherence)을 구축한다. 정확한 타임스탬프(Accurate Timestamp), 보정된 클록(Calibrated Clock), 지연 보상(Latency Compensation), 검증된 정렬(Validated Alignment)은 인식(Perception), 행동(Action), 물리적 결과(Physical Consequence) 사이의 관계를 보존한다. 동기화가 데이터 엔진 아키텍처(Data Engine Architecture)에 통합되면 피지컬 인공지능 시스템은 복잡한 실제 환경 상호작용(Real-World Interaction)으로부터 더욱 효과적으로 학습할 수 있다.
01.10. Sensor Proprioception and Action Data
센서(Sensor), 고유수용감각(Proprioception), 행동 데이터(Action Data)는 로봇이 물리적 환경(Physical Environment)을 인식하고 상호작용하는 방법을 학습하기 위한 핵심적인 정보 기반(Information Foundation)을 형성한다. 외부 센서(External Sensor)는 주변 환경 조건(Surrounding Condition)을 설명하고, 고유수용감각 측정값(Proprioceptive Measurement)은 로봇의 내부 구성(Internal Configuration)과 움직임(Motion)을 나타내며, 행동 기록(Action Record)은 명령된 동작(Commanded Behavior)을 포착한다. 이러한 데이터의 통합(Integration)은 피지컬 인공지능(Physical AI) 시스템이 환경 관측(Environmental Observation)을 물리적 의사결정(Physical Decision) 및 측정 가능한 결과(Measurable Consequence)와 연결할 수 있도록 한다.
외부 센싱(External Sensing)은 물체(Object), 표면(Surface), 장애물(Obstacle), 환경 변화(Environmental Change)에 관한 정보를 제공한다. 카메라(Camera)는 외형(Appearance)과 시각적 움직임(Visual Motion)을 포착하고, 깊이 센서(Depth Sensor)는 기하학적 구조(Geometric Structure)를 추정하며, 라이다(LiDAR)는 주변 거리(Surrounding Distance)를 측정한다. 레이더(Radar)와 초음파 센서(Ultrasonic Sensor)는 까다로운 환경 조건(Challenging Environmental Condition)에서 추가적인 정보를 제공할 수 있다. 각 센싱 기술(Sensing Technology)은 측정 범위(Range), 해상도(Resolution), 잡음(Noise), 환경 민감도(Environmental Sensitivity) 측면에서 서로 다른 한계를 가진다.
고유수용감각(Proprioception)은 로봇이 자신의 물리적 구성(Physical Configuration)과 움직임(Movement)을 인지하는 능력을 의미한다. 관절 엔코더(Joint Encoder)는 각도 또는 선형 위치(Angular or Linear Position)를 측정하고, 속도 추정값(Velocity Estimate)은 움직임 속도(Motion Rate)를 설명한다. 관성측정장치(Inertial Measurement Unit, IMU)는 가속도(Acceleration)와 각속도(Angular Velocity)를 제공하며, 모터 피드백(Motor Feedback)은 액추에이터 동작(Actuator Behavior)을 나타낸다. 이러한 측정값은 상태 추정(State Estimation), 운동 제어(Motion Control), 균형 조절(Balance Regulation), 예상하지 못한 기계적 상태(Unexpected Mechanical Condition)의 감지를 지원한다.
관절 위치 데이터(Joint Position Data)와 관절 속도 데이터(Joint Velocity Data)는 관절형 로봇(Articulated Robot)에서 특히 중요하다. 매니퓰레이터(Manipulator)는 말단효과기 위치(End-Effector Position)를 결정하고 조정된 움직임(Coordinated Movement)을 실행하기 위해 정확한 관절 측정값(Joint Measurement)이 필요하다. 휴머노이드 로봇(Humanoid Robot)과 사족보행 로봇(Quadruped Robot)은 관절 피드백(Joint Feedback)을 사용하여 자세(Posture)를 유지하고 여러 접촉(Multiple Contact)을 조정한다. 측정 해상도(Measurement Resolution), 보정 오프셋(Calibration Offset), 샘플링 주파수(Sampling Frequency)는 학습된 모델이 로봇 동역학(Robot Dynamics)을 얼마나 정확하게 표현할 수 있는지에 영향을 미친다.
힘 및 토크 측정값(Force and Torque Measurement)은 환경과의 기계적 상호작용(Mechanical Interaction)에 관한 정보를 제공한다. 관절 토크 센서(Joint Torque Sensor)는 액추에이터 부하(Actuator Loading)를 추정하고, 손목 힘-토크 센서(Wrist Force-Torque Sensor)는 말단효과기(End-Effector)를 통해 전달되는 힘(Force)과 모멘트(Moment)를 측정한다. 이러한 신호는 접촉(Contact), 저항(Resistance), 예상하지 못한 교란(Unexpected Disturbance)을 식별하는 데 도움이 된다. 또한 유연한 조작(Compliant Manipulation), 제어된 삽입(Controlled Insertion), 섬세한 물체(Delicate Object)와의 안전한 상호작용(Safe Interaction)을 학습하는 데 필수적이다.
촉각 센싱(Tactile Sensing)은 카메라와 관절 엔코더가 직접 제공할 수 없는 국소 접촉 정보(Local Contact Information)를 포착한다. 압력 분포(Pressure Distribution), 전단력(Shear Force), 접촉 전이(Contact Transition)는 물체가 그리퍼(Gripper) 또는 로봇 표면(Robotic Surface)과 어떻게 상호작용하는지를 나타낸다. 촉각 측정값(Tactile Measurement)은 미끄러짐 감지(Slip Detection), 파지 조정(Grasp Adjustment), 변형 가능한 재료(Deformable Material)의 조작을 지원할 수 있다. 이러한 데이터의 학습 가치(Learning Value)는 센서 배치(Sensor Placement), 공간 해상도(Spatial Resolution), 시간적 응답성(Temporal Responsiveness)에 따라 달라진다.
행동 데이터(Action Data)는 로봇 제어기(Robot Controller)가 발행하거나 학습된 정책(Learned Policy)이 생성한 명령(Command)을 기록한다. 행동은 관절 토크(Joint Torque), 모터 전류(Motor Current), 목표 속도(Velocity Target), 목표 위치 설정값(Position Setpoint), 데카르트 공간 움직임 목표(Cartesian Motion Objective)를 지정할 수 있다. 상위 수준의 행동(Higher-Level Action)은 주행 목표(Navigation Goal), 파지 기본 동작(Grasp Primitive), 작업 실행 요청(Task Execution Request)을 설명할 수 있다. 모든 행동 기록(Action Record)에는 제어 인터페이스(Control Interface), 단위(Unit), 좌표계 규약(Coordinate Convention), 의도된 실행 구간(Intended Execution Interval)이 명시되어야 한다.
명령된 행동(Commanded Action)은 실제로 실행된 물리적 동작(Executed Physical Behavior)과 구분해야 한다. 제어기(Controller)가 특정 관절 속도(Joint Velocity)를 요청하더라도 마찰(Friction), 액추에이터 포화(Actuator Saturation), 통신 지연(Communication Delay), 외부 접촉(External Contact)으로 인해 다른 반응(Response)이 발생할 수 있다. 명령과 측정된 움직임(Measured Motion)을 모두 기록하면 이러한 불일치(Discrepancy)를 확인할 수 있다. 이러한 구분을 통해 학습 알고리즘(Learning Algorithm)은 명령이 완벽하게 실행된다고 가정하는 대신 실제 시스템 동역학(Actual System Dynamics)을 모델링할 수 있다.
센서 데이터(Sensor Data)와 행동 데이터(Action Data)는 서로 다른 시간적 해상도(Temporal Resolution)로 작동한다. 모터 제어기(Motor Controller)는 수백 또는 수천 헤르츠(Hertz)로 업데이트될 수 있지만, 카메라는 훨씬 낮은 주파수(Frequency)로 영상을 제공한다. 정확한 타임스탬프(Timestamp)와 동기화된 데이터 획득(Synchronized Acquisition)은 관측(Observation), 명령 생성(Command Generation), 물리적 반응(Physical Response) 사이의 순서를 보존한다. 잘못된 정렬(Incorrect Alignment)은 오해를 유발하는 관계(Misleading Relationship)를 형성하고 학습된 제어 정책(Learned Control Policy)의 성능을 저하시킬 수 있다.
데이터 표현(Data Representation)은 서로 다른 로봇 플랫폼(Robot Platform)에 걸쳐 측정값의 물리적 의미(Physical Meaning)를 보존해야 한다. 관절 각도(Joint Angle)는 라디안(Radian), 선형 위치(Linear Position)는 미터(Meter), 힘 측정값(Force Measurement)은 뉴턴(Newton)을 사용할 수 있다. 좌표계(Coordinate Frame), 관절 순서(Joint Ordering), 부호 규약(Sign Convention), 액추에이터 한계(Actuator Limit)를 문서화해야 한다. 표준화된 스키마(Standardized Schema)는 로봇 형태 및 구성별 동작(Embodiment-Specific Behavior)을 해석하는 데 필요한 정보를 유지하면서 플랫폼 간 분석(Cross-Platform Analysis)을 가능하게 한다.
센서 보정(Sensor Calibration)은 기록된 측정값이 의미 있는 물리량(Physical Quantity)에 대응하도록 하기 위해 필요하다. 카메라 보정(Camera Calibration)은 영상 기하학(Imaging Geometry)을 설정하고, 엔코더 보정(Encoder Calibration)은 위치 오프셋(Positional Offset)을 수정하며, 힘 센서 보정(Force Sensor Calibration)은 바이어스(Bias)와 스케일링(Scaling)을 조정한다. 온도 변화(Temperature Variation), 기계적 마모(Mechanical Wear), 센서 드리프트(Sensor Drift)는 시간이 지남에 따라 정확도(Accuracy)에 영향을 미칠 수 있다. 따라서 보정 메타데이터(Calibration Metadata)는 기록 데이터(Recording Data)와 함께 제공되어야 하며 장기적인 품질 모니터링(Long-Term Quality Monitoring)을 지원해야 한다.
잡음(Noise)과 불확실성(Uncertainty)은 물리적 센싱(Physical Sensing)에서 피할 수 없는 특성이다. 카메라 영상(Camera Image)은 조명(Illumination)의 영향을 받을 수 있고, 관성 센서(Inertial Sensor)는 추정 오차(Estimation Error)가 누적될 수 있으며, 힘 측정값(Force Measurement)에는 진동으로 인한 잡음(Vibration-Induced Noise)이 포함될 수 있다. 필터링(Filtering)과 센서 융합(Sensor Fusion)은 상태 추정값(State Estimate)을 개선할 수 있지만, 지나치게 강한 신호 처리(Aggressive Processing)는 유용한 과도 신호 정보(Transient Information)를 제거할 수 있다. 데이터 엔진(Data Engine)은 가능한 경우 원시 신호(Raw Signal)를 보존하고 파생 측정값(Derived Measurement)에 적용된 변환(Transformation)을 문서화해야 한다.
센서 융합(Sensor Fusion)은 상호보완적인 측정값(Complementary Measurement)을 결합하여 개별 센서만으로는 신뢰성 있게 결정하기 어려운 변수를 추정한다. 시각 관측(Visual Observation)은 물체 위치(Object Location)를 파악하고, 고유수용감각(Proprioception)은 로봇 구성(Robot Configuration)을 결정하며, 촉각 신호(Tactile Signal)는 접촉(Contact)을 확인할 수 있다. 상태 추정기(State Estimator)는 불확실성(Uncertainty)과 시간 차이(Timing Difference)를 고려하면서 이러한 데이터 소스를 통합한다. 그 결과 생성된 표현(Representation)은 강건한 인식(Robust Perception), 조작(Manipulation), 주행(Navigation), 전신 제어(Whole-Body Control)를 지원한다.
행동 이력(Action History)은 로봇이 현재의 물리적 상태(Physical Condition)에 도달한 과정을 설명하는 정보를 제공한다. 단일 관측(Single Observation)만으로는 속도(Velocity), 접촉 안정성(Contact Stability), 액추에이터 응답(Actuator Response)을 추론하기에 충분하지 않을 수 있다. 이전 명령(Previous Command)과 측정된 상태(Measured State)의 시퀀스(Sequence)는 시간적 의존성(Temporal Dependency)을 드러낸다. 행동 이력을 활용하는 정책(Policy)은 순간적인 센서 측정값(Instantaneous Sensor Measurement)에서 드러나지 않는 지연(Delay), 부분 관측 가능성(Partial Observability), 동적 효과(Dynamic Effect)를 더욱 효과적으로 보상할 수 있다.
데이터 수집 시스템(Data Collection System)은 정상 운영(Normal Operation)과 비정상적인 물리적 이벤트(Unusual Physical Event)를 모두 기록해야 한다. 성공적인 움직임(Successful Motion)은 효과적인 행동(Effective Behavior)의 사례를 제공하며, 충돌(Collision), 미끄러짐(Slip), 액추에이터 포화(Actuator Saturation), 복구 시도(Recovery Attempt)는 운영상의 한계(Operational Limitation)를 드러낸다. 이벤트 마커(Event Marker)는 연속적인 기록(Continuous Recording) 내에서 중요한 전이(Transition)를 식별할 수 있다. 이러한 경험을 보존하면 실패 분석(Failure Analysis), 목표 지향적 재학습(Targeted Retraining), 더욱 신뢰성 있는 제어 전략(Control Strategy)의 개발을 지원할 수 있다.
센서 및 행동 데이터의 다양성(Diversity of Sensor and Action Data)은 정책 일반화(Policy Generalization)에 큰 영향을 미친다. 동일한 조건에서 반복된 궤적(Repeated Trajectory)은 변화하는 부하(Changing Load), 표면 마찰(Surface Friction), 조명(Lighting), 액추에이터 성능(Actuator Performance)에 모델이 대응하도록 준비시키지 못할 수 있다. 데이터 수집 전략(Collection Strategy)에는 작업(Task), 물체(Object), 로봇 상태(Robot State), 교란(Disturbance)의 대표적인 변화를 포함해야 한다. 균형 잡힌 데이터셋(Balanced Dataset)은 모델이 제한된 운영 조건(Narrow Operating Condition)을 암기하는 대신 전이 가능한 물리적 관계(Transferable Physical Relationship)를 학습하도록 돕는다.
시뮬레이션(Simulation)은 통제된 물리적 조건(Controlled Physical Condition)에서 센서 및 행동 데이터를 생성할 수 있다. 가상 카메라(Virtual Camera), 관절 센서(Joint Sensor), 접촉 모델(Contact Model), 시뮬레이션 제어기(Simulated Controller)는 구조화된 학습 경험(Structured Training Experience)을 제공한다. 도메인 무작위화(Domain Randomization)는 형상(Geometry), 동역학(Dynamics), 잡음(Noise), 지연(Latency)의 변화를 도입한다. 그러나 시뮬레이션 측정값(Simulated Measurement)은 실제 물리 센서(Physical Sensor)의 측정값과 다를 수 있으므로 합성 궤적(Synthetic Trajectory)과 실제 환경 기록(Real-World Recording)을 결합하기 전에 검증(Validation)이 필요하다.
로봇 군집 규모(Fleet Scale)에서는 센서 및 행동 기록(Sensor and Action Record)을 효율적으로 저장(Storage), 색인(Indexing), 선택적 전송(Selective Transmission)해야 한다. 고주파 측정값(High-Frequency Measurement)과 다중모달 데이터 스트림(Multimodal Data Stream)은 상당한 데이터 용량(Data Volume)을 생성할 수 있다. 압축(Compression), 이벤트 기반 로깅(Event-Triggered Logging), 우선순위 기반 업로드(Prioritized Upload)는 가치 있는 경험(Valuable Experience)을 보존하면서 인프라 비용(Infrastructure Cost)을 줄인다. 로봇 식별 정보(Robot Identity), 센서 구성(Sensor Configuration), 작업 맥락(Task Context), 소프트웨어 버전(Software Version)을 설명하는 메타데이터(Metadata)는 신뢰성 있는 검색(Retrieval)과 비교(Comparison)를 지원한다.
데이터 품질 평가(Data Quality Assessment)는 완전성(Completeness), 동기화(Synchronization), 보정 일관성(Calibration Consistency), 물리적 타당성(Physical Plausibility), 행동 실행 충실도(Action Execution Fidelity)를 검토해야 한다. 누락된 엔코더 샘플(Missing Encoder Sample), 포화된 힘 측정값(Saturated Force Reading), 잘못된 좌표 변환(Incorrect Coordinate Transformation), 문서화되지 않은 제어기 변경(Undocumented Controller Change)은 학습의 신뢰성을 저하시킬 수 있다. 자동 검증(Automated Validation)은 데이터셋 공개(Dataset Publication) 전에 이러한 문제의 상당 부분을 탐지할 수 있다. 신뢰성 있는 데이터 파이프라인(Reliable Data Pipeline)은 원본 측정값(Original Measurement)부터 처리된 학습 사례(Processed Learning Example)까지의 추적성(Traceability)을 유지한다.
궁극적으로 센서(Sensor), 고유수용감각(Proprioception), 행동 데이터(Action Data)는 로봇 인식(Robotic Perception)과 물리적 제어(Physical Control) 사이의 연결을 구축한다. 외부 센서(External Sensor)는 환경(Environment)을 설명하고, 고유수용감각은 내부 움직임(Internal Motion)과 구성(Configuration)을 나타내며, 행동 기록(Action Record)은 이후 상태(Subsequent State)에 영향을 미치는 의사결정(Decision)을 문서화한다. 이러한 데이터 스트림(Data Stream)이 정확하게 동기화(Synchronization), 보정(Calibration), 구성(Organization)되면 피지컬 인공지능 데이터 엔진(Physical AI Data Engine)은 강건한 학습(Robust Learning), 체계적인 평가(Systematic Evaluation), 로봇 행동(Robot Behavior)의 지속적인 개선(Continuous Improvement)을 지원할 수 있다.
01.11. Task Language and Context Metadata
작업 언어(Task Language)와 맥락 메타데이터(Context Metadata)는 로봇 경험(Robotic Experience)을 의도된 행동(Intended Behavior)과 연결하는 의미론적 기반(Semantic Foundation)을 제공한다. 센서 측정값(Sensor Measurement)은 실행 과정에서 발생한 상황을 설명하지만, 특정 행동이 수행된 이유를 반드시 설명하는 것은 아니다. 언어 지시(Language Instruction)는 목표(Goal)와 제약조건(Constraint)을 표현하며, 맥락 메타데이터는 각 에피소드(Episode)를 둘러싼 조건을 기록한다. 이러한 요소들은 원시 궤적(Raw Trajectory)을 해석 가능한 학습 경험(Interpretable Learning Experience)으로 변환한다.
작업 언어(Task Language)는 인간과 기계학습 시스템(Machine Learning System)이 해석할 수 있는 형태로 목표(Objective)를 표현한다. 지시문(Instruction)은 주행 목적지(Navigation Destination), 조작 대상(Manipulation Target), 조립 작업(Assembly Operation), 검사 요구사항(Inspection Requirement)을 설명할 수 있다. 특정 부품을 지정된 용기(Container)에 넣으라는 명령은 개별적인 모터 움직임(Motor Movement)이 아니라 의도된 결과(Intended Result)를 지정한다. 이러한 추상화(Abstraction)를 통해 로봇은 고수준 목표(High-Level Goal)를 일련의 물리적 행동(Physical Action Sequence)과 연결할 수 있다.
자연어 지시(Natural Language Instruction)는 유사한 목표를 서로 다른 단어와 문장 구조(Sentence Structure)로 표현할 수 있기 때문에 유연성(Flexibility)을 제공한다. 로봇은 운영자(Operator)와 응용 분야(Application)에 따라 물체를 집기(Pick Up), 파지하기(Grasp), 가져오기(Retrieve), 이동하기(Move) 등의 요청을 받을 수 있다. 언어 조건부 학습(Language-Conditioned Learning)은 실제로 서로 다른 작업 사이의 차이를 유지하면서 근본적인 의도(Underlying Intention)를 식별해야 한다. 다양한 언어적 사례(Linguistic Example)는 익숙하지 않은 지시(Unfamiliar Instruction)에 대한 강건성(Robustness)을 향상시킨다.
작업 설명(Task Description)은 의도된 목표(Intended Objective)를 주변 환경의 세부 정보(Environmental Detail)와 구분할 수 있도록 충분한 정보를 포함해야 한다. 관련 속성(Relevant Attribute)에는 목표 물체(Target Object), 목적지 위치(Destination Location), 필요한 도구(Required Tool), 순서 제약조건(Ordering Constraint), 완료 기준(Completion Criteria)이 포함될 수 있다. 모호한 지시(Ambiguous Instruction)는 일관되지 않은 시연(Inconsistent Demonstration)과 신뢰성이 낮은 라벨(Unreliable Label)을 생성할 수 있다. 구조화된 작업 명세(Structured Task Specification)는 중요한 운영 요구사항(Operational Requirement)을 명시함으로써 자연어(Natural Language)를 보완할 수 있다.
맥락 메타데이터(Context Metadata)는 로봇 데이터(Robotic Data)가 수집된 상황을 설명한다. 여기에는 로봇 식별 정보(Robot Identity), 하드웨어 구성(Hardware Configuration), 센서 배치(Sensor Arrangement), 환경 유형(Environment Type), 작업 범주(Task Category), 운영 조건(Operating Condition)이 포함될 수 있다. 데이터 수집 타임스탬프(Collection Timestamp), 소프트웨어 버전(Software Version), 운영자 식별자(Operator Identifier)는 추가적인 출처 정보(Provenance Information)를 제공한다. 이러한 속성은 작업 요구사항(Task Requirement)으로 인해 발생한 행동 차이와 장비 또는 환경 변화로 인해 발생한 차이를 구분하는 데 도움이 된다.
환경 맥락(Environmental Context)은 로봇 행동(Robot Action)을 해석하는 데 큰 영향을 미친다. 동일한 움직임(Identical Movement)이라도 물체 형상(Object Geometry), 표면 마찰(Surface Friction), 조명(Lighting), 장애물 배치(Obstacle Placement), 작업 공간 제약조건(Workspace Constraint)에 따라 서로 다른 결과(Outcome)를 생성할 수 있다. 이러한 조건을 기록하면 모델이 맥락과 성능(Context and Performance) 사이의 관계를 학습할 수 있다. 또한 엔지니어는 추가적인 학습(Training)이나 평가(Evaluation)가 필요한 운영 환경(Operating Environment)을 식별할 수 있다.
물체 메타데이터(Object Metadata)는 로봇 작업(Robotic Task)에 포함된 개체(Entity)에 대한 의미론적 정보(Semantic Information)를 제공한다. 물체 범주(Object Category), 치수(Dimension), 재료 특성(Material Property), 추정 질량(Estimated Mass), 기능적 역할(Functional Role)은 조작 전략(Manipulation Strategy)에 영향을 미칠 수 있다. 깨지기 쉬운 용기(Fragile Container)를 다루는 로봇은 단단한 산업용 부품(Rigid Industrial Component)을 이동하는 로봇과 다르게 행동해야 한다. 이러한 메타데이터는 작업 조건부 학습(Task-Conditioned Learning)과 물체 특성에 따른 성능 분석(Performance Analysis)을 지원한다.
작업 언어(Task Language)와 물리적 관측(Physical Observation)은 의미 있는 지도 정보(Meaningful Supervision)를 생성하기 위해 정렬되어야 한다. 특정 물체를 지칭하는 지시(Instruction)는 영상(Image), 깊이 측정값(Depth Measurement), 장면 표현(Scene Representation)에서 올바른 개체(Correct Entity)와 대응해야 한다. 실행 중 지시가 변경되는 경우에는 시간적 정렬(Temporal Alignment)도 필요하다. 잘못된 그라운딩(Incorrect Grounding)은 모델이 언어를 관련 없는 행동(Unrelated Action)과 연결하도록 학습시켜 지시 수행 능력(Instruction-Following Capability)을 약화시킬 수 있다.
언어 그라운딩(Language Grounding)은 기호적 설명(Symbolic Description)을 물리적 개체(Physical Entity), 공간적 관계(Spatial Relationship), 실행 가능한 행동(Executable Behavior)과 연결한다. 왼쪽(Left), 뒤쪽(Behind), 내부(Inside), 인접(Adjacent)과 같은 표현은 기준 좌표계(Reference Frame)와 환경 맥락(Environmental Context)에 따라 의미가 달라진다. 로봇은 장면(Scene)과 작업(Task)을 기준으로 이러한 관계를 해석해야 한다. 그라운딩된 표현(Grounded Representation)은 실제 물체 위치(Actual Object Position)와 물리적 제약조건(Physical Constraint)을 고려하면서 정책(Policy)이 지시를 행동으로 변환할 수 있도록 한다.
복잡한 작업(Complex Task)에는 계층적 언어 표현(Hierarchical Language Representation)이 필요한 경우가 많다. 고수준 지시(High-Level Instruction)는 제품 조립(Product Assembly)을 설명할 수 있으며, 하위 설명(Subordinate Description)은 부품 탐색(Part Localization), 부품 파지(Component Grasping), 표면 정렬(Surface Alignment), 삽입 완료(Insertion Completion)를 지정할 수 있다. 언어를 작업 단계(Task Phase)와 연결하면 계층적 계획(Hierarchical Planning)과 재사용 가능한 기술(Reusable Skill)을 지원할 수 있다. 또한 학습 시스템은 긴 에피소드(Long Episode) 내에서 어떤 하위 작업(Subtask)이 성공하거나 실패했는지 식별할 수 있다.
성공 기준(Success Criteria)은 가능한 경우 작업 지시(Task Instruction)와 별도로 표현해야 한다. 지시는 로봇이 무엇을 달성해야 하는지 설명하는 반면, 평가 기준(Evaluation Criteria)은 완료 여부를 어떻게 측정할 것인지 정의한다. 이러한 기준에는 물체 배치 허용오차(Object Placement Tolerance), 조립 정렬(Assembly Alignment), 충돌 회피(Collision Avoidance), 시간 제한(Time Limit)이 포함될 수 있다. 명시적인 성공 정의(Explicit Success Definition)는 주석의 모호성(Annotation Ambiguity)을 줄이고 시연(Demonstration)과 로봇 플랫폼(Robot Platform) 사이의 일관된 비교를 지원한다.
맥락 메타데이터(Context Metadata)는 실패 궤적(Failed Trajectory)을 해석할 때 특히 유용하다. 파지 실패(Grasp Failure)는 부적절한 정책(Unsuitable Policy), 익숙하지 않은 재료(Unfamiliar Material), 부정확한 보정(Inaccurate Calibration), 예상하지 못한 환경 교란(Unexpected Environmental Disturbance)으로 인해 발생할 수 있다. 맥락 기록(Contextual Record)이 없으면 이러한 원인을 구분하기 어려울 수 있다. 실패 이벤트(Failure Event)를 작업 설명(Task Description) 및 운영 조건(Operating Condition)과 연결하면 목표 지향적 데이터 수집(Targeted Data Collection), 진단(Diagnosis), 교정 모델 학습(Corrective Model Training)을 지원할 수 있다.
메타데이터 스키마(Metadata Schema)는 데이터셋(Dataset) 전반에 걸쳐 작업 및 맥락 정보(Task and Context Information)에 대한 일관된 정의(Consistent Definition)를 구축한다. 필드(Field)는 허용값(Accepted Value), 단위(Unit), 식별자(Identifier), 선택적 속성(Optional Attribute), 에피소드 기록(Episode Record)과의 관계를 명시해야 한다. 통제 어휘(Controlled Vocabulary)는 물체 범주(Object Category)와 실패 라벨(Failure Label)의 불일치를 줄일 수 있다. 버전 관리된 스키마(Versioned Schema)는 개발 주기(Development Cycle)에 따라 작업 설명과 로봇 능력(Robot Capability)이 발전하더라도 호환성(Compatibility)을 유지한다.
언어 주석(Language Annotation)은 운영자(Operator), 자동 음성 전사(Automated Transcription), 작업 계획 시스템(Task Planning System), 실행 후 라벨링(Post-Execution Labeling)에서 생성될 수 있다. 각 데이터 소스(Data Source)는 서로 다른 불확실성(Uncertainty)과 잠재적 오류(Potential Error)를 포함한다. 인간의 설명(Human Description)은 불완전할 수 있으며, 자동 생성 라벨(Automatically Generated Label)은 물체나 의도(Intention)를 잘못 식별할 수 있다. 주석 파이프라인(Annotation Pipeline)은 신뢰성 있는 학습(Reliable Training)을 지원하기 위해 출처 정보(Source Information), 신뢰도 지표(Confidence Indicator), 검토 상태(Review Status)를 유지해야 한다.
대규모 데이터셋(Large-Scale Dataset)은 자유 형식 언어(Free-Form Language)와 구조화된 메타데이터(Structured Metadata)를 결합함으로써 이점을 얻는다. 자연어(Natural Language)는 유연한 인간의 의도(Human Intention)를 포착하는 반면, 구조화된 필드(Structured Field)는 필터링(Filtering), 색인(Indexing), 통계 분석(Statistical Analysis)을 지원한다. 따라서 데이터셋은 특정 물체, 작업 목표(Task Goal), 환경 조건(Environmental Condition), 실패 범주(Failure Category)와 관련된 에피소드(Episode)를 검색할 수 있다. 이러한 결합은 데이터 큐레이션(Data Curation)을 개선하고 학습 및 평가 하위 집합(Training and Evaluation Subset)을 목표에 맞게 구성할 수 있도록 한다.
맥락 인식 평가(Context-Aware Evaluation)는 정책(Policy)이 지시에 명시된 조건에서 성공하는지를 검사한다. 성능(Performance)은 언어 표현의 변화(Language Variation), 물체 범주(Object Category), 작업 공간 배치(Workspace Layout), 작업 복잡도(Task Complexity)에 따라 분석해야 한다. 평가 데이터 분할(Evaluation Split)은 밀접하게 관련된 시연(Closely Related Demonstration)으로 인해 일반화 결과(Generalization Result)가 왜곡되는 것을 방지해야 한다. 이러한 시험은 모델이 작업의 의미(Task Meaning)를 이해하는지, 아니면 익숙한 행동 패턴(Familiar Action Pattern)을 단순히 재현하는지를 드러낸다.
개인정보 보호(Privacy)와 데이터 거버넌스(Data Governance)에 관한 고려사항은 작업 언어(Task Language)와 맥락 기록(Contextual Record)에도 적용된다. 운영자 이름(Operator Name), 음성 지시(Spoken Instruction), 위치 설명(Location Description), 기록된 작업장 정보(Workplace Detail)에는 민감한 정보(Sensitive Information)가 포함될 수 있다. 데이터 엔진(Data Engine)은 불필요한 식별자(Unnecessary Identifier)를 최소화하고, 적절한 접근 제어(Access Control)를 적용하며, 허용된 사용 목적(Permitted Use)을 문서화해야 한다. 이러한 보호조치(Safeguard)는 학습에 필수적인 맥락 정보를 제거하지 않으면서 책임 있는 데이터 공유(Responsible Data Sharing)를 지원한다.
궁극적으로 작업 언어(Task Language)와 맥락 메타데이터(Context Metadata)는 물리적 실행(Physical Execution)을 의미론적 이해(Semantic Understanding)와 연결한다. 언어(Language)는 의도(Intention)를 지정하고, 맥락 기록(Contextual Record)은 운영 조건(Operating Condition)을 설명하며, 구조화된 주석(Structured Annotation)은 목표(Goal), 행동(Action), 결과(Outcome) 사이의 관계를 구축한다. 이러한 요소들이 로봇 에피소드(Robot Episode)와 궤적(Trajectory)에 일관되게 통합되면 피지컬 인공지능 데이터 엔진(Physical AI Data Engine)은 지시 조건부 학습(Instruction-Conditioned Learning), 신뢰성 있는 평가(Reliable Evaluation), 다양한 작업에 대한 확장 가능한 적응(Scalable Adaptation)을 지원할 수 있다.
01.12. Data Lineage Provenance and Versioning
데이터 계보(Data Lineage), 출처 정보(Provenance), 버전 관리(Versioning)는 신뢰성 있는 피지컬 인공지능 데이터 엔진(Physical AI Data Engine)에 필요한 추적성(Traceability)을 구축한다. 데이터 계보는 처리 단계(Processing Stage) 전반에서 정보가 어떻게 이동하고 변화하는지를 설명하고, 출처 정보는 데이터의 생성 원천(Origin)과 수집 조건(Collection Condition)을 식별하며, 버전 관리는 데이터셋(Dataset)과 산출물(Artifact)의 서로 다른 상태를 보존한다. 이러한 메커니즘을 통해 엔지니어는 로봇 경험(Robotic Experience)이 학습 데이터(Training Data)로 변환되는 과정과 해당 데이터가 배포된 모델(Deployed Model)에 미치는 영향을 이해할 수 있다.
피지컬 인공지능 데이터셋(Physical AI Dataset)은 로봇 군집(Robot Fleet), 원격조작 세션(Teleoperation Session), 시뮬레이션 환경(Simulation Environment), 인간 시연(Human Demonstration) 등 다양한 데이터 소스(Data Source)에서 생성된다. 각 소스는 서로 다른 가정(Assumption), 센서 특성(Sensor Characteristic), 수집 절차(Collection Procedure)를 포함한다. 출처 기록(Provenance Record)은 경험이 어디서, 언제, 어떻게 생성되었는지를 식별한다. 이러한 정보가 없으면 물리적 조건(Physical Condition)에 중요한 차이가 있음에도 유사한 궤적(Similar Trajectory)이 잘못하여 동등한 데이터로 취급될 수 있다.
데이터 계보(Data Lineage)는 원시 기록(Raw Recording)을 처리된 학습 사례(Processed Learning Example)와 연결하는 변환 이력(Transformation History)을 포착한다. 궤적(Trajectory)은 학습에 사용되기 전에 타임스탬프 보정(Timestamp Correction), 센서 보정(Sensor Calibration), 분할(Segmentation), 주석(Annotation), 필터링(Filtering), 정규화(Normalization)를 거칠 수 있다. 각 작업(Operation)은 모델이 활용할 수 있는 정보를 변경할 수 있다. 이러한 변환을 기록하면 엔지니어가 데이터셋 준비 과정(Dataset Preparation)을 재구성하고 처리 과정의 의사결정(Processing Decision)이 오류(Error)나 의도하지 않은 편향(Unintended Bias)을 발생시켰는지 조사할 수 있다.
출처 메타데이터(Provenance Metadata)는 로봇 플랫폼(Robot Platform), 센서 구성(Sensor Configuration), 소프트웨어 개정판(Software Revision), 운영 환경(Operating Environment), 데이터 수집 방법(Collection Method)을 설명해야 한다. 추가 정보에는 작업 식별자(Task Identifier), 운영자 역할(Operator Role), 보정 참조 정보(Calibration Reference), 시뮬레이션 매개변수(Simulation Parameter)가 포함될 수 있다. 이러한 속성(Attribute)은 관측(Observation)과 행동(Action)을 해석하는 데 필수적인 맥락(Context)을 제공한다. 또한 특정 조건에서 수집된 데이터가 새로운 학습 목표(Training Objective)에 적합한지 판단하는 데 도움이 된다.
데이터셋 버전 관리(Dataset Versioning)는 데이터 집합(Data Collection)이 발전함에 따라 식별 가능한 스냅샷(Snapshot)을 생성한다. 새로운 에피소드(Episode)가 추가되거나, 잘못된 라벨(Incorrect Label)이 수정되거나, 손상된 궤적(Corrupted Trajectory)이 제거되거나, 필터링 규칙(Filtering Rule)이 변경될 수 있다. 의미 있는 변경(Meaningful Change)이 발생할 때마다 추적 가능한 데이터셋 개정판(Traceable Dataset Revision)을 생성해야 한다. 버전 식별자(Version Identifier)를 사용하면 실험(Experiment)이 정확하게 정의된 데이터 입력(Data Input)을 참조할 수 있으므로, 서로 다른 팀이 유사한 이름의 데이터셋을 사용하여 모델을 학습할 때 발생하는 모호성(Ambiguity)을 방지할 수 있다.
불변 원시 데이터(Immutable Raw Data)는 재현성(Reproducibility)과 포렌식 분석(Forensic Analysis)을 위한 안정적인 기반(Stable Foundation)을 제공한다. 원본 센서 기록(Original Sensor Recording)은 보정되거나 압축되거나 변환된 파생 데이터(Derivative Data)와 구분되어야 한다. 저장 공간의 제약(Storage Limitation)으로 선택적 보존(Selective Retention)이 필요한 경우에는 보존 정책(Preservation Policy)에 어떤 데이터가 폐기되었으며 그 이유가 무엇인지 문서화해야 한다. 신뢰할 수 있는 원본 기록(Trustworthy Source Record)을 유지하면 이전의 해석(Earlier Interpretation)에만 의존하지 않고 새로운 처리 방법(Processing Method)을 적용할 수 있다.
데이터 계보 관계(Data Lineage Relationship)는 원본 기록(Source Recording), 처리 작업(Processing Job), 파생 데이터셋(Derived Dataset), 학습 실행(Training Run), 모델 산출물(Model Artifact)을 연결하는 방향 그래프(Directed Graph)로 표현할 수 있다. 각 노드(Node)는 정보 자산(Information Asset)이나 작업(Operation)을 식별하고, 연결 관계(Connection)는 의존성(Dependency)을 설명한다. 이러한 구조는 배포된 모델(Deployed Model)에서 학습 데이터 소스(Training Source)까지 역방향 추적(Backward Tracing)을 지원하고, 문제가 있는 기록(Problematic Recording)에서 영향을 받은 모든 결과물(Affected Output)까지 순방향 추적(Forward Tracing)을 지원한다.
처리 출처 정보(Processing Provenance)에는 변환(Transformation)에 사용된 알고리즘(Algorithm), 구성 매개변수(Configuration Parameter), 소프트웨어 의존성(Software Dependency), 실행 환경(Execution Environment)이 포함된다. 보정 행렬(Calibration Matrix), 동기화 설정(Synchronization Setting), 주석 모델(Annotation Model), 필터링 임계값(Filtering Threshold)은 결과 데이터셋(Resulting Dataset)을 실질적으로 변경할 수 있다. 코드 개정판(Code Revision)과 매개변수 값(Parameter Value)을 기록하면 이러한 변환을 재현하는 데 도움이 된다. 또한 새로운 데이터로 인한 변화와 수정된 처리 절차(Revised Processing Procedure)로 인한 변화를 구분할 수 있다.
주석 출처 정보(Annotation Provenance)는 라벨(Label)이 인간 운영자(Human Operator), 자동화 시스템(Automated System), 시뮬레이션 정답 데이터(Simulation Ground Truth)에서 생성될 수 있기 때문에 특히 중요하다. 서로 다른 소스는 각기 다른 신뢰성 특성(Reliability Characteristic)과 잠재적 편향(Potential Bias)을 가진다. 주석 기록(Annotation Record)은 라벨 출처(Label Origin), 검토 상태(Review Status), 신뢰도 정보(Confidence Information), 수정 이력(Correction History)을 보존해야 한다. 이러한 세부 정보는 품질 평가(Quality Assessment)를 지원하고, 필요한 경우 학습 파이프라인(Training Pipeline)이 검증된 라벨(Verified Label)에 우선순위를 부여할 수 있도록 한다.
버전 관리(Versioning)는 데이터셋뿐 아니라 스키마(Schema), 작업 정의(Task Definition), 평가 벤치마크(Evaluation Benchmark), 모델 구성(Model Configuration)까지 확장되어야 한다. 데이터셋은 동일한 기록(Recording)을 유지하면서도 행동 표현(Action Representation)이나 성공 기준(Success Criteria)을 변경할 수 있다. 이러한 변경은 새로운 에피소드(Episode)를 추가하지 않더라도 학습(Training)과 평가(Evaluation)에 영향을 미칠 수 있다. 통합된 버전 관리(Coordinated Version Management)는 호환되지 않는 해석(Incompatible Interpretation)이 실험 전반에 걸쳐 인지되지 않은 채 결합되는 것을 방지한다.
재현 가능한 모델 학습(Reproducible Model Training)을 위해서는 데이터셋 버전(Dataset Version)과 실험 구성(Experimental Configuration) 사이의 명시적인 관계(Explicit Relationship)가 필요하다. 학습 기록(Training Record)은 데이터 매니페스트(Data Manifest), 모델 아키텍처(Model Architecture), 최적화 설정(Optimization Setting), 난수 시드(Random Seed), 소프트웨어 환경(Software Environment)을 참조해야 한다. 분산 컴퓨팅(Distributed Computation)은 추가적인 비결정성(Nondeterminism)을 발생시킬 수 있으므로 정확한 수치적 재현(Exact Numerical Reproduction)이 항상 보장되는 것은 아니다. 그럼에도 완전한 기록(Complete Record)은 실험 비교(Experimental Comparison)와 체계적인 디버깅(Systematic Debugging)의 신뢰성을 크게 향상시킨다.
데이터 매니페스트(Data Manifest)는 데이터셋 릴리스(Dataset Release)에 포함된 파일(File), 에피소드(Episode), 데이터 분할(Partition), 메타데이터(Metadata)를 구조화하여 설명한다. 콘텐츠 해시(Content Hash)는 우발적인 수정(Accidental Modification)이나 손상(Corruption)을 감지하는 데 도움이 되며, 안정적인 식별자(Stable Identifier)는 저장 시스템(Storage System) 간 참조 관계를 유지한다. 매니페스트에는 수집 통계(Collection Statistics), 제외된 샘플(Excluded Sample), 검증 결과(Validation Result)도 문서화할 수 있다. 이러한 메커니즘은 모든 데이터셋을 하나의 불변 파일(Immutable File)로 저장하지 않더라도 무결성 검사(Integrity Checking)를 지원한다.
데이터 계보(Data Lineage)는 모델 배포(Model Deployment) 이후 데이터 품질 문제(Data Quality Problem)가 발견되었을 때 필수적이다. 잘못된 좌표 변환(Incorrect Coordinate Transformation)은 수천 개의 궤적(Trajectory)과 여러 학습된 정책(Trained Policy)에 영향을 미칠 수 있다. 의존성 기록(Dependency Record)을 활용하면 엔지니어는 영향을 받은 데이터셋 버전(Dataset Version), 실험(Experiment), 배포 산출물(Deployed Artifact)을 식별할 수 있다. 이후 수정된 처리 과정(Corrected Processing)을 통해 대체 데이터셋(Replacement Dataset)을 생성하고, 회귀 시험(Regression Testing)을 통해 영향을 받은 모델의 재학습(Retraining)이나 배포 철회(Withdrawal)가 필요한지 판단할 수 있다.
거버넌스 요구사항(Governance Requirement)은 데이터 소유권(Data Ownership), 권한(Permission), 허용된 사용 목적(Permitted Use)을 추적할 수 있는 능력에 의존한다. 인간 시연(Human Demonstration)과 작업장 기록(Workplace Recording)에는 개인정보(Personal Information) 또는 상업적으로 민감한 정보(Commercially Sensitive Information)가 포함될 수 있다. 출처 기록(Provenance Record)은 관련 동의(Consent), 라이선스(Licensing), 접근 제한(Access Restriction), 보존 정책(Retention Policy)을 문서화해야 한다. 삭제 의무(Deletion Obligation)나 사용 제한 의무(Restricted-Use Obligation)가 발생하면 데이터 계보 정보는 영향을 받은 파생 데이터(Derivative Data)를 찾아내고 적절한 시정 조치(Remediation)를 결정하는 데 도움이 된다.
로봇 군집 규모 데이터 엔진(Fleet-Scale Data Engine)에는 분산 수집 및 처리 인프라(Distributed Collection and Processing Infrastructure) 전반에서 실용적으로 운영할 수 있는 데이터 계보 시스템(Lineage System)이 필요하다. 로봇은 데이터를 간헐적으로 업로드(Intermittent Upload)할 수 있고, 엣지 장치(Edge Device)는 기록을 전처리(Preprocessing)할 수 있으며, 클라우드 서비스(Cloud Service)는 여러 파생 데이터셋(Derived Dataset)을 생성할 수 있다. 전역 고유 식별자(Globally Unique Identifier), 일관된 메타데이터 스키마(Consistent Metadata Schema), 지속적으로 보존되는 처리 로그(Durable Processing Log)는 이러한 관계를 유지하는 데 도움이 된다. 자동화된 데이터 계보 수집(Automated Lineage Capture)은 모든 변환을 수동으로 문서화하는 부담을 줄여준다.
버전 관리 정책(Versioning Policy)은 실험용 데이터셋(Experimental Dataset)과 검증된 릴리스(Validated Release)를 구분해야 한다. 개발 브랜치(Development Branch)는 임시 라벨(Provisional Label)과 빠르게 변경되는 전처리 방법(Preprocessing Method)을 포함할 수 있지만, 운영용 데이터셋(Production Dataset)에는 더욱 엄격한 품질 관리(Quality Control)가 필요하다. 릴리스 절차(Release Procedure)에는 스키마 검증(Schema Validation), 무결성 검사(Integrity Check), 벤치마크 적용 범위(Benchmark Coverage), 승인 기록(Approval Record)이 포함될 수 있다. 이러한 구분은 확립된 학습 기준선(Established Training Baseline)의 신뢰성을 훼손하지 않으면서 신속한 실험(Rapid Experimentation)을 지원한다.
데이터 계보(Data Lineage)는 지속적 학습 루프(Continuous Learning Loop)의 효율성도 향상시킨다. 평가(Evaluation)를 통해 특정 환경 조건(Environmental Condition)에서 실패가 발견되면 엔지니어는 관련 에피소드(Related Episode)를 검색하고 해당 데이터의 수집 소스(Collection Source)를 식별할 수 있다. 새로운 데이터(New Data)는 과거 버전(Historical Version)과 비교하여 데이터 적용 범위(Data Coverage)와 품질(Quality)의 변화를 측정할 수 있다. 데이터 계보 인식 분석(Lineage-Aware Analysis)은 성능 개선(Performance Improvement)이 추가적인 경험(Additional Experience), 개선된 주석(Better Annotation), 수정된 알고리즘(Revised Algorithm) 중 무엇에서 비롯되었는지 판단하는 데 도움이 된다.
궁극적으로 데이터 계보(Data Lineage), 출처 정보(Provenance), 버전 관리(Versioning)는 피지컬 인공지능 학습(Physical AI Learning)을 확장하는 데 필요한 책임성(Accountability)과 재현성(Reproducibility)을 제공한다. 출처 정보는 경험(Experience)이 어디에서 생성되었는지를 설명하고, 데이터 계보는 경험이 어떻게 변환되었는지를 나타내며, 버전 관리는 각 실험(Experiment)에 사용된 정확한 산출물(Artifact)을 식별한다. 이러한 메커니즘이 데이터 엔진(Data Engine) 전반에 통합되면 로봇 개발(Robotic Development)은 더욱 투명하고(Transparent), 감사 가능하며(Auditable), 데이터 품질 실패(Data Quality Failure)에 대한 복원력(Resilience)을 갖추게 된다.
01.13. Minimal Physical AI Data Pipeline [w/Code]
최소 피지컬 인공지능 데이터 파이프라인(Minimal Physical AI Data Pipeline)은 로봇 경험(Robot Experience)을 재사용 가능한 기계학습 데이터셋(Reusable Machine Learning Dataset)으로 변환하기 위한 실용적인 기반(Practical Foundation)을 제공한다. 그 목적은 데이터 수집(Data Collection), 검증(Validation), 전처리(Preprocessing), 저장(Storage), 학습(Training), 평가(Evaluation)를 재현 가능한 워크플로(Reproducible Workflow)로 연결하는 것이다. 대규모 운영용 데이터 엔진(Large-Scale Production Data Engine)과 달리 최소 파이프라인(Minimal Pipeline)은 관측(Observation), 행동(Action), 결과(Outcome) 사이의 핵심적인 관계를 유지하면서 단순성(Simplicity), 명확한 인터페이스(Transparent Interface), 신뢰성 있는 실행(Reliable Execution)을 강조한다.
파이프라인(Pipeline)은 로봇 에피소드(Robot Episode)에 대한 일관된 표현(Consistent Representation)을 정의하는 것으로 시작한다. 각 에피소드(Episode)는 하나의 실행 시도(Execution Attempt) 동안 기록된 관측(Observation), 행동(Action), 타임스탬프(Timestamp), 작업 결과(Task Outcome)의 시퀀스(Sequence)를 포함한다. 관측에는 카메라 영상(Camera Image), 관절 위치(Joint Position), 속도(Velocity), 힘 측정값(Force Measurement)이 포함될 수 있다. 행동은 제어기 명령(Controller Command)을 설명하며, 결과는 성공(Success), 실패(Failure), 종료 조건(Termination Condition)을 나타낸다. 이러한 구조는 후속 처리(Downstream Processing)를 위한 공통 인터페이스(Common Interface)를 제공한다.
데이터 획득(Data Acquisition)은 충분한 시간적 정확도(Temporal Accuracy)를 확보하여 센서 측정값(Sensor Measurement)과 행동 명령(Action Command)을 수집해야 한다. 로봇 제어기(Robot Controller)는 관절 상태(Joint State)와 명령된 행동(Commanded Action)을 발행할 수 있으며, 인식 프로세스(Perception Process)는 영상(Image)이나 깊이 측정값(Depth Measurement)을 기록할 수 있다. 각 메시지(Message)에는 타임스탬프(Timestamp)와 센서 식별자(Sensor Identifier)가 포함되어야 한다. 경량 기록 애플리케이션(Lightweight Recording Application)은 이러한 데이터 스트림(Data Stream)을 에피소드로 구성하면서 로봇 행동 학습(Robot Behavior Learning)에 필요한 시간적 관계(Temporal Relationship)를 보존할 수 있다.
실용적인 구현(Practical Implementation)에서는 수치 배열(Numerical Array) 처리를 위한 파이썬(Python)과 넘파이(NumPy), 그리고 에피소드 메타데이터(Episode Metadata)를 위한 구조화된 직렬화 형식(Structured Serialization Format)을 사용할 수 있다. 영상은 압축 파일(Compressed File)로 저장하고, 관절 상태(Joint State)와 행동(Action)은 다차원 배열(Multidimensional Array)로 표현할 수 있다. 제이슨(JSON)은 작업 설명(Task Description)과 구성 매개변수(Configuration Parameter)를 저장하기 위한 가독성 높은 형식(Readable Format)을 제공한다. 대용량 센서 페이로드(Large Sensor Payload)를 메타데이터와 분리하면 데이터 구성(Organization)이 개선되고 검토(Inspection)가 간소화된다.
데이터 수집 및 입력 단계(Ingestion Stage)는 기록된 메시지(Recorded Message)를 표준화된 에피소드 표현(Standardized Episode Representation)으로 변환한다. 이 단계에서는 필수 필드(Required Field)를 검사하고, 타임스탬프 순서(Timestamp Ordering)를 검증하며, 수치 배열(Numerical Array)이 예상된 차원(Expected Dimension)을 갖는지 확인한다. 누락된 측정값(Missing Measurement)은 임의의 값(Arbitrary Value)으로 조용히 대체하는 대신 명시적으로 식별해야 한다. 유효하지 않은 에피소드(Invalid Episode)는 검토를 위해 격리(Quarantine)할 수 있다. 이러한 기본 검사(Basic Check)는 일반적인 기록 문제(Recording Problem)가 학습 데이터셋(Training Dataset)을 오염시키는 것을 방지한다.
시간적 정렬(Temporal Alignment)은 서로 다른 주파수(Frequency)로 샘플링된 관측(Observation)과 행동(Action) 사이의 대응 관계(Correspondence)를 구축한다. 카메라 프레임(Camera Frame)은 수십 헤르츠(Hertz)로 수신될 수 있지만, 관절 상태(Joint State)와 제어기 명령(Controller Command)은 훨씬 높은 주파수로 업데이트된다. 기준 시간축(Reference Timeline)은 행동 타임스탬프(Action Timestamp)나 고정 샘플링 간격(Fixed Sampling Interval)을 기반으로 구성할 수 있다. 연속 측정값(Continuous Measurement)에는 보간(Interpolation)이 적절할 수 있지만, 이산 명령(Discrete Command)과 접촉 이벤트(Contact Event)는 신중하게 처리해야 한다.
전처리(Preprocessing)는 원시 측정값(Raw Measurement)을 학습에 적합한 표현(Representation)으로 변환한다. 관절 위치(Joint Position)는 표준화된 단위(Standardized Unit)로 변환할 수 있고, 영상(Image)은 일관된 크기(Consistent Dimension)로 조정할 수 있으며, 행동 벡터(Action Vector)는 학습 데이터셋 통계(Training-Set Statistics)를 사용하여 정규화(Normalization)할 수 있다. 좌표 변환(Coordinate Transformation)은 문서화된 기준 좌표계(Reference Frame)를 따라야 한다. 서로 다른 정규화 방식(Normalization Choice)은 모델 행동(Model Behavior)과 재현성(Reproducibility)에 상당한 영향을 미칠 수 있으므로 전처리 매개변수(Preprocessing Parameter)를 저장해야 한다.
에피소드 분할(Episode Segmentation)은 연속적인 로봇 기록(Continuous Robot Recording)에서 의미 있는 경계(Meaningful Boundary)를 식별한다. 작업(Task)은 실행 요청(Execution Request)이 수락되면 시작되고, 완료(Completion), 실패(Failure), 시간 초과(Timeout), 운영자 개입(Operator Intervention)이 발생하면 종료된다. 분할 과정에서는 최종 관측(Final Observation)과 종료 사유(Termination Reason)를 보존해야 한다. 일관된 경계(Consistent Boundary)는 관련 없는 행동(Unrelated Action)이 잘못된 궤적(Misleading Trajectory)으로 결합되는 것을 방지하고, 정확한 작업 성공률(Task Success Rate) 계산을 지원한다.
데이터 품질 필터링(Data Quality Filtering)은 신뢰성 있는 학습(Reliable Learning)을 지원할 수 없는 에피소드(Episode)를 제거하거나 표시한다. 대표적인 사례에는 누락된 행동 명령(Missing Action Command), 손상된 영상(Corrupted Image), 일관되지 않은 타임스탬프(Inconsistent Timestamp), 유효하지 않은 센서 값(Invalid Sensor Value)이 포함된다. 그러나 실패한 작업 시도(Unsuccessful Task Attempt)에는 가치 있는 복구 정보(Recovery Information)가 포함될 수 있으므로 자동으로 폐기해서는 안 된다. 필터링 정책(Filtering Policy)은 기술적 데이터 손상(Technical Corruption)과 실제 물리적 실패(Legitimate Physical Failure)를 구분하고 모든 제외 사항(Exclusion)을 문서화해야 한다.
데이터셋 매니페스트(Dataset Manifest)는 검증된 에피소드(Validated Episode)와 관련 메타데이터(Associated Metadata)의 목록(Inventory)을 제공한다. 각 항목(Entry)은 에피소드 경로(Episode Path), 로봇 구성(Robot Configuration), 작업 범주(Task Category), 지속시간(Duration), 샘플 수(Sample Count), 결과(Outcome)를 식별할 수 있다. 매니페스트(Manifest)는 데이터셋 버전(Dataset Version)과 전처리 설정(Preprocessing Setting)도 기록한다. 이러한 경량 색인 메커니즘(Lightweight Indexing Mechanism)은 재현 가능한 데이터 로딩(Reproducible Loading), 효율적인 필터링(Efficient Filtering), 각 실험(Experiment)에 사용된 정확한 학습 사례(Learning Example)의 식별을 지원한다.
학습 데이터셋(Training Dataset)은 모델 개발(Model Development) 전에 학습 분할(Training Partition), 검증 분할(Validation Partition), 시험 분할(Test Partition)로 나누어야 한다. 밀접하게 관련된 실행(Closely Related Execution)에서 생성된 에피소드(Episode)는 정보 누출(Information Leakage)을 방지하기 위해 필요한 경우 함께 그룹화(Grouping)해야 한다. 학습 분할은 매개변수 최적화(Parameter Optimization)를 지원하고, 검증 데이터(Validation Data)는 모델 선택(Model Selection)을 안내하며, 시험 데이터(Test Data)는 독립적인 평가(Independent Assessment)를 제공한다. 안정적인 데이터 분할 정의(Stable Partition Definition)는 연속적으로 개발된 정책(Policy) 사이의 비교를 더욱 의미 있게 만든다.
최소 학습 실험(Minimal Learning Experiment)에서는 관측(Observation)과 작업 맥락(Task Context)으로부터 로봇 행동(Robot Action)을 예측하는 행동 복제 모델(Behavioral Cloning Model)을 학습할 수 있다. 입력 특징(Input Feature)은 시각 임베딩(Visual Embedding)과 관절 상태(Joint State)를 결합할 수 있으며, 목표값(Target)은 기록된 제어기 명령(Recorded Controller Command)을 나타낸다. 단순한 신경망(Simple Neural Network)은 시연 궤적(Demonstration Trajectory)에 대한 예측 오차(Prediction Error)를 최소화할 수 있다. 행동 예측(Action Prediction)만으로 작업 성공(Task Success)을 보장할 수는 없지만, 데이터셋 무결성(Dataset Integrity)을 확인하는 유용한 초기 시험(Initial Test)을 제공한다.
평가(Evaluation)는 안전한 시험(Safe Testing)이 가능한 경우 오프라인 예측 품질(Offline Prediction Quality)과 실제 물리적 작업 성능(Physical Task Performance)을 모두 측정해야 한다. 오프라인 지표(Offline Metric)에는 행동 오차(Action Error), 궤적 일관성(Trajectory Consistency), 작업 범주별 성능(Performance Across Task Categories)이 포함될 수 있다. 폐루프 시험(Closed-Loop Testing)은 작은 예측 오차(Small Prediction Error)가 누적되어 불안정한 행동(Unstable Behavior)을 유발하는지 보여준다. 성공률(Success Rate), 충돌 이벤트(Collision Event), 개입 빈도(Intervention Frequency), 복구 성능(Recovery Performance)은 실질적인 신뢰성(Practical Reliability)을 판단하는 데 더욱 의미 있는 지표를 제공한다.
파이프라인(Pipeline)은 원본 에피소드(Source Episode), 전처리 작업(Preprocessing Operation), 학습 구성(Training Configuration), 모델 체크포인트(Model Checkpoint) 사이의 추적성(Traceability)을 유지해야 한다. 각 실험(Experiment)은 데이터셋 버전(Dataset Version), 구성 파일(Configuration File), 난수 시드(Random Seed), 소프트웨어 개정판(Software Revision)을 기록할 수 있다. 자동화된 로깅(Automated Logging)은 엔지니어가 학습 조건(Training Condition)을 재현하고 예상하지 못한 결과(Unexpected Result)를 조사할 수 있도록 한다. 최소 구현(Minimal Implementation)에서도 체계적인 문서화(Systematic Documentation)는 중요하며, 통제되지 않은 변경(Uncontrolled Change)은 실험 비교(Experimental Comparison)의 신뢰성을 빠르게 저하시킬 수 있다.
간단한 피드백 루프(Feedback Loop)는 최소 데이터 파이프라인(Minimal Data Pipeline)을 완성한다. 평가 결과(Evaluation Result)는 학습된 정책(Learned Policy)의 성능이 부족한 작업(Task)이나 환경 조건(Environmental Condition)을 식별한다. 엔지니어는 추가 시연(Additional Demonstration)을 수집하고, 실패한 에피소드(Failed Episode)를 검토하며, 데이터 필터링(Data Filtering)이나 주석 절차(Annotation Procedure)를 조정할 수 있다. 이후 수정된 데이터셋(Revised Dataset)을 다음 학습 주기(Training Cycle)에 사용한다. 이러한 반복 과정(Iterative Process)은 지속적으로 개선되는 피지컬 인공지능 데이터 엔진(Continuously Improving Physical AI Data Engine)의 기반을 구축한다.
저자: Richard Minsoo Go
LinkedIn: Richard Minsoo Go














Top comments (0)