STATERA Library · Series 09 · Volume 04 · Chapter 06 · KR
Source: https://github.com/Statera-Library/09_Vol_04_Data_Engines_and_Scaling_for_Physical_AI/blob/main/Chapter_06_Data_Curation_and_Filtering/Chapter_06_Data_Curation_and_Filtering_KR.md
Volume 04. Data Engines and Scaling for Physical AI
Chapter 06. Data Curation and Filtering
06.01. Why Data Curation Matters
데이터 큐레이션(Data Curation)은 로봇 학습(Robot Learning)의 효과가 수집된 데이터의 양뿐만 아니라 품질(Quality), 관련성(Relevance), 다양성(Diversity)에 의해 결정되기 때문에 피지컬 인공지능(Physical AI)에서 핵심적인 과정이다. 로봇은 부정확한 관측(Observation), 일관되지 않은 행동(Action), 불완전한 궤적(Trajectory)이 학습된 행동에 직접적인 영향을 미칠 수 있는 동적인 물리 환경(Physical Environment)에서 작동한다. 데이터 큐레이션은 원시 기록 데이터(Raw Recorded Data)를 신뢰할 수 있는 학습 자원(Training Resources)으로 변환하여 견고한 인식(Perception), 의사결정(Decision-Making), 제어(Control)를 지원한다.
기존 디지털 인공지능(Digital AI)의 데이터셋(Dataset)과 달리 피지컬 인공지능 데이터셋(Physical AI Dataset)은 관측(Observation), 행동(Action), 상태(State), 결과(Outcome)가 긴밀하게 연결된 정보를 포함한다. 카메라 영상(Camera Image), 라이다 측정값(LiDAR Measurement), 관절 위치(Joint Position), 힘 신호(Force Signal), 제어 명령(Control Command)은 시간적 관계(Temporal Relationship)와 물리적 관계(Physical Relationship)를 유지해야 한다. 데이터셋이 통계적으로 충분해 보이더라도 동기화 오류(Synchronization Error)나 물리적으로 일관되지 않은 궤적이 포함될 수 있다. 효과적인 데이터 큐레이션은 이러한 문제가 모델 학습(Model Training)에 전파되기 전에 식별한다.
데이터 큐레이션의 중요성은 여러 데이터 소스(Data Source)에서 로봇 데이터를 수집할 때 더욱 분명해진다. 원격조작(Teleoperation), 자율 탐색(Autonomous Exploration), 인간 시연 영상(Human Demonstration Video), 시뮬레이션 환경(Simulation Environment)은 서로 다른 데이터 분포(Data Distribution)와 신뢰성 수준(Reliability Level)을 가진 데이터를 생성한다. 각 데이터 소스는 고유한 편향(Bias), 잡음 패턴(Noise Pattern), 표현 방식의 차이(Representation Difference)를 발생시킨다. 통합 데이터 큐레이션 프로세스(Unified Data Curation Process)는 각 수집 방식이 제공하는 고유한 정보를 유지하면서 일관된 품질 요구사항(Quality Requirement)을 확립한다.
데이터셋 크기(Dataset Size)를 증가시키는 것만으로 로봇 성능(Robot Performance)이 자동으로 향상되지는 않는다. 대규모 데이터에는 반복적인 움직임(Repetitive Movement), 정지 상태의 관측(Stationary Observation), 중복 궤적(Redundant Trajectory), 추가적인 학습 가치(Learning Value)가 낮은 시연 데이터가 포함되는 경우가 많다. 이러한 사례를 반복적으로 학습하면 로봇의 능력 향상에 비례하는 효과를 얻지 못하면서 계산 자원(Computational Resources)을 소비하게 된다. 데이터 큐레이션은 불필요한 중복을 줄이고 제한된 학습 예산(Training Budget) 내에서 정보 가치가 높은 경험(Informative Experience)의 비중을 높인다.
데이터 정확성(Data Correctness)은 로봇 학습에서 가장 중요한 고려사항 중 하나이다. 잘못된 타임스탬프(Timestamp), 손상된 센서 측정값(Corrupted Sensor Measurement), 일치하지 않는 좌표계(Coordinate Frame), 부정확한 행동 레이블(Action Label)은 관측과 행동 사이에 잘못된 관계를 형성할 수 있다. 일관되지 않은 그리퍼 위치(Gripper Position) 데이터로 학습한 조작 정책(Manipulation Policy)은 불안정한 파지 동작(Grasping Behavior)을 학습할 수 있다. 데이터 큐레이션 절차는 검증 규칙(Validation Rule), 물리적 제약조건(Physical Constraint), 교차 모달 일관성 검사(Cross-Modal Consistency Check)를 통해 이러한 불일치를 탐지한다.
데이터 완전성(Data Completeness) 역시 중요하다. 로봇 학습은 전체 상호작용 시퀀스(Interaction Sequence)를 이해하는 데 의존하는 경우가 많기 때문이다. 초기 관측과 여러 행동이 기록되어 있지만 최종 결과(Final Outcome)가 누락된 궤적은 작업 성공(Task Success)을 평가하는 데 적합하지 않을 수 있다. 접촉 기반 조작(Contact-Rich Manipulation) 중 힘 측정값이 누락되면 실패 원인을 파악하기 어려워질 수 있다. 데이터 큐레이션은 불완전한 에피소드(Incomplete Episode)를 식별하고 사용 목적에 따라 복구(Repair), 부분 보존(Partial Retention), 제외(Exclusion) 여부를 결정한다.
데이터 일관성(Data Consistency)은 서로 다른 로봇, 환경, 기록 시스템(Recording System)에서 수집된 정보가 호환 가능한 규칙을 따르도록 보장한다. 로봇마다 관절 각도(Joint Angle), 좌표계(Coordinate System), 속도(Velocity), 행동 명령(Action Command)을 서로 다른 형식으로 표현할 수 있다. 표준화(Standardization)가 이루어지지 않으면 이러한 데이터셋을 결합하는 과정에서 체계적인 오류(Systematic Error)가 발생할 수 있다. 데이터 큐레이션은 공통 스키마(Common Schema), 단위 규칙(Unit Convention), 메타데이터 정의(Metadata Definition), 검증 절차(Validation Procedure)를 확립하여 이기종 플랫폼(Heterogeneous Platform) 간의 안정적인 데이터 통합을 지원한다.
다양성(Diversity)은 데이터 품질(Data Quality)의 또 다른 핵심 요소이다. 통제된 환경(Controlled Environment)에서 성공적인 시연 데이터만으로 주로 학습한 로봇은 익숙하지 않은 물체(Object), 조명 조건(Lighting Condition), 표면(Surface), 인간 행동(Human Behavior)을 접할 때 어려움을 겪을 수 있다. 큐레이션된 데이터셋(Curated Dataset)은 작업 수행(Task Execution)과 환경 조건(Environmental Condition)의 의미 있는 변화를 포함해야 한다. 다양성을 고려한 데이터 선택(Diversity-Oriented Selection)은 자주 관측되는 상황에 데이터가 지나치게 집중되는 현상을 방지하고 이전에 경험하지 못한 상황에 대한 일반화(Generalization) 성능을 향상시킨다.
대표성(Representativeness)은 학습 데이터 분포(Training Data Distribution)를 실제 배포 환경(Deployment Environment)에서 예상되는 조건과 연결한다. 창고 로봇(Warehouse Robot), 농업용 로봇 플랫폼(Agricultural Robot Platform), 휴머노이드 매니퓰레이터(Humanoid Manipulator)는 서로 다른 운영 환경(Operational Environment)과 실패 유형(Failure Mode)을 경험한다. 특정 환경에 최적화된 데이터셋이 다른 환경에서도 충분한 학습 효과를 제공하는 것은 아니다. 따라서 데이터 큐레이션은 학습 데이터를 선택하고 균형을 조정할 때 목표 응용 분야(Target Application), 환경 변동성(Environmental Variability), 로봇 형태(Robot Morphology), 운영 제약조건(Operational Constraint)을 명시적으로 고려해야 한다.
희귀 이벤트(Rare Event)는 수집 데이터에서 발생 빈도가 낮더라도 운영상 중요성이 매우 클 수 있으므로 특별한 관리가 필요하다. 예상하지 못한 장애물(Unexpected Obstacle), 불안정한 파지(Unstable Grasp), 센서 중단(Sensor Interruption), 충돌 직전 상황(Near-Collision Situation)은 드물게 발생하지만 로봇의 신뢰성(Reliability)과 안전성(Safety)에 상당한 영향을 미칠 수 있다. 무작위 샘플링(Random Sampling)은 이러한 경험을 쉽게 누락할 수 있다. 큐레이션된 데이터셋은 중요한 희귀 이벤트를 의도적으로 보존하여 모델이 복구 전략(Recovery Strategy)을 학습하고 신중한 행동이 필요한 상황을 인식하도록 지원한다.
실패 데이터(Failure Data)는 성공적인 시연 데이터만으로는 얻을 수 없는 중요한 정보를 제공한다. 파지 실패(Failed Grasp)는 접촉 추정(Contact Estimation)의 한계를 드러내며, 주행 실패(Navigation Failure)는 위치추정(Localization)이나 장애물 추론(Obstacle Reasoning)의 취약점을 보여준다. 그러나 실패 궤적(Failure Trajectory)을 잘못 처리하면 바람직하지 않은 행동을 성공적인 행동으로 학습시킬 수 있으므로 정확한 레이블링(Labeling)과 해석(Interpretation)이 필요하다. 데이터 큐레이션은 학습 목표(Learning Objective)에 따라 성공적인 실행(Successful Execution), 실패한 시도(Unsuccessful Attempt), 교정 개입(Corrective Intervention), 복구 시퀀스(Recovery Sequence)를 구분한다.
이상치 탐지(Outlier Detection)는 피지컬 인공지능에서 특히 중요한 과제이다. 비정상적인 측정값(Unusual Measurement)은 센서 손상(Corrupted Sensor), 잘못된 보정(Incorrect Calibration), 기록 오류(Recording Error)를 의미할 수 있지만 실제로 발생한 물리적 현상(Physical Phenomenon)을 나타낼 수도 있다. 통계적 이상치(Statistical Outlier)를 모두 공격적으로 제거하면 견고한 학습(Robust Learning)에 필요한 특이 상황까지 삭제할 위험이 있다. 효과적인 데이터 큐레이션은 통계 분석(Statistical Analysis), 물리적 추론(Physical Reasoning), 작업 맥락(Task Context), 불확실성 추정(Uncertainty Estimation)을 결합하여 유효하지 않은 기록과 정보 가치가 높은 예외 상황을 구분한다.
인간 시연 데이터(Human Demonstration Data)의 품질은 또 다른 복잡성을 발생시킨다. 원격조작 데이터(Teleoperation Data)는 작업자 숙련도(Operator Expertise), 반응 시간(Reaction Time), 인터페이스 한계(Interface Limitation), 개인별 움직임 선호도(Movement Preference)를 반영한다. 일부 시연에는 불필요한 주저 동작(Hesitation), 비효율적인 궤적(Inefficient Trajectory), 일관되지 않은 교정 행동(Corrective Action)이 포함된다. 데이터 큐레이션은 작업 완료(Task Completion), 궤적 부드러움(Trajectory Smoothness), 충돌 회피(Collision Avoidance), 실행 효율성(Execution Efficiency), 기타 작업별 평가 기준(Task-Dependent Criteria)을 사용하여 시연 품질을 평가하되 가장 짧은 궤적이 항상 최선이라고 가정하지 않는다.
합성 데이터(Synthetic Data)는 시뮬레이션 환경(Simulation Environment)이 완벽한 레이블을 가진 대량의 데이터를 생성할 수 있지만 현실성이 충분하지 않을 수 있기 때문에 별도의 큐레이션이 필요하다. 비현실적인 접촉 동역학(Contact Dynamics), 단순화된 물체 특성(Object Property), 제한적인 환경 변동성(Environmental Variability)은 모델이 시뮬레이션에만 존재하는 패턴(Simulation-Specific Pattern)에 의존하도록 만들 수 있다. 합성 데이터 큐레이션(Synthetic Data Curation)은 물리적 타당성(Physical Plausibility)을 검사하고 반복적인 시나리오(Repetitive Scenario)를 식별하며 단순히 데이터 양을 늘리는 대신 실제 관측(Real-World Observation)을 보완하는 사례를 선택한다.
현대적인 데이터 큐레이션 시스템(Data Curation System)은 대규모 데이터셋을 구성하고 필터링하기 위해 학습된 표현(Learned Representation)을 점점 더 많이 활용한다. 임베딩 모델(Embedding Model)은 관측, 궤적, 작업 설명(Task Description)을 특징 공간(Feature Space)에 매핑하여 의미적으로 관련된 경험을 쉽게 식별하도록 한다. 군집화(Clustering)와 유사도 분석(Similarity Analysis)은 중복 행동(Duplicated Behavior), 과소대표된 조건(Underrepresented Condition), 잠재적으로 새로운 이벤트(Novel Event)를 발견하는 데 활용된다. 이러한 방법은 확장 가능한 데이터 선택(Scalable Data Selection)을 지원하지만 효과는 학습된 표현의 품질과 관련성에 따라 달라진다.
불확실성 기반 데이터 큐레이션(Uncertainty-Driven Data Curation)은 모델 성능(Model Performance)과 데이터 선택(Data Selection)을 직접적으로 연결한다. 학습된 로봇 정책(Robot Policy)이 특정 상황에서 높은 예측 불확실성(Prediction Uncertainty)이나 반복적인 오류(Repeated Error)를 보이면 해당 경험을 우선적으로 검토하고 추가 학습에 활용할 수 있다. 이 접근법은 현재 모델이 충분한 지식을 확보하지 못한 영역에 데이터 엔지니어링(Data Engineering) 자원을 집중시킨다. 또한 목표 지향적 데이터 수집(Targeted Data Acquisition)을 통해 능동 학습(Active Learning)과 반복적인 성능 개선(Iterative Improvement)을 지원한다.
데이터셋 균형 조정(Dataset Balancing)은 서로 다른 작업(Task), 환경(Environment), 로봇(Robot), 데이터 소스(Data Source)가 학습 과정에 얼마나 기여하는지를 결정한다. 수집된 데이터 양만을 기준으로 샘플링(Sampling)하면 대규모 주행 데이터셋(Navigation Dataset)이 상대적으로 작은 조작 데이터셋(Manipulation Dataset)을 압도할 수 있다. 반대로 희귀 경험을 지나치게 오버샘플링(Oversampling)하면 실제 운영 환경에서 예상되는 데이터 분포가 왜곡될 수 있다. 효과적인 혼합 설계(Mixture Design)는 학습 목표, 실제 배포 환경에서의 발생 빈도(Deployment Frequency), 작업 난이도(Task Difficulty), 특정 행동의 상대적 중요성을 고려한다.
데이터 큐레이션은 신뢰할 수 있는 평가(Trustworthy Evaluation)에서도 핵심적인 역할을 수행한다. 학습 데이터(Training Data), 검증 데이터(Validation Data), 테스트 데이터(Test Data)는 반복 궤적, 중복 기록 세션(Overlapping Recording Session), 거의 동일한 시뮬레이션 장면(Simulation Scene)을 통한 정보 누출(Data Leakage)을 방지하도록 분리해야 한다. 동일한 로봇 에피소드(Robot Episode)의 개별 프레임(Frame)을 무작위로 분할하면 실제보다 과대평가된 성능 결과가 나타날 수 있다. 에피소드 수준(Episode-Level), 환경 수준(Environment-Level), 배포 현장 수준(Deployment-Site-Level)의 데이터 분리는 일반화 성능을 더욱 의미 있게 평가하도록 한다.
잘 설계된 데이터 큐레이션 프로세스(Data Curation Process)는 원본 기록(Original Recording)과 학습에 사용된 데이터셋 사이의 추적 가능성(Traceability)을 유지한다. 메타데이터(Metadata)에는 데이터 출처(Data Source), 로봇 구성(Robot Configuration), 센서 보정(Sensor Calibration), 수집 조건(Collection Condition), 처리 작업(Processing Operation), 데이터셋 버전(Dataset Version)이 기록되어야 한다. 이러한 데이터 계보(Data Provenance)는 엔지니어가 예상하지 못한 모델 행동을 조사하고 실험 결과를 재현하도록 지원한다. 또한 과거 정보를 잃지 않으면서 문제가 있는 데이터를 통제된 방식으로 교체하고 감사(Auditing) 및 거버넌스(Governance)를 수행할 수 있도록 한다.
피지컬 인공지능 시스템(Physical AI System)의 규모가 확대될수록 데이터 큐레이션의 경제적 중요성(Economic Significance)도 증가한다. 로봇 시연 데이터(Robot Demonstration Data) 수집, 시뮬레이션 인프라(Simulation Infrastructure) 운영, 센서 기록(Sensor Recording) 전송, 대규모 모델(Large Model) 학습에는 상당한 자원이 필요하다. 모든 수집 데이터를 동일한 우선순위(Priority)로 처리하는 방식은 비효율적일 수 있다. 데이터 큐레이션은 학습 가치가 높을 것으로 예상되는 경험에 자원을 집중하여 저장 공간(Storage), 어노테이션 작업(Annotation Effort), 통신 대역폭(Communication Bandwidth), 계산 용량(Computational Capacity)의 활용 효율을 높인다.
궁극적으로 데이터 큐레이션(Data Curation)은 일회성 전처리 작업(Preprocessing Activity)이 아니라 피지컬 인공지능 데이터 엔진(Physical AI Data Engine)의 핵심 구성요소로 이해해야 한다. 로봇이 새로운 환경을 경험하고 모델의 추가적인 취약점이 발견됨에 따라 가치 있는 데이터(Value of Data)의 기준도 변화한다. 지속적인 필터링(Continuous Filtering), 품질 평가(Quality Assessment), 다양성 분석(Diversity Analysis), 피드백 기반 선택(Feedback-Driven Selection)은 실제 배포 경험(Deployment Experience)과 학습 사이에 동적인 관계를 형성한다. 이러한 과정은 지속적으로 증가하는 데이터 집합(Data Collection)을 신뢰할 수 있고 적응 가능하며 확장 가능한 로봇 지능(Robotic Intelligence)을 위한 효과적인 학습 기반으로 전환한다.
06.02. Data Correctness Completeness and Consistency
데이터 정확성(Data Correctness), 완전성(Completeness), 일관성(Consistency)은 피지컬 인공지능(Physical AI) 시스템에서 데이터 품질(Data Quality)을 결정하는 세 가지 핵심 요소이다. 이러한 요소는 수집된 로봇 경험(Robot Experience)이 실제 물리적 사건(Physical Event)을 정확하게 표현하고, 학습에 필요한 충분한 정보를 포함하며, 서로 다른 데이터 소스(Data Source) 간에 호환 가능한 규칙을 따르는지를 결정한다. 대규모 데이터셋(Dataset)이라도 이러한 특성이 무시되면 신뢰할 수 없는 모델이 생성될 수 있다. 따라서 효과적인 데이터 큐레이션(Data Curation)은 모델 학습(Model Training) 전에 세 가지 요소를 모두 평가한다.
데이터 정확성(Data Correctness)은 기록된 정보가 실제 물리적 상태(Physical State), 행동(Action), 결과(Outcome)를 얼마나 정확하게 설명하는지를 의미한다. 정확한 로봇 데이터셋(Robot Dataset)은 유효한 센서 측정값(Sensor Measurement), 정확한 타임스탬프(Timestamp), 올바르게 보정된 좌표계(Coordinate Frame), 신뢰할 수 있는 레이블(Label)을 포함해야 한다. 이러한 요소 중 하나라도 오류가 발생하면 관측(Observation)과 행동 사이에 잘못된 관계가 형성되어 학습된 정책(Learned Policy)이 부정확한 예측(Prediction)을 수행하거나 부적절한 움직임을 실행할 수 있다.
데이터 정확성 문제(Correctness Problem)는 센서 보정(Sensor Calibration), 통신 지연(Communication Delay), 기록 소프트웨어(Recording Software)에서 자주 발생한다. 카메라(Camera)는 기하학적으로 왜곡된 영상(Geometrically Distorted Image)을 제공할 수 있으며, 라이다 센서(LiDAR Sensor)는 보정 드리프트(Calibration Drift)로 인해 부정확한 거리 측정값을 출력할 수 있다. 관절 엔코더(Joint Encoder)는 잘못된 위치 추정값(Position Estimate)을 생성할 수 있고, 힘 센서(Force Sensor)에는 측정 오프셋(Measurement Offset)이 발생할 수 있다. 이러한 오류는 보정 검사(Calibration Check), 물리적 타당성 검사(Physical Plausibility Test), 독립적인 측정값 간 비교를 통해 식별해야 한다.
시간적 정확성(Temporal Correctness)은 로봇 학습이 관측과 이후 행동 사이의 관계에 의존하기 때문에 특히 중요하다. 카메라 프레임(Camera Frame), 고유수용성 측정값(Proprioceptive Measurement), 모터 명령(Motor Command)은 서로 다른 주파수(Frequency)로 작동하는 경우가 많다. 잘못된 타임스탬프나 동기화 오프셋(Synchronization Offset)은 행동을 잘못된 관측과 연결할 수 있다. 작은 시간 오차(Timing Error)라도 접촉이 많은 조작(Contact-Rich Manipulation), 동적 보행(Dynamic Locomotion), 고속 자율주행(High-Speed Autonomous Navigation)에 상당한 영향을 미칠 수 있다.
공간적 정확성(Spatial Correctness)은 모든 기하학적 정보(Geometric Information)가 유효한 좌표 변환(Coordinate Transformation)과 일관된 기준 좌표계(Reference Frame)를 따르도록 요구한다. 로봇 데이터셋에는 일반적으로 카메라 좌표계(Camera Coordinate Frame), 센서 좌표계(Sensor Coordinate Frame), 로봇 베이스 좌표계(Robot-Base Coordinate Frame), 월드 좌표계(World Coordinate Frame)로 표현된 위치 정보가 포함된다. 잘못된 변환 행렬(Transformation Matrix)이나 좌표계 지정(Frame Assignment)은 물리적으로 불가능한 궤적(Trajectory)을 생성할 수 있다. 검증 절차(Validation Procedure)는 변환 체인(Transformation Chain), 좌표계 방향성(Coordinate Handedness), 보정 매개변수(Calibration Parameter), 센서와 로봇 구성요소 사이의 기하학적 관계를 확인해야 한다.
레이블 정확성(Label Correctness)은 지도 학습(Supervised Learning)이 기록된 경험에 대한 신뢰할 수 있는 해석에 의존하기 때문에 또 다른 필수 요구사항이다. 물체 식별 정보(Object Identity), 파지 성공 지표(Grasp Success Indicator), 작업 경계(Task Boundary), 행동 설명(Action Description)에는 어노테이션 오류(Annotation Error)가 포함될 수 있다. 자동 레이블링 시스템(Automated Labeling System) 역시 수천 개의 샘플에 체계적인 오류(Systematic Error)를 전파할 수 있다. 품질 보증(Quality Assurance)은 자동 검증(Automated Validation), 선별적인 인간 검토(Targeted Human Review), 일치도 분석(Agreement Analysis)을 결합하여 신뢰할 수 없는 레이블이 모델 학습에 영향을 미치기 전에 식별해야 한다.
데이터 완전성(Data Completeness)은 데이터셋이 의도한 학습 목표(Learning Objective)나 평가 목표(Evaluation Objective)에 필요한 정보를 포함하고 있는지를 설명한다. 궤적 데이터(Trajectory Data)에 정확한 카메라 영상과 관절 위치(Joint Position)가 포함되어 있더라도 행동 명령(Action Command)이나 작업 결과(Task Outcome)가 누락되어 있다면 불완전할 수 있다. 따라서 완전성은 보편적인 점검 목록(Universal Checklist)이 아니라 실제 응용 분야(Application)를 기준으로 평가해야 한다. 서로 다른 학습 방법(Learning Method)은 관측, 행동, 보상(Reward), 맥락 정보(Contextual Information)의 서로 다른 조합을 요구한다.
에피소드 완전성(Episode Completeness)은 모방 학습(Imitation Learning)과 강화 학습(Reinforcement Learning)에서 특히 중요하다. 완전한 에피소드(Complete Episode)는 일반적으로 초기 조건(Initial Condition), 관측 시퀀스(Observation Sequence), 실행된 행동(Executed Action), 관련 상태 전이(State Transition), 종료 정보(Termination Information)를 보존한다. 최종 상태(Terminal State)가 누락되면 성공적인 작업 완료(Successful Completion)와 중단(Interruption)을 구분하기 어려워질 수 있다. 불완전한 에피소드도 표현 학습(Representation Learning)에 활용할 수 있지만 그 한계는 명확하게 기록되어야 한다.
멀티모달 완전성(Multimodal Completeness)은 센싱 및 제어 채널(Sensing and Control Channel) 전반에서 동기화된 정보의 가용성(Availability)을 의미한다. 조작 데이터셋(Manipulation Dataset)은 RGB 영상(RGB Image), 깊이 측정값(Depth Measurement), 관절 상태(Joint State), 그리퍼 명령(Gripper Command), 힘 피드백(Force Feedback)을 필요로 할 수 있다. 특정 모달리티(Modality)가 누락되면 접촉 이벤트(Contact Event)를 재구성하거나 실패 원인을 설명하는 능력이 저하될 수 있다. 데이터 큐레이션 시스템(Data Curation System)은 누락된 채널을 식별하고 센서 가용성을 기록하며 부분적인 관측이 특정 학습 목표에 적합한지 판단해야 한다.
누락 데이터(Missing Data)가 발생했다고 해서 해당 에피소드 전체를 자동으로 제외해서는 안 된다. 일부 데이터 공백(Data Gap)은 보간(Interpolation), 재구성(Reconstruction), 중복 센서(Redundant Sensor)와의 동기화를 통해 복구할 수 있다. 그러나 재구성된 값(Reconstructed Value)은 불확실성(Uncertainty)을 발생시키고 중요한 물리적 사건을 숨길 수 있다. 특히 충돌(Collision), 급격한 가속(Rapid Acceleration), 접촉 전이(Contact Transition) 주변에서는 보간이 위험할 수 있다. 큐레이션된 데이터셋(Curated Dataset)은 원본 측정값(Original Measurement)과 추정값(Estimated Value)을 구분하고 재구성 방법(Reconstruction Method)에 관한 정보를 보존해야 한다.
데이터 일관성(Data Consistency)은 서로 다른 로봇, 기록 세션(Recording Session), 환경, 소프트웨어 시스템에서 수집된 데이터가 호환 가능한 정의와 표현 방식을 따르도록 보장한다. 일관성에는 측정 단위(Measurement Unit), 좌표 규칙(Coordinate Convention), 샘플링 주파수(Sampling Rate), 행동 의미(Action Semantics), 메타데이터 스키마(Metadata Schema), 레이블 분류 체계(Labeling Taxonomy)가 포함된다. 이러한 규칙이 일치하지 않으면 개별적으로 정확한 데이터셋을 결합하더라도 잘못된 학습 사례가 생성될 수 있다. 따라서 표준화된 표현(Standardized Representation)은 확장 가능한 로봇 학습(Scalable Robot Learning)에 필수적이다.
단위 일관성(Unit Consistency)은 로봇 데이터셋에서 예방 가능한 오류의 대표적인 원인이다. 어떤 시스템은 관절 각도(Joint Angle)를 도(Degree) 단위로 기록하지만 다른 시스템은 라디안(Radian)을 사용하며, 한 제어기(Controller)는 거리를 밀리미터(Millimeter)로 표현하는 반면 다른 제어기는 미터(Meter)를 사용할 수 있다. 속도 명령(Velocity Command) 역시 서로 다른 규칙을 따를 수 있다. 이러한 차이는 데이터셋 통합(Dataset Aggregation) 과정에서 발견되지 않을 수 있다. 명시적인 단위 선언(Unit Declaration), 스키마 검증(Schema Validation), 변환 검사(Conversion Check)는 이러한 오류가 학습 파이프라인(Training Pipeline)에 유입되는 것을 방지한다.
의미적 일관성(Semantic Consistency)은 레이블과 행동 설명이 데이터셋 전반에서 동일한 의미를 유지하는지를 나타낸다. 예를 들어 어떤 데이터 수집 시스템(Collection System)은 물체 접촉(Object Contact)을 파지 성공(Grasp Success)으로 정의하지만, 다른 시스템은 안정적인 들어 올리기(Stable Lifting)와 배치(Placement)까지 요구할 수 있다. 마찬가지로 작업 완료 기준(Task Completion Criteria)은 작업자나 환경에 따라 달라질 수 있다. 의미적 정의(Semantic Definition)를 통일하려면 공유 온톨로지(Shared Ontology), 명확한 어노테이션 지침(Annotation Guideline), 소스별 레이블(Source-Specific Label)과 표준화된 범주(Standardized Category) 사이의 명시적인 매핑(Mapping)이 필요하다.
서로 다른 로봇 형태(Robot Embodiment) 간의 일관성은 각 플랫폼이 서로 다른 관절 구조(Joint Structure), 제어 인터페이스(Control Interface), 물리적 능력(Physical Capability)을 가지고 있기 때문에 추가적인 문제를 발생시킨다. 모바일 매니퓰레이터(Mobile Manipulator), 휴머노이드 로봇(Humanoid Robot), 산업용 로봇 팔(Industrial Robot Arm)은 유사한 작업을 수행하더라도 서로 호환되지 않는 행동 표현(Action Representation)을 사용할 수 있다. 데이터 큐레이션은 로봇 형태별 정보(Embodiment-Specific Information)를 보존하면서 의미 있는 비교가 가능하도록 해야 한다. 표준 작업 설명(Canonical Task Description)과 신중하게 정의된 행동 매핑(Action Mapping)은 중요한 물리적 차이를 제거하지 않으면서 로봇 간 학습(Cross-Robot Learning)을 지원할 수 있다.
자동화된 품질 검증(Automated Quality Validation)은 정확성, 완전성, 일관성을 통합 검사 프로세스(Unified Inspection Process)로 결합할 수 있다. 검증 규칙(Validation Rule)은 수치 범위(Numerical Range), 타임스탬프 순서(Timestamp Ordering), 누락 필드(Missing Field), 좌표 변환(Coordinate Transformation), 센서 가용성(Sensor Availability), 스키마 준수 여부(Schema Compliance)를 검사할 수 있다. 더욱 발전된 시스템은 예측된 물리적 행동(Predicted Physical Behavior)과 기록된 결과(Recorded Outcome)를 비교할 수 있다. 이러한 검사는 확장 가능한 품질 보증(Scalable Quality Assurance)을 제공하지만 특이한 데이터가 실제 운영 조건을 나타낼 가능성이 있는 경우에는 여전히 인간의 조사가 필요하다.
세 가지 데이터 품질 요소(Data Quality Dimension)는 서로 밀접하게 관련되어 있지만 동일한 개념으로 취급해서는 안 된다. 데이터셋은 완전하고 일관적이면서도 잘못된 센서 값을 포함할 수 있다. 다른 데이터셋은 정확한 측정값을 포함하지만 필수적인 작업 결과가 누락될 수 있다. 또 다른 데이터셋은 개별적으로 유효한 에피소드를 포함하지만 서로 호환되지 않는 좌표계를 사용할 수 있다. 신뢰할 수 있는 데이터 큐레이션은 각 요소를 독립적으로 평가한 다음 데이터셋 적합성(Dataset Suitability)을 통합적으로 판단해야 한다.
품질 점수화(Quality Scoring)는 데이터셋의 우선순위를 결정하고 문제가 있는 기록을 식별하기 위한 실용적인 방법이다. 정확성 점수(Correctness Score)는 보정 신뢰도(Calibration Confidence)와 검증 결과(Validation Result)를 반영할 수 있으며, 완전성 점수(Completeness Score)는 필수 정보의 가용성을 측정한다. 일관성 점수(Consistency Score)는 공유 스키마(Shared Schema)와 의미적 정의(Semantic Definition)에 대한 준수 여부를 평가할 수 있다. 복합 점수(Composite Score)는 자동 필터링(Automated Filtering)을 지원할 수 있지만 가중치(Weighting)는 작업 요구사항(Task Requirement)에 따라 결정되어야 하며 중요한 안전 관련 결함(Safety-Related Defect)을 가려서는 안 된다.
데이터 출처 추적(Data Provenance)과 버전 관리(Version Control)는 수집(Collection), 처리(Processing), 수정(Correction), 검증(Validation)의 이력을 보존함으로써 품질 관리(Quality Management)를 강화한다. 각 에피소드는 센서 구성(Sensor Configuration), 소프트웨어 버전(Software Version), 보정 기록(Calibration Record), 변환 작업(Transformation Operation)에 관한 정보를 유지해야 한다. 오류가 발견되면 엔지니어는 영향을 받은 데이터셋을 식별하고 수정 절차(Corrective Procedure)를 재현할 수 있다. 이러한 추적 가능성(Traceability)은 신뢰할 수 있는 실험을 지원하고 이전에 해결한 문제가 이후 학습 주기(Training Cycle)에서 다시 발생하는 것을 방지한다.
피지컬 인공지능 데이터 엔진(Physical AI Data Engine)이 대규모 로봇 군집(Robot Fleet)에서 작동할 때 지속적인 품질 모니터링(Continuous Quality Monitoring)은 필수적이다. 센서 성능 저하(Sensor Degradation), 소프트웨어 업데이트(Software Update), 변화하는 환경(Changing Environment), 이기종 하드웨어(Heterogeneous Hardware)는 데이터 특성(Data Characteristic)을 점진적으로 변화시킬 수 있다. 자동 모니터링(Automated Monitoring)은 누락 데이터 비율(Missing-Data Rate)의 증가, 보정 이상(Calibration Anomaly), 스키마 위반(Schema Violation)을 탐지할 수 있다. 이후 모델 평가(Model Evaluation)와 현장 실패(Field Failure)에서 얻은 피드백(Feedback)을 활용하여 영향을 받은 기록에 대한 추가 검사와 수정을 수행할 수 있다.
궁극적으로 정확성(Correctness), 완전성(Completeness), 일관성(Consistency)은 신뢰할 수 있는 피지컬 인공지능 데이터셋(Physical AI Dataset)의 기반을 형성한다. 정확성은 정보가 실제 물리적 사건(Physical Event)을 반영하도록 보장하고, 완전성은 의미 있는 학습에 필요한 맥락(Context)을 제공하며, 일관성은 다양한 데이터 소스 간의 신뢰할 수 있는 통합을 가능하게 한다. 이러한 특성은 원시 로봇 기록(Raw Robot Recording)을 신뢰할 수 있는 학습 자산(Training Asset)으로 전환하고, 견고성(Robustness), 일반화 능력(Generalization), 안전성(Safety)을 고려한 로봇 지능(Robotic Intelligence)을 생성할 수 있는 확장 가능한 데이터 엔진(Scalable Data Engine)을 지원한다.
06.03. Data Diversity Representativeness and Coverage
데이터 다양성(Data Diversity), 대표성(Representativeness), 포괄성(Coverage)은 피지컬 인공지능(Physical AI)에서 데이터셋 품질(Dataset Quality)을 결정하는 핵심 요소이다. 다양성은 경험의 변동 범위(Variation of Experiences)를 설명하고, 대표성은 수집된 데이터가 의도한 운영 조건(Operating Conditions)을 얼마나 충실하게 반영하는지를 측정하며, 포괄성은 중요한 상황이 충분히 포함되어 있는지를 평가한다. 이러한 특성은 로봇 학습 시스템(Robot Learning System)이 익숙한 시연을 넘어 일반화(Generalization)하고 복잡한 물리 환경(Physical Environment)에서 안정적으로 작동할 수 있는지를 결정한다.
대규모 데이터셋(Large Dataset)이 반드시 다양한 경험(Diverse Experiences)을 포함하는 것은 아니다. 동일한 창고 통로(Warehouse Aisle)에서 수집한 수백만 개의 카메라 프레임(Camera Frame)은 서로 다른 배치 구조(Layout), 장애물(Obstacle), 조명 조건(Lighting Condition), 인간 상호작용(Human Interaction)을 포함하는 작은 데이터셋보다 유용한 변동성이 적을 수 있다. 반복적인 관측(Repetitive Observation)은 지식의 확장에 비례하는 효과 없이 저장 비용(Storage Cost)과 학습 비용(Training Cost)을 증가시킨다. 따라서 효과적인 데이터 큐레이션(Data Curation)은 단순히 기록된 샘플(Sample)의 수를 최대화하기보다 의미 있는 다양성(Meaningful Variation)을 강조한다.
피지컬 인공지능에서 다양성(Diversity)은 환경(Environment), 물체(Object), 작업(Task), 행동(Action), 로봇 형태(Robot Embodiment), 상호작용 결과(Interaction Outcome)를 포함하는 여러 상호 연결된 차원으로 확장된다. 환경 다양성(Environmental Diversity)은 조명(Illumination), 날씨(Weather), 지형(Terrain), 작업 공간 형상(Workspace Geometry)의 변화를 포함한다. 물체 다양성(Object Diversity)은 형태(Shape), 크기(Size), 재질(Material), 질감(Texture), 물리적 특성(Physical Property)의 차이를 포함한다. 행동 다양성(Behavioral Diversity)은 서로 다른 실행 전략(Execution Strategy), 움직임 패턴(Movement Pattern), 예상하지 못한 사건에 대한 대응을 포괄한다.
작업 다양성(Task Diversity)은 범용 로봇 지능(General-Purpose Robot Intelligence)을 개발하는 데 특히 중요하다. 고정된 위치에서 물체를 집는 작업(Picking Task)만 학습한 조작 시스템(Manipulation System)은 분류(Sorting), 적재(Stacking), 삽입(Inserting), 용기 간 물체 이동(Object Transfer)에서 어려움을 겪을 수 있다. 다양한 작업 시연(Task Demonstration)은 모델이 서로 다른 목표(Goal), 제약조건(Constraint), 행동 시퀀스(Action Sequence)를 경험하도록 한다. 그러나 유용한 다양성은 단순한 물체 외형 변화가 아니라 작업 구조(Task Structure)의 의미 있는 차이를 필요로 한다.
대표성(Representativeness)은 학습 데이터셋(Training Dataset)과 실제 배포(Deployment) 과정에서 예상되는 운영 데이터 분포(Operational Distribution) 사이의 관계를 의미한다. 창고 로봇(Warehouse Robot)은 현실적인 통로 구성(Aisle Configuration), 보행자 활동(Pedestrian Activity), 팔레트 배치(Pallet Arrangement), 장애물 발생 빈도(Obstacle Frequency)를 반영한 학습 사례를 경험해야 한다. 인위적으로 단순화된 장면(Simplified Scene)이 대부분인 데이터셋은 실험실에서 우수한 결과를 보이더라도 실제 운영 환경(Production Environment)에서는 실패할 수 있다. 따라서 대표성 있는 샘플링(Representative Sampling)은 배포 조건에 대한 명확한 이해를 필요로 한다.
대표성은 운영 데이터 분포(Operational Distribution)를 수정 없이 그대로 재현하는 것을 의미하지 않는다. 드물지만 안전에 중요한 이벤트(Safety-Critical Event)는 자연 발생 빈도가 효과적인 학습에 충분하지 않기 때문에 의도적인 오버샘플링(Oversampling)이 필요할 수 있다. 반대로 자주 발생하지만 반복적인 관측은 중복성(Redundancy)을 줄이기 위해 다운샘플링(Downsampling)할 수 있다. 적절한 데이터셋 분포(Dataset Distribution)는 학습 목표가 모방 학습(Imitation Learning), 견고한 인식(Robust Perception), 안전성 평가(Safety Evaluation), 범용 사전학습(General-Purpose Pretraining) 중 무엇인지에 따라 달라진다.
포괄성(Coverage)은 데이터셋이 작업 공간(Task Space)과 환경 공간(Environment Space)의 관련 영역을 어느 정도 포함하는지를 측정한다. 로봇 조작(Robotic Manipulation)에서 포괄성은 물체 범주(Object Category), 파지 방향(Grasp Orientation), 접촉 조건(Contact Condition), 작업 결과(Task Outcome)를 포함할 수 있다. 자율주행(Autonomous Navigation)에서는 장애물 구성(Obstacle Configuration), 표면 유형(Surface Type), 가시성 조건(Visibility Condition), 교통 상호작용(Traffic Interaction)을 포함할 수 있다. 포괄성 분석(Coverage Analysis)은 실제 배포 중 예상하지 못한 실패를 유발할 수 있는 누락된 조합(Missing Combination)을 식별한다.
포괄성은 여러 추상화 수준(Abstraction Level)에서 평가해야 한다. 저수준 포괄성(Low-Level Coverage)은 센서 측정값(Sensor Measurement), 관절 구성(Joint Configuration), 행동 범위(Action Range)를 다룬다. 중간 수준 포괄성(Intermediate-Level Coverage)은 물체 상호작용(Object Interaction), 기본 움직임(Motion Primitive), 환경 조건(Environmental Condition)을 포함한다. 고수준 포괄성(High-Level Coverage)은 완전한 작업(Complete Task), 다단계 행동(Multi-Step Behavior), 복구 전략(Recovery Strategy)을 설명한다. 데이터셋은 저수준 변동성을 광범위하게 포함하더라도 장기 자율성(Long-Horizon Autonomy)에 필요한 작업 수준의 경험이 부족할 수 있다.
다양성과 포괄성 사이의 상호작용(Interaction)은 폭넓은 변동성이 중요한 시나리오(Critical Scenario)의 충분한 표현을 보장하지 않기 때문에 중요하다. 데이터셋이 다양한 환경을 포함하더라도 미끄러운 표면(Slippery Surface)이나 불안정한 물체 접촉(Unstable Object Contact)에 대한 사례는 매우 적을 수 있다. 마찬가지로 광범위한 물체 다양성에도 불구하고 파지 전략(Grasping Strategy)은 제한적일 수 있다. 데이터 큐레이션 시스템은 개별 속성(Individual Attribute)과 속성 조합(Attribute Combination)을 모두 분석하여 의미 있는 데이터 공백(Data Gap)을 식별해야 한다.
조합적 포괄성(Combinatorial Coverage)은 변수(Variable)의 수가 증가할수록 어려워진다. 조명(Lighting), 물체 형상(Object Geometry), 로봇 구성(Robot Configuration), 표면 마찰(Surface Friction), 작업 지시(Task Instruction)는 매우 많은 가능한 조합을 생성할 수 있다. 모든 조합을 빠짐없이 수집하는 것은 일반적으로 현실적이지 않다. 대신 데이터 엔진(Data Engine)은 물리적으로 의미 있는 상호작용(Physically Meaningful Interaction), 고위험 조건(High-Risk Condition), 모델 불확실성(Model Uncertainty) 또는 관측된 실패(Observed Failure)와 관련된 조합에 우선순위를 부여할 수 있다.
로봇 형태 다양성(Robot Embodiment Diversity)은 데이터셋 설계(Dataset Design)에 추가적인 복잡성을 발생시킨다. 산업용 매니퓰레이터(Industrial Manipulator), 모바일 로봇(Mobile Robot), 휴머노이드(Humanoid), 사족보행 로봇(Quadruped), 항공 로봇(Aerial Platform)은 서로 다른 센서(Sensor), 행동 공간(Action Space), 물리적 제약조건(Physical Constraint)을 가지고 작동한다. 교차 형태 데이터셋(Cross-Embodiment Dataset)은 작업과 환경에 대한 전이 가능한 표현(Transferable Representation)을 지원할 수 있다. 그러나 데이터 큐레이션은 서로 호환되지 않는 행동이나 동역학(Dynamics)이 동일한 것으로 취급되지 않도록 로봇 형태별 특성(Embodiment-Specific Characteristic)을 보존해야 한다.
데이터 소스 다양성(Data Source Diversity) 역시 학습 품질(Learning Quality)에 영향을 미친다. 원격조작(Teleoperation)은 실제 로봇 동역학(Real Robot Dynamics)에 기반한 시연을 제공하고, 인간 영상(Human Video)은 일상적인 상호작용에 관한 폭넓은 지식을 제공하며, 시뮬레이션(Simulation)은 특이한 조건을 통제된 방식으로 탐색할 수 있도록 한다. 각 데이터 소스는 서로 다른 강점과 한계를 가진다. 효과적인 혼합 설계(Mixture Design)는 현실성(Realism), 행동 관측 가능성(Action Observability), 어노테이션 품질(Annotation Quality), 데이터 분포의 차이를 고려하면서 상호 보완적인 정보를 결합한다.
합성 데이터(Synthetic Data)는 실제 물리 환경에서 수집하기에 비용이 많이 들거나 위험하거나 어려운 시나리오를 생성하여 포괄성을 향상시킬 수 있다. 도메인 무작위화(Domain Randomization)는 질감(Texture), 조명(Lighting), 물체 배치(Object Placement), 물리적 매개변수(Physical Parameter)를 변화시켜 모델이 더욱 폭넓은 조건을 경험하도록 한다. 그러나 과도한 무작위화(Excessive Randomization)는 비현실적인 경험(Unrealistic Experience)을 생성할 수 있다. 합성 데이터셋 큐레이션(Synthetic Dataset Curation)은 물리적으로 타당한 시나리오(Plausible Scenario)를 우선시하고 추가된 변동성이 실제 환경 일반화(Real-World Generalization)를 개선하는지 검증해야 한다.
다양성을 측정(Measuring Diversity)하려면 단순히 파일 수(File Count)나 기록 시간(Recording Hours)을 계산하는 것 이상이 필요하다. 유용한 지표(Indicator)에는 서로 다른 작업(Task), 환경(Environment), 물체 범주(Object Category), 로봇 구성(Robot Configuration), 행동 패턴(Behavioral Pattern)의 수가 포함된다. 특징 공간 분석(Feature-Space Analysis)은 샘플이 학습된 표현(Learned Representation)의 서로 다른 영역을 차지하는지 확인할 수 있다. 군집화(Clustering), 거리 지표(Distance Metric), 분포 비교(Distribution Comparison)는 중복 데이터가 집중된 영역과 충분히 표현되지 않은 경험을 식별하는 실용적인 도구를 제공한다.
대표성은 큐레이션된 데이터셋(Curated Dataset)을 실제 배포 환경의 관측(Deployment Observation)과 비교하여 평가할 수 있다. 엔지니어는 환경 조건(Environmental Condition), 물체 발생 빈도(Object Frequency), 작업 요청(Task Request), 로봇 운영 상태(Robot Operating State)의 분포를 분석할 수 있다. 학습 데이터 분포(Training Distribution)와 배포 데이터 분포(Deployment Distribution) 사이의 차이는 잠재적인 일반화 위험(Generalization Risk)을 나타낸다. 그러나 드문 물리적 상호작용(Rare Physical Interaction)과 안전에 중요한 조건(Safety-Critical Condition)은 발생 빈도에 비해 중요성이 매우 클 수 있으므로 통계적 유사성(Statistical Similarity)만으로는 충분하지 않다.
포괄성 평가(Coverage Evaluation)는 구조화된 시나리오 분류 체계(Scenario Taxonomy)와 명시적인 운영 요구사항(Operational Requirement)을 활용할 때 효과적이다. 주행 시스템(Navigation System)은 장애물 유형(Obstacle Type), 움직임 특성(Motion Behavior), 가시성(Visibility), 통과 가능 여유 공간(Available Clearance)에 따라 시나리오를 분류할 수 있다. 조작 시스템(Manipulation System)은 물체 형상(Object Geometry), 접촉 유형(Contact Type), 파지 전략(Grasp Strategy), 결과(Outcome)를 기준으로 경험을 구성할 수 있다. 이러한 분류는 추상적인 다양성 목표(Diversity Objective)를 측정 가능한 포괄성 목표(Coverage Target)로 전환하고 체계적인 공백 분석(Gap Analysis)을 지원한다.
롱테일 시나리오(Long-Tail Scenario)는 신뢰할 수 있는 피지컬 인공지능을 구현하는 데 특히 중요하다. 예상하지 못한 물체 움직임(Unexpected Object Motion), 특이한 인간 행동(Unusual Human Behavior), 센서 성능 저하(Sensor Degradation), 드문 접촉 동역학(Uncommon Contact Dynamics)은 일반적인 학습 데이터 분포(Training Distribution)에 포함되지 않을 수 있다. 이러한 이벤트는 표준 평가(Standard Evaluation)에서는 드러나지 않는 한계를 보여주는 경우가 많다. 현장 실패(Field Failure), 개입(Intervention), 충돌 직전 상황(Near Miss)에 대한 목표 지향적 마이닝(Targeted Mining)은 기존 로봇 정책(Robot Policy)에 어려움을 주는 상황까지 포괄성을 확장하는 데 도움이 된다.
능동적 데이터 수집(Active Data Collection)은 식별된 데이터 공백(Data Gap)을 기준으로 새로운 경험을 선택하여 데이터셋 구성(Dataset Composition)을 개선할 수 있다. 포괄성 분석에서 반사 표면(Reflective Surface), 좁은 통로(Narrow Passage), 변형 가능한 물체(Deformable Object)에 대한 사례가 부족하다고 판단되면 데이터 수집 작업(Collection Campaign)을 해당 조건에 집중할 수 있다. 모델 불확실성(Model Uncertainty)과 예측 오류(Prediction Error)는 이러한 선택을 더욱 정교하게 안내할 수 있다. 이는 실제 배포 경험(Deployment Experience)이 데이터셋 다양성과 운영 관련성(Operational Relevance)을 지속적으로 개선하는 피드백 루프(Feedback Loop)를 형성한다.
데이터셋 균형 조정(Dataset Balancing)은 다양성, 대표성, 포괄성을 실제 학습 데이터 혼합(Training Mixture)에 어떻게 반영할지를 결정한다. 샘플링 전략(Sampling Strategy)은 충분히 표현되지 않은 작업(Underrepresented Task)의 비중을 높이는 동시에 일반적인 행동(Common Behavior)의 과도한 반복을 제한할 수 있다. 그러나 지나치게 공격적인 균형 조정(Aggressive Balancing)은 실제 운영 환경에서의 발생 빈도(Operational Frequency)를 왜곡하고 일반적인 시나리오(Common Scenario)에 대한 성능을 저하시킬 수 있다. 효과적인 설계는 학습(Training), 스트레스 테스트(Stress Testing), 편향 없는 평가(Unbiased Evaluation)를 목적으로 하는 데이터셋을 구분한다.
궁극적으로 다양성(Diversity), 대표성(Representativeness), 포괄성(Coverage)은 서로 대체 가능한 목표가 아니라 상호 보완적인 목표(Complementary Objective)로 관리해야 한다. 다양성은 경험의 범위(Range of Experiences)를 확장하고, 대표성은 실제 배포 환경(Actual Deployment Environment)과의 관련성을 유지하며, 포괄성은 중요한 조건이 누락되지 않도록 보장한다. 지속적인 측정(Continuous Measurement), 목표 지향적 데이터 수집(Targeted Data Collection), 피드백 기반 큐레이션(Feedback-Driven Curation)은 이러한 원칙을 실용적인 데이터 엔진 역량(Data Engine Capability)으로 전환하여 적응성(Adaptability), 견고성(Robustness), 확장성(Scalability)을 갖춘 피지컬 인공지능 시스템(Physical AI System)의 개발을 지원한다.
06.04. Corruption Missing Data and Sensor Failure
데이터 손상(Data Corruption), 데이터 누락(Missing Data), 센서 고장(Sensor Failure)은 로봇 학습(Robot Learning)이 물리 세계(Physical World)에 대한 정확하고 연속적인 관측(Observation)에 의존하기 때문에 피지컬 인공지능(Physical AI) 데이터 엔지니어링(Data Engineering)에서 중요한 과제이다. 기존 디지털 데이터셋(Digital Dataset)과 달리 로봇 기록 데이터(Robotic Recording)는 여러 센서(Sensor), 제어 명령(Control Command), 시간적 시퀀스(Temporal Sequence)를 결합한다. 이러한 구성요소에서 발생하는 오류는 물리적 관계(Physical Relationship)를 왜곡하고 잘못된 학습 사례(Training Example)를 생성하며 학습된 정책(Learned Policy)의 신뢰성(Reliability)을 저하시킬 수 있다.
데이터 손상(Data Corruption)은 데이터 수집(Data Acquisition), 전송(Transmission), 처리(Processing), 저장(Storage) 과정에서 기록된 정보가 의도하지 않게 변경되거나 손상되거나 잘못 표현되는 현상이다. 손상된 카메라 프레임(Corrupted Camera Frame), 형식이 잘못된 라이다 패킷(Malformed LiDAR Packet), 유효하지 않은 관절 측정값(Invalid Joint Measurement), 손상된 궤적 파일(Damaged Trajectory File)이 대표적인 사례이다. 일부 손상은 즉시 탐지할 수 있지만 미세한 오류(Subtle Error)는 학습이나 실제 배포(Deployment) 단계까지 발견되지 않을 수 있다. 효과적인 데이터 큐레이션(Data Curation)은 전체 데이터 생명주기(Data Lifecycle)에 걸쳐 체계적인 무결성 검사(Integrity Check)를 수행해야 한다.
데이터 손상은 하드웨어 결함(Hardware Fault), 통신 간섭(Communication Interference), 소프트웨어 결함(Software Defect), 저장 장치 고장(Storage Failure), 호환되지 않는 데이터 형식(Incompatible Data Format)에서 발생할 수 있다. 고대역폭 센서(High-Bandwidth Sensor)는 특히 패킷 손실(Dropped Packet)과 불완전한 전송(Incomplete Transfer)에 취약하다. 잘못된 직렬화(Serialization)나 압축 해제(Decompression)도 명확한 오류 없이 수치값(Numerical Value)을 변경할 수 있다. 따라서 데이터 파이프라인(Data Pipeline)은 파일 무결성(File Integrity), 메시지 구조(Message Structure), 수치 범위(Numerical Range), 기록된 필드 사이의 예상 관계를 검증해야 한다.
데이터 누락(Missing Data)은 로봇 행동(Robot Behavior)을 정확하게 해석하는 데 필요한 관측 정보(Observation Information)나 메타데이터(Metadata)가 존재하지 않는 상태를 의미한다. 기록 과정에서 카메라 프레임(Camera Frame)이 손실되거나 관절 상태(Joint State)가 누락되거나 특정 움직임에 해당하는 행동 명령(Action Command)이 기록되지 않을 수 있다. 누락 정보는 간헐적으로 발생하거나 전체 센싱 채널(Sensing Channel)에 영향을 미칠 수 있다. 그 영향은 학습 목표(Learning Objective), 데이터 공백의 지속 시간(Gap Duration), 다른 센서가 해당 사건을 재구성할 만큼 충분한 정보를 제공하는지에 따라 달라진다.
데이터 누락 특성(Missingness)은 시간적 특성(Temporal Characteristic)과 구조적 특성(Structural Characteristic)에 따라 분류해야 한다. 개별 샘플의 누락(Isolated Missing Sample)은 일시적인 통신 지연(Transient Communication Delay)으로 발생할 수 있지만 연속적인 데이터 공백(Continuous Gap)은 센서 연결 해제(Sensor Disconnection)나 기록 중단(Recording Interruption)을 나타낼 수 있다. 전체 모달리티(Modality)의 누락은 하드웨어 부재(Unavailable Hardware)나 구성 차이(Configuration Difference)를 반영할 수 있다. 이러한 조건을 구분하면 에피소드(Episode)를 복구(Repair), 부분 보존(Partial Retention), 특정 학습 데이터셋에서 제외(Exclusion)할지 결정하는 데 도움이 된다.
센서 고장(Sensor Failure)은 항상 측정값 누락(Missing Measurement)과 동일한 형태로 나타나는 것은 아니므로 추가적인 복잡성을 발생시킨다. 카메라 렌즈(Camera Lens)가 가려져 있어도 프레임이 계속 생성될 수 있으며, 라이다(LiDAR)는 오염(Contamination)으로 인해 그럴듯하지만 부정확한 거리 측정값(Distance Measurement)을 반환할 수 있다. 관성측정장치(Inertial Measurement Unit, IMU)에는 바이어스 드리프트(Bias Drift)가 발생할 수 있고, 힘 센서(Force Sensor)는 포화(Saturation) 상태에 도달할 수 있다. 이러한 조건에서는 겉으로 유효해 보이지만 실제 물리 환경을 정확하게 나타내지 못하는 데이터가 생성될 수 있다.
센서 성능 저하(Sensor Degradation)는 즉각적인 고장보다 점진적으로 진행되는 경우가 많다. 온도 변화(Temperature Change), 진동(Vibration), 기계적 마모(Mechanical Wear), 오염(Contamination), 보정 드리프트(Calibration Drift)는 측정 정확도(Measurement Accuracy)를 점차 감소시킬 수 있다. 개별 측정값이 예상 수치 범위(Expected Numerical Range) 내에 있으면 이러한 성능 저하가 발견되지 않을 수 있다. 센서 통계(Sensor Statistics), 보정 잔차(Calibration Residual), 신호 안정성(Signal Stability), 센서 간 일치도(Cross-Sensor Agreement)를 장기적으로 모니터링하면 측정 품질(Measurement Quality)의 악화를 식별하는 데 도움이 된다.
시간적 데이터 손상(Temporal Corruption)은 관측과 행동 사이의 관계(Observation-Action Relationship)를 학습할 때 특히 위험하다. 잘못된 타임스탬프(Incorrect Timestamp), 중복 메시지(Duplicated Message), 순서가 뒤바뀐 패킷(Reordered Packet), 동기화 드리프트(Synchronization Drift)는 제어 명령(Control Command)을 잘못된 시점의 관측과 연결할 수 있다. 접촉 기반 조작(Contact-Rich Manipulation)이나 동적 보행(Dynamic Locomotion)에서는 작은 시간 오차(Timing Error)도 상호작용(Interaction)의 해석을 근본적으로 바꿀 수 있다. 따라서 타임스탬프 검증(Timestamp Validation)과 동기화 분석(Synchronization Analysis)은 로봇 데이터 품질 관리(Robotic Data Quality Control)의 필수 요소이다.
멀티모달 일관성 검사(Multimodal Consistency Check)는 데이터 손상과 센서 이상(Sensor Anomaly)을 탐지하는 효과적인 방법을 제공한다. 카메라 관측(Camera Observation), 깊이 측정값(Depth Measurement), 관절 엔코더(Joint Encoder), 관성 센서(Inertial Sensor), 힘 신호(Force Signal)는 서로 관련된 물리적 사건(Physical Event)을 설명하는 경우가 많다. 이러한 데이터 소스 사이의 불일치(Disagreement)는 잘못된 측정값(Faulty Measurement)이나 부정확한 보정(Incorrect Calibration)을 나타낼 수 있다. 그러나 가림(Occlusion), 센서 지연(Sensor Latency), 측정 특성(Measurement Characteristic)의 차이로 인해 정상적인 불일치도 발생할 수 있으므로 신중하게 해석해야 한다.
물리적 타당성 제약조건(Physical Plausibility Constraint)은 이상 탐지(Anomaly Detection)를 더욱 개선할 수 있다. 관절 위치(Joint Position)는 기계적으로 유효한 한계(Mechanically Valid Limit) 내에 있어야 하고, 속도 변화(Velocity Change)는 액추에이터 성능(Actuator Capability)을 충족해야 하며, 강체 변환(Rigid-Body Transformation)은 기하학적 일관성(Geometric Consistency)을 유지해야 한다. 예상하지 못한 불연속성(Unexpected Discontinuity)은 손상된 측정값이나 기록 오류를 나타낼 수 있다. 그러나 충돌(Collision)과 급격한 접촉 이벤트(Abrupt Contact Event)도 실제 불연속적인 변화를 발생시킬 수 있으므로 검증 과정에서는 물리적 예외(Physical Exception)와 유효하지 않은 데이터를 구분해야 한다.
손상되거나 누락된 데이터를 복구(Repair)할 때는 의도한 학습 작업(Learning Task)을 신중하게 고려해야 한다. 변화가 느린 신호(Slowly Varying Signal)의 짧은 데이터 공백은 보간(Interpolation)을 통해 재구성할 수 있지만, 빠른 상호작용(Rapid Interaction) 중 누락된 카메라 프레임이나 힘 측정값은 신뢰성 있게 복구하기 어려울 수 있다. 중복 측정값(Redundant Measurement)이 존재하면 센서 융합(Sensor Fusion)과 상태 추정(State Estimation)을 통해 대체 추정값(Alternative Estimate)을 생성할 수 있다. 재구성된 값(Reconstructed Value)은 항상 원본 관측(Original Observation)과 별도로 식별해야 한다.
무분별한 보간(Blind Interpolation)은 실제 물리 세계에서 발생하지 않은 인공적인 궤적(Artificial Trajectory)을 생성할 수 있다. 예상하지 못한 충돌(Unexpected Collision)을 경험한 로봇 팔(Robot Arm)은 충돌 전후의 측정값만으로 추론할 수 없는 급격한 변화를 겪을 수 있다. 이러한 데이터를 평활화(Smoothing)하면 실패의 증거(Failure Evidence)가 제거되거나 잘못된 시연 데이터(Misleading Demonstration)가 생성될 수 있다. 데이터 큐레이션 시스템은 추정된 시퀀스(Estimated Sequence)를 검증된 기록(Verified Recording)으로 제시하기보다 불확실성(Uncertainty), 데이터 공백 경계(Gap Boundary), 재구성 메타데이터(Reconstruction Metadata)를 보존해야 한다.
데이터 필터링 결정(Filtering Decision)은 데이터 품질(Data Quality)과 정보 가치(Information Value)를 모두 고려해야 한다. 심하게 손상된 에피소드(Severely Corrupted Episode)는 정책 학습(Policy Training)에 적합하지 않을 수 있지만, 센서 고장이 포함된 기록은 결함 탐지(Fault Detection)와 견고한 인식(Robust Perception) 연구에 유용할 수 있다. 정상 작동(Normal Operation)을 목적으로 하는 데이터셋은 유효하지 않은 관측을 제외할 수 있지만, 내결함성 학습 데이터셋(Fault-Tolerant Learning Dataset)은 이러한 데이터를 의도적으로 보존할 수 있다. 따라서 품질 평가(Quality Assessment)는 작업별 유용성(Task-Specific Usefulness)에 대한 판단과 분리되어야 한다.
자동 데이터 손상 탐지(Automated Corruption Detection)는 결정론적 검증 규칙(Deterministic Validation Rule)과 통계적 방법(Statistical Method), 학습 기반 방법(Learning-Based Method)을 결합할 수 있다. 체크섬(Checksum), 스키마 검증기(Schema Validator), 타임스탬프 단조성 검사(Timestamp Monotonicity Test), 누락값 분석(Missing-Value Analysis)은 구조적 문제(Structural Problem)를 탐지한다. 통계적 모니터링(Statistical Monitoring)은 비정상적인 신호 분포(Unusual Signal Distribution)를 식별하고, 이상 탐지 모델(Anomaly Detection Model)은 예상되는 센서 동작(Expected Sensor Behavior)에서 벗어나는 변화를 인식할 수 있다. 이러한 방법을 결합하면 확장성(Scalability)이 향상되지만 자동화된 판단은 실제 희귀 이벤트(Legitimate Rare Event)와 비교하여 검증해야 한다.
데이터 품질 모니터링(Data Quality Monitoring)은 개별 에피소드 수준(Episode Level)과 로봇 군집 수준(Fleet Level)에서 모두 수행해야 한다. 개별 에피소드는 누락된 프레임(Missing Frame), 센서 데이터 중단(Sensor Dropout), 타임스탬프 오류(Timestamp Error), 손상된 측정값(Corrupted Measurement)을 기준으로 평가할 수 있다. 로봇 군집 수준의 분석은 특정 하드웨어 개정판(Hardware Revision), 펌웨어 버전(Firmware Version), 환경(Environment), 운영 조건(Operating Condition)과 관련된 반복적인 고장을 발견할 수 있다. 집계된 품질 지표(Aggregated Quality Metric)는 개별 기록만으로는 명확하게 드러나지 않는 체계적인 결함(Systematic Defect)을 엔지니어링 팀이 식별하도록 지원한다.
데이터 출처 추적(Data Provenance)과 추적 가능성(Traceability)은 손상되거나 복구된 데이터셋을 관리할 때 필수적이다. 각 기록에는 센서 구성(Sensor Configuration), 보정 상태(Calibration State), 데이터 수집 소프트웨어(Acquisition Software), 타임스탬프(Timestamp), 탐지된 이상(Detected Anomaly), 처리 작업(Processing Operation)에 관한 정보가 유지되어야 한다. 복구 작업(Repair Operation)을 수행한 경우에도 원본 데이터(Original Data)와 변환 이력(Transformation History)에 접근할 수 있어야 한다. 버전이 관리되는 품질 기록(Versioned Quality Record)은 재현 가능한 실험(Reproducible Experiment)을 지원하고 모델 실패(Model Failure)가 데이터 결함(Data Defect)에서 비롯되었는지 조사할 수 있도록 한다.
실시간 모니터링(Real-Time Monitoring)은 사용할 수 없는 로봇 데이터(Unusable Robot Data)가 누적되는 것을 줄일 수 있다. 로봇 내장 진단(On-Robot Diagnostics)은 운영 중 센서 연결 해제(Sensor Disconnection), 과도한 패킷 손실(Excessive Packet Loss), 동기화 오류(Synchronization Error), 비정상적인 신호 동작(Abnormal Signal Behavior)을 탐지할 수 있다. 기록 시스템(Recording System)은 영향을 받은 시간 구간(Affected Interval)에 상태 지표(Health Indicator)를 추가하거나 진단 로깅(Diagnostic Logging)을 실행할 수 있다. 이러한 메커니즘은 후속 데이터 큐레이션(Downstream Data Curation)을 개선하고 실제 환경 이벤트(Genuine Environmental Event)와 센싱 인프라(Sensing Infrastructure)의 고장을 구분하는 데 도움이 된다.
센서 고장(Sensor Failure)과 안전성(Safety)의 관계는 특별한 주의가 필요하다. 손상된 관측(Corrupted Observation)으로 학습한 정책(Policy)은 장애물(Obstacle), 접촉력(Contact Force), 불안정한 움직임(Unstable Motion)에 대해 신뢰할 수 없는 반응을 보일 수 있다. 반대로 이상적인 센서 데이터(Ideal Sensor Data)만으로 학습하면 실제 환경에서 발생하는 센서 성능 저하(Sensor Degradation)에 대응하지 못할 수 있다. 정확하게 레이블링된 결함 시나리오(Fault Scenario)는 견고성 학습(Robustness Training), 불확실성 추정(Uncertainty Estimation), 대체 동작(Fallback Behavior)을 지원할 수 있지만 안전에 중요한 대응(Safety-Critical Response)은 독립적으로 검증되어야 한다.
궁극적으로 데이터 손상(Data Corruption), 데이터 누락(Missing Data), 센서 고장(Sensor Failure)을 관리하는 것은 결함이 있는 기록(Defective Recording)을 제거하는 것 이상의 작업을 요구한다. 신뢰할 수 있는 피지컬 인공지능 데이터 엔진(Physical AI Data Engine)은 이상(Anomaly)을 탐지하고 원인을 식별하며 영향을 평가하고 유용한 실패 정보(Failure Information)를 보존하며 수정 작업(Corrective Operation)을 문서화해야 한다. 데이터 수집(Collection), 저장(Storage), 학습(Training), 배포(Deployment) 전반에 걸친 지속적인 검증(Continuous Validation)은 불완전한 센서 데이터 스트림(Imperfect Sensor Stream)을 신뢰할 수 있는 학습 자원(Trustworthy Learning Resource)으로 전환하면서 더욱 견고하고 결함 인식 능력(Fault Awareness)을 갖춘 로봇 지능(Robotic Intelligence)의 개발을 지원한다.
06.05. Outlier and Duplicate Detection
이상치 탐지(Outlier Detection)와 중복 데이터 탐지(Duplicate Detection)는 대규모 로봇 데이터셋(Robotic Dataset)에 비정상적인 측정값(Abnormal Measurement), 반복적인 관측(Repeated Observation), 중복 궤적(Redundant Trajectory)이 자주 포함되기 때문에 피지컬 인공지능(Physical AI)의 데이터 큐레이션(Data Curation)에서 필수적인 구성요소이다. 이러한 데이터는 학습 데이터 분포(Training Distribution)를 왜곡하고 계산 비용(Computational Cost)을 증가시키며 모델 일반화(Model Generalization) 성능을 저하시킬 수 있다. 효과적인 탐지 방법(Detection Method)은 견고한 로봇 학습(Robust Robot Learning)에 필요한 다양성(Diversity)을 유지하면서 유효하지 않은 정보(Invalid Information)와 가치 있는 희귀 경험(Valuable Rare Experience)을 구분한다.
이상치(Outlier)는 데이터셋(Dataset) 내에서 예상되는 패턴(Expected Pattern)과 상당한 차이를 보이는 데이터 포인트(Data Point) 또는 시퀀스(Sequence)를 의미한다. 로봇공학(Robotics)에서 이상치는 비정상적인 센서 측정값(Unusual Sensor Reading), 예상하지 못한 관절 움직임(Unexpected Joint Movement), 비정상적인 속도(Abnormal Velocity), 드문 환경 상호작용(Rare Environmental Interaction)으로 나타날 수 있다. 일부는 기록 오류(Recording Error)나 하드웨어 고장(Hardware Failure)에서 발생하지만 다른 일부는 실제 물리적 사건(Legitimate Physical Event)을 나타낸다. 이를 정확하게 해석하려면 로봇 동역학(Robot Dynamics), 작업 목표(Task Objective), 운영 조건(Operating Condition)에 대한 이해가 필요하다.
통계적 이상치 탐지(Statistical Outlier Detection)는 일반적인 수치 분포(Numerical Distribution)에서 벗어나는 관측값을 식별한다. 대표적인 방법으로 표준편차 임계값(Standard Deviation Threshold), 사분위 범위(Interquartile Range), 강건한 공분산 추정(Robust Covariance Estimation), 밀도 기반 분석(Density-Based Analysis)이 있다. 이러한 방법은 비정상적인 관절 위치(Joint Position), 힘 측정값(Force Measurement), 센서 값(Sensor Value)을 발견할 수 있다. 그러나 로봇 작업이 여러 동작 모드(Operating Mode)나 변동성이 큰 환경(Highly Variable Environment)을 포함하는 경우 고정된 통계적 임계값(Fixed Statistical Threshold)은 정상적인 행동을 이상치로 잘못 분류할 수 있다.
물리적 제약조건(Physical Constraint)은 손상된 측정값(Corrupted Measurement)과 정상적인 관측(Legitimate Observation)을 구분하는 추가적인 근거를 제공한다. 관절 각도(Joint Angle)는 기계적 한계(Mechanical Limit)를 준수해야 하고, 액추에이터 명령(Actuator Command)은 정의된 작동 범위(Operating Range) 내에 있어야 하며, 기하학적 변환(Geometric Transformation)은 물리적 일관성(Physical Consistency)을 유지해야 한다. 이러한 조건을 위반하면 보정 오류(Calibration Error), 손상된 기록(Corrupted Recording), 센서 결함(Sensor Fault)을 의심할 수 있다. 그러나 비정상적인 접촉력(Unusual Contact Force)이나 급격한 움직임 변화(Abrupt Motion Change)는 유효하지 않은 데이터가 아니라 실제 충돌(Real Collision)을 반영할 수도 있다.
시간적 이상치 탐지(Temporal Outlier Detection)는 개별 측정값을 독립적으로 평가하는 대신 시퀀스(Sequence) 전반에서 발생하는 편차(Deviation)를 분석한다. 관절 궤적(Joint Trajectory)의 갑작스러운 불연속성(Discontinuity), 예상하지 못한 가속도 급증(Acceleration Spike), 일관되지 않은 관측-행동 타이밍(Observation-Action Timing)은 기록 문제(Recording Problem)를 나타낼 수 있다. 시퀀스 인식 방법(Sequence-Aware Method)은 현재 행동(Current Behavior)을 최근 이력(Recent History) 및 예상 동역학(Expected Dynamics)과 비교할 수 있다. 이러한 접근법은 프레임 수준의 통계 분석(Frame-Level Statistical Analysis)에서는 발견하기 어려운 이상을 식별하는 데 특히 유용하다.
멀티모달 이상치 탐지(Multimodal Outlier Detection)는 카메라(Camera), 라이다(LiDAR), 고유수용감각(Proprioception), 힘 센서(Force Sensor), 제어 명령(Control Command)에서 얻은 정보를 결합한다. 관절 엔코더(Joint Encoder)가 갑작스러운 위치 변화(Position Change)를 보고했지만 시각적 추적(Visual Tracking)과 관성 측정(Inertial Measurement)에서는 이에 상응하는 움직임이 나타나지 않는다면 해당 측정값을 의심할 수 있다. 센서 간 불일치(Cross-Sensor Disagreement)는 센서 결함(Sensor Fault)이나 동기화 오류(Synchronization Error)를 발견하는 데 도움이 된다. 그러나 관측값을 유효하지 않다고 판단하기 전에 가림(Occlusion), 지연(Latency), 센서 정확도(Sensor Accuracy)의 차이를 고려해야 한다.
학습 기반 이상 탐지(Learning-Based Anomaly Detection)는 수동으로 정의한 임계값(Manually Defined Threshold)을 대체하거나 보완할 수 있는 확장 가능한 방법을 제공한다. 오토인코더(Autoencoder), 예측 모델(Predictive Model), 표현 학습 시스템(Representation Learning System)은 관측값이나 궤적이 이전에 경험한 데이터와 얼마나 유사한지 추정할 수 있다. 큰 재구성 오차(Reconstruction Error)나 낮은 우도 점수(Likelihood Score)는 비정상적인 샘플을 식별하는 데 활용할 수 있다. 이러한 신호는 검토 우선순위(Inspection Priority)를 결정하는 데 유용하지만 익숙하지 않은 데이터를 자동으로 손상되었거나 학습에 부적합한 데이터로 취급해서는 안 된다.
희귀 이벤트(Rare Event)는 이상 탐지(Anomaly Detection)와 데이터 제거(Data Removal)를 구분해야 하는 중요한 이유를 제공한다. 예상하지 못한 장애물(Unexpected Obstacle), 불안정한 파지(Unstable Grasp), 충돌(Collision), 복구 동작(Recovery Maneuver)은 통계적으로 드물지만 견고성(Robustness)을 향상시키는 데 매우 가치가 있을 수 있다. 이러한 경험을 제거하면 어려운 조건(Challenging Condition)에서의 성능이 약화될 수 있다. 따라서 효과적인 데이터 큐레이션(Data Curation)은 유효하지 않은 이상치(Invalid Outlier)와 정상적인 롱테일 이벤트(Valid Long-Tail Event)를 구분하고 안전성(Safety), 적응(Adaptation), 복구 학습(Recovery Learning)에 기여하는 정보를 보존해야 한다.
중복 데이터 탐지(Duplicate Detection)는 동일하거나 매우 유사한 데이터가 과도하게 반복되는 문제를 다룬다. 연속적으로 작동하는 로봇 시스템(Robotic System)은 정지 상태(Stationary Period)나 반복적인 작업 실행(Repeated Task Execution) 중 거의 동일한 프레임을 수천 개씩 기록할 수 있다. 이러한 중복성(Redundancy)은 새로운 정보를 반드시 제공하지 않으면서 저장 공간 요구사항(Storage Requirement)과 학습 시간(Training Time)을 증가시킨다. 중복 데이터 탐지는 반복된 내용을 식별하여 데이터셋을 압축(Compression), 균형 조정(Balancing), 선택적 샘플링(Selective Sampling)할 수 있도록 한다.
완전 중복 데이터(Exact Duplicate)는 동일한 정보를 포함하는 기록으로, 반복 업로드(Repeated Upload), 기록 구간 중첩(Recording Overlap), 데이터 파이프라인 오류(Data Pipeline Error)에서 발생하는 경우가 많다. 암호학적 해시(Cryptographic Hash)와 콘텐츠 체크섬(Content Checksum)은 바이트 단위로 동일한 파일이나 샘플(Byte-Identical File or Sample)을 효율적으로 식별할 수 있다. 그러나 동일한 물리적 관측(Physical Observation)이 서로 다른 압축 설정(Compression Setting)이나 메타데이터(Metadata)로 저장될 수도 있다. 따라서 완전 일치 검사(Exact Matching)는 파일 표현(File Representation)의 차이에도 불구하고 동등한 콘텐츠(Equivalent Content)를 인식할 수 있는 방법으로 보완해야 한다.
유사 중복 데이터 탐지(Near-Duplicate Detection)는 완전히 동일하지는 않지만 상당 부분 중복된 정보를 포함하는 샘플을 식별한다. 연속적인 카메라 프레임(Consecutive Camera Frame), 반복적인 파지 시도(Repeated Grasp Attempt), 유사한 주행 궤적(Similar Navigation Trajectory)은 높은 시각적 유사성(Visual Similarity)이나 행동 유사성(Behavioral Similarity)을 보일 수 있다. 지각 해싱(Perceptual Hashing), 특징 임베딩(Feature Embedding), 거리 기반 비교(Distance-Based Comparison)는 이러한 관계를 발견할 수 있다. 적절한 유사도 임계값(Similarity Threshold)은 작은 차이가 의미 없는 반복인지 물리적 상태(Physical State)의 중요한 변화인지에 따라 달라진다.
궤적 수준 중복 탐지(Trajectory-Level Duplicate Detection)는 로봇 학습이 관측(Observation)과 행동(Action)의 완전한 시퀀스에 의존하기 때문에 특히 중요하다. 두 시연(Demonstration)은 타이밍(Timing)이나 실행 속도(Execution Speed)가 약간 다르더라도 거의 동일한 움직임을 수행할 수 있다. 시퀀스 정렬(Sequence Alignment), 동적 시간 워핑(Dynamic Time Warping), 궤적 임베딩(Trajectory Embedding)은 행동 유사성(Behavioral Similarity)을 식별할 수 있다. 그러나 접촉 조건(Contact Condition), 작업 결과(Outcome), 복구 행동(Recovery Action)의 차이가 존재한다면 다른 측면에서 유사한 궤적이라도 보존할 가치가 있다.
임베딩 기반 탐지(Embedding-Based Detection)는 이상치와 중복 데이터를 모두 식별하기 위한 공통 프레임워크(Common Framework)를 제공한다. 센서 관측(Sensor Observation), 로봇 상태(Robot State), 행동 시퀀스(Action Sequence)를 의미적 특성(Semantic Characteristic)이나 행동 특성(Behavioral Characteristic)을 나타내는 특징 벡터(Feature Vector)로 인코딩(Encoding)할 수 있다. 밀집된 군집(Dense Cluster)은 중복 경험(Redundant Experience)을 나타낼 수 있으며 고립된 데이터 포인트(Isolated Point)는 희귀 시나리오(Rare Scenario)나 이상(Anomaly)을 드러낼 수 있다. 이러한 접근법의 유용성은 임베딩(Embedding)이 작업과 관련된 물리적 차이(Task-Relevant Physical Distinction)를 얼마나 잘 보존하는지에 따라 달라진다.
군집화 방법(Clustering Method)은 대규모 로봇 데이터셋을 관련 경험(Related Experience)의 그룹으로 구성하는 데 도움이 된다. 밀도 기반 군집화(Density-Based Clustering)는 희소 영역(Sparse Region)과 잠재적인 이상치(Potential Outlier)를 식별할 수 있으며 중심점 기반 방법(Centroid-Based Method)은 일반적인 운영 패턴(Common Operating Pattern)을 요약할 수 있다. 군집 소속 정보(Cluster Membership)는 대표 샘플링(Representative Sampling)과 중복성 감소(Redundancy Reduction)도 지원한다. 그러나 시각적으로 유사한 장면(Visually Similar Scene)이 실질적으로 다른 행동이나 결과에 대응할 수 있으므로 군집화 결과는 작업 메타데이터(Task Metadata)와 함께 해석해야 한다.
중복 데이터 제거(Duplicate Removal)는 데이터셋의 통계적 의미(Statistical Meaning)와 운영상 의미(Operational Meaning)를 보존해야 한다. 반복된 경험은 실제 작업 빈도(Genuine Task Frequency), 일반적인 운영 조건(Common Operating Condition), 실행 신뢰성(Execution Reliability)의 중요한 변동성을 나타낼 수 있다. 유사한 샘플을 모두 제거하면 배포 데이터 분포(Deployment Distribution)가 왜곡되고 행동 일관성(Behavioral Consistency)에 관한 근거가 감소할 수 있다. 따라서 데이터 큐레이션 시스템은 우발적인 중복(Accidental Duplication)과 정상적인 반복(Legitimate Repetition)을 구분하고 필요한 경우 샘플링 가중치(Sampling Weight)나 빈도 메타데이터(Frequency Metadata)를 유지해야 한다.
이상치 및 중복 데이터 탐지는 신뢰할 수 있는 모델 평가(Model Evaluation)에도 기여한다. 거의 동일한 에피소드(Near-Identical Episode)가 학습 데이터셋(Training Dataset)과 테스트 데이터셋(Test Dataset)에 동시에 포함되면 정보 누출(Information Leakage)이 발생하여 성능 평가(Performance Estimate)가 인위적으로 높아질 수 있다. 동일한 세션(Session)에서 수집된 유사한 궤적은 환경 조건(Environmental Condition)과 작업자 행동(Operator Behavior)을 공유할 수 있다. 그룹 인식 데이터 분할(Group-Aware Splitting)과 데이터셋 분할 간 중복 검사(Cross-Partition Duplicate Check)는 일반화 성능(Generalization Performance)을 더욱 신뢰성 있게 측정하도록 지원한다.
자동화된 탐지 파이프라인(Automated Detection Pipeline)은 구조적 검증(Structural Validation), 통계 분석(Statistical Analysis), 물리적 추론(Physical Reasoning), 학습된 유사도 측정(Learned Similarity Measure)을 결합해야 한다. 이상치 후보(Candidate Outlier)에는 이상 점수(Anomaly Score)를 부여하고, 잠재적인 중복 데이터(Potential Duplicate)에는 유사도 점수(Similarity Score)와 출처 정보(Provenance Information)를 제공할 수 있다. 손상 가능성이 높은 데이터(High-Confidence Corruption)는 자동으로 격리(Quarantine)할 수 있지만 판단이 모호한 사례(Ambiguous Case)는 추가 검토(Additional Review)를 거쳐야 한다. 탐지 단계(Detection Stage)와 필터링 단계(Filtering Stage)를 분리하면 가치 있는 경험이 복구할 수 없도록 제거되는 것을 방지할 수 있다.
자동화 시스템(Automated System)이 비정상적인 물리적 상호작용(Unusual Physical Interaction)을 발견했을 때는 인간 검토(Human Review)가 여전히 중요하다. 엔지니어는 동기화된 센서 스트림(Synchronized Sensor Stream), 작업 맥락(Task Context), 로봇 구성(Robot Configuration), 결과 정보(Outcome Information)를 분석하여 탐지된 이상이 데이터 손상(Corruption)인지 정상적인 이벤트(Legitimate Event)인지 판단할 수 있다. 검토 결과(Review Decision)는 향후 탐지 모델(Detection Model)을 개선하고 필터링 임계값(Filtering Threshold)을 정교화하는 데 활용할 수 있다. 이러한 인간 참여형 프로세스(Human-in-the-Loop Process)는 안전에 중요한 시나리오(Safety-Critical Scenario)와 이전에 경험하지 못한 시나리오(Previously Unseen Scenario)에서 특히 가치가 높다.
대규모 로봇 군집(Fleet Scale)에서 이상치 및 중복 데이터 탐지는 일회성 전처리 작업(Preprocessing Task)이 아니라 지속적인 데이터 엔진 기능(Continuous Data Engine Function)이 된다. 여러 현장에 배포된 로봇은 서로 중복되는 경험(Overlapping Experience)과 드문 운영 실패(Rare Operational Failure)를 동시에 생성한다. 중앙 집중식 인덱싱(Centralized Indexing), 분산 유사도 검색(Distributed Similarity Search), 이벤트 기반 샘플링(Event-Based Sampling)은 유용한 관측(Informative Observation)을 보존하면서 중복 업로드(Redundant Upload)를 줄일 수 있다. 탐지 통계(Detection Statistics)는 센서 성능 저하(Sensor Degradation), 환경 분포 변화(Environmental Drift), 로봇 행동 패턴(Robot Behavior Pattern)의 변화도 드러낸다.
궁극적으로 이상치 탐지(Outlier Detection)와 중복 데이터 탐지(Duplicate Detection)는 단순히 데이터셋 크기(Dataset Size)를 최소화하는 것이 아니라 정보 품질(Information Quality)을 최적화해야 한다. 이상치 분석(Outlier Analysis)은 가치 있는 희귀 이벤트(Rare Event)를 보존하면서 손상된 측정값(Corrupted Measurement)으로부터 학습 시스템(Learning System)을 보호하고, 중복 데이터 분석(Duplicate Analysis)은 대표성 있는 경험 분포(Representative Experience Distribution)를 훼손하지 않으면서 불필요한 반복을 줄인다. 이러한 기능은 다양한 로봇과 환경에서 작동하는 피지컬 인공지능 데이터 엔진(Physical AI Data Engine)의 학습 효율성(Training Efficiency), 평가 무결성(Evaluation Integrity), 신뢰성(Reliability)을 향상시킨다.
06.06. Low Information and Low Quality Data Removal
저정보 데이터(Low-Information Data)와 저품질 데이터(Low-Quality Data)의 제거는 대규모 로봇 데이터셋(Robotic Dataset)에 학습 기여도가 낮거나 잘못된 패턴을 유발하는 관측 데이터가 자주 포함되기 때문에 피지컬 인공지능(Physical AI) 데이터 큐레이션(Data Curation)의 핵심 단계이다. 연속적인 데이터 기록(Continuous Recording)은 반복적인 장면(Repetitive Scene), 비활동 구간(Inactive Period), 잡음이 포함된 측정값(Noisy Measurement), 불완전한 시연(Incomplete Demonstration)을 생성한다. 부적합한 샘플(Unsuitable Sample)을 제거하면 학습 효율성(Training Efficiency)을 높이고 저장 비용(Storage Cost)을 줄이며 학습 시스템(Learning System)이 신뢰할 수 있는 물리적 행동(Physical Behavior)을 지원하는 경험에 집중하도록 할 수 있다.
저정보 데이터(Low-Information Data)는 데이터셋(Dataset)에 이미 포함된 정보와 비교하여 추가적인 지식(Additional Knowledge)을 거의 제공하지 않는 관측 데이터를 의미한다. 대표적인 사례로 변화가 없는 작업 공간(Unchanged Workspace)의 반복적인 이미지, 장시간의 로봇 비활동(Robot Inactivity), 안정적인 조건에서 수집된 거의 동일한 궤적(Nearly Identical Trajectory)이 있다. 이러한 데이터는 기술적으로 정확할 수 있지만 한계 학습 가치(Marginal Learning Value)는 낮을 수 있다. 따라서 이를 식별하려면 단순히 기록 무결성(Recording Integrity)을 검사하는 것이 아니라 중복성(Redundancy), 신규성(Novelty), 관련성(Relevance)을 측정해야 한다.
저품질 데이터(Low-Quality Data)는 신뢰성(Reliability)이나 유용성(Usefulness)을 저하시키는 결함(Defect)을 포함한다는 점에서 저정보 데이터와 다르다. 흐릿한 이미지(Blurred Image), 부정확한 레이블(Inaccurate Label), 손상된 센서 측정값(Corrupted Sensor Measurement), 불완전한 행동 시퀀스(Incomplete Action Sequence), 동기화가 잘못된 모달리티(Poorly Synchronized Modality)는 모두 학습 품질을 저하시킬 수 있다. 그러나 데이터 품질(Data Quality)은 의도한 학습 목표(Learning Objective)에 따라 달라진다. 흐릿한 이미지는 물체 인식(Object Recognition)에는 부적합할 수 있지만 움직임 흐림(Motion Blur)에 대응하는 인식 시스템(Perception System)을 학습하는 데는 유용할 수 있다.
정보 가치(Information Value)와 데이터 품질(Data Quality)을 구분하는 것은 효과적인 필터링(Filtering)을 위해 필수적이다. 완벽하게 기록된 정지 상태 에피소드(Stationary Episode)는 조작 학습(Manipulation Learning)에 제공하는 정보가 적을 수 있지만, 예상하지 못한 충돌(Unexpected Collision)을 기록한 잡음이 많은 데이터는 안전성 분석(Safety Analysis)에 중요한 근거를 제공할 수 있다. 따라서 필터링 시스템(Filtering System)은 정보량(Information Content)과 측정 신뢰성(Measurement Reliability)을 독립적으로 평가해야 한다. 이러한 차원을 결합하면 가치 있는 희귀 이벤트(Rare Event)가 단순히 비정상적으로 보인다는 이유만으로 제거되는 것을 방지할 수 있다.
중복성(Redundancy)은 로봇공학(Robotics)에서 저정보 데이터가 발생하는 가장 일반적인 원인 중 하나이다. 고주파 카메라(High-Frequency Camera)는 움직임이 거의 없는 구간에서 수백 개의 유사한 프레임을 수집할 수 있다. 반복적인 시연(Repeated Demonstration) 역시 새로운 물체(Object), 행동(Action), 환경 조건(Environmental Condition)을 추가하지 않은 채 유사한 궤적을 생성할 수 있다. 시간적 서브샘플링(Temporal Subsampling), 유사도 분석(Similarity Analysis), 궤적 군집화(Trajectory Clustering)는 대표성 있는 관측(Representative Observation)을 유지하면서 불필요한 반복을 줄일 수 있다.
정보량(Information Content)은 통계적 변동성(Statistical Variation), 특징 다양성(Feature Diversity), 학습된 표현(Learned Representation)을 이용하여 추정할 수 있다. 시각적 변화(Low Visual Change)가 적거나 상태 전이(State Transition)가 거의 없거나 행동 패턴(Action Pattern)이 반복되면 신규성(Novelty)이 제한적일 수 있다. 임베딩 기반 유사도 측정(Embedding-Based Similarity Measure)은 표현 공간(Representation Space)에서 밀집된 영역에 위치하는 관측을 식별할 수 있다. 그러나 작은 물리적 변화(Physical Change)가 중요한 결과를 가져올 수 있으므로 정보 지표(Information Metric)는 작업 관련 차이(Task-Relevant Difference)에 민감해야 한다.
로봇 비활동(Robot Inactivity)은 데이터 제거 과정에서 특별한 고려가 필요하다. 움직임이 없는 긴 구간은 행동 예측(Action Prediction)에 거의 기여하지 않을 수 있지만 정지 상태 관측(Stationary Observation)은 위치 추정(Localization), 환경 모니터링(Environmental Monitoring), 행동하지 않아야 하는 상황에 대한 학습(Learning When Not to Act)에 중요할 수 있다. 주행 정책(Navigation Policy)은 보행자를 기다리는 사례가 필요할 수 있으며 조작 정책(Manipulation Policy)은 안정적인 접촉(Stable Contact)을 유지하는 사례가 필요할 수 있다. 따라서 필터링 결정(Filtering Decision)은 단순한 움직임 크기(Motion Magnitude)가 아니라 작업 의미(Task Semantics)를 반영해야 한다.
저품질 센서 데이터(Low-Quality Sensor Data)는 잡음(Noise), 보정 드리프트(Calibration Drift), 가림(Occlusion), 포화(Saturation), 통신 오류(Communication Error), 환경 간섭(Environmental Interference)에서 발생할 수 있다. 자동 검사(Automated Check)는 유효하지 않은 범위(Invalid Range), 누락된 측정값(Missing Measurement), 불안정한 타임스탬프(Unstable Timestamp), 일관되지 않은 센서 관계(Inconsistent Sensor Relationship)를 식별할 수 있다. 그러나 현실적인 센서 성능 저하(Sensor Degradation)는 견고성 학습(Robustness Training)에 유용할 수 있다. 데이터 큐레이션 시스템(Data Curation System)은 우발적인 결함(Accidental Defect)과 의도적으로 보존한 어려운 조건(Challenging Condition)을 구분하고 적절한 품질 주석(Quality Annotation)을 유지해야 한다.
시연 품질(Demonstration Quality)은 또 다른 중요한 필터링 차원(Filtering Dimension)이다. 원격조작 궤적(Teleoperated Trajectory)에는 작업자의 망설임(Operator Hesitation), 불필요한 움직임(Unnecessary Movement), 파지 실패(Failed Grasp), 불완전한 작업 수행(Incomplete Task Execution)이 포함될 수 있다. 이러한 행동을 전문가 시연(Expert Demonstration)으로 취급하면 모방 학습(Imitation Learning)의 효과가 감소할 수 있다. 그러나 실패한 시도(Unsuccessful Attempt)와 수정 행동(Corrective Action)은 복구 학습(Recovery Learning)을 지원할 수 있다. 따라서 시연 필터링(Demonstration Filtering)은 작업 결과(Task Outcome), 실행 효율성(Execution Efficiency), 안전성(Safety), 의도한 학습 목적(Training Purpose)을 함께 고려해야 한다.
궤적 품질 평가(Trajectory Quality Assessment)는 부드러움(Smoothness), 작업 완료 상태(Completion Status), 충돌 빈도(Collision Frequency), 행동 일관성(Action Consistency), 작업 제약조건(Task Constraint)으로부터의 편차(Deviation)를 포함할 수 있다. 이러한 지표(Indicator)는 비효율적이거나 신뢰할 수 없는 실행을 식별하는 데 도움이 된다. 그러나 정상적인 조작 과정에서도 급격한 접촉 전이(Abrupt Contact Transition)나 빠른 수정 행동(Rapid Corrective Action)이 필요할 수 있으므로 부드러운 궤적이 항상 우수한 것은 아니다. 품질 점수화(Quality Scoring)는 서로 다른 로봇 행동(Robot Behavior)에 보편적인 임계값(Universal Threshold)을 적용하기보다 작업 인식 기준(Task-Aware Criteria)을 사용해야 한다.
학습 기반 데이터 가치 평가(Learning-Based Data Valuation)는 개별 샘플(Individual Sample)이나 샘플 그룹(Sample Group)이 모델 성능(Model Performance)에 얼마나 기여하는지 추정한다. 이러한 방법은 학습 손실(Training Loss), 기울기 영향(Gradient Influence), 예측 불확실성(Prediction Uncertainty), 검증 정확도(Validation Accuracy)의 변화를 분석할 수 있다. 반복적으로 학습 개선 효과(Learning Improvement)가 거의 없는 샘플은 다운샘플링(Downsampling) 후보가 될 수 있다. 그러나 계산 비용이 높은 가치 평가 방법(Valuation Method)은 특히 대규모 로봇 군집 데이터셋(Fleet-Scale Robotic Dataset)을 처리할 때 얻을 수 있는 이점과 비용 사이의 균형을 고려해야 한다.
높은 손실값(High-Loss Sample)을 보이는 샘플은 레이블 오류(Annotation Error), 센서 데이터 손상(Sensor Corruption), 드물지만 중요한 시나리오(Rare but Important Scenario), 실제로 어려운 작업(Genuinely Difficult Task)을 나타낼 수 있으므로 신중하게 해석해야 한다. 손실값이 높은 모든 사례를 자동으로 제거하면 일반화(Generalization)를 개선하는 데 필요한 경험이 사라질 수 있다. 반대로 어려운 샘플을 모두 유지하면 과도한 잡음(Excessive Noise)이 유입될 수 있다. 효과적인 필터링은 손실 기반 지표(Loss-Based Indicator)를 데이터 무결성 검사(Data Integrity Check), 맥락 메타데이터(Contextual Metadata), 목표 지향적 인간 검토(Targeted Human Review)와 결합한다.
데이터 제거(Data Removal)는 운영 데이터 분포(Operational Distribution) 전반에서 다양성(Diversity), 대표성(Representativeness), 포괄성(Coverage)을 보존해야 한다. 과도한 필터링(Aggressive Filtering)은 희귀 물체(Rare Object), 특이한 환경(Unusual Environment), 느린 행동(Slow Behavior), 어려운 상호작용(Challenging Interaction)을 불균형적으로 제거할 수 있다. 그 결과 데이터셋이 더 깨끗해지더라도 실제 배포(Deployment) 성능은 오히려 저하될 수 있다. 포괄성 인식 필터링(Coverage-Aware Filtering)은 데이터 제거 전후에 작업(Task), 조건(Condition), 실패 유형(Failure Mode)의 표현 정도를 모니터링하여 의도하지 않은 분포 변화(Distribution Shift)를 방지한다.
적응형 샘플링(Adaptive Sampling)은 저정보 관측(Low-Information Observation)을 영구적으로 삭제하는 대신 사용할 수 있는 대안이다. 자주 반복되는 경험(Frequently Repeated Experience)은 샘플링 확률(Sampling Probability)을 낮추면서 향후 분석(Future Analysis)이나 재학습(Retraining)을 위해 보존할 수 있다. 희귀하고 정보 가치가 높은 경험(Rare and Informative Experience)은 데이터를 물리적으로 복제하지 않고도 더 높은 가중치(Weight)를 부여할 수 있다. 이러한 접근법은 저장 결정(Storage Decision)과 학습 데이터 혼합 설계(Training Mixture Design)를 분리하고 모델 역량(Model Capability)과 운영 요구사항(Operational Requirement)의 변화에 따라 데이터셋 구성(Dataset Composition)을 조정할 수 있도록 한다.
자동화된 필터링 파이프라인(Automated Filtering Pipeline)은 결정론적 규칙(Deterministic Rule), 통계 지표(Statistical Metric), 임베딩 유사도(Embedding Similarity), 학습 기반 품질 추정기(Learned Quality Estimator)를 결합할 수 있다. 각 기록(Recording)에는 무결성(Integrity), 신규성(Novelty), 작업 관련성(Task Relevance), 시연 품질(Demonstration Quality)에 대한 별도의 점수(Score)를 부여할 수 있다. 이후 정책 기반 임계값(Policy-Based Threshold)에 따라 데이터를 보존(Retention), 다운샘플링(Downsampling), 격리(Quarantine), 검토 요청(Review Routing) 중 하나로 처리한다. 투명한 결정 기준(Transparent Decision Criteria)을 유지하면 재현성(Reproducibility)을 지원하고 엔지니어가 특정 샘플이 제외된 이유를 이해하는 데 도움이 된다.
인간 참여형 검토(Human-in-the-Loop Review)는 판단이 모호한 필터링 결정(Ambiguous Filtering Decision)에서 여전히 중요하다. 엔지니어는 동기화된 센서 스트림(Synchronized Sensor Stream), 작업 지시(Task Instruction), 실행 결과(Execution Outcome), 로봇 상태 이력(Robot State History)을 검토하여 저품질 기록(Low-Quality Recording)과 정보 가치가 높은 실패(Informative Failure)를 구분할 수 있다. 검토된 사례(Reviewed Example)는 자동 점수화 모델(Automated Scoring Model)을 개선하고 임계값 선택(Threshold Selection)을 정교화하는 데 활용할 수 있다. 이러한 과정은 익숙하지 않은 환경(Unfamiliar Environment)이나 새로운 로봇 형태(New Robot Embodiment)가 기존 품질 분포(Quality Distribution)를 벗어나는 데이터를 생성할 때 특히 중요하다.
필터링 효과(Filtering Effectiveness)는 단순한 데이터셋 축소(Dataset Reduction)가 아니라 후속 학습 결과(Downstream Learning Outcome)를 통해 평가해야 한다. 관련 지표에는 학습 시간(Training Time), 저장 공간 사용량(Storage Consumption), 검증 성능(Validation Performance), 분포 변화에 대한 견고성(Robustness Under Distribution Shift), 작업 성공률(Task Success Rate)이 포함된다. 더 작은 데이터셋(Smaller Dataset)은 실제 배포에 필요한 역량(Deployment Capability)을 유지하거나 개선할 때만 유익하다. 필터링된 데이터셋(Filtered Dataset)과 필터링되지 않은 데이터셋(Unfiltered Dataset)을 비교하는 통제 실험(Controlled Experiment)은 데이터 제거 전략(Removal Strategy)이 실제 성능 향상(Genuine Performance Gain)을 제공하는지 확인하는 데 도움이 된다.
대규모 로봇 군집(Fleet Scale)에서 저정보 및 저품질 데이터 제거는 지속적인 최적화 프로세스(Continuous Optimization Process)가 된다. 로봇 내장 필터링(On-Robot Filtering)은 중복 기록(Redundant Recording)과 통신 부담(Communication Demand)을 줄일 수 있으며 중앙 집중식 데이터 엔진(Centralized Data Engine)은 더욱 포괄적인 품질 분석(Quality Analysis)을 수행한다. 환경(Environment), 센서(Sensor), 작업(Task), 정책(Policy)의 변화는 어떤 경험이 가치 있는지를 바꿀 수 있다. 주기적인 재평가(Periodic Reevaluation)는 필터링 규칙(Filtering Rule)이 시대에 뒤처지는 것을 방지하고 효율적인 장기 데이터 수집(Long-Term Data Collection)을 지원한다.
궁극적으로 효과적인 데이터 제거(Effective Data Removal)는 불완전하거나 반복적인 기록(Imperfect or Repetitive Recording)을 단순히 삭제하는 작업이 아니다. 이는 신뢰할 수 있고 다양하며 작업 관련성이 높은 정보(Reliable, Diverse, and Task-Relevant Information)를 제공하는 경험에 학습 자원(Learning Resource)을 체계적으로 배분하는 과정이다. 품질 평가(Quality Assessment), 정보 가치 평가(Information Valuation), 포괄성 보존(Coverage Preservation), 되돌릴 수 있는 필터링 결정(Reversible Filtering Decision)을 결합하면 피지컬 인공지능 데이터 엔진(Physical AI Data Engine)은 견고한 로봇 지능(Robust Robotic Intelligence)에 필수적인 희귀하고 어려운 경험(Rare and Challenging Experience)을 유지하면서 계산 효율성(Computational Efficiency)을 향상시킬 수 있다.
06.07. Trajectory and Demonstration Quality Filtering
궤적 및 시연 품질 필터링(Trajectory and Demonstration Quality Filtering)은 로봇 학습(Robot Learning)이 기록된 경험의 양(Quantity)뿐만 아니라 시연된 행동(Demonstrated Behavior)의 신뢰성(Reliability)에도 의존하기 때문에 피지컬 인공지능(Physical AI)에서 필수적이다. 원격조작(Teleoperation), 자율 탐색(Autonomous Exploration), 시뮬레이션(Simulation)은 성공률(Success Rate), 효율성(Efficiency), 안전성(Safety)이 서로 다른 다양한 궤적(Trajectory)을 생성한다. 효과적인 필터링(Filtering)은 학습에 적합한 시연(Demonstration)을 식별하면서 가치 있는 정보를 제공하는 실패(Failure)와 수정 행동(Corrective Action)을 보존한다.
로봇 궤적(Robot Trajectory)은 관측(Observation), 상태(State), 행동(Action), 상호작용 결과(Interaction Outcome)가 시간 순서에 따라 배열된 시퀀스(Time-Ordered Sequence)를 의미한다. 시연 품질(Demonstration Quality)은 이러한 시퀀스가 관련 제약조건(Constraint) 아래에서 의도한 작업(Task)을 얼마나 효과적으로 달성하는지를 설명한다. 고품질 시연(High-Quality Demonstration)은 일반적으로 유효한 실행(Valid Execution), 적절한 행동(Appropriate Action), 신뢰할 수 있는 작업 완료(Reliable Task Completion)를 보여준다. 그러나 품질은 작업에 따라 달라지며 전문가 모방(Expert Imitation)에 부적합한 궤적도 복구 학습(Recovery Learning)이나 실패 예측(Failure Prediction)에는 유용할 수 있다.
작업 성공(Task Success)은 시연 품질(Demonstration Quality)의 기본적인 지표이지만 이진 성공 레이블(Binary Success Label)만으로는 제한적인 정보만 제공한다. 로봇은 불필요한 충돌(Unnecessary Collision), 과도한 힘(Excessive Force), 불안정한 움직임(Unstable Motion)을 발생시키면서도 물체 배치 작업(Object Placement Task)을 완료할 수 있다. 반대로 실패한 시도(Unsuccessful Attempt)에도 가치 있는 중간 행동(Intermediate Action)이 포함될 수 있다. 따라서 품질 평가(Quality Assessment)는 작업 완료 상태(Completion Status), 실행 조건(Execution Condition), 제약조건 위반(Constraint Violation), 최종 결과(Final Outcome)에 이르는 의사결정 시퀀스(Decision Sequence)를 함께 분석해야 한다.
궤적 효율성(Trajectory Efficiency)은 실행 시간(Execution Time), 이동 거리(Travel Distance), 에너지 소비(Energy Consumption), 불필요한 행동(Unnecessary Action)을 포함하여 작업 완료에 필요한 자원(Resource)을 측정한다. 효율적인 시연(Efficient Demonstration)은 정책(Policy)이 경제적인 행동(Economical Behavior)을 학습하고 운영 비용(Operational Cost)을 줄이는 데 도움이 된다. 그러나 가장 짧거나 빠른 궤적이 항상 바람직한 것은 아니다. 안전 여유(Safety Margin), 장애물 회피(Obstacle Avoidance), 접촉 안정성(Contact Stability), 액추에이터 한계(Actuator Limitation)를 고려하면 더 길거나 느린 실행이 정당화될 수 있다.
움직임의 부드러움(Motion Smoothness)은 또 다른 유용한 품질 지표(Quality Indicator)이다. 속도(Velocity), 가속도(Acceleration), 관절 명령(Joint Command)의 갑작스러운 변화는 작업자의 망설임(Operator Hesitation), 제어 불안정성(Control Instability), 기록 오류(Recording Error)를 나타낼 수 있다. 부드러운 궤적(Smooth Trajectory)은 안정적인 정책 학습(Stable Policy Learning)을 지원하고 기계적 응력(Mechanical Stress)을 줄이는 경우가 많다. 그러나 접촉이 많은 조작(Contact-Rich Manipulation)과 동적 보행(Dynamic Locomotion)에서는 급격하지만 정상적인 전이(Abrupt but Legitimate Transition)가 필요할 수 있으므로 부드러움 지표(Smoothness Metric)는 각 작업의 물리적 맥락(Physical Context)에서 해석해야 한다.
안전성 인식 필터링(Safety-Aware Filtering)은 시연이 충돌 제약조건(Collision Constraint), 힘 제한(Force Limit), 작업 공간 경계(Workspace Boundary), 인간 근접 요구사항(Human Proximity Requirement)을 준수하는지 평가한다. 성공한 궤적이라도 운영 안전 규칙(Operational Safety Rule)을 반복적으로 위반한다면 모방 학습(Imitation Learning)에 적합하지 않을 수 있다. 안전성 평가(Safety Evaluation)는 기록된 센서 측정값(Sensor Measurement)과 기하학적 제약조건(Geometric Constraint), 동역학적 제약조건(Dynamic Constraint)을 결합할 수 있다. 안전하지 않은 시연(Unsafe Demonstration)은 전문가 데이터셋(Expert Dataset)에서 제외하면서 안전성 분석(Safety Analysis)을 위해 별도로 보존할 수 있다.
원격조작(Teleoperation)은 작업자 경험(Operator Experience), 인터페이스 설계(Interface Design), 통신 지연(Communication Latency), 피로(Fatigue)에 따른 변동성(Variability)을 발생시킨다. 숙련된 작업자(Skilled Operator)는 일관되고 효율적인 시연을 생성할 수 있지만 경험이 부족한 작업자(Inexperienced Operator)는 망설임(Hesitation), 진동(Oscillation), 불필요한 수정(Unnecessary Correction)을 보일 수 있다. 작업자 식별 정보(Operator Identity)와 세션 조건(Session Condition)은 이러한 차이를 설명하는 데 도움이 된다. 필터링은 특정 작업자의 모든 시연이 동일하게 신뢰할 수 있다고 가정하기보다 관측 가능한 실행 품질(Observable Execution Quality)을 평가해야 한다.
시간적 일관성(Temporal Consistency)은 시연이 관측(Observation)과 후속 행동(Subsequent Action) 사이의 관계를 인코딩(Encoding)하기 때문에 매우 중요하다. 타임스탬프 드리프트(Timestamp Drift), 누락된 명령(Missing Command), 일관되지 않은 샘플링 속도(Inconsistent Sampling Rate), 지연된 피드백(Delayed Feedback)은 이러한 관계를 왜곡할 수 있다. 성공적으로 완료된 실행이라도 행동 시퀀스(Action Sequence)가 감각 관측(Sensory Observation)과 잘못 정렬되어 있다면 행동 복제(Behavior Cloning)에 부적합할 수 있다. 따라서 행동 품질 점수화(Behavioral Quality Scoring)에 앞서 동기화 검사(Synchronization Check)와 시간적 무결성 검증(Temporal Integrity Validation)을 수행해야 한다.
시연 완전성(Demonstration Completeness)은 궤적이 전체 작업(Entire Task)을 이해하는 데 필요한 정보를 포함하는지를 결정한다. 초기 상태 누락(Missing Initial State), 잘린 기록(Truncated Recording), 종료 관측 누락(Absent Terminal Observation), 불완전한 행동 로그(Incomplete Action Log)는 학습을 저해할 수 있다. 일부 부분 궤적(Partial Trajectory)은 개별 기술(Individual Skill)이나 기본 움직임(Motion Primitive)을 학습하는 데 여전히 유용하다. 데이터 큐레이션 시스템(Data Curation System)은 완전한 에피소드(Complete Episode)와 유효한 부분 시퀀스(Valid Fragment)를 구분하고 각각을 적절한 학습 목표(Training Objective)와 연결해야 한다.
접촉이 많은 작업(Contact-Rich Task)은 성공적인 실행이 시각적으로 추론하기 어려운 힘(Force)과 물리적 상호작용(Physical Interaction)에 의존하기 때문에 특화된 품질 평가(Specialized Quality Assessment)가 필요하다. 파지 안정성(Grasp Stability), 접촉 타이밍(Contact Timing), 힘 조절(Force Regulation), 물체 미끄러짐(Object Slip)은 겉보기에 유사한 시연 사이의 차이를 드러낼 수 있다. 카메라 기록(Camera Recording)에서는 성공적으로 보이는 궤적도 실제로는 과도한 힘을 가할 수 있다. 멀티모달 평가(Multimodal Evaluation)는 품질 판단(Quality Judgment)의 신뢰성을 향상시킨다.
고품질 궤적(High-Quality Trajectory)을 선택할 때는 시연 다양성(Demonstration Diversity)을 보존해야 한다. 가장 빠르거나 시각적으로 가장 부드러운 실행만 반복적으로 유지하면 서로 다른 조건에서 효과적인 대체 전략(Alternative Strategy)이 제거될 수 있다. 여러 가지 유효한 접근법(Valid Approach)은 정책 적응성(Policy Adaptability)과 일반화(Generalization)를 향상시킬 수 있다. 따라서 품질 필터링(Quality Filtering)은 물체(Object), 환경(Environment), 로봇 구성(Robot Configuration), 성공적인 실행 전략(Successful Execution Strategy)의 대표성 있는 변형(Representative Variation)을 유지해야 한다.
실패한 시연(Failed Demonstration)을 자동으로 폐기해서는 안 된다. 파지 실패(Unsuccessful Grasp), 주행 중단(Navigation Interruption), 불안정한 접촉(Unstable Contact), 수정 움직임(Corrective Movement)은 운영 한계(Operational Boundary)와 복구 전략(Recovery Strategy)에 관한 정보를 제공한다. 이러한 경험은 실패 예측(Failure Prediction), 강화학습(Reinforcement Learning), 견고한 정책 개발(Robust Policy Development)을 지원할 수 있다. 유용한 데이터 큐레이션 시스템은 모든 실패 에피소드(Unsuccessful Episode)를 동일하게 취급하기보다 전문가 시연(Expert Demonstration), 복구 가능한 실패(Recoverable Failure), 유효하지 않은 기록(Invalid Recording)을 구분한다.
궤적 품질 점수화(Trajectory Quality Scoring)는 작업 성공(Task Success), 안전성(Safety), 효율성(Efficiency), 부드러움(Smoothness), 완전성(Completeness), 센서 신뢰성(Sensor Reliability)을 구조화된 평가(Structured Assessment)로 결합할 수 있다. 단일 종합 점수(Aggregate Score)는 중요한 약점을 감출 수 있으므로 개별 평가 차원(Individual Dimension)을 확인할 수 있어야 한다. 가중치(Weighting)는 응용 분야(Application)에 따라 달라진다. 수술 로봇 조작(Surgical Manipulation)은 정밀도(Precision)와 안전성을 강조할 수 있으며 창고 운송(Warehouse Transport)은 신뢰할 수 있는 작업 완료(Reliable Completion)와 효율적인 주행(Efficient Navigation)을 우선시할 수 있다.
학습 기반 품질 추정기(Learning-Based Quality Estimator)는 기록된 관측과 행동으로부터 시연 유용성(Demonstration Usefulness)을 예측하여 수동 설계 지표(Manually Designed Metric)를 보완할 수 있다. 보상 모델(Reward Model), 성공 분류기(Success Classifier), 궤적 임베딩(Trajectory Embedding), 선호도 기반 방법(Preference-Based Method)은 효과적인 실행(Effective Execution)과 관련된 행동 패턴(Behavioral Pattern)을 식별할 수 있다. 그러나 학습된 추정기(Learned Estimator)는 학습 레이블(Training Label)의 편향(Bias)을 그대로 반영할 수 있다. 따라서 예측 결과(Prediction)는 실제 작업 결과(Actual Task Outcome)와 독립적인 품질 기준(Independent Quality Criteria)을 통해 검증해야 한다.
시연 순위화(Demonstration Ranking)는 단순한 수용 또는 거부 레이블(Acceptance or Rejection Label)을 부여하는 것보다 유용할 수 있다. 신뢰도가 높은 전문가 궤적(High-Confidence Expert Trajectory)에는 더 높은 샘플링 가중치(Sampling Weight)를 부여하고, 품질은 낮지만 유효한 시연(Lower-Quality but Valid Demonstration)은 보조 학습 목표(Auxiliary Objective)에 활용할 수 있다. 커리큘럼 학습(Curriculum Learning)은 정책 역량(Policy Capability)이 향상됨에 따라 점차 어려운 궤적을 도입할 수 있다. 이러한 접근법은 나중에 가치가 높아질 수 있는 경험을 영구적으로 제거하지 않으면서 유연한 데이터셋 구성(Flexible Dataset Composition)을 가능하게 한다.
자동화된 필터링 파이프라인(Automated Filtering Pipeline)은 구조적 검증(Structural Validation), 작업별 지표(Task-Specific Metric), 학습 기반 품질 점수(Learned Quality Score), 맥락 메타데이터(Contextual Metadata)를 결합해야 한다. 각 궤적에는 성공(Success), 안전성(Safety), 실행 효율성(Execution Efficiency), 센서 무결성(Sensor Integrity), 복구 행동(Recovery Behavior)을 설명하는 주석(Annotation)을 부여할 수 있다. 이후 필터링 정책(Filtering Policy)은 궤적을 전문가 모방 데이터셋(Expert Imitation Dataset), 견고성 데이터셋(Robustness Dataset), 검토 대기열(Review Queue) 중 어디에 배치할지 결정한다. 데이터 출처(Provenance)와 버전 이력(Version History)을 유지하면 재현 가능한 학습(Reproducible Training)을 지원할 수 있다.
인간 검토(Human Review)는 시연 결과(Demonstration Outcome)가 모호하거나 복잡한 물리적 상호작용(Complex Physical Interaction)을 포함하는 경우 여전히 중요하다. 엔지니어는 동기화된 영상(Synchronized Video), 로봇 상태(Robot State), 힘 측정값(Force Measurement), 작업 지시(Task Instruction)를 분석하여 비효율적인 행동(Inefficient Behavior)과 필요한 수정 행동(Necessary Corrective Action)을 구분할 수 있다. 전문가 평가(Expert Assessment)는 자동화된 품질 모델(Automated Quality Model)을 개선하고 이전에 인식하지 못한 실패 패턴(Failure Pattern)을 식별하는 데 활용할 수 있다. 검토 자원(Review Effort)은 불확실성이 높거나 영향이 큰 사례(High-Impact Case)에 집중해야 한다.
궤적 필터링(Trajectory Filtering)의 효과는 후속 정책 성능(Downstream Policy Performance)을 통해 측정해야 한다. 관련 지표(Indicator)에는 작업 성공률(Task Success Rate), 개입 빈도(Intervention Frequency), 충돌률(Collision Rate), 실행 효율성(Execution Efficiency), 다양한 환경에서의 일반화(Generalization Across Environments)가 포함된다. 많은 시연을 제거한다고 해서 반드시 학습이 개선되는 것은 아니다. 품질 선택(Quality Selection)이 측정 가능한 운영상 이점(Measurable Operational Benefit)을 제공하는지 확인하려면 필터링된 데이터셋(Filtered Dataset)과 필터링되지 않은 데이터셋(Unfiltered Dataset) 사이의 통제된 비교(Controlled Comparison)가 필요하다.
대규모 로봇 군집(Fleet Scale)에서 궤적 품질 필터링은 로봇 배포(Robot Deployment)와 모델 개선(Model Improvement)을 연결하는 지속적인 피드백 메커니즘(Continuous Feedback Mechanism)이 된다. 실제 운영 로봇(Production Robot)은 다양한 조건에서 성공적인 실행(Successful Execution), 작업자 개입(Operator Intervention), 실패(Failure), 복구 시퀀스(Recovery Sequence)를 생성한다. 자동화된 평가(Automated Evaluation)는 중앙 집중식 저장(Centralized Storage)과 재학습(Retraining)에 필요한 정보 가치가 높은 궤적(Informative Trajectory)의 우선순위를 결정할 수 있다. 변화하는 작업과 환경에 대응하려면 품질 임계값(Quality Threshold)과 점수화 모델(Scoring Model)을 주기적으로 재보정(Periodic Recalibration)해야 한다.
궁극적으로 궤적 및 시연 품질 필터링(Trajectory and Demonstration Quality Filtering)은 이상적인 행동(Ideal Behavior)에 대한 협소한 정의를 강제하기보다 학습 가치(Learning Value)를 최대화해야 한다. 신뢰할 수 있는 피지컬 인공지능 데이터 엔진(Physical AI Data Engine)은 고품질 전문가 시연(High-Quality Expert Demonstration)을 보존하면서 정보 가치가 높은 실패(Informative Failure), 대체 전략(Alternative Strategy), 복구 경험(Recovery Experience)을 유지한다. 작업 결과(Task Outcome), 물리적 제약조건(Physical Constraint), 시간적 무결성(Temporal Integrity), 적응형 선택(Adaptive Selection)을 통합함으로써 이러한 시스템은 안전하고 효율적이며 일반화 가능한 로봇 지능(Safe, Efficient, and Generalizable Robotic Intelligence)을 지원하는 학습 데이터셋(Training Dataset)을 구축한다.
06.08. Hard Example and Rare Event Mining
어려운 사례 마이닝(Hard Example Mining)과 희귀 이벤트 마이닝(Rare Event Mining)은 일반적인 학습 데이터셋(Training Dataset)이 주로 흔한 운영 조건(Common Operating Condition)으로 구성되기 때문에 피지컬 인공지능(Physical AI) 시스템의 성능을 개선하는 데 필수적이다. 로봇은 일상적인 작업(Routine Task)을 성공적으로 수행하더라도 예상하지 못한 장애물(Unexpected Obstacle), 특이한 물체(Unusual Object), 복잡한 물리적 상호작용(Complex Physical Interaction)을 만나면 실패할 수 있다. 어려운 경험(Difficult Experience)을 발굴하면 시스템의 약점을 식별하고 학습 포괄성(Training Coverage)을 확장하며 일반적인 샘플링(Conventional Sampling)에서 자주 누락되는 상황에 대한 견고성(Robustness)을 향상시킬 수 있다.
어려운 사례(Hard Example)는 의도한 작업(Intended Task)과 관련이 있으면서도 모델(Model)이 처리하기 어려워하는 관측(Observation)이나 궤적(Trajectory)을 의미한다. 여기에는 모호한 시각 정보(Ambiguous Visual Information), 어려운 물체 조작(Difficult Object Manipulation), 불확실한 접촉 조건(Uncertain Contact Condition), 예상하지 못한 환경 변화(Unexpected Environmental Change)가 포함될 수 있다. 어려운 사례가 반드시 실패(Failure)나 손상된 기록(Corrupted Recording)을 의미하는 것은 아니다. 핵심적인 특징은 현재 모델(Current Model)이 해당 상황을 올바르게 해석(Interpretation), 예측(Prediction), 대응(Response)하는 데 어려움을 겪는다는 점이다.
희귀 이벤트(Rare Event)는 운영 데이터 분포(Operational Data Distribution)에서 발생 빈도가 낮지만 로봇 성능(Robot Performance)이나 안전성(Safety)에 중대한 영향을 미칠 수 있는 사건이다. 대표적인 사례로 예상하지 못한 인간 움직임(Unexpected Human Movement), 갑작스러운 물체 이동(Sudden Object Displacement), 미끄러운 표면(Slippery Surface), 센서 성능 저하(Sensor Degradation), 비정상적인 충돌(Unusual Collision)이 있다. 발생 빈도가 낮기 때문에 균일 샘플링(Uniform Sampling)으로 수집하기 어렵다. 목표 지향적 마이닝(Targeted Mining)은 반복적인 정상 데이터를 과도하게 수집하지 않으면서 이러한 이벤트의 데이터 표현 비중을 높인다.
어려운 사례(Hard Example)와 희귀 이벤트(Rare Event)는 서로 겹칠 수 있지만 동일한 개념은 아니다. 자주 발생하는 시나리오(Frequently Occurring Scenario)도 인식(Perception)이나 제어(Control)의 한계 때문에 지속적으로 어려울 수 있으며, 드문 이벤트라도 기존 정책(Existing Policy)이 정확하게 처리할 수 있다. 따라서 효과적인 데이터 큐레이션(Data Curation)은 난이도(Difficulty)와 발생 빈도(Frequency)를 구분한다. 이러한 구분은 엔지니어가 지속적인 모델 약점(Persistent Model Weakness)과 실제 배포(Deployment) 과정에서 중요해질 수 있는 과소대표 상황(Underrepresented Situation)을 모두 식별하도록 한다.
모델 예측 오류(Model Prediction Error)는 어려운 사례를 발견하는 직접적인 신호를 제공한다. 예측 상태(Predicted State)와 관측 상태(Observed State) 사이의 큰 차이, 잘못된 물체 분류(Incorrect Object Classification), 실패한 행동 예측(Unsuccessful Action Prediction)은 어려운 샘플(Challenging Sample)을 식별할 수 있다. 오류 기반 마이닝(Error-Based Mining)은 모델 성능이 낮은 경험에 우선순위를 부여한다. 그러나 손상되거나 잘못 레이블링된 데이터(Corrupted or Mislabeled Data)가 반복적으로 선택되지 않도록 예측 오류를 센서 무결성(Sensor Integrity) 및 어노테이션 품질(Annotation Quality)과 함께 해석해야 한다.
불확실성 추정(Uncertainty Estimation)은 정보 가치가 높은 경험(Informative Experience)을 식별하는 또 다른 방법을 제공한다. 인식 모델(Perception Model)은 익숙하지 않은 물체(Unfamiliar Object)를 만났을 때 낮은 신뢰도(Low Confidence)를 보일 수 있으며, 제어 정책(Control Policy)은 적절한 행동(Appropriate Action)을 결정하는 데 불확실성을 나타낼 수 있다. 앙상블 불일치(Ensemble Disagreement), 예측 불확실성(Predictive Uncertainty), 신뢰도 보정(Confidence Calibration)은 샘플 선택(Sample Selection)을 안내할 수 있다. 높은 불확실성이 항상 높은 학습 가치(High Learning Value)를 의미하는 것은 아니므로 작업 관련성(Task Relevance)과 운영 위험(Operational Risk)을 함께 고려해야 한다.
로봇 개입(Robot Intervention)은 어려운 운영 조건(Difficult Operating Condition)에 관한 가치 있는 근거를 제공한다. 인간 작업자(Human Operator)가 제어권을 인수하거나 궤적을 수정하거나 안전하지 않은 행동(Unsafe Action)을 방지하는 경우 해당 이벤트는 정책의 한계(Policy Limitation)를 나타낼 수 있다. 개입 로그(Intervention Log)는 주행 실패(Navigation Failure), 조작 오류(Manipulation Error), 예상하지 못한 환경 상호작용(Unexpected Environmental Interaction)을 드러낼 수 있다. 특히 개입 이전의 관측 데이터를 기록하는 것이 중요한데, 실패의 원인(Failure Cause)이 작업자의 대응보다 먼저 발생했을 수 있기 때문이다.
실패 기반 마이닝(Failure-Driven Mining)은 성공하지 못한 실행(Unsuccessful Execution)과 그 원인이 된 조건에 집중한다. 파지 실패(Failed Grasp), 물체 낙하(Dropped Object), 충돌(Collision), 위치 추정 오류(Localization Error), 미완료 작업(Incomplete Task)은 학습된 정책(Learned Policy)의 약점을 드러낼 수 있다. 유용한 실패 기록(Failure Record)에는 초기 상태(Initial State), 행동 이력(Action History), 센서 관측(Sensor Observation), 최종 결과(Final Outcome)가 포함된다. 이러한 맥락(Context)을 보존하면 엔지니어가 인식 오류(Perception Error), 계획 오류(Planning Mistake), 제어 한계(Control Limitation), 하드웨어 문제(Hardware Problem)를 구분할 수 있다.
아차 사고 이벤트(Near-Miss Event)는 실제 손상이 발생하지 않더라도 안전하지 않은 조건(Unsafe Condition)을 드러내기 때문에 특히 가치가 높다. 보행자(Pedestrian)에게 지나치게 가까이 접근하는 모바일 로봇(Mobile Robot)이나 충돌을 간신히 피하는 매니퓰레이터(Manipulator)는 안전 여유(Safety Margin)가 부족하다는 신호일 수 있다. 이러한 이벤트는 근접 거리 측정(Proximity Measurement), 예측 충돌 위험(Predicted Collision Risk), 제약조건 위반(Constraint Violation)을 통해 식별할 수 있다. 이를 학습 데이터에 포함하면 유사한 상황이 심각한 실패로 이어지기 전에 예방적 학습(Preventive Learning)을 수행할 수 있다.
시간적 맥락(Temporal Context)은 어려운 로봇 경험(Difficult Robotic Experience)을 마이닝할 때 필수적이다. 하나의 비정상적인 프레임(Unusual Frame)만으로는 로봇이 실패하거나 개입이 필요했던 이유를 설명하기 어렵다. 실제 원인은 이전에 발생한 인식 오류(Earlier Perception Error), 지연된 의사결정(Delayed Decision), 누적된 위치 추정 드리프트(Accumulated Localization Drift)일 수 있다. 따라서 이벤트 중심 추출(Event-Centered Extraction)은 탐지된 이벤트 전후의 적절한 관측 구간(Observation Window)과 동기화된 행동(Synchronized Action), 관련 시스템 상태(System State)를 보존해야 한다.
임베딩 기반 마이닝(Embedding-Based Mining)은 대규모 멀티모달 데이터셋(Multimodal Dataset)에서 어렵거나 드문 경험을 발견하는 데 도움이 된다. 시각적 관측(Visual Observation), 로봇 상태(Robot State), 궤적(Trajectory)을 표현 공간(Representation Space)에 매핑(Mapping)하면 유사한 경험을 그룹화할 수 있다. 희소 영역(Sparse Region)은 드문 상황(Uncommon Situation)을 드러낼 수 있으며, 실패가 빈번하게 발생하는 군집(Cluster)은 체계적인 약점(Systematic Weakness)을 나타낼 수 있다. 그러나 시각적 유사성(Visual Similarity)이 항상 동등한 물리적 행동(Equivalent Physical Behavior)을 의미하지는 않으므로 임베딩 품질(Embedding Quality)을 검증해야 한다.
군집화(Clustering)와 밀도 추정(Density Estimation)은 사전에 정의된 실패 범주(Predefined Failure Category)가 없어도 희귀 이벤트 발견(Rare Event Discovery)을 지원할 수 있다. 비정상적인 궤적(Unusual Trajectory)이나 환경 구성(Environmental Configuration)은 일반적인 운영 패턴(Common Operating Pattern)과 비교하여 저밀도 샘플(Low-Density Sample)로 나타날 수 있다. 그러나 낮은 밀도(Low Density)만으로 해당 이벤트가 의미 있거나 안전에 중요하다고 판단할 수는 없다. 추가적인 평가(Additional Evaluation)에서는 물리적 타당성(Physical Plausibility), 작업 관련성(Task Relevance), 심각도(Severity), 데이터셋에 유사한 경험이 이미 존재하는지를 고려해야 한다.
시뮬레이션(Simulation)은 실제 로봇(Physical Robot)에서 수집하기 위험하거나 비용이 많이 드는 어려운 사례(Hard Example)를 보완적으로 제공한다. 엔지니어는 마찰(Friction), 물체 질량(Object Mass), 장애물 움직임(Obstacle Motion), 조명(Lighting), 센서 조건(Sensor Condition)을 변화시켜 정책의 약점(Policy Weakness)을 드러낼 수 있다. 적대적 시나리오 생성(Adversarial Scenario Generation)은 실패 확률(Failure Probability)을 높이는 조건 조합을 탐색할 수 있다. 생성된 사례(Generated Example)는 물리적 타당성(Physical Plausibility)을 유지해야 하며 가능한 경우 실제 환경 행동(Real-World Behavior)과 비교하여 검증해야 한다.
능동 학습(Active Learning)은 어려운 사례 마이닝(Hard Example Mining)을 목표 지향적 데이터 수집(Targeted Data Acquisition)과 연결한다. 새로운 경험을 균일하게 수집하는 대신 데이터 엔진(Data Engine)은 불확실성이 높은 영역(Uncertain Region), 반복적인 실패(Recurring Failure), 누락된 시나리오 범주(Missing Scenario Category)를 식별한다. 이후 원격조작(Teleoperation), 자율 탐색(Autonomous Exploration), 시뮬레이션(Simulation)을 통해 이러한 약점에 데이터 수집 작업(Collection Task)을 집중할 수 있다. 이러한 피드백 루프(Feedback Loop)는 중복 데이터 수집(Redundant Acquisition)을 줄이면서 추가 데이터의 학습 가치(Learning Value)를 높인다.
마이닝된 사례(Mined Example)의 우선순위를 결정하려면 난이도(Difficulty), 희귀성(Rarity), 심각도(Severity), 예상 학습 효과(Expected Learning Benefit) 사이의 균형을 고려해야 한다. 자주 발생하는 작은 인식 오류(Minor Perception Error)는 누적되는 운영 영향(Cumulative Operational Impact)이 크기 때문에 중요할 수 있다. 매우 드문 충돌 시나리오(Rare Collision Scenario)는 잠재적인 결과(Potential Consequence)가 심각하기 때문에 높은 우선순위를 받을 수 있다. 위험 인식 선택(Risk-Aware Selection)은 마이닝 시스템이 수치적 불확실성(Numerical Uncertainty)에만 집중하여 안전에 중요한 조건(Safety-Critical Condition)을 간과하는 것을 방지한다.
어려운 사례 오버샘플링(Hard Example Oversampling)은 학습을 개선할 수 있지만 학습 데이터 분포(Training Distribution)를 왜곡할 수도 있다. 실패(Failure)와 비정상적인 조건(Unusual Condition)을 지나치게 강조하면 일반적인 작업(Common Operation)의 성능이 저하되거나 지나치게 보수적인 행동(Overly Conservative Behavior)이 나타날 수 있다. 학습 데이터 혼합 설계(Training Mixture Design)는 대표성 있는 정상 경험(Representative Normal Experience)을 유지하면서 어려운 사례(Difficult Case)에 적절한 가중치(Weight)를 부여해야 한다. 별도의 평가 데이터셋(Evaluation Dataset)을 활용하면 일상적인 성능(Routine Performance)과 어려운 시나리오(Challenging Scenario)에서의 개선을 모두 측정할 수 있다.
자동화된 마이닝 파이프라인(Automated Mining Pipeline)은 이벤트 기반 로깅(Event-Triggered Logging), 모델 오류 분석(Model Error Analysis), 불확실성 점수화(Uncertainty Scoring), 궤적 군집화(Trajectory Clustering), 실패 분류(Failure Classification)를 결합할 수 있다. 후보 사례(Candidate Example)는 검토(Review)나 재학습(Retraining) 과정에 들어가기 전에 신규성(Novelty), 심각도(Severity), 관련성(Relevance)에 따라 순위화할 수 있다. 메타데이터(Metadata)에는 로봇 구성(Robot Configuration), 환경 조건(Environmental Condition), 정책 버전(Policy Version), 이벤트 발생 시점(Event Timing)을 보존해야 한다. 이러한 기록은 재현성(Reproducibility)을 지원하고 여러 배포 환경(Deployment)에서 반복되는 약점을 식별하는 데 도움이 된다.
자동화된 탐지기(Automated Detector)는 비정상적이지만 유효한 행동(Unusual but Valid Behavior)을 센서 결함(Sensor Fault)이나 관련성이 없는 이상(Irrelevant Anomaly)과 혼동할 수 있으므로 인간 검토(Human Review)가 여전히 중요하다. 엔지니어는 동기화된 기록(Synchronized Recording), 작업 목표(Task Objective), 물리적 결과(Physical Outcome)를 검토하여 후보 사례(Candidate)가 의미 있는 어려운 사례(Hard Example)인지 판단할 수 있다. 검토된 사례(Reviewed Case)는 이벤트 분류기(Event Classifier)를 개선하고 마이닝 기준(Mining Criteria)을 정교화하는 데 활용할 수 있다. 안전에 중요한 발견(Safety-Critical Discovery)은 독립적인 테스트(Independent Testing)와 운영 안전장치(Operational Safeguard)에도 반영되어야 한다.
대규모 로봇 군집(Fleet Scale)에서 어려운 사례 및 희귀 이벤트 마이닝은 배포된 로봇 시스템(Deployed Robot System)을 지속적으로 개선하는 메커니즘(Continuous Improvement Mechanism)이 된다. 수천 대의 로봇은 서로 다른 환경(Environment), 사용자(User), 물체(Object), 운영 교란(Operational Disturbance)을 경험할 수 있다. 중앙 집중식 집계(Centralized Aggregation)는 개별 로봇이 드물게 경험하는 반복적인 실패 패턴(Recurring Failure Pattern)을 발견할 수 있다. 우선순위 기반 데이터 수집(Prioritized Data Collection)과 모델 업데이트(Model Update)는 소프트웨어 및 하드웨어 버전(Software and Hardware Version)별 성능을 추적하면서 약점을 점진적으로 해결할 수 있다.
궁극적으로 어려운 사례 및 희귀 이벤트 마이닝(Hard Example and Rare Event Mining)은 운영 실패(Operational Failure)와 비정상적인 경험(Unusual Experience)을 구조화된 학습 기회(Structured Learning Opportunity)로 전환한다. 효과적인 피지컬 인공지능 데이터 엔진(Physical AI Data Engine)은 어려운 상황(Difficult Situation)을 식별하고 물리적 맥락(Physical Context)을 보존하며 중요성(Importance)을 평가하고 목표 지향적 학습(Targeted Training)과 검증(Validation)에 반영한다. 불확실성(Uncertainty), 오류 신호(Error Signal), 위험 평가(Risk Assessment), 로봇 군집 피드백(Fleet Feedback)을 결합함으로써 이러한 시스템은 일상적인 운영 조건(Routine Operating Condition)을 넘어 일반화(Generalization), 회복탄력성(Resilience), 안전성(Safety)을 향상시킨다.
06.09. Long Tail Data Discovery
롱테일 데이터 발견(Long-Tail Data Discovery)은 실제 로봇 환경(Real-World Robotic Environment)에 기존 학습 데이터셋(Training Dataset)에서 충분히 표현되지 않은 수많은 비일상적 상황(Uncommon Situation)이 존재하기 때문에 피지컬 인공지능(Physical AI)에서 필수적이다. 수집된 경험의 대부분은 일상적인 운영(Routine Operation)을 설명하지만, 특이한 물체(Unusual Object), 환경 변화(Environmental Change), 예상하지 못한 상호작용(Unexpected Interaction)은 드물게 발생한다. 이러한 과소대표 조건(Underrepresented Condition)을 발견하면 익숙한 배포 시나리오(Deployment Scenario)를 넘어 일반화(Generalization), 운영 신뢰성(Operational Reliability), 안전성(Safety)을 향상시킬 수 있다.
롱테일(Long Tail)은 개별적으로는 드물게 발생하지만 전체적으로는 실제 환경의 복잡성(Real-World Complexity)에서 상당한 부분을 차지하는 다양한 희귀 상황(Rare Situation)의 집합을 의미한다. 로봇공학(Robotics)에서는 특이한 물체 형상(Unusual Object Geometry), 드문 재료 특성(Uncommon Material Property), 불규칙한 조명(Irregular Lighting), 예상하지 못한 인간 행동(Unexpected Human Behavior), 복잡한 접촉 상호작용(Complex Contact Interaction)이 포함될 수 있다. 각 시나리오(Scenario)는 드물게 나타나지만 이들이 결합하여 형성하는 다양성(Diversity)은 개방형 환경(Open Environment)에서 작동하는 자율 시스템(Autonomous System)에 상당한 도전 과제를 제기한다.
롱테일 데이터(Long-Tail Data)는 희귀성(Rarity)과 모델 난이도(Model Difficulty)가 서로 다른 특성이기 때문에 일반적인 어려운 사례(Hard Example)와 구별된다. 드문 상황이라도 성공적으로 처리될 수 있으며, 흔한 시나리오도 아직 충분히 발전하지 않은 정책(Immature Policy)에는 어려울 수 있다. 롱테일 발견(Long-Tail Discovery)은 즉각적인 모델 성능(Model Performance)과 관계없이 운영 분포(Operational Distribution)에서 충분히 표현되지 않은 영역을 식별하는 데 집중한다. 이러한 구분은 관측된 실패(Observed Failure)에만 의존하지 않고 선제적으로 데이터 포괄성(Data Coverage)을 확장하도록 지원한다.
로봇 데이터 분포(Robotic Data Distribution)는 일상적인 활동(Routine Activity)이 대량의 반복 관측(Repetitive Observation)을 생성하기 때문에 일반적으로 불균형(Imbalanced)을 보인다. 창고 로봇(Warehouse Robot)은 익숙한 선반(Shelf)과 이동 경로(Pathway)를 반복적으로 접하며, 서비스 로봇(Service Robot)은 일반적인 가정용 물체(Household Object)와 예측 가능한 인간 움직임(Predictable Human Movement) 주변에서 작동한다. 특이한 구성(Unusual Configuration)은 상대적으로 적게 표현된다. 의도적인 발견 과정이 없다면 학습 시스템(Learning System)은 빈번한 조건(Frequent Condition)에 지나치게 특화되면서 드문 변형(Uncommon Variation)에 취약해질 수 있다.
롱테일 발견(Long-Tail Discovery)은 환경(Environment), 작업(Task), 물체(Object), 로봇 구성(Robot Configuration), 상호작용 조건(Interaction Condition)을 포함하는 운영 설계 영역(Operational Design Domain)을 이해하는 것에서 시작한다. 엔지니어는 표면 마찰(Surface Friction), 조도(Illumination), 장애물 움직임(Obstacle Motion), 물체 변형성(Object Deformability), 인간 근접성(Human Proximity)과 같은 관련 차원을 설명하는 시나리오 분류체계(Scenario Taxonomy)를 구축할 수 있다. 수집된 데이터를 이러한 차원과 비교하면 포괄성 격차(Coverage Gap)를 발견할 수 있다. 그러나 사전에 정의된 분류체계(Predefined Taxonomy)는 이전에 알려지지 않은 조건(Previously Unknown Condition)을 수용할 수 있도록 유연성을 유지해야 한다.
통계적 빈도 분석(Statistical Frequency Analysis)은 과소대표 시나리오(Underrepresented Scenario)를 탐지하는 초기 방법을 제공한다. 데이터 엔진(Data Engine)은 물체 범주(Object Category), 작업 유형(Task Type), 환경 조건(Environmental Condition), 실패 유형(Failure Mode)의 발생 빈도(Occurrence Rate)를 추정할 수 있다. 드문 개별 속성(Rare Individual Attribute)보다 드문 속성 조합(Rare Combination)이 더 많은 정보를 제공할 수 있다. 예를 들어 투명한 물체(Transparent Object)와 반사 표면(Reflective Surface)이 각각 데이터에 포함되어 있더라도 반사 표면 위의 투명한 물체는 인식 어려움(Perception Difficulty)을 유발할 수 있다.
임베딩 기반 발견(Embedding-Based Discovery)은 고차원 로봇 관측(High-Dimensional Robotic Observation)과 궤적(Trajectory)에 대한 확장 가능한 분석(Scalable Analysis)을 가능하게 한다. 시각 정보(Visual Information), 고유수용감각 정보(Proprioceptive Information), 촉각 정보(Tactile Information), 행동 정보(Action Information)는 경험 간 유사성(Similarity)을 포착하는 표현(Representation)으로 인코딩할 수 있다. 저밀도 영역(Low-Density Region)과 고립된 군집(Isolated Cluster)은 드문 상황(Uncommon Situation)을 나타낼 수 있다. 그러나 학습된 표현(Learned Representation)이 물리적으로 중요한 차이(Physically Important Difference)를 간과하거나 관련 없는 시각적 변형(Irrelevant Visual Variation)을 과장할 수 있으므로 임베딩 거리(Embedding Distance)를 신중하게 해석해야 한다.
밀도 추정(Density Estimation)과 이상 탐지(Anomaly Detection)는 일반적인 운영 패턴(Common Operating Pattern)에서 벗어나는 관측(Observation)을 식별할 수 있다. 최근접 이웃 거리(Nearest-Neighbor Distance), 확률 모델(Probabilistic Model), 학습 기반 재구성 오류(Learned Reconstruction Error)를 사용하는 방법은 비정상적인 경험(Unusual Experience)을 강조할 수 있다. 그러나 이상 데이터(Anomalous Data)는 의미 있는 롱테일 조건(Long-Tail Condition)이 아니라 센서 손상(Sensor Corruption), 기록 결함(Recording Defect), 보정 실패(Calibration Failure)에서 발생할 수도 있다. 따라서 신규성 탐지(Novelty Detection)에는 데이터 무결성 검증(Data Integrity Validation)이 함께 수행되어야 한다.
조합적 희귀성(Compositional Rarity)은 익숙한 요소들이 낯선 조합을 형성할 수 있기 때문에 피지컬 인공지능(Physical AI)에서 특히 중요하다. 로봇은 도구(Tool)를 인식하고 파지 행동(Grasping Action)을 이해하며 경사면(Sloped Surface)에서 개별적으로 작동할 수 있지만, 경사면 위에서 해당 도구를 조작할 때는 어려움을 겪을 수 있다. 롱테일 발견(Long-Tail Discovery)은 물체(Object), 행동(Action), 환경(Environment), 물리적 제약조건(Physical Constraint) 사이의 상호작용을 분석해야 한다. 이러한 접근법은 단일 범주 빈도 분석(Single-Category Frequency Analysis)에서 놓칠 수 있는 약점을 드러낸다.
시간적 롱테일 이벤트(Temporal Long-Tail Event)는 개별 관측(Isolated Observation)이 아니라 비정상적인 시퀀스(Unusual Sequence)에서 발생한다. 예를 들어 로봇 주행(Robot Navigation) 중 보행자가 갑자기 방향을 바꾸거나, 안정적으로 보이던 파지(Apparently Stable Grasp) 이후 물체가 미끄러지거나, 중요한 기동(Critical Maneuver) 중 센서의 신뢰성이 저하되는 상황이 있다. 이러한 이벤트를 식별하려면 상태(State), 행동(Action), 결과(Outcome)에 대한 시퀀스 수준 분석(Sequence-Level Analysis)이 필요하다. 이벤트 중심 추출(Event-Centered Extraction)은 의미 있는 해석에 필요한 이전 맥락(Preceding Context)과 이후 결과(Subsequent Consequence)를 보존한다.
대규모 로봇 군집 배포(Fleet-Scale Deployment)는 서로 다른 로봇이 다양한 운영 조건(Operational Condition)을 경험하기 때문에 롱테일 발견(Long-Tail Discovery)의 강력한 데이터 원천(Data Source)을 제공한다. 개별 로봇에서는 드문 이벤트(Rare Event)가 수천 대의 배포된 시스템(Deployed System) 전체에서는 반복적으로 나타날 수 있다. 메타데이터(Metadata), 궤적 요약(Trajectory Summary), 선별된 센서 기록(Selected Sensor Recording)을 집계하면 새로운 패턴(Emerging Pattern)을 중앙에서 식별할 수 있다. 배포 환경에 특화된 행동(Deployment-Specific Behavior)을 일반적인 희귀성(General Rarity)과 혼동하지 않도록 지리적 차이(Geographic Difference), 환경적 차이(Environmental Difference), 하드웨어 차이(Hardware Difference), 정책 차이(Policy Difference)를 고려해야 한다.
인간 개입(Human Intervention)과 작업자 보고(Operator Report)는 과소대표 상황(Underrepresented Situation)을 발견하는 추가적인 신호를 제공한다. 작업자는 자동 신규성 탐지기(Automated Novelty Detector)가 식별하기 전에 특이한 물리적 조건(Unusual Physical Condition)을 인식할 수 있다. 개입 사유(Intervention Reason), 작업 주석(Task Annotation), 유지보수 기록(Maintenance Record)은 물체(Object), 표면(Surface), 환경 교란(Environmental Disturbance)과 관련된 반복적인 어려움을 드러낼 수 있다. 인간 관측(Human Observation)과 센서 근거(Sensor Evidence)를 결합하면 롱테일 이벤트의 해석을 개선하고 더욱 목표 지향적인 데이터 수집(Targeted Data Collection)을 지원할 수 있다.
시뮬레이션(Simulation)과 절차적 시나리오 생성(Procedural Scenario Generation)은 실제 환경에서 직접 수집하기 어렵거나 위험한 롱테일 조건(Long-Tail Condition)의 포괄성을 확장할 수 있다. 도메인 무작위화(Domain Randomization)는 물리적 매개변수(Physical Parameter), 시각적 외형(Visual Appearance), 물체 배치(Object Arrangement), 환경 동역학(Environmental Dynamics)을 변화시킨다. 조합적 생성(Compositional Generation)은 기록된 데이터셋에서 드물게 발생하는 조합을 생성한다. 그러나 합성 시나리오(Synthetic Scenario)는 물리적 타당성(Physical Plausibility)을 유지해야 하며 실제 운영 요구사항(Real Operational Requirement)과의 관련성을 평가해야 한다.
능동적 데이터 수집(Active Data Collection)은 발견된 포괄성 격차(Coverage Gap)를 목표 지향적 데이터 확보 계획(Targeted Acquisition Plan)으로 전환한다. 엔지니어는 드문 물체(Uncommon Object), 특이한 파지 구성(Unusual Grasp Configuration), 어려운 조명(Difficult Lighting), 복잡한 주행 상호작용(Complex Navigation Interaction)을 포함하는 시연(Demonstration)을 요청할 수 있다. 자율 탐색(Autonomous Exploration)은 적절한 안전 제약조건(Safety Constraint) 아래에서 과소대표 상태(Underrepresented State)를 탐색할 수 있다. 시뮬레이션(Simulation)은 비용이 높은 실제 데이터 수집(Real-World Collection)을 보완할 수 있다. 예상 학습 가치(Expected Learning Value)에 따라 격차의 우선순위를 정하면 데이터 확보 효율성(Data Acquisition Efficiency)이 향상된다.
롱테일 우선순위 결정(Long-Tail Prioritization)은 발생 빈도(Occurrence Frequency), 잠재적 심각도(Potential Severity), 작업 관련성(Task Relevance), 예상 일반화 효과(Expected Generalization Benefit)를 고려해야 한다. 운영상 결과(Operational Consequence)가 거의 없는 극히 드문 상황(Extremely Rare Situation)은 안전성이나 작업 완료(Task Completion)를 위협하는 비일상적 이벤트(Uncommon Event)보다 낮은 우선순위를 받을 수 있다. 반대로 기존 모델(Existing Model)이 이미 안정적으로 처리하는 빈번한 작은 변형(Frequent Minor Variation)은 추가 수집의 필요성이 낮을 수 있다. 위험 인식 우선순위 결정(Risk-Aware Prioritization)은 제한된 데이터 자원(Data Resource)과 엔지니어링 자원(Engineering Resource)을 효율적으로 배분하도록 돕는다.
롱테일 사례(Long-Tail Example)를 발견한 이후에는 데이터셋 균형 조정(Dataset Balancing)이 필요하다. 희귀 상황(Rare Situation)을 단순히 오버샘플링(Oversampling)하면 운영 분포(Operational Distribution)가 왜곡되어 일상적인 작업(Routine Task)의 성능이 저하될 수 있다. 학습 데이터 혼합(Training Mixture)은 일반적인 경험(Common Experience)을 유지하면서 과소대표 조건(Underrepresented Condition)에 대한 노출을 증가시켜야 한다. 시나리오 인식 샘플링 가중치(Scenario-Aware Sampling Weight)와 커리큘럼 전략(Curriculum Strategy)을 활용하면 모든 희귀 이벤트를 동일하게 중요하다고 취급하지 않으면서 학습 시스템(Learning System)이 포괄성 격차를 해결할 수 있다.
평가 데이터셋(Evaluation Dataset)은 평균 작업 성능(Average Task Performance)을 넘어서는 개선을 측정하기 위해 롱테일 조건(Long-Tail Condition)을 명시적으로 포함해야 한다. 전체 성공률(Aggregate Success Rate)은 드물지만 중대한 결과를 초래하는 상황에서의 실패를 감출 수 있다. 계층화 평가(Stratified Evaluation)는 물체 유형(Object Type), 환경 조건(Environmental Condition), 상호작용 범주(Interaction Category), 희귀 이벤트 계열(Rare Event Family)에 따른 성능을 측정할 수 있다. 별도의 롱테일 검증 및 테스트 세트(Long-Tail Validation and Test Set)를 유지하면 이미 알려진 제한적인 예외 사례(Known Exception)에 반복적으로 최적화되는 문제를 방지할 수 있다.
자동화된 롱테일 발견 파이프라인(Automated Long-Tail Discovery Pipeline)은 빈도 통계(Frequency Statistics), 임베딩 분석(Embedding Analysis), 이상 탐지(Anomaly Detection), 시나리오 분류(Scenario Classification), 로봇 군집 원격측정(Fleet Telemetry)을 통합할 수 있다. 후보 이벤트(Candidate Event)에는 신규성(Novelty), 맥락(Context), 물리적 중요성(Physical Significance), 기존 데이터 포괄성(Existing Coverage)과의 관계를 설명하는 메타데이터(Metadata)를 부여한다. 인간 검토(Human Review)는 모호한 발견(Ambiguous Discovery)을 검증한 후 사례를 학습 데이터셋(Training Dataset)이나 평가 데이터셋(Evaluation Dataset)에 포함하도록 지원한다. 버전 관리된 발견 기록(Versioned Discovery Record)은 재현성(Reproducibility)을 지원하고 운영 포괄성(Operational Coverage)이 어떻게 변화하는지 보여준다.
롱테일 발견(Long-Tail Discovery)은 배포 환경(Deployment Environment)과 로봇 역량(Robot Capability)이 시간이 지남에 따라 변화하기 때문에 본질적으로 지속적인 과정(Continuous Process)이다. 새로운 물체(New Object), 변경된 작업 흐름(Altered Workflow), 계절적 조건(Seasonal Condition), 업데이트된 정책(Updated Policy)은 과거 데이터셋(Historical Dataset)에 존재하지 않았던 상황을 도입한다. 이전에 어려웠던 시나리오(Difficult Scenario)는 일상적인 상황이 될 수 있으며, 로봇이 더 복잡한 작업(Complex Task)을 수행하면서 새로운 약점(New Weakness)이 나타날 수 있다. 주기적인 포괄성 분석(Periodic Coverage Analysis)과 배포된 시스템(Deployed System)의 피드백(Feedback)은 데이터 엔진(Data Engine)이 변화하는 운영 요구사항(Evolving Operational Requirement)에 부합하도록 유지한다.
궁극적으로 롱테일 데이터 발견(Long-Tail Data Discovery)은 로봇 경험(Robotic Experience)에 숨겨진 격차(Hidden Gap)를 측정 가능한 개선 기회(Measurable Improvement Opportunity)로 전환한다. 효과적인 피지컬 인공지능 데이터 엔진(Physical AI Data Engine)은 통계 분석(Statistical Analysis), 표현 학습(Representation Learning), 물리적 맥락(Physical Context), 목표 지향적 데이터 수집(Targeted Collection), 위험 인식 평가(Risk-Aware Evaluation)를 결합하여 운영 포괄성(Operational Coverage)을 확장한다. 드문 상황(Uncommon Situation)을 체계적으로 발견하고 학습에 반영함으로써 이러한 시스템은 점점 더 다양해지는 실제 환경(Real-World Environment)에서 견고한 일반화(Robust Generalization)와 더욱 안전한 자율 행동(Safer Autonomous Behavior)을 지원한다.
06.10. Uncertainty and Error Based Sampling
불확실성 및 오류 기반 샘플링(Uncertainty and Error-Based Sampling)은 피지컬 인공지능(Physical AI) 데이터 엔진(Data Engine)의 효율성을 향상시키는 핵심 기술이다. 대규모 로봇 데이터셋(Robotic Dataset)에는 추가적인 학습 가치(Learning Value)가 제한적인 일상적 경험(Routine Experience)이 많이 포함되어 있지만, 어려운 상황(Difficult Situation)은 충분히 표현되지 않는 경우가 많다. 모델 불확실성(Model Uncertainty), 예측 오류(Prediction Error), 실행 실패(Execution Failure)와 관련된 관측에 우선순위를 부여함으로써 샘플링 시스템(Sampling System)은 인식(Perception), 계획(Planning), 제어(Control)를 개선할 가능성이 높은 경험에 학습 자원(Training Resource)을 집중할 수 있다.
불확실성 기반 샘플링(Uncertainty-Based Sampling)은 모델(Model)이 예측(Prediction)이나 의사결정(Decision)에 대해 충분한 신뢰도(Confidence)를 갖지 못하는 데이터를 식별한다. 로봇 인식(Robotic Perception)에서 불확실성(Uncertainty)은 익숙하지 않은 물체(Unfamiliar Object), 모호한 시각적 특징(Ambiguous Visual Feature), 가림(Occlusion), 변화하는 조명(Changing Illumination)으로 인해 발생할 수 있다. 제어 시스템(Control System)에서는 예측된 움직임(Predicted Motion), 접촉력(Contact Force), 행동 결과(Action Outcome)에 대한 불확실성이 나타날 수 있다. 불확실한 경험을 선택하면 학습된 모델(Learned Model)의 지식(Knowledge)이나 신뢰할 수 있는 예측 능력(Predictive Capability)이 부족한 영역을 드러낼 수 있다.
불확실성(Uncertainty)은 크게 인식론적 불확실성(Epistemic Uncertainty)과 우연적 불확실성(Aleatoric Uncertainty)으로 구분된다. 인식론적 불확실성은 모델 지식(Model Knowledge)의 부족을 반영하며 대표성 있는 추가 학습 데이터(Representative Training Data)가 확보되면 감소할 수 있다. 우연적 불확실성은 내재적 무작위성(Inherent Randomness), 측정 잡음(Measurement Noise), 모호한 관측(Ambiguous Observation)에서 발생하며 추가 데이터만으로 항상 제거할 수 있는 것은 아니다. 이러한 범주를 구분하면 샘플링 시스템이 학습 개선 가능성(Learning Improvement Potential)이 낮은 사례를 반복적으로 수집하는 문제를 방지할 수 있다.
예측 엔트로피(Predictive Entropy)는 분류 기반 인식 시스템(Classification-Based Perception System)에서 불확실성을 측정하는 데 일반적으로 사용된다. 여러 물체 범주(Object Category)에 비슷한 확률(Probability)을 부여하는 모델은 특정 범주에 높은 확률을 부여하는 모델보다 불확실성이 크다. 엔트로피 기반 샘플링(Entropy-Based Sampling)은 모호한 관측(Ambiguous Observation)을 레이블링(Labeling)이나 재학습(Retraining)의 우선 대상으로 선정한다. 그러나 신경망(Neural Network)은 익숙하지 않거나 잘못 표현된 상황에서도 지나치게 높은 신뢰도(Overconfidence)를 보일 수 있으므로 분류 신뢰도(Classification Confidence)를 보정(Calibration)해야 한다.
앙상블 불일치(Ensemble Disagreement)는 불확실성 추정(Uncertainty Estimation)의 또 다른 접근법이다. 서로 다른 초기화(Initialization)나 데이터 부분집합(Data Subset)으로 학습한 여러 모델이 동일한 관측(Observation)에 대해 예측을 생성한다. 예측 간 차이(Prediction Difference)가 크면 학습된 표현(Learned Representation)이나 결정 경계(Decision Boundary)가 여전히 불확실한 영역임을 나타낸다. 앙상블 기반 샘플링(Ensemble-Based Sampling)은 정보 가치가 높은 경험(Informative Experience)을 식별할 수 있지만 여러 모델을 유지하면 계산 요구량(Computational Requirement)이 증가하므로 자원이 제한된 로봇(Resource-Constrained Robot)에서는 실용성이 떨어질 수 있다.
베이지안 근사(Bayesian Approximation)와 확률적 추론 방법(Stochastic Inference Method)은 완전히 독립적인 모델 앙상블(Model Ensemble)을 유지하지 않고도 예측 불확실성(Predictive Uncertainty)을 추정할 수 있다. 몬테카를로 드롭아웃(Monte Carlo Dropout)과 같은 기술은 확률적으로 변화하는 모델 구성(Stochastic Model Configuration)에서 여러 예측을 생성한다. 이러한 예측의 변동성(Prediction Variation)은 불확실성의 근사 측정값(Approximate Measure)을 제공한다. 이 방법은 인식(Perception)과 상태 추정(State Estimation)에 유용하지만 신뢰성(Reliability)은 모델 구조(Model Architecture), 보정(Calibration), 기본적인 불확실성 가정(Uncertainty Assumption)의 적절성에 따라 달라진다.
오류 기반 샘플링(Error-Based Sampling)은 예측 결과(Predicted Outcome)가 측정된 결과(Measured Outcome)나 신뢰할 수 있는 레이블(Trusted Label)과 크게 다른 관측에 집중한다. 대표적인 사례로 부정확한 물체 위치 추정(Inaccurate Object Localization), 잘못된 상태 추정(Incorrect State Estimation), 파지 예측 실패(Failed Grasp Prediction), 예상하지 못한 로봇 움직임(Unexpected Robot Motion)이 있다. 큰 예측 잔차(Prediction Residual)는 인식 모델(Perception Model), 동역학 모델(Dynamics Model), 학습된 정책(Learned Policy)의 한계를 드러낼 수 있다. 그러나 손상된 센서(Corrupted Sensor)나 잘못된 어노테이션(Incorrect Annotation)에서 발생한 오류는 실제 모델의 약점(Genuine Model Weakness)과 구분해야 한다.
시간적 예측 오류(Temporal Prediction Error)는 로봇의 의사결정(Robotic Decision)이 미래의 물리적 상태(Future Physical State)에 영향을 미치기 때문에 피지컬 인공지능에서 특히 중요하다. 동역학 모델(Dynamics Model)은 물체가 안정적으로 움직일 것으로 예측하지만 실제 물체는 미끄러지거나 예상하지 못한 방향으로 회전하거나 접촉을 잃을 수 있다. 예측 궤적(Predicted Trajectory)과 관측 궤적(Observed Trajectory)을 비교하면 정적 이미지 분석(Static Image Analysis)으로는 포착할 수 없는 불일치(Discrepancy)를 발견할 수 있다. 이러한 전이(Transition)를 샘플링하면 물리적 추론(Physical Reasoning), 접촉 모델링(Contact Modeling), 폐루프 제어 성능(Closed-Loop Control Performance)을 향상시킬 수 있다.
행동 가치 불확실성(Action-Value Uncertainty)은 강화학습(Reinforcement Learning)과 정책 최적화(Policy Optimization)에서 샘플링을 안내할 수 있다. 정책(Policy)이 여러 대안 행동(Alternative Action)을 신뢰성 있게 구분하지 못하는 경우 해당 상태(State)는 유용한 학습 기회(Learning Opportunity)를 제공할 수 있다. 가치 함수 불일치(Value-Function Disagreement)와 불확실한 행동 결과(Uncertain Action Outcome)는 추가 탐색(Additional Exploration)이 필요한 영역을 식별할 수 있다. 그러나 불확실성 기반 탐색(Uncertainty-Driven Exploration)은 정보 가치가 높은 상태가 불안정하거나 위험한 물리적 상호작용(Unstable or Hazardous Physical Interaction)을 포함할 수 있으므로 안전 제약조건(Safety Constraint)을 준수해야 한다.
작업 실행 오류(Task Execution Error)에 기반한 샘플링은 데이터 선택(Data Selection)을 운영 성능(Operational Performance)과 직접 연결한다. 파지 실패(Failed Grasp), 주행 편차(Navigation Deviation), 미완료 조립 작업(Incomplete Assembly Operation), 예상하지 못한 개입(Unexpected Intervention)은 학습된 행동(Learned Behavior)의 결함을 나타낼 수 있다. 이벤트 기반 기록(Event-Triggered Recording)은 이러한 실패 전후의 관련 관측(Relevant Observation)을 수집할 수 있다. 작업 맥락(Task Context), 행동 이력(Action History), 실행 결과(Execution Outcome)를 포함하면 엔지니어가 개별적인 실수(Isolated Mistake)와 체계적인 약점(Systematic Weakness)을 구분할 수 있다.
높은 불확실성(High Uncertainty)과 큰 예측 오류(High Prediction Error)가 항상 높은 학습 가치(High Learning Value)를 의미하는 것은 아니다. 분포 외 관측(Out-of-Distribution Observation), 제거할 수 없는 센서 잡음(Irreducible Sensor Noise), 잘못 레이블링된 샘플(Mislabeled Sample)은 유용한 모델 개선(Model Improvement)에 기여하지 않으면서 높은 점수를 생성할 수 있다. 따라서 샘플링 시스템(Sampling System)은 불확실성과 오류 지표(Error Indicator)를 데이터 무결성(Data Integrity), 신규성(Novelty), 작업 관련성(Task Relevance), 물리적 타당성(Physical Plausibility)과 결합해야 한다. 이를 통해 제한된 학습 예산(Training Budget)이 잘못된 사례(Misleading Example)에 소모되는 것을 방지할 수 있다.
불확실성 보정(Uncertainty Calibration)은 서로 다른 모델(Model)과 운영 조건(Operating Condition)에서 샘플링 점수(Sampling Score)가 의미를 갖도록 하는 데 필요하다. 적절히 보정된 모델(Calibrated Model)은 관측된 정답 여부(Observed Correctness)나 오류 크기(Error Magnitude)와 일치하는 예측 신뢰도(Prediction Confidence)를 보여야 한다. 신뢰성 분석(Reliability Analysis), 별도로 확보한 평가 데이터(Held-Out Evaluation Data), 보정 지표(Calibration Metric)는 과신(Overconfidence)이나 과소신뢰(Underconfidence)를 식별할 수 있다. 배포(Deployment) 과정에서 센서(Sensor), 환경(Environment), 로봇 구성(Robot Configuration), 학습된 정책(Learned Policy)이 변화하면 주기적인 재보정(Periodic Recalibration)이 중요해진다.
다양성 인식 샘플링(Diversity-Aware Sampling)은 불확실성 기반 선택(Uncertainty-Based Selection)이 거의 동일한 어려운 사례(Difficult Example)를 반복적으로 선택하는 것을 방지한다. 동일한 실패 시퀀스(Failure Sequence)에 속한 여러 관측은 높은 불확실성 점수(Uncertainty Score)를 받더라도 중복 정보(Redundant Information)를 제공할 수 있다. 임베딩 유사도(Embedding Similarity), 군집화(Clustering), 포괄성 제약조건(Coverage Constraint)을 활용하면 선택된 샘플(Selected Sample)을 서로 다른 작업과 환경에 분산할 수 있다. 정보 가치(Informativeness)와 다양성(Diversity)을 결합하면 데이터셋 효율성(Dataset Efficiency)이 향상되고 제한적인 실패 패턴(Narrow Failure Pattern)에 데이터가 집중되는 문제를 줄일 수 있다.
능동 학습(Active Learning)은 불확실성과 오류 신호(Error Signal)를 활용하여 어떤 관측에 추가 레이블링(Additional Labeling), 전문가 검토(Expert Review), 새로운 시연(New Demonstration)이 필요한지 결정한다. 데이터 엔진(Data Engine)은 기록된 모든 프레임(Frame)에 주석을 부여하는 대신 감독 정보(Supervision)의 개선이 모델 약점을 줄일 가능성이 높은 사례를 우선 처리한다. 인간 작업자(Human Operator)는 모호한 물체 상태(Ambiguous Object State)를 명확히 하고 작업 결과(Task Outcome)를 검증하거나 수정 행동(Corrective Action)을 시연할 수 있다. 이러한 목표 지향적 과정(Targeted Process)은 어노테이션 비용(Annotation Cost)을 줄이면서 학습 관련성(Training Relevance)을 향상시킨다.
적응형 샘플링 가중치(Adaptive Sampling Weight)는 일상적인 관측(Routine Observation)을 영구적으로 제거하지 않으면서 어려운 경험(Difficult Experience)을 더 강조할 수 있도록 한다. 높은 불확실성(High Uncertainty), 의미 있는 예측 오류(Meaningful Prediction Error), 안전 관련성(Safety Relevance)을 가진 샘플은 학습 과정에서 더 자주 선택될 수 있다. 모델 성능(Model Performance)이 향상되면 샘플링 우선순위(Sampling Priority)도 변화할 수 있다. 이러한 동적 접근법(Dynamic Approach)은 신뢰할 수 있는 배포(Reliable Deployment)에 필요한 대표성 있는 운영 분포(Representative Operational Distribution)를 유지하면서 지속 학습(Continuous Learning)을 지원한다.
불확실성 및 오류 기반 샘플링(Uncertainty and Error-Based Sampling)은 희귀 이벤트(Rare Event)와 안전 필수 시나리오(Safety-Critical Scenario)도 고려해야 한다. 발생 빈도가 낮은 충돌 위험(Low-Frequency Collision Risk)은 불확실성 점수(Uncertainty Score)가 중간 수준이더라도 중요한 대상으로 선정될 수 있다. 반대로 불확실성이 매우 높지만 무해한 시각적 변형(Harmless Visual Variation)은 운영상 중요성(Operational Importance)이 낮을 수 있다. 위험 인식 샘플링(Risk-Aware Sampling)은 모델 불확실성(Model Uncertainty), 예상 오류 결과(Expected Error Consequence), 이벤트 심각도(Event Severity), 작업 관련성(Task Relevance)을 결합하여 역량(Capability)과 안전성(Safety)을 모두 개선하는 경험에 우선순위를 부여한다.
자동화된 샘플링 파이프라인(Automated Sampling Pipeline)은 배포된 로봇(Deployed Robot)에서 모델 예측(Model Prediction), 신뢰도 추정(Confidence Estimate), 관측된 결과(Observed Outcome), 맥락 메타데이터(Contextual Metadata)를 수집할 수 있다. 중앙 집중식 처리(Centralized Processing)는 불확실성 점수(Uncertainty Score), 예측 잔차(Prediction Residual), 신규성 측정값(Novelty Measure), 품질 지표(Quality Indicator)를 계산한다. 이후 후보 샘플(Candidate Sample)은 순위화(Ranking), 중복 제거(Deduplication)를 거쳐 레이블링(Labeling), 재학습(Retraining), 검증(Validation) 작업 흐름(Workflow)에 배정된다. 모델 버전(Model Version)과 샘플링 결정(Sampling Decision)을 기록하면 추적성(Traceability)과 재현성(Reproducibility)을 지원할 수 있다.
샘플링 효과(Sampling Effectiveness)는 단순한 불확실성 감소(Uncertainty Reduction)가 아니라 후속 학습 개선(Downstream Learning Improvement)을 통해 평가해야 한다. 관련 지표(Metric)에는 작업 성공률(Task Success Rate), 예측 정확도(Prediction Accuracy), 개입 빈도(Intervention Frequency), 분포 변화에 대한 견고성(Robustness Under Distribution Shift), 어노테이션 효율성(Annotation Efficiency)이 포함된다. 통제 실험(Controlled Experiment)은 불확실성 기반 샘플링(Uncertainty-Based Sampling)을 무작위 샘플링(Random Sampling) 및 다른 선택 전략(Alternative Selection Strategy)과 비교할 수 있다. 이러한 비교는 선택된 사례가 수집 및 처리 비용(Collection and Processing Cost)에 비해 측정 가능한 이점(Measurable Benefit)을 제공하는지 보여준다.
대규모 로봇 군집(Fleet Scale)에서 불확실성 및 오류 기반 샘플링은 배포된 로봇(Deployed Robot)과 중앙 집중식 학습 인프라(Centralized Learning Infrastructure)를 연결하는 지속적인 피드백 메커니즘(Continuous Feedback Mechanism)이 된다. 서로 다른 로봇은 다양한 운영 조건(Operating Condition)을 경험하며 모델 한계(Model Limitation)에 관한 상호 보완적인 근거(Complementary Evidence)를 생성한다. 불확실성 패턴(Uncertainty Pattern)과 실행 오류(Execution Error)를 집계하면 여러 환경과 하드웨어 구성(Hardware Configuration)에 걸쳐 반복되는 약점을 발견할 수 있다. 주기적인 모델 업데이트(Model Update)와 샘플링 기준(Sampling Criteria)의 재평가는 데이터 엔진이 변화하는 역량(Changing Capability)에 맞춰 작동하도록 한다.
궁극적으로 불확실성 및 오류 기반 샘플링(Uncertainty and Error-Based Sampling)은 로봇 데이터 선택(Robotic Data Selection)을 수동적인 수집(Passive Collection)에서 목표 지향적 학습 최적화(Targeted Learning Optimization)로 전환한다. 효과적인 피지컬 인공지능 데이터 엔진(Physical AI Data Engine)은 모델의 지식이 부족한 영역(Knowledge Gap), 예측이 실패하는 상황(Prediction Failure), 추가 경험이 의미 있는 개선을 제공할 수 있는 영역을 식별한다. 보정된 불확실성(Calibrated Uncertainty), 오류 분석(Error Analysis), 다양성 보존(Diversity Preservation), 안전 인식 우선순위 결정(Safety-Aware Prioritization)을 결합함으로써 이러한 시스템은 데이터 효율성(Data Efficiency), 일반화(Generalization), 신뢰할 수 있는 자율 행동(Reliable Autonomous Behavior)을 향상시킨다.
06.11. Embedding Based Data Curation
임베딩 기반 데이터 큐레이션(Embedding-Based Data Curation)은 로봇 경험(Robotic Experience)의 학습된 표현(Learned Representation)을 활용하여 대규모 피지컬 인공지능(Physical AI) 데이터셋(Dataset)을 구성하고 필터링하는 중요한 기술이다. 원시 이미지(Raw Image), 센서 측정값(Sensor Measurement), 행동 시퀀스(Action Sequence)를 직접 비교하는 대신 데이터 엔진(Data Engine)은 관측 데이터를 의미 있는 유사성(Meaningful Similarity)을 포착하는 압축된 수치 벡터(Compact Numerical Vector)로 변환한다. 이러한 임베딩(Embedding)은 중복 탐지(Duplicate Detection), 다양성 분석(Diversity Analysis), 희귀 이벤트 발견(Rare Event Discovery), 효율적인 학습 사례 선택(Training Example Selection)을 지원한다.
임베딩(Embedding)은 고차원 정보(High-Dimensional Information)를 관련 관측(Related Observation)이 서로 가까운 위치에 배치되는 저차원 특징 공간(Lower-Dimensional Feature Space)으로 표현한다. 로봇공학(Robotics)에서 임베딩은 시각적 장면(Visual Scene), 물체 특성(Object Property), 로봇 상태(Robot State), 행동(Action), 전체 궤적(Complete Trajectory)을 설명할 수 있다. 유용한 표현(Useful Representation)은 관련성이 낮은 변형(Irrelevant Variation)을 줄이면서 물리적 상호작용(Physical Interaction)에 중요한 차이(Distinction)를 보존해야 한다. 그 효과는 학습 목표(Training Objective)와 기반 인코더(Underlying Encoder)의 특성에 따라 달라진다.
시각 임베딩(Visual Embedding)은 합성곱 신경망(Convolutional Neural Network), 비전 트랜스포머(Vision Transformer), 사전학습된 비전-언어 모델(Pretrained Vision-Language Model)을 사용하여 생성할 수 있다. 이러한 표현은 물체 범주(Object Category), 공간적 관계(Spatial Relationship), 장면 구조(Scene Structure), 의미적 맥락(Semantic Context)을 포착할 수 있다. 서로 다른 조명(Lighting)이나 카메라 시점(Camera Viewpoint)에서 기록된 이미지라도 기본적인 내용이 관련되어 있다면 유사한 임베딩을 생성할 수 있다. 그러나 작은 기하학적 차이(Geometric Difference)도 파지(Grasping), 충돌 회피(Collision Avoidance), 정밀 조작(Precise Manipulation)에서는 매우 중요할 수 있다.
로봇 상태 임베딩(Robot State Embedding)은 관절 위치(Joint Position), 속도(Velocity), 액추에이터 측정값(Actuator Measurement), 말단효과기 자세(End-Effector Pose), 기타 고유수용감각 정보(Proprioceptive Information)를 포함한다. 시각 임베딩(Visual Embedding)과 달리 이러한 표현은 로봇의 물리적 구성(Physical Configuration)과 움직임(Motion)을 강조한다. 변수마다 단위(Unit)와 수치 범위(Numerical Range)가 다르기 때문에 정규화(Normalization)가 중요하다. 상태 임베딩은 반복적인 구성(Repeated Configuration), 비정상적인 움직임(Unusual Movement), 학습 데이터 포괄성(Training Coverage)이 부족한 운영 상태 공간(Operational State Space)의 영역을 발견하는 데 활용할 수 있다.
궤적 임베딩(Trajectory Embedding)은 개별 순간(Individual Moment)이 아니라 관측(Observation), 행동(Action), 상태 전이(State Transition)의 시퀀스를 요약한다. 순환 신경망(Recurrent Network), 시간적 트랜스포머(Temporal Transformer), 시퀀스 인코더(Sequence Encoder)는 전체 시연(Complete Demonstration)이나 선택된 움직임 구간(Motion Segment)을 표현할 수 있다. 이러한 임베딩은 궤적 군집화(Trajectory Clustering), 행동 유사도 분석(Behavioral Similarity Analysis), 대체 실행 전략(Alternative Execution Strategy)의 식별을 지원한다. 유사한 상태라도 서로 다른 결과를 생성할 수 있으므로 시간적 인코딩(Temporal Encoding)은 행동 순서(Action Order)와 중요한 전이(Important Transition)를 보존해야 한다.
멀티모달 임베딩(Multimodal Embedding)은 카메라(Camera), 깊이 센서(Depth Sensor), 촉각 측정값(Tactile Measurement), 힘 센서(Force Sensor), 로봇 상태(Robot State), 언어 지시(Language Instruction)의 정보를 결합한다. 공동 표현 학습(Joint Representation Learning)은 시각적 관측(Visual Observation)을 물리적 상호작용(Physical Interaction) 및 의도한 작업(Intended Task)과 연결할 수 있다. 이러한 임베딩은 시각적으로 유사하지만 접촉 동역학(Contact Dynamics)이나 작업 목표(Task Objective)가 다른 경험을 식별하는 데 유용하다. 정확한 동기화(Accurate Synchronization)와 모달리티 인식 학습(Modality-Aware Training)은 신뢰할 수 있는 멀티모달 표현(Multimodal Representation)을 위해 필수적이다.
유사도 측정(Similarity Measurement)은 임베딩 기반 큐레이션(Embedding-Based Curation)의 핵심 연산이다. 코사인 유사도(Cosine Similarity)와 유클리드 거리(Euclidean Distance)는 인코딩된 샘플(Encoded Sample)을 비교하는 데 일반적으로 사용된다. 높은 유사도(High Similarity)는 중복 관측(Redundant Observation)을 나타낼 수 있으며, 큰 거리(Large Distance)는 새로운 경험(Novel Experience)을 의미할 수 있다. 그러나 유사도 임계값(Similarity Threshold)은 표현(Representation)과 작업(Task)에 맞게 보정해야 한다. 두 이미지가 의미적으로 유사(Semantically Similar)하더라도 물체 자세(Object Pose)나 접근 가능성(Accessibility)의 작은 차이 때문에 서로 다른 로봇 행동(Robot Action)이 필요할 수 있다.
임베딩 기반 중복 탐지(Embedding-Based Duplicate Detection)는 대규모 로봇 데이터셋(Robotic Dataset)에서 불필요한 반복을 줄인다. 연속적인 카메라 프레임(Consecutive Camera Frame), 반복적인 시연(Repeated Demonstration), 유사한 환경 관측(Similar Environmental Observation)은 표현 공간(Representation Space)에서 서로 가까운 영역에 위치하는 경우가 많다. 근사 최근접 이웃 검색(Approximate Nearest-Neighbor Search)은 대규모 데이터에서 관련 샘플(Related Sample)을 효율적으로 식별할 수 있도록 한다. 중복 제거 정책(Deduplication Policy)은 대표성 있는 변형(Representative Variation)을 유지하고 접촉(Contact), 안정성(Stability), 안전성(Safety)에 영향을 미치는 미세한 변화(Subtle Change)가 제거되지 않도록 해야 한다.
군집화(Clustering)는 유사한 특징(Feature)이나 행동(Behavior)을 가진 로봇 경험을 그룹으로 구성한다. K-평균 군집화(K-Means Clustering), 계층적 군집화(Hierarchical Clustering), 밀도 기반 군집화(Density-Based Clustering)와 같은 방법은 일반적인 운영 패턴(Common Operating Pattern)과 서로 다른 시나리오 범주(Scenario Category)를 발견할 수 있다. 군집별 샘플 수(Cluster Population)는 데이터셋 불균형(Dataset Imbalance)에 관한 정보를 제공하며, 작은 군집(Small Cluster)에는 드문 조건(Uncommon Condition)이 포함될 수 있다. 그러나 수학적 근접성(Mathematical Proximity)이 항상 의미 있는 물리적 유사성(Physical Similarity)과 일치하는 것은 아니므로 엔지니어는 군집의 의미(Cluster Meaning)를 검증해야 한다.
다양성 인식 선택(Diversity-Aware Selection)은 임베딩을 활용하여 경험 분포(Experience Distribution)의 서로 다른 영역을 포괄하는 학습 부분집합(Training Subset)을 구성한다. 반복적인 샘플을 무작위로 대량 선택하는 대신 알고리즘(Algorithm)은 이미 선택된 사례(Selected Example)에서 멀리 떨어진 관측에 우선순위를 부여할 수 있다. 코어셋 선택(Core-Set Selection)과 최원점 샘플링(Farthest-Point Sampling)은 대표적인 접근법이다. 이러한 방법은 표현 포괄성(Representation Coverage)을 향상시키지만 대규모 데이터셋을 선택할 때는 계산 효율성(Computational Efficiency)과 작업 관련성(Task Relevance)을 고려해야 한다.
임베딩 밀도(Embedding Density)는 신규성(Novelty)과 롱테일 발견(Long-Tail Discovery)에 유용한 신호를 제공한다. 샘플이 희소하게 분포된 영역(Sparsely Populated Region)에 위치한다면 특이한 물체(Unusual Object), 희귀한 상호작용(Rare Interaction), 익숙하지 않은 환경 조건(Unfamiliar Environmental Condition)을 나타낼 수 있다. 밀도 추정(Density Estimation)과 최근접 이웃 거리(Nearest-Neighbor Distance)는 추가 조사가 필요한 후보(Candidate)를 식별할 수 있다. 그러나 희소한 임베딩(Sparse Embedding)은 센서 손상(Sensor Corruption)이나 표현 오류(Representation Error)를 반영할 수도 있다. 따라서 신규성 탐지(Novelty Detection)는 무결성 검사(Integrity Check)와 맥락 검증(Contextual Validation)을 함께 수행해야 한다.
어려운 사례 마이닝(Hard Example Mining)은 모델 실패(Model Failure)가 표현 공간(Representation Space)의 특정 영역에 집중될 때 임베딩 기반 분석(Embedding-Based Analysis)의 도움을 받을 수 있다. 높은 예측 오류(High Prediction Error), 반복적인 개입(Repeated Intervention), 실패한 궤적(Unsuccessful Trajectory)을 포함하는 군집은 체계적인 약점(Systematic Weakness)을 드러낼 수 있다. 엔지니어는 이러한 영역에 추가 레이블링(Additional Labeling), 시뮬레이션(Simulation), 원격조작(Teleoperation)의 우선순위를 부여할 수 있다. 임베딩 구조(Embedding Structure)와 성능 지표(Performance Metric)를 결합하는 것은 기하학적 거리(Geometric Distance)에만 의존하는 것보다 더 많은 정보를 제공한다.
임베딩 품질(Embedding Quality)은 큐레이션 결과(Curation Outcome)에 큰 영향을 미친다. 이미지 분류(Image Classification)를 위해 학습된 표현은 물체 식별(Object Identity)을 강조하면서 접촉력(Contact Force), 마찰(Friction), 정밀한 기하학적 구조(Precise Geometry)를 간과할 수 있다. 주행(Navigation)에 적합한 표현이 조작 관련 차이(Manipulation-Relevant Difference)를 포착하지 못할 수도 있다. 작업별 미세조정(Task-Specific Fine-Tuning), 대조 학습(Contrastive Learning), 멀티모달 학습 목표(Multimodal Objective)는 임베딩 유사도(Embedding Similarity)와 물리적 학습 요구사항(Physical Learning Requirement) 사이의 정합성(Alignment)을 개선할 수 있다.
표현 편향(Representation Bias)은 임베딩이 원래 학습 데이터셋(Original Training Dataset)의 한계(Limitation)를 반영할 때 위험을 발생시킨다. 드문 물체(Uncommon Object), 익숙하지 않은 로봇 형태(Unfamiliar Robot Embodiment), 특이한 환경(Unusual Environment)은 부정확하게 매핑되거나 적절하지 않은 사례(Inappropriate Example)와 함께 그룹화될 수 있다. 이는 중요한 롱테일 조건(Long-Tail Condition)을 발견하기보다 숨기는 결과를 초래할 수 있다. 임베딩 검증(Embedding Validation)은 작업(Task), 환경(Environment), 하드웨어 구성(Hardware Configuration), 실패 범주(Failure Category)에 걸친 포괄성(Coverage)을 분석하여 체계적인 사각지대(Systematic Blind Spot)를 식별해야 한다.
확장 가능한 임베딩 인프라(Scalable Embedding Infrastructure)는 효율적인 특징 추출(Feature Extraction), 저장(Storage), 인덱싱(Indexing), 검색(Retrieval)을 필요로 한다. 대규모 로봇 군집(Robot Fleet)은 수백만 개의 관측과 궤적을 생성할 수 있으므로 모든 샘플 쌍을 비교하는 완전 쌍별 비교(Exhaustive Pairwise Comparison)는 비현실적이다. 벡터 데이터베이스(Vector Database)와 근사 최근접 이웃 인덱스(Approximate Nearest-Neighbor Index)는 방대한 데이터셋에 대한 유사도 검색(Similarity Search)을 지원한다. 증분 인덱싱(Incremental Indexing)은 전체 표현 저장소(Representation Repository)를 반복적으로 재구축하지 않고 새로 수집된 경험을 통합할 수 있도록 한다.
임베딩 기반 큐레이션 파이프라인(Embedding-Based Curation Pipeline)은 각 기록(Recording)에 중복성(Redundancy), 신규성(Novelty), 다양성 기여도(Diversity Contribution), 알려진 실패 패턴(Known Failure Pattern)과의 근접성(Proximity)에 대한 점수를 부여할 수 있다. 이러한 점수는 데이터 보존(Retention), 다운샘플링(Downsampling), 검토(Review), 학습 부분집합 구성(Training Subset Construction)을 안내할 수 있다. 임베딩을 원본 센서 기록(Original Sensor Recording), 작업 설명(Task Description), 로봇 구성(Robot Configuration)과 연결하는 메타데이터(Metadata)는 해석 가능성(Interpretability)을 유지한다. 모델 업데이트(Model Update) 이후 임베딩 거리(Embedding Distance)가 달라질 수 있으므로 인코더(Encoder)와 인덱스(Index)의 버전 관리(Versioning)가 중요하다.
인간 검토(Human Review)는 군집(Cluster)과 비정상적인 샘플(Unusual Sample)을 해석하는 데 여전히 가치가 있다. 엔지니어는 대표 관측(Representative Observation), 동기화된 궤적(Synchronized Trajectory), 실행 결과(Execution Outcome)를 검토하여 임베딩 관계(Embedding Relationship)가 의미 있는 물리적 행동(Physical Behavior)을 반영하는지 판단할 수 있다. 검토된 사례(Reviewed Example)는 표현 학습(Representation Learning)을 개선하고 선택 임계값(Selection Threshold)을 정교화하는 데 활용할 수 있다. 이러한 피드백(Feedback)은 새로운 로봇 플랫폼(Robot Platform)이나 운영 환경(Operational Environment)이 이전에 관측되지 않은 패턴(Previously Unseen Pattern)을 도입할 때 특히 중요하다.
임베딩 기반 큐레이션(Embedding-Based Curation)은 시각화 품질(Visualization Quality)이나 군집화 점수(Clustering Score)만이 아니라 후속 모델 성능(Downstream Model Performance)을 통해 평가해야 한다. 관련 결과에는 작업 성공(Task Success), 일반화(Generalization), 학습 효율성(Training Efficiency), 희귀 이벤트 포괄성(Rare Event Coverage), 분포 변화에 대한 견고성(Robustness Under Distribution Shift)이 포함된다. 무작위 선택(Random Selection)과 임베딩 기반 선택(Embedding-Guided Selection)을 비교하는 통제 실험(Controlled Comparison)은 실제적인 이점(Practical Benefit)을 측정하는 데 도움이 된다. 시각적으로 잘 정리된 임베딩 공간(Embedding Space)도 더 나은 학습 결정(Learning Decision)을 지원할 때만 유용하다.
대규모 로봇 군집(Fleet Scale)에서 임베딩은 서로 다른 로봇과 운영 현장(Operating Site)에서 수집된 경험을 비교하기 위한 공통 프레임워크(Common Framework)를 제공한다. 공유 표현(Shared Representation)은 반복적인 실패(Recurring Failure)를 발견하고 중복 기록(Redundant Recording)을 식별하며 운영 포괄성(Operational Coverage)의 격차를 드러낼 수 있다. 그러나 센서(Sensor), 보정(Calibration), 로봇 형태(Robot Morphology), 작업 정의(Task Definition)의 차이는 비교 가능성(Comparability)에 영향을 미칠 수 있다. 신뢰할 수 있는 로봇 군집 전체의 큐레이션(Fleet-Wide Curation)을 위해서는 플랫폼 간 정렬(Cross-Platform Alignment)과 주기적인 표현 검증(Periodic Representation Validation)이 필요하다.
궁극적으로 임베딩 기반 데이터 큐레이션(Embedding-Based Data Curation)은 방대한 로봇 기록(Robotic Recording)을 지능적인 데이터 선택(Intelligent Data Selection)을 지원하는 구조화된 표현(Structured Representation)으로 전환한다. 유사도 검색(Similarity Search), 군집화(Clustering), 다양성 보존(Diversity Preservation), 신규성 탐지(Novelty Detection), 작업 인식 검증(Task-Aware Validation)을 통합함으로써 피지컬 인공지능 데이터 엔진(Physical AI Data Engine)은 정보 가치가 높은 경험(Informative Experience)을 유지하면서 중복성(Redundancy)을 줄일 수 있다. 효과적인 임베딩(Effective Embedding)은 데이터셋 품질(Dataset Quality), 계산 효율성(Computational Efficiency), 견고하고 일반화 가능한 로봇 지능(Robust and Generalizable Robotic Intelligence)의 개발을 향상시킨다.
06.12. Data Balancing and Mixture Design
데이터 균형 조정(Data Balancing)과 혼합 설계(Mixture Design)는 로봇 데이터셋(Robotic Dataset)에 작업(Task), 환경(Environment), 물체(Object), 행동(Behavior)이 불균등하게 분포되어 있기 때문에 피지컬 인공지능(Physical AI)에서 필수적이다. 대량의 일상적인 관측(Routine Observation)이 학습을 지배할 수 있으며, 희귀한 상호작용(Rare Interaction)과 어려운 조건(Difficult Condition)은 충분히 표현되지 않을 수 있다. 효과적인 혼합 설계는 서로 다른 데이터 소스(Data Source)가 학습에 기여하는 방식을 제어하여 일반적인 운영 시나리오(Common Operating Scenario)의 성능을 유지하면서 일반화(Generalization)를 향상시킨다.
데이터 균형 조정(Data Balancing)은 범주(Category)나 조건(Condition)에 따른 샘플의 상대적 표현 비율(Relative Representation)을 조정하며, 혼합 설계(Mixture Design)는 여러 데이터셋(Dataset)과 경험 유형(Experience Type)을 학습 과정에서 어떻게 결합할지 결정한다. 두 과정은 서로 관련되어 있지만 구별된다. 균형 조정은 데이터셋 내부의 과도한 반복(Excessive Repetition)을 수정할 수 있으며, 혼합 설계는 원격조작(Teleoperation), 자율 실행(Autonomous Execution), 시뮬레이션(Simulation), 인간 영상(Human Video), 기타 데이터 소스 사이에 학습 역량(Learning Capacity)을 배분한다.
운영 데이터 분포(Operational Data Distribution)는 학습 데이터 혼합(Training Mixture)을 설계하는 중요한 기준을 제공한다. 창고(Warehouse), 공장(Factory), 병원(Hospital), 가정(Home)에 배포된 로봇은 서로 다른 작업과 환경 조건(Environmental Condition)의 조합을 경험한다. 학습 데이터(Training Data)는 단순히 수집 빈도(Collection Frequency)를 재현하기보다 관련 배포 요구사항(Deployment Requirement)을 반영해야 한다. 그러나 과도한 재균형 조정(Excessive Rebalancing)은 일상적인 운영(Routine Operation)에서 성능이 낮은 정책(Policy)을 생성할 수 있으므로 현실적인 운영 조건(Realistic Operating Condition)을 유지하는 것도 중요하다.
작업 수준 균형 조정(Task-Level Balancing)은 자주 기록되는 활동(Frequently Recorded Activity)이 상대적으로 드물지만 중요한 역량(Important Capability)을 압도하지 않도록 한다. 조작 데이터셋(Manipulation Dataset)에는 단순한 집기 및 배치 시연(Pick-and-Place Demonstration)이 수천 개 포함될 수 있지만 삽입(Insertion), 도구 사용(Tool Use), 복구(Recovery)에 관한 사례는 상대적으로 적을 수 있다. 서로 다른 작업에 적절한 샘플링 가중치(Sampling Weight)를 부여하면 과소대표 기술(Underrepresented Skill)에 대한 학습 노출을 개선할 수 있다. 가중치 선택(Weight Selection)은 작업 난이도(Task Difficulty), 운영상 중요성(Operational Importance), 관련 행동 사이의 예상 전이 효과(Expected Transfer)를 고려해야 한다.
환경 수준 균형 조정(Environment-Level Balancing)은 조명(Lighting), 표면 특성(Surface Property), 복잡도(Clutter), 공간 배치(Spatial Layout), 동적 장애물(Dynamic Obstacle)의 차이를 다룬다. 통제된 실험실(Controlled Laboratory)에서 수집된 데이터는 복잡한 실제 배포 현장(Deployment Site)의 기록보다 품질이 높고 양도 많을 수 있다. 실험실 조건(Laboratory Condition)이 과도하게 표현되면 로봇이 익숙하지 않은 환경(Unfamiliar Environment)을 만났을 때 견고성(Robustness)이 감소할 수 있다. 균형 잡힌 데이터 혼합(Balanced Mixture)은 거의 동일한 장면(Nearly Identical Scene)의 불필요한 중복을 방지하면서 현실적인 환경 변동성(Environmental Variation)을 보존해야 한다.
로봇 형태 균형 조정(Robot Embodiment Balancing)은 서로 다른 운동학(Kinematics), 센서(Sensor), 액추에이터(Actuator), 물리적 역량(Physical Capability)을 가진 플랫폼에서 공유 모델(Shared Model)을 학습할 때 중요해진다. 특정 로봇 구성(Robot Configuration)이 지배적인 데이터셋은 학습된 표현(Learned Representation)을 해당 로봇 형태(Embodiment)에 편향시킬 수 있다. 혼합 설계(Mixture Design)는 로봇 유형(Robot Type)별로 샘플을 배분하면서 형태별 제약조건(Embodiment-Specific Constraint)을 보존할 수 있다. 형태 인식 조건화(Morphology-Aware Conditioning)는 모델이 전이 가능한 기술(Transferable Skill)과 특정 하드웨어(Particular Hardware)에 의존하는 행동을 구분하도록 돕는다.
데이터 소스 균형 조정(Data Source Balancing)은 원격조작 시연(Teleoperation Demonstration), 자율 실행 궤적(Autonomous Rollout), 시뮬레이션 궤적(Simulation Trajectory), 인간 영상(Human Video) 사이의 차이를 고려한다. 각 소스는 서로 다른 장점(Benefit)과 한계(Limitation)를 제공한다. 원격조작은 행동 감독 정보(Action Supervision)를 제공하고, 자율 데이터(Autonomous Data)는 정책 행동(Policy Behavior)을 반영하며, 시뮬레이션은 통제된 변형(Controlled Variation)을 가능하게 하고, 인간 영상은 폭넓은 시각적 경험(Broad Visual Experience)을 제공한다. 혼합 가중치(Mixture Weight)는 감독 정보의 신뢰성(Supervision Reliability), 물리적 관련성(Physical Relevance), 의도한 학습 목표(Learning Objective)를 반영해야 한다.
시뮬레이션과 실제 데이터의 균형 조정(Simulation-to-Real Balancing)은 합성 데이터(Synthetic Data)를 실제 로봇 경험(Physical Robot Experience)보다 훨씬 낮은 비용으로 생성할 수 있기 때문에 특히 중요하다. 시뮬레이션에 과도하게 의존하면 부정확한 접촉 동역학(Inaccurate Contact Dynamics), 단순화된 센싱(Simplified Sensing), 비현실적인 환경(Unrealistic Environment)에서 편향(Bias)이 발생할 수 있다. 실제 환경 데이터(Real-World Data)는 학습을 운영 조건(Operational Condition)에 연결하며, 시뮬레이션은 희귀 시나리오(Rare Scenario)의 포괄성(Coverage)을 확장한다. 최적의 혼합(Optimal Mixture)은 시뮬레이터 충실도(Simulator Fidelity)와 측정된 전이 성능(Transfer Performance)에 따라 달라진다.
성공 및 실패 균형 조정(Success and Failure Balancing)은 정책(Policy)이 바람직한 행동(Desirable Behavior)과 운영 한계(Operational Boundary)를 해석하는 방식에 영향을 미친다. 전문가 시연(Expert Demonstration)은 효과적인 행동(Effective Action)의 사례를 제공하며, 실패한 궤적(Unsuccessful Trajectory)은 위험(Hazard), 실수(Mistake), 복구 기회(Recovery Opportunity)를 드러낸다. 실패 사례를 과도하게 샘플링하면 성공하지 못한 행동을 전문가 목표(Expert Target)로 취급하는 경우 모방 학습 목표(Imitation Objective)가 왜곡될 수 있다. 실패 데이터(Failure Data)는 성공적인 시연과 무분별하게 혼합하기보다 적절한 레이블(Label)과 학습 목표(Learning Objective)를 부여해야 한다.
롱테일 균형 조정(Long-Tail Balancing)은 드문 물체(Uncommon Object), 특이한 환경 조건(Unusual Environmental Condition), 안전 필수 상호작용(Safety-Critical Interaction)에 대한 학습 노출을 증가시킨다. 이러한 경험은 자연 발생 빈도(Natural Frequency)가 낮더라도 운영상 중요성(Operational Importance)이 높을 수 있다. 목표 지향적 오버샘플링(Targeted Oversampling)은 견고성(Robustness)을 향상시킬 수 있지만 희귀 사례(Rare Case)를 지나치게 강조하면 일반적인 작업(Common Task)의 성능이 저하될 수 있다. 위험 인식 혼합 설계(Risk-Aware Mixture Design)는 발생 확률(Occurrence Probability), 결과의 심각도(Consequence Severity), 모델의 기존 역량(Existing Competence)을 고려한다.
샘플링 가중치(Sampling Weight)는 관측 데이터를 물리적으로 복제하지 않고 데이터셋 구성(Dataset Composition)을 제어하는 유연한 메커니즘(Flexible Mechanism)을 제공한다. 각 작업(Task), 환경(Environment), 소스(Source), 시나리오 범주(Scenario Category)에는 학습 중 선택 빈도(Selection Frequency)를 결정하는 확률(Probability)을 부여할 수 있다. 계층적 샘플링(Hierarchical Sampling)은 먼저 작업이나 소스를 선택한 다음 개별 궤적(Individual Trajectory)을 선택할 수 있다. 이러한 구조는 복잡한 데이터 혼합(Complex Mixture)에 대한 제어력을 높이고 학습 우선순위(Training Priority)를 투명하게 조정할 수 있도록 지원한다.
데이터셋 크기(Dataset Size)만으로 혼합 가중치(Mixture Weight)를 결정해서는 안 된다. 대규모 데이터 모음(Large Data Collection)에는 광범위한 중복성(Redundancy)이나 낮은 품질의 감독 정보(Lower-Quality Supervision)가 포함될 수 있기 때문이다. 다양하고 신뢰할 수 있는 시연(Diverse and Reliable Demonstration)으로 구성된 작은 데이터셋이 훨씬 큰 반복적 경험(Repetitive Experience) 데이터셋보다 높은 학습 가치(Learning Value)를 제공할 수 있다. 품질 인식 가중치(Quality-Aware Weighting)는 데이터 무결성(Data Integrity), 시연 성공(Demonstration Success), 어노테이션 신뢰도(Annotation Confidence), 신규성(Novelty)을 반영한다. 그러나 엄격한 품질 필터링(Strict Quality Filtering)이 정보 가치가 높은 실패(Informative Failure)나 어려운 센서 조건(Challenging Sensor Condition)을 제거해서는 안 된다.
여러 차원에 걸친 균형 조정(Multi-Dimensional Balancing)은 작업(Task), 환경(Environment), 로봇 형태(Embodiment), 결과(Outcome) 범주가 서로 상관관계(Correlation)를 갖는 경우가 많기 때문에 어렵다. 드문 조작 작업(Rare Manipulation Task)은 특정 로봇 플랫폼(Robot Platform)이나 시뮬레이션 환경(Simulation Environment)에서만 발생할 수 있다. 각 차원을 독립적으로 균형 조정하면 의도하지 않은 분포 변화(Distribution Shift)가 발생할 수 있다. 결합 분포 분석(Joint Distribution Analysis)과 계층화 샘플링(Stratified Sampling)은 이러한 상호작용을 식별하는 데 도움이 되며, 명시적인 포괄성 제약조건(Explicit Coverage Constraint)은 중요한 조합(Important Combination)이 사라지는 것을 방지한다.
동적 혼합 설계(Dynamic Mixture Design)는 모델 역량(Model Capability)이 발전함에 따라 샘플링 확률(Sampling Probability)을 적응적으로 조정한다. 초기 학습(Early Training)에서는 신뢰할 수 있는 시연(Reliable Demonstration)과 기초 행동(Foundational Behavior)을 강조하고, 이후 단계(Later Stage)에서는 어려운 상호작용(Difficult Interaction), 복구 궤적(Recovery Trajectory), 희귀 조건(Rare Condition)을 도입할 수 있다. 커리큘럼 학습(Curriculum Learning)과 성능 기반 재가중치(Performance-Driven Reweighting)는 모델의 약점(Model Weakness)을 점진적으로 해결할 수 있다. 주기적인 재평가(Periodic Reevaluation)는 학습 시스템이 개선된 이후에도 샘플링 정책(Sampling Policy)이 고정된 상태로 유지되는 것을 방지한다.
다중 작업 및 파운데이션 모델 학습(Multi-Task and Foundation Model Training)은 서로 다른 학습 목표(Objective)가 제한된 모델 용량(Finite Model Capacity)을 놓고 경쟁하기 때문에 신중한 혼합 배분(Mixture Allocation)이 필요하다. 인식(Perception), 언어 기반 정합(Language Grounding), 움직임 예측(Motion Prediction), 행동 생성(Action Generation)은 서로 다른 데이터 소스(Data Source)와 샘플링 빈도(Sampling Frequency)에서 이점을 얻을 수 있다. 특정 목표를 지나치게 강조하면 다른 목표의 성능이 저하될 수 있다. 혼합 실험(Mixture Experiment)은 전이 효과(Transfer Benefit), 작업 간 간섭(Interference Between Tasks), 각 데이터 구성요소(Data Component)의 한계 기여도(Marginal Contribution)를 측정해야 한다.
혼합 최적화(Mixture Optimization)는 통제 실험(Controlled Experiment)을 통해 샘플링 가중치(Sampling Weight)가 검증 성능(Validation Performance)에 미치는 영향을 추정할 수 있다. 엔지니어는 실제 데이터(Real Data)와 시뮬레이션 데이터(Simulated Data), 성공 궤적(Successful Trajectory)과 실패 궤적(Failed Trajectory), 일반 시나리오(Common Scenario)와 희귀 시나리오(Rare Scenario)의 서로 다른 비율을 비교할 수 있다. 자동 탐색 방법(Automated Search Method)은 측정된 학습 결과(Measured Learning Outcome)를 사용하여 혼합 매개변수(Mixture Parameter)를 조정할 수 있다. 그러나 최적화는 계산 비용(Computational Cost)을 고려하고 제한적인 검증 벤치마크(Narrow Validation Benchmark)에 과적합(Overfitting)되지 않도록 해야 한다.
평가(Evaluation)는 의도한 운영 분포(Intended Operational Distribution)와 중요한 어려운 조건(Challenging Condition)을 모두 반영해야 한다. 균형 잡힌 학습 데이터 혼합(Balanced Training Mixture)은 전체 정확도(Aggregate Accuracy)나 평균 작업 성공률(Average Task Success)만으로 판단해서는 안 된다. 계층화 지표(Stratified Metric)는 환경(Environment), 로봇 유형(Robot Type), 작업 범주(Task Category), 실패 유형(Failure Mode) 전반에서 개선이 이루어지는지 보여준다. 별도의 운영 평가(Operational Evaluation)와 스트레스 테스트 평가(Stress-Test Evaluation)는 일상적인 효율성(Routine Efficiency)과 특이한 조건에서의 견고성(Robustness) 사이의 상충관계(Tradeoff)를 식별하는 데 도움이 된다.
대규모 로봇 군집(Fleet Scale)에서 혼합 설계(Mixture Design)는 배포된 로봇의 원격측정 데이터(Deployed Robot Telemetry)와 중앙 집중식 데이터 분석(Centralized Data Analysis)을 기반으로 하는 지속적인 과정(Continuous Process)이 된다. 서로 다른 운영 현장(Operating Site)은 불균등한 양의 경험(Experience)을 제공할 수 있으며, 데이터 수집 장비가 많이 설치된 현장(Heavily Instrumented Location)이 학습을 지배할 수 있다. 소스 인식 샘플링(Source-Aware Sampling)은 관련 배포 빈도(Deployment Frequency)를 유지하면서 이러한 불균형을 방지할 수 있다. 새로운 실패 패턴(Failure Pattern), 하드웨어 개정(Hardware Revision), 변화하는 작업(Changing Task)에 대응하려면 혼합 정책(Mixture Policy)과 데이터셋 버전(Dataset Version)을 주기적으로 업데이트해야 한다.
궁극적으로 데이터 균형 조정(Data Balancing)과 혼합 설계(Mixture Design)는 사용 가능한 로봇 경험(Available Robotic Experience)이 학습 역량(Learning Capability)으로 얼마나 효과적으로 전환되는지를 결정한다. 효과적인 피지컬 인공지능 데이터 엔진(Physical AI Data Engine)은 대표성 있는 운영 데이터(Representative Operational Data)에 어려운 작업(Difficult Task), 희귀 이벤트(Rare Event), 다양한 로봇 형태(Diverse Embodiment)에 대한 목표 지향적 학습 노출(Targeted Exposure)을 결합한다. 품질 인식 샘플링(Quality-Aware Sampling), 적응형 가중치(Adaptive Weighting), 포괄성 분석(Coverage Analysis), 후속 성능 평가(Downstream Evaluation)를 통합함으로써 이러한 시스템은 실제 로봇 응용 분야(Real-World Robotic Application) 전반에서 효율적인 학습(Efficient Training)과 견고한 일반화(Robust Generalization)를 지원한다.
06.13. Train Validation Test Splitting and Leakage
학습·검증·테스트 데이터 분할(Train-Validation-Test Splitting)은 신뢰할 수 있는 피지컬 인공지능(Physical AI) 모델 개발(Model Development)을 위한 기본 요구사항이다. 로봇 데이터셋(Robotic Dataset)에는 높은 상관관계를 가진 관측(Highly Correlated Observation), 반복적인 시연(Repeated Demonstration), 공유된 환경 조건(Shared Environmental Condition)이 포함되어 성능 추정(Performance Estimation)을 왜곡할 수 있다. 데이터를 독립적인 부분집합(Independent Subset)으로 분리하면 엔지니어는 실제 일반화(Genuine Generalization)와 암기(Memorization)를 구분할 수 있다. 효과적인 분할 전략(Splitting Strategy)은 무작위 할당(Random Allocation)에만 의존하지 않고 샘플 사이의 물리적·시간적 관계(Physical and Temporal Relationship)를 고려해야 한다.
학습 데이터셋(Training Set)은 모델 매개변수(Model Parameter)를 최적화하고 표현(Representation), 동역학(Dynamics), 제어 정책(Control Policy)을 학습하는 데 사용되는 사례를 제공한다. 검증 데이터셋(Validation Set)은 하이퍼파라미터 선택(Hyperparameter Selection), 모델 구조 비교(Architecture Comparison), 학습 관련 의사결정(Training Decision)을 지원한다. 테스트 데이터셋(Test Set)은 최종 모델 성능(Final Model Performance)을 독립적으로 평가하는 데 사용된다. 이러한 역할은 명확하게 구분되어야 한다. 평가 데이터(Evaluation Data)에 반복적으로 노출되면 모델 개발 과정에 점진적으로 영향을 미쳐 지나치게 낙관적인 성능 추정(Overly Optimistic Performance Estimate)을 초래할 수 있기 때문이다.
데이터 누출(Data Leakage)은 검증 또는 테스트 사례(Validation or Test Example)의 정보가 모델 학습(Model Training)이나 모델 선택(Model Selection)에 부적절하게 영향을 미칠 때 발생한다. 누출에는 동일한 샘플(Identical Sample), 밀접하게 관련된 궤적(Closely Related Trajectory), 공유된 어노테이션(Shared Annotation), 평가 데이터에서 계산된 전처리 통계(Preprocessing Statistics)가 포함될 수 있다. 피지컬 인공지능에서는 서로 다른 기록(Recording)에 거의 동일한 장면(Nearly Identical Scene)이나 동일한 작업의 반복 실행(Repeated Execution)이 포함될 수 있으므로 누출을 탐지하기가 특히 어렵다. 이러한 데이터 오염(Data Contamination)은 보고된 결과(Reported Result)의 신뢰성을 약화시킨다.
무작위 프레임 수준 분할(Random Frame-Level Splitting)은 로봇 영상(Robotic Video)과 궤적 데이터셋(Trajectory Dataset)에 적합하지 않은 경우가 많다. 연속 프레임(Consecutive Frame)은 물체 위치(Object Position), 카메라 시점(Camera Viewpoint), 조명 조건(Lighting Condition), 로봇 상태(Robot State)를 공유한다. 인접한 프레임(Adjacent Frame)을 서로 다른 부분집합에 할당하면 모델은 학습과 테스트 과정에서 거의 동일한 관측을 접하게 된다. 그 결과 정확도(Accuracy)가 높게 나타날 수 있지만 실제로 익숙하지 않은 상황(Genuinely Unfamiliar Situation)에서의 성능을 입증하는 근거는 제한적이다.
궤적 수준 분할(Trajectory-Level Splitting)은 전체 에피소드(Episode)나 시연(Demonstration)을 하나의 부분집합에 할당하여 시간적 데이터 누출(Temporal Leakage)을 방지한다. 하나의 실행(Execution)에 속하는 모든 관측(Observation), 행동(Action), 보상(Reward), 상태 전이(State Transition)는 동일한 집합에 유지된다. 이를 통해 동일한 궤적의 인접 구간(Adjacent Segment)이 학습과 평가 데이터에 동시에 나타나는 문제를 방지한다. 그러나 여러 시연이 동일한 물체(Object), 환경(Environment), 작업자 행동(Operator Behavior)을 공유한다면 궤적 수준의 분리만으로는 충분하지 않을 수 있다.
세션 수준 분할(Session-Level Splitting)은 동일한 연속 운영 기간(Continuous Operating Period)에 수집된 기록을 하나의 그룹으로 구성한다. 하나의 세션(Session)은 센서 보정(Sensor Calibration), 환경 배치(Environmental Layout), 조명(Lighting), 로봇 구성(Robot Configuration), 인간 작업자 특성(Human Operator Characteristic)을 공유할 수 있다. 전체 세션을 하나의 부분집합에 유지하면 학습 데이터와 평가 데이터 사이의 숨겨진 상관관계(Hidden Correlation)를 줄일 수 있다. 따라서 세션 식별자(Session Identifier)와 수집 메타데이터(Collection Metadata)는 재현 가능한 분할(Reproducible Split)을 구성하고 우발적인 중복(Accidental Overlap)을 탐지하는 데 중요하다.
환경 수준 분할(Environment-Level Splitting)은 학습된 모델(Learned Model)이 익숙한 물리적 환경(Familiar Physical Surrounding)을 넘어 일반화할 수 있는지 평가한다. 학습 데이터(Training Data)는 특정 창고(Warehouse), 실험실(Laboratory), 공장 작업 셀(Factory Cell)에서 수집하고, 평가는 학습에서 제외된 장소(Excluded Location)를 사용할 수 있다. 이러한 분리는 배경 외관(Background Appearance), 물체 배치(Object Placement), 환경 기하학(Environmental Geometry)에 대한 의존성을 드러낸다. 평가 환경(Evaluation Environment)은 의미 있는 차이를 도입하면서도 의도한 배포 조건(Intended Deployment Condition)을 대표해야 한다.
물체 수준 분할(Object-Level Splitting)은 이전에 관측하지 못한 물리적 물체(Unseen Physical Object)에 대한 일반화(Generalization)를 평가한다. 조작 데이터셋(Manipulation Dataset)에는 제한된 물체 집합(Object Collection)과의 반복적인 상호작용이 포함되는 경우가 많아 모델이 외관(Appearance)이나 기하학적 구조(Geometry)를 암기할 수 있다. 특정 물체 식별자(Object Identity), 형태(Shape), 범주(Category)를 학습에서 제외하면 정책(Policy)이 학습된 기술(Learned Skill)을 새로운 대상(New Instance)에 전이할 수 있는지 확인할 수 있다. 서로 다른 평가 프로토콜(Evaluation Protocol)은 서로 다른 역량을 측정하므로 처음 보는 개별 물체(Unseen Instance)와 완전히 새로운 물체 범주(Unseen Object Category)를 혼동해서는 안 된다.
로봇 수준 분할(Robot-Level Splitting)은 여러 로봇 형태(Embodiment)의 데이터를 사용하여 파운데이션 모델(Foundation Model)이나 공유 정책(Shared Policy)을 학습할 때 중요해진다. 특정 로봇 플랫폼(Robot Platform)을 학습에서 제외하면 운동학적 구조(Kinematic Structure), 센서(Sensor), 액추에이터 구성(Actuator Configuration)이 다른 로봇 사이의 전이(Transfer)를 평가할 수 있다. 이는 익숙한 로봇의 새로운 궤적(New Trajectory)을 테스트하는 것보다 더 어려운 평가이다. 하드웨어별 행동 공간(Hardware-Specific Action Space)과 물리적 제약조건(Physical Constraint)을 고려해야 호환성 문제(Incompatibility)를 일반화 실패(Generalization Failure)로 잘못 해석하지 않을 수 있다.
시간 기반 분할(Temporal Splitting)은 데이터 수집 시점(Collection Time)에 따라 학습 데이터와 평가 데이터를 분리한다. 이전 기록(Earlier Recording)으로 학습한 모델을 이후 경험(Later Experience)에 대해 평가하면 변화하는 환경(Changing Environment), 하드웨어 마모(Hardware Wear), 운영 방식(Operational Practice)에 대한 견고성(Robustness)을 측정할 수 있다. 이러한 접근법은 실제 배포 조건(Deployment Condition)과 유사하지만 추가적인 분포 변화(Distribution Shift)를 유발할 수 있다. 시간 경계(Time Boundary)를 문서화해야 하며 미래 정보(Future Information)가 전처리(Preprocessing)나 학습 결정(Training Decision)에 영향을 미쳐서는 안 된다.
준중복 데이터 누출(Near-Duplicate Leakage)은 파일 이름(Filename), 타임스탬프(Timestamp), 궤적 식별자(Trajectory Identifier)가 서로 다른 경우에도 발생할 수 있다. 반복적인 시연(Repeated Demonstration)은 거의 동일한 움직임(Motion)을 포함할 수 있으며, 동기화된 카메라(Synchronized Camera)는 동일한 이벤트(Event)를 여러 시점에서 기록할 수 있다. 임베딩 유사도(Embedding Similarity), 지각 해싱(Perceptual Hashing), 궤적 정렬(Trajectory Alignment)은 의심스러운 중복(Suspicious Overlap)을 식별할 수 있다. 의미적 유사성(Semantic Similarity)만으로 샘플이 동일한 원본 이벤트(Underlying Event)를 공유하는지 판단할 수 없으므로 자동화된 검사(Automated Check)에 메타데이터 분석(Metadata Analysis)을 추가해야 한다.
전처리 누출(Preprocessing Leakage)은 정규화(Normalization), 특징 선택(Feature Selection), 차원 축소(Dimensionality Reduction), 통계적 변환(Statistical Transformation)에 평가 부분집합(Evaluation Subset)의 정보가 사용될 때 발생한다. 예를 들어 전체 데이터셋(Entire Dataset)에서 정규화 매개변수(Normalization Parameter)를 계산하면 테스트 분포(Test Distribution)의 특성이 학습에 영향을 미치게 된다. 데이터 의존적 변환(Data-Dependent Transformation)은 학습 데이터만 사용하여 적합(Fitting)한 다음 변경 없이 검증 및 테스트 데이터에 적용해야 한다. 고정된 외부 사전학습 인코더(Fixed External Pretrained Encoder)는 학습 데이터 출처(Training Provenance)를 별도로 문서화해야 한다.
레이블 누출(Label Leakage)은 목표 정보(Target Information)가 모델 입력(Model Input)이나 파생 특징(Derived Feature)에 의도치 않게 포함될 때 발생한다. 데이터셋에는 작업 성공(Task Success), 미래 로봇 상태(Future Robot State), 평가 결과(Evaluation Outcome)를 직접 드러내는 메타데이터(Metadata)가 포함될 수 있다. 모델은 의미 있는 인식(Perception)이나 제어(Control)를 학습하는 대신 이러한 지름길(Shortcut)을 활용할 수 있다. 특징 감사(Feature Auditing)는 각 입력이 의도한 예측 시점(Intended Prediction Time)과 실제 배포(Real-World Deployment) 과정에서 실제로 이용 가능한 정보인지 검증해야 한다.
시뮬레이션 생성 데이터(Simulation-Generated Data)는 공유된 난수 시드(Random Seed), 장면 템플릿(Scene Template), 물체 모델(Object Model), 절차적 생성 매개변수(Procedural Generation Parameter)로 인해 추가적인 데이터 누출 위험(Leakage Risk)을 발생시킨다. 서로 다른 합성 궤적(Synthetic Trajectory)은 겉으로는 달라 보여도 거의 동일한 구성(Configuration)에서 생성되었을 수 있다. 기반 자산(Underlying Asset)과 환경이 동일하게 유지된다면 시뮬레이션 시드(Simulation Seed)만으로 분할하는 것은 독립성(Independence)을 보장하지 못할 수 있다. 견고한 평가(Robust Evaluation)는 장면 기하학(Scene Geometry), 동역학(Dynamics), 작업 조건(Task Condition)의 의미 있는 조합을 학습에서 제외해야 한다.
데이터셋 출처 정보(Dataset Provenance)는 대규모 피지컬 인공지능 데이터 엔진(Physical AI Data Engine)에서 데이터 누출을 방지하는 데 필수적이다. 각 기록(Recording)은 수집 세션(Collection Session), 로봇 플랫폼(Robot Platform), 작업자(Operator), 환경(Environment), 작업(Task), 원본 데이터셋(Source Dataset)에 대한 식별자(Identifier)를 유지해야 한다. 파생 샘플(Derived Sample)은 원본 기록(Original Recording)과 변환 이력(Transformation History)에 대한 연결 정보를 보존해야 한다. 출처 그래프(Provenance Graph)를 활용하면 공유된 원천(Shared Origin)을 탐지하고 관련 데이터(Related Data)가 적절한 분할 영역(Split)에 유지되도록 할 수 있다.
계층화 분할(Stratified Splitting)은 작업(Task), 결과(Outcome), 환경(Environment), 안전 관련 이벤트(Safety-Relevant Event)의 유용한 분포를 여러 부분집합에 걸쳐 유지할 수 있다. 그러나 계층화(Stratification)는 그룹화 제약조건(Grouping Constraint)을 준수해야 하며 단순히 수치적 균형(Numerical Balance)을 맞추기 위해 관련 궤적(Related Trajectory)을 분리해서는 안 된다. 독립적인 사례(Independent Example)가 충분하지 않은 희귀 이벤트(Rare Event)는 전용 평가 데이터 모음(Dedicated Evaluation Collection)이 필요할 수 있다. 분할 설계(Split Design)는 범주별 비율(Category Proportion)을 완벽하게 일치시키는 것보다 독립성(Independence)과 해석 가능성(Interpretability)을 우선해야 한다.
검증 데이터 누출(Validation Leakage)은 검증 데이터셋(Validation Set)이 처음에는 분리되어 있더라도 반복적인 실험(Repeated Experimentation)을 통해 발생할 수 있다. 광범위한 하이퍼파라미터 튜닝(Hyperparameter Tuning)과 모델 구조 선택(Architecture Selection)은 개발 의사결정(Development Decision)을 검증 데이터의 특성(Validation Characteristic)에 점진적으로 적응시킨다. 최종 테스트 데이터셋(Final Test Set)은 평가 프로토콜(Evaluation Protocol)과 모델 선택(Model Selection)이 완료될 때까지 사용하지 않아야 한다. 테스트 결과(Test Result)가 후속 개발에 영향을 미친다면 신뢰할 수 있는 성능 주장(Credible Performance Claim)을 위해 새로운 독립 테스트 데이터(New Independent Test Collection)가 필요할 수 있다.
평가(Evaluation)는 동일 분포 성능(In-Distribution Performance)과 의도적인 분포 변화(Deliberate Distribution Shift)에서의 일반화(Generalization)를 구분해야 한다. 별도의 테스트 부분집합(Test Subset)을 사용하면 처음 보는 환경(Unseen Environment), 물체(Object), 로봇 형태(Robot Embodiment), 희귀 실패 조건(Rare Failure Condition)을 평가할 수 있다. 전체 지표(Aggregate Metric)만 보고하면 중요한 범주(Critical Category)의 약점이 감춰질 수 있다. 작업 성공률(Task Success Rate), 예측 오류(Prediction Error), 개입 빈도(Intervention Frequency), 안전 결과(Safety Outcome)는 분할 경계(Split Boundary)와 평가 가정(Evaluation Assumption)에 대한 명확한 설명과 함께 제시해야 한다.
대규모 로봇 군집(Fleet Scale)에서는 배포된 로봇(Deployed Robot)으로부터 새로운 데이터가 지속적으로 유입되기 때문에 자동화된 데이터 분할 거버넌스(Automated Split Governance)가 필요하다. 버전 관리되는 매니페스트(Versioned Manifest)는 안정적인 그룹화 규칙(Stable Grouping Rule)을 사용하여 기록을 학습(Training), 검증(Validation), 테스트(Test) 영역에 할당할 수 있다. 데이터셋이 병합(Merge), 변환(Transformation), 확장(Expansion)될 때마다 데이터 누출 탐지(Leakage Detection)를 실행해야 한다. 접근 제어(Access Control), 감사 로그(Audit Log), 재현 가능한 데이터셋 스냅샷(Reproducible Dataset Snapshot)은 지속적인 모델 업데이트(Continuous Model Update) 과정에서 평가 데이터 오염(Evaluation Contamination)을 방지하는 데 도움이 된다.
궁극적으로 효과적인 학습·검증·테스트 분할(Train-Validation-Test Splitting)은 피지컬 인공지능 시스템(Physical AI System)이 익숙한 관측(Familiar Observation)을 재현하는 것이 아니라 전이 가능한 물리적 역량(Transferable Physical Capability)을 학습했는지 확인하는 기반을 제공한다. 신뢰할 수 있는 평가(Reliable Evaluation)를 위해서는 시간(Time), 궤적(Trajectory), 환경(Environment), 물체(Object), 로봇 구성(Robot Configuration)을 포함하여 실제 배포와 관련성이 높은 의존 관계(Dependency)를 분리해야 한다. 출처 추적(Provenance Tracking), 데이터 누출 탐지(Leakage Detection), 체계적인 모델 선택(Disciplined Model Selection), 독립적인 테스트(Independent Testing)를 결합함으로써 데이터 엔진(Data Engine)은 로봇 지능(Robotic Intelligence)과 안전성(Safety)에 대한 신뢰할 수 있는 측정(Trustworthy Measurement)을 지원한다.
06.14. Data Quality Scoring [w/Code]
데이터 품질 점수화(Data Quality Scoring)는 로봇 학습(Robotic Learning)이 수집된 경험(Collected Experience)의 신뢰성(Reliability), 관련성(Relevance), 다양성(Diversity)에 의존하기 때문에 피지컬 인공지능(Physical AI) 데이터 엔진(Data Engine)의 핵심 구성요소이다. 대규모 데이터셋(Dataset)에는 유용한 시연(Useful Demonstration)과 함께 손상된 관측(Corrupted Observation), 불완전한 궤적(Incomplete Trajectory), 중복 기록(Redundant Recording)이 포함된다. 체계적인 점수화 프레임워크(Systematic Scoring Framework)는 개별 샘플(Sample)이나 시퀀스(Sequence)에 측정 가능한 품질 지표(Quality Indicator)를 부여하여 데이터 보존(Retention), 필터링(Filtering), 어노테이션(Annotation), 학습 우선순위(Training Priority)에 관한 일관된 의사결정을 가능하게 한다.
데이터 품질(Data Quality)은 다차원적(Multidimensional)이며 단일 측정값(Single Measurement)만으로 신뢰성 있게 표현할 수 없다. 중요한 품질 차원(Quality Dimension)에는 센서 무결성(Sensor Integrity), 시간적 일관성(Temporal Consistency), 어노테이션 정확성(Annotation Correctness), 작업 실행 품질(Task Execution Quality), 정보량(Information Content), 운영 관련성(Operational Relevance)이 포함된다. 특정 샘플은 우수한 시각 정보(Visual Information)를 포함하면서도 신뢰할 수 없는 로봇 상태 측정값(Robot State Measurement)을 가질 수 있다. 효과적인 점수화 시스템(Scoring System)은 개별 품질 차원을 유지하면서 자동화된 의사결정(Automated Decision-Making)을 위한 종합 점수(Composite Score)를 제공한다.
센서 품질 점수화(Sensor Quality Scoring)는 기록된 측정값(Recorded Measurement)이 예상되는 기술적·물리적 요구사항(Technical and Physical Requirement)을 충족하는지 평가한다. 카메라 데이터(Camera Data)는 이미지 선명도(Image Sharpness), 노출(Exposure), 움직임 흐림(Motion Blur), 누락된 프레임(Missing Frame)을 통해 평가할 수 있다. 깊이 센서(Depth Sensor)는 유효하지 않은 측정값(Invalid Measurement), 공간적 잡음(Spatial Noise), 측정 범위 제한(Range Limitation)에 대한 검사가 필요하다. 힘 센서(Force Sensor)와 관절 인코더(Joint Encoder)는 포화(Saturation), 드리프트(Drift), 비정상적인 불연속성(Abnormal Discontinuity)을 기준으로 평가할 수 있다. 이러한 지표는 특정 학습 목표(Learning Objective)에 적합하지 않은 기록을 식별하는 데 도움이 된다.
시간적 품질 점수화(Temporal Quality Scoring)는 센서 스트림(Sensor Stream), 로봇 상태(Robot State), 행동 명령(Action Command) 사이의 동기화(Synchronization)와 연속성(Continuity)을 검사한다. 타임스탬프 불일치(Timestamp Inconsistency), 메시지 누락(Dropped Message), 불규칙한 샘플링 간격(Irregular Sampling Interval), 통신 지연(Communication Delay)은 궤적 학습(Trajectory Learning)의 신뢰성을 저하시킬 수 있다. 시각적으로 선명한 프레임을 포함한 기록이라도 행동과 관측이 정렬되지 않으면 사용할 수 없을 수 있다. 점수화 시스템은 시간 오차(Timing Error)를 정량화하고 복구 가능한 동기화 문제(Recoverable Synchronization Problem)와 복구할 수 없는 데이터 손상(Irreparable Data Corruption)을 구분해야 한다.
궤적 품질 점수화(Trajectory Quality Scoring)는 기록된 로봇 행동(Robot Behavior)이 물리적으로 일관되고(Physically Coherent) 의도한 작업(Intended Task)과 관련성이 있는지 평가한다. 중요한 지표에는 움직임 부드러움(Motion Smoothness), 관절 한계 준수(Joint-Limit Compliance), 충돌 이벤트(Collision Event), 제어 안정성(Control Stability), 작업 완료(Task Completion)가 포함된다. 그러나 부드러운 움직임이 항상 성공적인 시연(Successful Demonstration)을 의미하는 것은 아니며, 급격한 움직임(Abrupt Movement)은 접촉(Contact)에 대한 정당한 반응일 수 있다. 품질 평가(Quality Assessment)는 단순한 움직임 임계값(Motion Threshold)에 의존하지 않고 작업 맥락(Task Context)을 반영해야 한다.
시연 품질 점수화(Demonstration Quality Scoring)는 인간 조작(Human-Operated) 또는 전문가 생성(Expert-Generated) 로봇 궤적(Robot Trajectory)의 효과성을 평가한다. 성공적인 작업 완료(Successful Task Completion), 효율적인 행동 시퀀스(Efficient Action Sequence), 적절한 접촉력(Appropriate Contact Force), 제한적인 수정 개입(Limited Corrective Intervention)은 높은 감독 정보 품질(Supervision Quality)을 나타낼 수 있다. 그러나 불완전한 시연(Imperfect Demonstration)에도 가치 있는 복구 행동(Recovery Behavior)과 어려운 상호작용 사례(Difficult Interaction Example)가 포함될 수 있다. 점수화는 실패한 모든 실행을 거부하기보다 전문가 모방 적합성(Expert Imitation Suitability)과 폭넓은 학습 가치(Broader Learning Value)를 구분해야 한다.
어노테이션 품질 점수화(Annotation Quality Scoring)는 로봇 관측(Robotic Observation)과 연결된 레이블(Label)의 신뢰성을 측정한다. 물체 식별자(Object Identity), 경계 상자(Bounding Box), 분할 마스크(Segmentation Mask), 접촉 이벤트(Contact Event), 행동 레이블(Action Label), 작업 결과(Task Outcome)에는 오류(Error)나 모호성(Ambiguity)이 포함될 수 있다. 어노테이터 간 일치도(Inter-Annotator Agreement), 신뢰도 추정(Confidence Estimate), 자동화된 일관성 검사(Automated Consistency Check)는 유용한 지표를 제공할 수 있다. 신뢰도가 낮은 어노테이션(Low-Confidence Annotation)은 수정이 학습 효과(Training Effectiveness)를 크게 개선할 수 있는 경우 검토(Review) 대상으로 전달해야 한다.
정보 품질 점수화(Information Quality Scoring)는 샘플이 기존 데이터(Existing Data)에 비해 얼마나 많은 추가 학습 가치(Additional Learning Value)를 제공하는지 추정한다. 거의 중복된 관측(Near-Duplicate Observation)과 반복적인 궤적(Repetitive Trajectory)은 추가적인 기여도(Marginal Benefit)가 제한적인 경우가 많다. 신규성 점수(Novelty Score), 임베딩 거리(Embedding Distance), 예측 오류(Prediction Error), 불확실성 추정(Uncertainty Estimate)은 정보 가치가 높은 경험(Informative Experience)을 식별할 수 있다. 그러나 특이한 관측(Unusual Observation)이 자동으로 가치 있는 것은 아니며, 센서 손상(Sensor Corruption)으로 발생한 높은 불확실성(High Uncertainty)을 의미 있는 학습 정보(Meaningful Training Information)로 오인해서는 안 된다.
포괄성 및 다양성 점수화(Coverage and Diversity Scoring)는 데이터셋이 관련 운영 조건(Operating Condition)을 얼마나 잘 표현하는지 측정한다. 작업 범주(Task Category), 물체 특성(Object Property), 환경 배치(Environmental Layout), 로봇 형태(Robot Embodiment), 실패 유형(Failure Mode)을 분석하여 표현 격차(Representation Gap)를 확인할 수 있다. 임베딩 기반 군집화(Embedding-Based Clustering)와 분포 통계(Distribution Statistics)는 과소대표 영역(Underrepresented Region)을 정량화하는 데 도움이 된다. 개별적으로 우수한 사례들로 구성된 데이터셋도 운영 다양성(Operational Diversity)이 부족할 수 있으므로 데이터셋 수준 포괄성 점수(Dataset-Level Coverage Score)는 개별 샘플 품질(Individual Sample Quality)을 보완한다.
종합 품질 점수(Composite Quality Score)는 여러 지표를 결합하여 해석 가능한 평가(Interpretable Assessment)를 제공한다. 가중 집계(Weighted Aggregation)는 학습 목표(Learning Objective)에 따라 센서 신뢰성(Sensor Reliability), 어노테이션 정확성(Annotation Correctness), 궤적 유효성(Trajectory Validity), 작업 관련성(Task Relevance)을 강조할 수 있다. 엄격한 제약조건(Hard Constraint)은 전체 점수(Overall Score)와 관계없이 심각한 무결성 오류(Critical Integrity Failure)가 있는 샘플을 제외해야 한다. 서로 다른 응용 분야(Application)는 데이터 청결도(Cleanliness), 다양성(Diversity), 학습 가치(Learning Value) 사이에서 서로 다른 상충관계(Tradeoff)를 요구하므로 가중치 선택(Weight Selection)을 문서화해야 한다.
품질 임계값(Quality Threshold)은 각 데이터셋의 의도한 사용 목적(Intended Use)에 맞게 조정해야 한다. 고정밀 조작(High-Precision Manipulation)은 엄격한 동기화(Strict Synchronization)와 기하학적 정확도(Geometric Accuracy)를 요구할 수 있지만, 시각 사전학습(Visual Pretraining)은 불완전한 로봇 상태 측정값(Imperfect Robot State Measurement)을 허용할 수 있다. 실패 예측(Failure Prediction)은 모방 학습(Imitation Learning)에서 제외할 비정상적인 궤적(Abnormal Trajectory)을 의도적으로 유지할 수 있다. 따라서 품질 점수화는 모든 데이터에 하나의 보편적인 허용 기준(Universal Acceptance Criteria)을 적용하기보다 작업별 허용 기준(Task-Specific Acceptance Criteria)을 지원해야 한다.
점수 정규화(Score Normalization)는 서로 다른 수치 범위(Numerical Scale)와 분포(Distribution)를 가진 지표를 결합할 때 필요하다. 센서 오류 크기(Sensor Error Magnitude), 어노테이션 신뢰도(Annotation Confidence), 신규성 측정값(Novelty Measure), 작업 성공 값(Task Success Value)은 적절한 변환(Transformation) 없이 의미 있게 집계할 수 없다. 수동 검토된 사례(Manually Reviewed Example)를 기준으로 한 보정(Calibration)은 점수 해석(Score Interpretation)을 개선할 수 있다. 센서 하드웨어(Sensor Hardware), 수집 환경(Collection Environment), 학습 목표(Learning Objective)가 변화함에 따라 임계값(Threshold)을 주기적으로 재평가해야 한다.
자동화된 품질 점수화 파이프라인(Automated Quality Scoring Pipeline)은 원시 기록(Raw Recording)과 파생 데이터셋(Derived Dataset)을 연속적인 검증 단계(Validation Stage)를 통해 처리할 수 있다. 초기 검사(Initial Check)는 파일 무결성(File Integrity), 스키마 준수(Schema Compliance), 타임스탬프(Timestamp), 센서 가용성(Sensor Availability)을 확인한다. 이후 단계(Subsequent Stage)는 궤적 일관성(Trajectory Consistency), 어노테이션 신뢰성(Annotation Reliability), 중복성(Duplication), 정보 가치(Information Value)를 평가한다. 각 단계는 구조화된 지표(Structured Metric)와 진단 사유(Diagnostic Reason)를 생성하여 엔지니어가 기록의 승인(Acceptance), 검토 표시(Flagging), 거부(Rejection) 이유를 이해할 수 있도록 한다.
품질 점수화 시스템(Quality Scoring System)은 샘플 수준(Sample-Level), 궤적 수준(Trajectory-Level), 데이터셋 수준(Dataset-Level)의 평가를 분리하여 유지할 때 효과적이다. 손상된 단일 프레임(Single Corrupted Frame)이 유용한 시연(Useful Demonstration) 전체를 무효화하지는 않을 수 있지만, 연속적인 시간 오류(Sequence of Timing Errors)는 전체 궤적(Entire Trajectory)의 신뢰성을 훼손할 수 있다. 데이터셋 수준의 불균형(Dataset-Level Imbalance)은 개별 기록(Individual Recording)을 검사할 때 드러나지 않을 수 있다. 계층적 점수화(Hierarchical Scoring)는 목표 지향적 복구(Targeted Repair), 선택적 제외(Selective Exclusion), 전체 데이터 준비 상태(Overall Data Readiness)에 대한 보다 정확한 평가를 가능하게 한다.
인간 검토(Human Review)는 자동화된 점수화 결정(Automated Scoring Decision)을 보정하는 데 필수적인 역할을 한다. 엔지니어는 경계에 있는 샘플(Borderline Sample)을 검사하고 예상하지 못한 점수 분포(Unexpected Score Distribution)를 조사하며 특이한 관측(Unusual Observation)이 오류인지 가치 있는 희귀 이벤트(Valuable Rare Event)인지 판단할 수 있다. 검토된 사례(Reviewed Example)는 품질 예측 모델(Quality Prediction Model)을 학습하고 점수화 규칙(Scoring Rule)을 개선하는 데 활용할 수 있다. 능동적 검토 전략(Active Review Strategy)은 인간의 판단(Human Judgment)이 데이터 보존 결정(Data Retention Decision)이나 어노테이션 결정(Annotation Decision)을 변경할 가능성이 높은 사례에 우선순위를 부여한다.
품질 점수(Quality Score)를 기록(Recording)의 영구적인 속성(Permanent Property)으로 취급해서는 안 된다. 초기 인식 모델(Early Perception Model)에 거의 기여하지 못하는 샘플도 접촉 인식 제어(Contact-Aware Control)나 실패 복구(Failure Recovery)를 학습할 때는 가치가 높아질 수 있다. 마찬가지로 재구성 알고리즘(Reconstruction Algorithm)의 개선을 통해 이전에 사용할 수 없었던 관측(Previously Unusable Observation)을 복원할 수 있다. 버전 관리된 품질 평가(Versioned Quality Assessment)는 재현성(Reproducibility)을 유지하기 위해 점수화 모델(Scoring Model), 평가 기준(Criteria), 임계값(Threshold), 의도한 학습 목표(Intended Learning Objective)를 기록해야 한다.
품질 점수화의 효과(Effectiveness of Quality Scoring)는 후속 학습 결과(Downstream Training Outcome)를 통해 검증해야 한다. 엔지니어는 필터링하지 않은 데이터(Unfiltered Data), 엄격하게 필터링한 데이터(Strictly Filtered Data), 품질 가중 혼합 데이터(Quality-Weighted Mixture)로 학습한 모델을 비교할 수 있다. 평가(Evaluation)는 작업 성공(Task Success), 예측 정확도(Prediction Accuracy), 견고성(Robustness), 안전 성능(Safety Performance), 계산 효율성(Computational Efficiency)을 측정해야 한다. 이러한 실험은 점수화 규칙(Scoring Rule)이 학습을 개선하는지 또는 일반화(Generalization)에 필요한 어려운 사례(Challenging Example)를 의도치 않게 제거하는지 밝혀준다.
대규모 로봇 군집(Fleet Scale)에서는 중앙 집중식 품질 모니터링(Centralized Quality Monitoring)을 통해 배포된 로봇(Deployed Robot) 전반의 체계적인 문제(Systematic Problem)를 식별할 수 있다. 특정 카메라(Camera), 액추에이터(Actuator), 운영 현장(Site), 소프트웨어 버전(Software Version)에서 낮은 점수(Low Score)가 반복적으로 발생하면 보정 드리프트(Calibration Drift), 하드웨어 성능 저하(Hardware Degradation), 데이터 수집 파이프라인 결함(Collection Pipeline Defect)을 나타낼 수 있다. 집계된 품질 통계(Aggregated Quality Statistics)는 유지보수 결정(Maintenance Decision)과 데이터 수집 개선(Data Collection Improvement)을 지원한다. 지속적인 모니터링(Continuous Monitoring)은 새롭게 유입되는 학습 데이터(Incoming Training Data)의 신뢰성 변화를 탐지하는 데도 도움이 된다.
궁극적으로 데이터 품질 점수화(Data Quality Scoring)는 로봇 기록(Robotic Recording)에 대한 주관적인 판단(Subjective Judgment)을 데이터 엔진(Data Engine)의 의사결정을 위한 구조화되고 감사 가능한 근거(Structured and Auditable Evidence)로 전환한다. 신뢰할 수 있는 피지컬 인공지능 시스템(Reliable Physical AI System)은 단순히 깨끗한 데이터셋(Clean Dataset) 이상을 필요로 하며, 대표성(Representativeness), 정보 가치(Informativeness), 물리적 의미(Physical Meaningfulness)를 갖춘 경험이 필요하다. 센서 검증(Sensor Validation), 궤적 평가(Trajectory Assessment), 어노테이션 신뢰도(Annotation Confidence), 다양성 분석(Diversity Analysis), 후속 성능 평가(Downstream Evaluation)를 통합함으로써 품질 점수화는 효율적인 학습(Efficient Learning)과 신뢰할 수 있는 로봇 행동(Dependable Robotic Behavior)을 지원한다.
06.15. Automated Data Curation Pipeline [w/Code]
자동화된 데이터 큐레이션 파이프라인(Automated Data Curation Pipeline)은 반복 가능한 처리 단계(Repeatable Processing Stage)를 통해 원시 로봇 기록(Raw Robotic Recording)을 신뢰할 수 있고 다양하며 학습 준비가 완료된 데이터셋(Training-Ready Dataset)으로 변환한다. 피지컬 인공지능(Physical AI) 시스템은 대량의 카메라 이미지(Camera Image), 센서 측정값(Sensor Measurement), 로봇 상태(Robot State), 행동(Action), 실행 로그(Execution Log)를 생성한다. 수동 검사(Manual Inspection)는 지속적인 데이터 수집(Continuous Collection)의 규모를 감당하기 어렵다. 따라서 자동화(Automation)는 무결성 검증(Integrity Validation), 품질 점수화(Quality Scoring), 중복 제거(Redundancy Removal), 지능형 샘플 선택(Intelligent Sample Selection)을 결합하여 학습 효율성(Learning Efficiency)을 향상시킨다.
파이프라인(Pipeline)은 원격조작 시스템(Teleoperation System), 자율 로봇(Autonomous Robot), 시뮬레이션 환경(Simulation Environment), 외부 데이터셋(External Dataset)으로부터 데이터를 수집하고 입력하는 데이터 수집·입력(Data Ingestion) 단계에서 시작된다. 각 기록(Recording)은 데이터 소스(Source), 로봇 구성(Robot Configuration), 작업(Task), 환경(Environment), 수집 시간(Collection Time)을 설명하는 식별자(Identifier)와 함께 등록된다. 원본 증거(Original Evidence)를 보존하기 위해 원시 데이터(Raw Data)는 파괴적인 수정(Destructive Modification) 없이 저장해야 한다. 표준화된 메타데이터(Standardized Metadata)와 변경 불가능한 식별자(Immutable Identifier)는 후속 처리(Downstream Processing), 추적성(Traceability), 재현 가능한 데이터셋 구성(Reproducible Dataset Construction)을 지원한다.
스키마 검증(Schema Validation)은 입력되는 기록(Incoming Recording)에 필수 필드(Required Field)와 호환 가능한 데이터 형식(Compatible Data Format)이 포함되어 있는지 확인한다. 로봇 궤적(Robot Trajectory)에는 타임스탬프(Timestamp), 관절 상태(Joint State), 행동 명령(Action Command), 센서 참조(Sensor Reference), 작업 식별자(Task Identifier)가 필요할 수 있다. 누락된 필드(Missing Field), 일관되지 않은 단위(Inconsistent Unit), 잘못 구성된 배열(Malformed Array), 호환되지 않는 좌표계 규약(Incompatible Coordinate Convention)은 감지하기 어려운 학습 오류(Silent Training Error)를 발생시킬 수 있다. 자동 검증기(Automated Validator)는 구조적으로 유효하지 않은 기록(Structurally Invalid Record)을 거부하거나 복구 가능한 문제(Recoverable Problem)를 통제된 복구 작업 흐름(Controlled Repair Workflow)으로 전달해야 한다.
센서 무결성 검사(Sensor Integrity Check)는 측정값(Measurement)이 예상되는 물리적·기술적 제약조건(Physical and Technical Constraint)을 충족하는지 검사한다. 카메라 스트림(Camera Stream)은 누락된 프레임(Missing Frame), 노출 문제(Exposure Problem), 심각한 흐림(Severe Blur)을 기준으로 평가한다. 깊이 측정값(Depth Measurement)은 유효하지 않은 값(Invalid Value)을 검사하며, 관절 인코더(Joint Encoder)와 힘 센서(Force Sensor)는 불연속성(Discontinuity)이나 포화(Saturation)를 검사한다. 검증 임계값(Validation Threshold)은 센서 사양(Sensor Specification)과 작업 요구사항(Task Requirement)을 반영해야 한다. 의심스러운 관측(Suspicious Observation)은 후속 조사를 위한 진단 정보(Diagnostic Information)를 유지해야 한다.
시간적 정렬(Temporal Alignment)은 로봇 학습(Robotic Learning)이 관측(Observation), 행동(Action), 그 결과로 발생하는 물리적 상태(Physical State) 사이의 관계에 의존하기 때문에 필수적이다. 파이프라인은 여러 모달리티(Modality)에 걸쳐 타임스탬프(Timestamp), 샘플링 간격(Sampling Interval), 동기화 오프셋(Synchronization Offset)을 비교한다. 센서 특성(Sensor Characteristic)에 근거하여 정당화할 수 있는 경우 보간(Interpolation)이나 재샘플링(Resampling)을 통해 제한적인 시간 차이(Timing Difference)를 보정할 수 있다. 그러나 심각한 시간 정렬 오류(Severe Misalignment)는 잘못된 행동-상태 관계(Action-State Relationship)가 학습된 동역학(Learned Dynamics)과 제어 정책(Control Policy)을 손상시킬 수 있으므로 반드시 표시해야 한다.
궤적 분할(Trajectory Segmentation)은 연속적인 기록(Continuous Recording)을 의미 있는 에피소드(Episode)나 작업별 시퀀스(Task-Specific Sequence)로 변환한다. 분할 경계(Boundary)는 작업 명령(Task Command), 작업자 어노테이션(Operator Annotation), 로봇 상태 전이(Robot State Transition), 감지된 완료 이벤트(Detected Completion Event)를 사용하여 결정할 수 있다. 각 구간(Segment)은 중요한 상호작용(Important Interaction)의 전후에 충분한 맥락(Context)을 보존해야 한다. 신뢰할 수 있는 분할(Reliable Segmentation)은 시연 필터링(Demonstration Filtering), 실패 분석(Failure Analysis), 시간적 모델링(Temporal Modeling), 서로 다른 수집 세션(Collection Session)에 걸친 일관된 평가(Consistent Evaluation)를 지원한다.
자동화된 품질 평가(Automated Quality Assessment)는 센서 신뢰성(Sensor Reliability), 시간적 일관성(Temporal Consistency), 어노테이션 신뢰도(Annotation Confidence), 궤적 유효성(Trajectory Validity), 작업 실행 결과(Task Execution Outcome)에 점수를 부여한다. 단일 품질 값(Single Quality Value)에 의존하는 대신 파이프라인은 개별 지표(Separate Indicator)와 해석 가능한 거부 사유(Interpretable Rejection Reason)를 유지한다. 작업별 규칙(Task-Specific Rule)은 기록이 인식(Perception), 모방 학습(Imitation Learning), 동역학 모델링(Dynamics Modeling), 실패 예측(Failure Prediction)에 적합한지 결정한다. 정보 가치가 높은 실패(Informative Failure)는 실행이 성공하지 못했다는 이유만으로 제거해서는 안 된다.
중복 및 준중복 탐지(Duplicate and Near-Duplicate Detection)는 대규모 데이터셋(Large Dataset)에서 과도한 반복(Excessive Repetition)을 줄인다. 파일 해시(File Hash)는 완전히 동일한 중복(Exact Duplicate)을 식별하며, 지각적 유사도(Perceptual Similarity)와 임베딩 기반 검색(Embedding-Based Retrieval)은 관련 관측(Related Observation)을 탐지한다. 궤적 비교(Trajectory Comparison)는 거의 동일한 움직임(Motion)을 가진 반복적인 시연(Repeated Demonstration)을 발견할 수 있다. 중복 제거(Deduplication)는 적절한 시간적·의미적 수준(Temporal and Semantic Level)에서 수행해야 하며 접촉 행동(Contact Behavior), 안전성(Safety), 성공적인 작업 완료(Successful Task Completion)에 영향을 미치는 작은 차이(Small Difference)를 보존해야 한다.
임베딩 기반 분석(Embedding-Based Analysis)은 보존된 샘플(Retained Sample)을 표현 공간(Representation Space)의 의미 있는 영역으로 구성한다. 군집화(Clustering)는 일반적인 행동(Common Behavior), 환경 패턴(Environmental Pattern), 과소대표 조건(Underrepresented Condition)을 드러낸다. 밀도 추정(Density Estimation)과 최근접 이웃 거리(Nearest-Neighbor Distance)는 특이한 경험(Unusual Experience)을 식별하는 데 도움이 되며, 모델 불확실성(Model Uncertainty)과 예측 오류(Prediction Error)는 잠재적으로 정보 가치가 높은 사례(Potentially Informative Example)를 강조한다. 이러한 신호를 결합하면 손상되거나 관련성이 낮은 이상치(Corrupted or Irrelevant Outlier)를 과도하게 선택하지 않으면서 가치 있는 데이터(Valuable Data)에 우선순위를 부여할 수 있다.
데이터 균형 조정(Data Balancing)은 작업(Task), 환경(Environment), 로봇 형태(Robot Embodiment), 데이터 소스(Data Source), 실행 결과(Execution Outcome)에 걸쳐 큐레이션된 데이터셋(Curated Dataset)의 구성을 제어한다. 샘플링 가중치(Sampling Weight)는 자주 기록되는 일상적인 행동(Routine Behavior)이 학습을 지배하는 것을 방지할 수 있다. 드물지만 중요한 시나리오(Rare but Important Scenario)는 추가적인 비중(Additional Emphasis)을 부여받을 수 있으며, 일반적인 조건(Common Condition)도 충분히 표현되어야 한다. 혼합 정책(Mixture Policy)은 학습 목표(Learning Objective), 운영 요구사항(Operational Requirement), 측정된 모델 약점(Measured Model Weakness)에 따라 조정해야 한다.
어노테이션 처리(Annotation Processing)는 자동 레이블링(Automated Labeling), 일관성 검증(Consistency Verification), 목표 지향적 인간 검토(Targeted Human Review)를 통합한다. 인식 모델(Perception Model)은 물체 레이블(Object Label)이나 분할 마스크(Segmentation Mask)를 생성할 수 있으며, 궤적 분석(Trajectory Analysis)은 작업 경계(Task Boundary)와 결과(Outcome)를 추정할 수 있다. 신뢰도 점수(Confidence Score)는 검사가 필요한 불확실한 어노테이션(Uncertain Annotation)을 식별한다. 인간 검토자(Human Reviewer)는 모호하거나 안전에 중요하거나 영향력이 큰 사례(Ambiguous, Safety-Critical, or High-Impact Example)에 집중해야 한다. 모든 어노테이션 업데이트(Annotation Update)는 출처 정보(Provenance)와 버전 정보(Version Information)를 보존해야 한다.
데이터셋 분할(Dataset Splitting)은 정보 누출(Information Leakage)을 방지하기 위한 명시적인 제어(Explicit Control)와 함께 수행해야 한다. 관련 프레임(Related Frame), 궤적(Trajectory), 수집 세션(Collection Session), 중복 이벤트(Duplicated Event)는 일관된 학습·검증·테스트 분할 영역(Training, Validation, or Test Partition) 내에 유지되어야 한다. 평가 목표(Evaluation Goal)에 따라 전체 물체(Object), 환경(Environment), 로봇 플랫폼(Robot Platform)을 학습에서 제외할 수 있다. 안정적인 분할 매니페스트(Stable Split Manifest)와 출처 검사(Provenance Check)는 후속 처리 단계(Processing Stage)가 독립적인 평가 데이터셋(Independent Evaluation Dataset)을 의도치 않게 오염시키는 것을 방지한다.
파이프라인 오케스트레이션(Pipeline Orchestration)은 처리 의존성(Processing Dependency), 자원 할당(Resource Allocation), 재시도(Retry), 실패 복구(Failure Recovery)를 조정한다. 개별 단계(Individual Stage)는 모듈형(Modular)으로 설계하여 가능한 경우 검증(Validation), 임베딩 추출(Embedding Extraction), 점수화(Scoring), 선택(Selection)을 독립적으로 실행할 수 있어야 한다. 멱등 연산(Idempotent Operation)은 반복 실행(Repeated Execution)이 일관되지 않은 결과(Inconsistent Result)를 생성하는 것을 방지한다. 분산 작업자(Distributed Worker)와 큐 기반 스케줄링(Queue-Based Scheduling)은 높은 처리량(High-Throughput Processing)을 지원하며, 구조화된 로그(Structured Log)는 실패와 처리 지연(Processing Delay)에 대한 가시성(Visibility)을 제공한다.
증분 큐레이션(Incremental Curation)은 새롭게 수집된 로봇 경험(Newly Collected Robot Experience)을 모든 처리 결과(Processing Result)를 다시 생성하지 않고 기존 데이터셋(Existing Dataset)에 통합할 수 있도록 한다. 콘텐츠 해시(Content Hash)와 버전 관리된 처리 구성(Versioned Processing Configuration)은 어떤 단계에 재계산(Recomputation)이 필요한지 식별한다. 품질 임계값(Quality Threshold), 임베딩 모델(Embedding Model), 어노테이션 정책(Annotation Policy)이 변경되면 선택적 재처리(Selective Reprocessing)가 수행될 수 있다. 이러한 접근법은 과거 기록(Historical Recording)과 새롭게 입력된 데이터(Newly Ingested Data) 사이의 일관성(Consistency)을 유지하면서 계산 비용(Computational Cost)을 줄인다.
데이터셋 매니페스트(Dataset Manifest)는 각 릴리스(Release)에 포함된 정확한 기록(Recording), 레이블(Label), 변환(Transformation), 샘플링 가중치(Sampling Weight), 분할 할당(Split Assignment)을 설명한다. 버전 관리(Versioning)는 파이프라인 코드(Pipeline Code), 모델 체크포인트(Model Checkpoint), 구성 매개변수(Configuration Parameter), 처리 타임스탬프(Processing Timestamp)를 포함해야 한다. 재현 가능한 매니페스트(Reproducible Manifest)를 사용하면 학습 실험(Training Experiment)이 변경 불가능한 데이터셋 스냅샷(Immutable Dataset Snapshot)을 참조할 수 있다. 접근 권한(Access Permission), 보존 규칙(Retention Rule), 개인정보 보호 제어(Privacy Control)는 큐레이션과 이후 배포(Distribution) 전 과정에서 지속적으로 적용 가능해야 한다.
운영 모니터링(Operational Monitoring)은 파이프라인 상태(Pipeline Health)와 생성된 데이터셋 품질(Resulting Dataset Quality)을 모두 측정한다. 유용한 지표(Indicator)에는 데이터 입력 처리량(Ingestion Throughput), 처리 지연 시간(Processing Latency), 거부율(Rejection Rate), 중복 비율(Duplicate Ratio), 어노테이션 신뢰도(Annotation Confidence), 포괄성 격차(Coverage Gap), 계산 비용(Computational Cost)이 포함된다. 갑작스러운 변화(Sudden Change)는 센서 성능 저하(Sensor Degradation), 소프트웨어 결함(Software Defect), 변화하는 배포 조건(Shifting Deployment Condition)을 나타낼 수 있다. 대시보드(Dashboard)와 경고(Alert)는 문제가 있는 데이터 소스(Problematic Data Source)가 대규모 학습 실행(Large Training Run)에 영향을 미치기 전에 엔지니어가 대응하도록 지원한다.
자동화된 큐레이션(Automated Curation)의 가치는 후속 모델 평가(Downstream Model Evaluation)를 통해 검증해야 한다. 엔지니어는 원시 데이터셋(Raw Dataset), 일반적인 필터링 데이터셋(Conventionally Filtered Dataset), 자동 큐레이션된 혼합 데이터셋(Automatically Curated Mixture)의 학습 결과(Training Outcome)를 비교할 수 있다. 작업 성공(Task Success), 일반화(Generalization), 견고성(Robustness), 개입 빈도(Intervention Frequency), 학습 효율성(Training Efficiency)은 효과성(Effectiveness)에 대한 실질적인 근거(Practical Evidence)를 제공한다. 통제된 제거 실험(Controlled Ablation Study)은 어떤 처리 단계가 성능 개선에 기여하고 어떤 단계가 불필요한 복잡성(Unnecessary Complexity)을 도입하는지 판단하는 데 도움이 된다.
대규모 로봇 군집(Fleet Scale)에서 파이프라인은 배포된 로봇(Deployed Robot)과 중앙 집중식 학습 인프라(Centralized Learning Infrastructure)를 연결하는 지속적인 피드백 시스템(Continuous Feedback System)이 된다. 현장 실패(Field Failure), 불확실한 예측(Uncertain Prediction), 새로운 환경 조건(New Environmental Condition)은 목표 지향적 데이터 수집(Targeted Data Collection)과 큐레이션(Curation)을 촉발한다. 업데이트된 데이터셋(Updated Dataset)은 재학습(Retraining), 평가(Evaluation), 통제된 모델 배포(Controlled Model Deployment)를 지원한다. 이후 운영(Subsequent Operation)에서 얻은 피드백(Feedback)은 품질 기준(Quality Criteria), 샘플링 우선순위(Sampling Priority), 수집 전략(Collection Strategy)을 개선하여 반복적인 개선 주기(Iterative Improvement Cycle)를 형성한다.
궁극적으로 자동화된 데이터 큐레이션 파이프라인(Automated Data Curation Pipeline)은 통제되지 않은 로봇 경험의 데이터 흐름(Uncontrolled Stream of Robotic Experience)을 체계적으로 관리되는 학습 자산(Governed Learning Asset)으로 전환한다. 그 효과성(Effectiveness)은 신뢰할 수 있는 데이터 입력(Reliable Ingestion), 물리적 일관성 검사(Physical Consistency Check), 품질 인식 필터링(Quality-Aware Filtering), 다양성 보존(Diversity Preservation), 데이터 누출 방지(Leakage Prevention), 재현 가능한 버전 관리(Reproducible Versioning)에 달려 있다. 자동화된 처리(Automated Processing)를 인간 감독(Human Oversight) 및 측정 가능한 학습 결과(Measurable Learning Outcome)와 연결함으로써 피지컬 인공지능 데이터 엔진(Physical AI Data Engine)은 확장 가능하고 신뢰할 수 있으며 지속적으로 개선되는 로봇 지능(Scalable, Trustworthy, and Continuously Improving Robotic Intelligence)을 지원한다.
저자: Richard Minsoo Go
LinkedIn: Richard Minsoo Go















Top comments (0)