DEV Community

Richard Minsoo Go
Richard Minsoo Go

Posted on

Data Engines and Scaling for Physical AI — Ch.05: Data Labeling for Robotics [KR]

STATERA Library · Series 09 · Volume 04 · Chapter 05 · KR
Source: https://github.com/Statera-Library/09_Vol_04_Data_Engines_and_Scaling_for_Physical_AI/blob/main/Chapter_05_Data_Labeling_for_Robotics/Chapter_05_Data_Labeling_for_Robotics_KR.md

Volume 04. Data Engines and Scaling for Physical AI

Chapter 05. Data Labeling for Robotics

05.01. Why Robot Data Labeling is Different

로봇 데이터 라벨링(Robot Data Labeling)은 로봇이 정적인 정보에서 단순히 패턴을 인식하는 것이 아니라 물리적 세계를 인지하고 해석하며 상호작용해야 한다는 점에서 기존 데이터 주석(Data Annotation)과 근본적으로 다르다. 라벨이 부여된 이미지는 객체를 식별할 수 있지만, 로봇은 객체의 위치, 방향, 움직임, 물리적 특성 및 가능한 행동과의 관계까지 이해해야 한다. 따라서 로봇 라벨은 인지(Perception)를 물리적 행동(Physical Behavior) 및 작업 수행(Task Execution)과 연결해야 한다.

기존 컴퓨터 비전(Computer Vision) 데이터셋은 일반적으로 이미지에 객체 범주(Category), 경계 상자(Bounding Box), 분할 마스크(Segmentation Mask)를 연결한다. 로봇 데이터셋(Robotics Dataset)은 이러한 표현을 확장하여 공간 좌표(Spatial Coordinates), 관절 구성(Joint Configuration), 속도(Velocity), 힘(Force), 접촉 상태(Contact State), 제어 명령(Control Command)을 포함한다. 라벨은 장면에 무엇이 존재하는지뿐만 아니라 객체와 에이전트가 시간에 따라 어떻게 행동하는지도 설명해야 하며, 이를 통해 학습 시스템이 물리적 상호작용의 결과를 예측할 수 있도록 해야 한다.

시간적 연속성(Temporal Continuity)은 로봇 데이터 주석(Robotic Annotation)의 핵심 요구사항이다. 조작 시퀀스(Manipulation Sequence)는 객체에 접근하고, 접촉을 형성하고, 파지력(Grip Force)을 조절하고, 들어 올리고, 운반한 후 놓는 과정으로 구성될 수 있다. 각 단계는 기본 작업에 관한 정보를 제공한다. 독립적인 프레임 주석(Frame Annotation)만으로는 이러한 관계를 충분히 표현할 수 없으므로, 동기화된 궤적(Trajectory), 행동 경계(Action Boundary), 이벤트 시퀀스(Event Sequence)가 로봇 학습 데이터셋의 필수 구성 요소가 된다.

로봇 데이터는 서로 다른 주파수와 해상도로 작동하는 여러 센싱 모달리티(Sensing Modality)를 결합한다. 카메라는 시각적 관측(Visual Observation)을 제공하고, 라이다(LiDAR)는 기하학적 측정(Geometric Measurement)을 제공하며, 관성 센서(Inertial Sensor)는 움직임을 추정하고, 관절 인코더(Joint Encoder)는 내부 구성 상태를 설명한다. 힘 센서(Force Sensor)와 촉각 센서(Tactile Sensor)는 물리적 상호작용 상태를 나타낸다. 효과적인 라벨링을 위해서는 이러한 이질적인 신호들이 일관된 타임스탬프(Timestamp), 좌표계(Coordinate Frame), 보정 매개변수(Calibration Parameter), 의미적 해석(Semantic Interpretation)을 공유해야 한다.

공간 정확도(Spatial Accuracy)는 일반적인 이미지 분류(Image Classification)에서는 거의 발생하지 않는 문제를 야기한다. 2차원 경계 상자(Bounding Box)의 작은 오차는 객체 인식에 제한적인 영향을 미칠 수 있지만, 파지 자세(Grasp Pose)에서 비슷한 수준의 오차는 조작 실패를 초래할 수 있다. 따라서 로봇 데이터 주석은 미터 단위 좌표(Metric Coordinates), 기하학적 변환(Geometric Transformation), 센서 보정(Sensor Calibration), 불확실성(Uncertainty)을 신중하게 처리해야 하며, 특히 라벨이 동작 계획(Motion Planning)이나 물리적 제어(Physical Control)에 직접 영향을 미치는 경우 더욱 중요하다.

관측(Observation)과 행동(Action)의 구분도 중요하다. 카메라 이미지는 로봇이 무엇을 보고 있는지 설명하지만, 행동 명령(Action Command)은 로봇이 무엇을 변화시키려고 하는지 설명한다. 이후의 관측은 의도한 변화가 실제로 발생했는지를 보여준다. 고품질 로봇 데이터셋은 관측, 상태(State), 행동, 결과(Outcome) 사이의 관계를 보존하여 모델이 독립적인 시각적 연관성이 아니라 행동 조건부 동역학(Action-Conditioned Dynamics)을 학습할 수 있도록 한다.

신체 구현(Embodiment)은 서로 다른 로봇이 서로 다른 물리적 능력을 갖기 때문에 주석 작업을 더욱 복잡하게 만든다. 이동 로봇(Mobile Robot), 산업용 매니퓰레이터(Industrial Manipulator), 휴머노이드(Humanoid), 사족보행 로봇(Quadruped)은 유사한 환경을 관측하더라도 실행 가능한 행동을 다르게 해석할 수 있다. 관절 구성, 도달 가능한 작업 공간(Reachable Workspace), 이동 제약(Locomotion Constraint), 엔드 이펙터(End Effector)의 종류가 행동의 실행 가능성을 결정한다. 따라서 라벨은 전이 가능한 작업 의미(Task Semantics)와 로봇별 실행 매개변수(Execution Parameters)를 구분해야 한다.

객체 행동 가능성(Object Affordance)은 로봇 라벨링의 또 다른 중요한 차원이다. 문손잡이를 인식하는 것만으로는 충분하지 않으며, 로봇은 어디를 잡을 수 있는지, 손잡이가 어떻게 움직이는지, 어떤 힘이나 동작으로 조작할 수 있는지를 이해해야 한다. 행동 가능성 주석(Affordance Annotation)은 객체의 기하학적 구조를 밀기(Pushing), 당기기(Pulling), 들어 올리기(Lifting), 지지하기(Supporting), 회전하기(Rotating)와 같은 상호작용과 연결한다. 이러한 라벨은 시각적 인지를 물리적으로 의미 있는 행동 선택(Action Selection)으로 전환하는 데 기여한다.

접촉 정보(Contact Information)는 많은 조작 작업이 외형만으로 추론하기 어려운 상호작용에 의존하기 때문에 특히 중요하다. 로봇이 시각적으로 객체를 잡고 있는 것처럼 보이더라도 실제로는 들어 올리기에 충분한 힘을 가하지 못할 수 있다. 접촉 라벨(Contact Label)은 상호작용 위치, 지속 시간, 힘의 방향, 파지 안정성(Grasp Stability)을 설명할 수 있다. 촉각 측정(Tactile Measurement)과 시각적 관측을 결합하면 성공하거나 실패한 조작 시도를 더욱 정확하게 해석할 수 있다.

작업 구조(Task Structure)는 개별 모터 명령을 넘어서는 의미적 관계(Semantic Relationship)를 도입한다. 작업 공간 준비, 객체 탐색, 객체 파지, 이동, 목적지 배치는 서로 연결된 하위 작업(Subtask)의 시퀀스를 형성한다. 로봇 데이터 라벨링은 이러한 계층적 관계(Hierarchical Relationship)를 표현하여 학습 시스템이 저수준 행동(Low-Level Action)을 고수준 목표(High-Level Objective)와 연결할 수 있도록 해야 한다. 이러한 구성은 장기 수평선 자율 행동(Long-Horizon Autonomous Behavior)에서 더욱 중요해진다.

기존 인식 데이터셋과 달리 로봇 데이터셋은 명시적인 성공 및 실패 주석(Success and Failure Annotation)을 요구하는 경우가 많다. 하나의 궤적이 목표 위치에 도달하더라도 안전 제약(Safety Constraint)을 위반하거나 객체를 손상시키거나 과도한 시간을 소비할 수 있다. 따라서 결과 라벨(Outcome Label)은 작업 완료(Task Completion)와 실행 품질(Execution Quality)을 구분해야 한다. 실패 원인, 수정 행동(Corrective Action), 복구 행동(Recovery Behavior)을 기록하면 불완전한 조건에서도 강건한 정책(Robust Policy)을 학습하는 데 필요한 정보를 제공할 수 있다.

인간 시연(Human Demonstration)은 인간의 행동이 로봇 제어 공간(Robot Control Space)에 직접 대응하지 않기 때문에 추가적인 주석 복잡성을 발생시킨다. 인간의 손은 로봇 그리퍼(Robotic Gripper)와 다른 운동학(Kinematics), 유연성(Compliance), 감지 능력(Sensing Capability)을 갖는다. 시연 라벨링은 작업 의도(Task Intention), 상호작용 대상(Interaction Target), 전이 가능한 움직임 특성(Transferable Motion Characteristics)을 식별하면서 인간 특유의 움직임과 서로 다른 물리적 제약을 가진 로봇이 실행할 수 있는 행동을 구분해야 한다.

언어 기반 로봇 학습(Language-Grounded Robot Learning)은 자연어 명령(Natural-Language Instruction)과 관측 가능한 물리적 행동 사이의 정렬(Alignment)을 요구한다. 용기를 선반 위에 놓으라는 명령에는 객체, 공간 관계(Spatial Relationship), 의도한 결과에 관한 의미 정보(Semantic Information)가 포함된다. 이에 대응하는 주석은 관련 관측, 행동 구간(Action Segment), 완료 조건(Completion Condition)을 식별해야 한다. 이러한 관계는 인간의 명령을 실행 가능한 로봇 행동으로 변환하는 비전-언어-행동 모델(Vision-Language-Action Model)을 지원한다.

로봇 데이터 라벨링은 물리적 맥락(Physical Context)에 의존한다는 점에서도 차이가 있다. 동일한 움직임이라도 안정적인 표면에서는 적절하지만 인간 작업자나 깨지기 쉬운 객체 근처에서는 위험할 수 있다. 환경 기하학(Environmental Geometry), 장애물 근접성(Obstacle Proximity), 적재물 특성(Payload Properties), 작동 조건(Operating Conditions)은 행동 해석에 영향을 미친다. 맥락 라벨(Contextual Label)은 물리적 제약이 근본적으로 다르기 때문에 서로 다른 제어 결정이 필요한, 시각적으로 유사한 상황을 학습 시스템이 구분하도록 돕는다.

관측만으로 신뢰할 수 있는 정답 데이터(Ground Truth)를 확립할 수 없는 경우에는 불확실성(Uncertainty)을 명시적으로 표현해야 한다. 가림 현상(Occlusion)은 객체의 접촉 표면을 숨길 수 있고, 센서 잡음(Sensor Noise)은 위치 추정(Position Estimation)을 왜곡할 수 있으며, 영상 기록만으로는 가해진 힘을 확인하기 어려울 수 있다. 충분한 근거 없이 정밀한 라벨을 부여하면 잘못된 지도 신호(Supervision Signal)가 생성된다. 신뢰도 점수(Confidence Score), 가시성 지표(Visibility Indicator), 불확실성 구간(Uncertainty Interval), 미확인 상태 주석(Unknown-State Annotation)은 측정 정보의 한계를 보존하는 수단이 된다.

데이터 출처(Data Source) 역시 라벨링의 신뢰성에 영향을 미친다. 원격조작(Teleoperation) 기록은 로봇 명령과 측정된 상태에 직접 접근할 수 있지만, 인간 영상(Human Video)은 행동 추론(Action Inference)과 기하학적 구조 복원(Geometry Reconstruction)이 필요한 경우가 많다. 시뮬레이션 환경(Simulation Environment)은 시뮬레이션 모델을 기준으로 정확한 내부 상태 라벨을 생성할 수 있지만, 이러한 정보가 실제 세계의 물리적 행동을 정확하게 반영하지 못할 수도 있다. 주석 파이프라인(Annotation Pipeline)은 이질적인 출처의 데이터셋을 결합할 때 이러한 차이를 고려해야 한다.

안전 필수 이벤트(Safety-Critical Event)는 드물게 발생하는 실패가 발생 빈도에 비해 훨씬 큰 결과를 초래할 수 있으므로 특수한 라벨링이 필요하다. 충돌 직전 상황(Near Collision), 불안정한 파지(Unstable Grasp), 예상하지 못한 인간 개입(Human Intervention), 비상 정지(Emergency Stop)는 수집된 궤적 중 극히 일부에 불과할 수 있다. 그럼에도 이러한 이벤트를 정확하게 식별하는 것은 운영 신뢰성(Operational Reliability)을 향상시키는 데 필수적이다. 이벤트 라벨은 원인과 잠재적인 복구 전략을 이해하는 데 필요한 주변 시간적 맥락(Temporal Context)을 보존해야 한다.

주석 품질(Annotation Quality)은 인간 주석자(Human Annotator) 간의 일치도(Agreement)만으로 평가할 수 없다. 두 주석자가 동일한 객체를 일관되게 식별하더라도 실제 실행에 부적합한 파지 위치를 생성할 수 있다. 따라서 로봇 라벨링 품질은 기하학적 정확도(Geometric Accuracy), 시간적 일관성(Temporal Consistency), 물리적 타당성(Physical Plausibility), 후속 작업 성능(Downstream Task Performance)을 고려해야 한다. 평가에는 재생 분석(Replay Analysis), 시뮬레이션 시험(Simulation Testing), 통제된 로봇 실험(Controlled Robot Experiment)이 포함될 수 있으며, 이를 통해 주석이 신뢰할 수 있는 행동을 지원하는지 판단할 수 있다.

일관된 라벨 분류 체계(Label Taxonomy)는 서로 다른 작업, 환경, 로봇 플랫폼에서 수집된 관측을 결합하는 데 필요하다. 객체 식별(Object Identity), 접촉 상태(Contact State), 행동 기본 단위(Action Primitive), 하위 작업(Subtask), 결과(Outcome), 안전 이벤트(Safety Event)와 같은 범주는 명확한 정의를 가져야 한다. 좌표 규약(Coordinate Convention), 측정 단위(Measurement Unit), 기준 좌표계(Reference Frame), 타임스탬프 의미(Timestamp Semantics)도 일관성을 유지해야 한다. 이러한 표준이 없으면 개별적으로 유용한 데이터셋도 대규모 학습 시스템에 통합하기 어려워질 수 있다.

주석 프로세스(Annotation Process)는 자동화된 인지 모델(Perception Model), 기하학적 추정(Geometric Estimation), 추적 알고리즘(Tracking Algorithm), 학습 기반 행동 인식(Learned Action Recognition)에 점점 더 많이 의존하고 있다. 그러나 자동 생성 라벨(Automated Label)은 대규모 궤적 집합에 체계적인 오류(Systematic Error)를 전파할 수 있다. 모호한 상호작용, 희귀 이벤트(Rare Event), 안전에 민감한 결정(Safety-Sensitive Decision)에서는 인간 검토(Human Review)가 여전히 중요하다. 자동 생성과 선별적 검증(Targeted Verification)을 결합하면 주석 처리량(Annotation Throughput), 비용, 신뢰성 사이에서 실용적인 균형을 확보할 수 있다.

능동 학습(Active Learning)은 학습 가치가 특히 높은 관측이나 궤적을 식별하여 라벨링 효율성을 향상시킬 수 있다. 기록된 모든 에피소드(Episode)에 균일하게 주석을 부여하는 대신, 데이터 엔진(Data Engine)은 불확실한 예측(Uncertain Prediction), 익숙하지 않은 객체, 특이한 접촉 조건, 실패한 실행을 우선적으로 선택할 수 있다. 이러한 전략은 현재 모델이 처리하기 어려운 사례에 인간의 노력을 집중시켜, 수동으로 검증한 주석 수를 줄이면서도 성능을 향상시킬 가능성을 제공한다.

로봇 데이터 주석은 데이터 출처 추적성(Data Provenance)과 재현성(Reproducibility)도 보존해야 한다. 각 라벨은 원본 에피소드(Source Episode), 센서 구성(Sensor Configuration), 보정 버전(Calibration Version), 주석 방법(Annotation Method), 관련 모델 버전(Model Version)과 연결되어 있어야 한다. 라벨이 수정되거나 재생성될 때는 버전 이력(Version History)에 변경 사항을 기록해야 한다. 이러한 추적 가능성(Traceability)은 오류 조사(Error Investigation), 데이터셋 유지관리(Dataset Maintenance), 연속적인 로봇 학습 실험 간의 의미 있는 비교를 지원한다.

로봇 데이터 라벨링의 확장(Scaling)은 주석이 부여된 프레임 수를 증가시키는 것 이상을 요구한다. 기반 시스템은 궤적, 환경, 신체 구현(Embodiment), 변화하는 작업 정의(Task Definition) 전반에서 일관성을 유지해야 한다. 자동 검증(Automated Validation)은 누락된 타임스탬프, 유효하지 않은 변환(Invalid Transformation), 물리적으로 불가능한 관절 상태(Impossible Joint State), 일관되지 않은 이벤트 경계(Event Boundary)를 탐지할 수 있다. 이러한 검사는 주석 결함(Annotation Defect)이 정책 학습(Policy Training)이나 평가 결과에 드러나지 않게 영향을 미칠 위험을 줄인다.

궁극적으로 로봇 데이터 라벨링은 물리적 경험(Physical Experience)을 구조화된 학습 신호(Structured Learning Signal)로 변환하는 과정이다. 핵심적인 차별성은 다중 모달 관측(Multimodal Observation)을 기하학(Geometry), 동역학(Dynamics), 행동(Action), 의도(Intention), 결과(Consequence)와 연결하는 데 있다. 성공적인 라벨링 시스템은 체화 지능(Embodied Intelligence)에 필요한 인과적 관계(Causal Relationship)와 시간적 관계(Temporal Relationship)를 보존하여, 피지컬 AI(Physical AI) 모델이 세계를 인식하는 수준을 넘어 물리적 환경에서 안전하고 효과적으로 행동하는 방법을 이해할 수 있도록 한다.

05.02. Manual Semi Automatic and Automatic Labeling

로봇 데이터 라벨링(Robot Data Labeling)은 수동 라벨링(Manual Labeling), 반자동 라벨링(Semi-Automatic Labeling), 자동 라벨링(Automatic Labeling)의 세 가지 주요 접근 방식으로 구분할 수 있다. 이러한 접근 방식은 인간의 참여 수준, 컴퓨팅 요구사항(Computational Requirements), 주석 처리 속도(Annotation Speed), 신뢰성(Reliability)에서 차이가 있다. 적절한 전략의 선택은 로봇 작업의 복잡성, 사용 가능한 센서 데이터, 요구되는 주석 정밀도(Annotation Precision), 구축하려는 데이터셋(Dataset)의 규모에 따라 결정된다.

수동 라벨링(Manual Labeling)은 인간 주석자(Human Annotator)가 로봇의 관측 데이터를 직접 검토하고 의미 있는 라벨을 부여하는 방식이다. 대표적인 작업에는 객체 식별(Object Identification), 파지 위치(Grasp Location) 표시, 행동 분할(Action Segmentation), 작업 결과 분류(Task Outcome Classification)가 포함된다. 인간의 판단은 물리적 상호작용이 모호하거나 계산적으로 추론하기 어려운 경우에 특히 중요하다. 그러나 대규모 다중 모달 로봇 데이터셋(Multimodal Robot Dataset)에 수동 주석을 적용하면 많은 비용과 시간이 소요된다.

수동 라벨링의 주요 장점은 맥락적 정보(Contextual Information)와 의미적 정보(Semantic Information)를 해석할 수 있다는 점이다. 인간 주석자는 전체 에피소드(Episode)를 검토하여 의도적인 행동(Intentional Action), 우발적인 접촉(Accidental Contact), 수정 동작(Corrective Movement), 작업 실패(Task Failure)를 구분할 수 있다. 또한 언어 명령(Language Instruction)과 복잡한 작업 구조(Task Structure)를 해석할 수 있다. 그러나 주석 품질(Annotation Quality)은 교육 수준, 분야별 전문성(Domain Expertise), 일관된 라벨링 지침(Labeling Guidelines)에 따라 달라진다.

수동 주석(Manual Annotation)은 3차원 로봇 데이터(Three-Dimensional Robotics Data)에서 특별한 어려움을 가진다. 객체 자세(Object Pose), 접촉점(Contact Point), 공간 관계(Spatial Relationship)를 추정하려면 전문 시각화 도구(Visualization Tool)와 보정된 좌표계(Calibrated Coordinate System)가 필요하다. 주석자는 동기화된 카메라 영상, 포인트 클라우드(Point Cloud), 로봇 궤적(Robot Trajectory)을 함께 검토해야 할 수 있다. 숙련된 작업자라도 중요한 표면이 가려지거나 센서 측정값이 불완전하면 기하학적 오차(Geometric Error)를 발생시킬 수 있다.

반자동 라벨링(Semi-Automatic Labeling)은 컴퓨터 기반 예측(Computational Prediction)과 인간의 검증 및 수정을 결합한다. 알고리즘(Algorithm)이 초기 주석을 생성하면 인간 검토자(Human Reviewer)가 불확실하거나 잘못된 결과를 확인한다. 이러한 접근 방식은 인간의 감독(Human Supervision)을 완전히 제거하지 않으면서 반복적인 수작업을 줄인다. 특히 인지 모델(Perception Model)이 합리적인 초기 추정값을 제공하지만 특이한 객체, 어려운 상호작용, 희귀 이벤트(Rare Event)를 일관되게 처리하지 못하는 경우에 효과적이다.

일반적인 반자동 작업 흐름(Semi-Automatic Workflow)은 자동 객체 검출(Object Detection), 분할(Segmentation), 자세 추정(Pose Estimation), 행동 인식(Action Recognition)으로 시작한다. 생성된 라벨은 주석 인터페이스(Annotation Interface)에 표시되며, 검토자는 이를 승인하거나 수정하거나 거부할 수 있다. 이후 수정 결과를 활용하여 라벨링 모델(Labeling Model)을 개선할 수 있다. 이러한 반복 과정은 인간의 전문성이 자동 주석의 정확도와 운영 효율성을 점진적으로 향상시키는 피드백 루프(Feedback Loop)를 형성한다.

시간적 전파(Temporal Propagation)는 반자동 로봇 라벨링에서 중요한 기술이다. 모든 비디오 프레임(Video Frame)을 독립적으로 주석 처리하는 대신, 인간이 선택된 키프레임(Keyframe)에 라벨을 부여하면 추적 알고리즘(Tracking Algorithm)이 인접한 관측 데이터로 주석을 전파한다. 이후 검토자는 추적 드리프트(Tracking Drift), 가림 오류(Occlusion Error), 객체 식별 전환(Identity Switch)을 수정한다. 이 방법은 객체 궤적(Object Trajectory), 조작 시퀀스(Manipulation Sequence), 장시간 이동 로봇 기록에 특히 유용하다.

3차원 반자동 주석(Three-Dimensional Semi-Automatic Annotation)은 센서와 시간에 걸친 기하학적 일관성(Geometric Consistency)을 활용할 수 있다. 카메라 이미지에서 검출한 객체를 깊이 측정값(Depth Measurement)이나 라이다 포인트 클라우드(LiDAR Point Cloud)에 투영하여 공간 위치(Spatial Position)를 추정할 수 있다. 추적 및 정합 알고리즘(Tracking and Registration Algorithm)은 연속 프레임에서 이러한 추정값을 개선할 수 있다. 인간 검토자는 객체가 겹치거나 예측하기 어렵게 움직이거나 접촉을 통해 상호작용하는 경우 결과 기하학을 검증한다.

자동 라벨링(Automatic Labeling)은 알고리즘, 센서 측정값, 시뮬레이션 엔진(Simulation Engine), 사전 학습 모델(Pretrained Model)을 통해 주석을 생성함으로써 인간의 직접적인 참여를 최소화한다. 컴퓨팅 자원(Computational Resources)에 따라 주석 처리량(Annotation Throughput)을 확대할 수 있기 때문에 대규모 피지컬 AI 데이터 엔진(Physical AI Data Engine)에 매력적인 방식이다. 그러나 자동 생성이 정확성을 보장하지는 않는다. 신뢰할 수 있는 시스템은 직접 측정한 상태와 추론된 라벨을 구분하고 예측 불확실성(Prediction Uncertainty)을 지속적으로 평가해야 한다.

시뮬레이션(Simulation)은 자동 생성 라벨의 매우 강력한 공급원이다. 물리 시뮬레이터(Physics Simulator)는 내부 표현(Internal Representation)에서 객체 위치(Object Position), 방향(Orientation), 속도(Velocity), 충돌 상태(Collision State), 로봇 관절 구성(Robot Joint Configuration)을 직접 제공할 수 있다. 렌더링 시스템(Rendering System)은 분할 마스크(Segmentation Mask), 깊이 맵(Depth Map), 객체 식별자(Object Identifier)를 생성할 수 있다. 이러한 라벨은 시뮬레이션 장면 내부에서는 일관성을 가지지만 실제 세계에서의 유효성은 시뮬레이션 충실도(Simulation Fidelity)에 따라 달라진다.

실제 로봇 시스템(Real Robot System)도 자체 계측 장치(Instrumentation)를 통해 자동 라벨을 생성할 수 있다. 관절 인코더(Joint Encoder)는 측정된 관절 구성(Measured Configuration)을 제공하고, 힘 센서(Force Sensor)는 상호작용 힘(Interaction Force)을 보고하며, 모션 컨트롤러(Motion Controller)는 명령된 행동(Commanded Action)을 기록한다. 로봇 위치 추정 시스템(Localization System)은 플랫폼 궤적(Platform Trajectory)을 추정할 수 있으며, 보정된 카메라와 깊이 센서(Depth Sensor)는 공간 관측(Spatial Observation)을 제공한다. 이러한 측정값은 정확도, 동기화, 좌표 규약(Coordinate Convention)이 검증된 경우 주석 파이프라인(Annotation Pipeline)을 지원할 수 있다.

모델 기반 자동 라벨링(Model-Based Automatic Labeling)은 직접적인 센서 측정값을 넘어 확장된다. 컴퓨터 비전 네트워크(Computer Vision Network)는 객체 범주(Object Category), 분할 마스크, 6자유도 자세(Six-Degree-of-Freedom Pose)를 예측할 수 있다. 시간 모델(Temporal Model)은 행동 경계(Action Boundary)를 식별하고 행동 시퀀스(Behavioral Sequence)를 분류할 수 있다. 비전-언어 모델(Vision-Language Model)은 작업 설명(Task Description)이나 의미 라벨(Semantic Label)을 생성할 수 있다. 이러한 출력은 검증된 정답 데이터(Ground Truth)가 아닌 예측값이므로 신뢰도 추정(Confidence Estimation)과 독립적인 검증(Independent Validation)이 필수적이다.

세 가지 라벨링 접근 방식은 비용 구조(Cost Structure)에서 상당한 차이를 보인다. 수동 라벨링은 많은 인적 노동(Human Labor)을 필요로 하지만 모델 개발(Model Development)에 대한 요구는 상대적으로 적다. 반자동 라벨링은 소프트웨어 통합(Software Integration)과 검토자 작업 흐름(Reviewer Workflow)을 도입하면서 사례당 주석 시간을 줄인다. 자동 라벨링은 모델, 인프라(Infrastructure), 검증 시스템(Validation System)에 더 많은 초기 투자가 필요하지만 충분한 규모로 운영하면 주석의 한계 비용(Marginal Annotation Cost)을 낮출 수 있다.

라벨링 정확도(Labeling Accuracy)는 라벨링 속도(Labeling Speed)와 별도로 평가해야 한다. 완전 자동 시스템(Fully Automatic System)은 수백만 개의 프레임을 처리하면서도 희귀한 접촉 이벤트(Contact Event)나 불안정한 파지(Unstable Grasp)를 반복적으로 잘못 분류할 수 있다. 반대로 수동 주석은 상세한 의미적 해석(Semantic Interpretation)을 제공하지만 일관성 부족과 피로(Fatigue)의 영향을 받을 수 있다. 반자동 방식은 자동 예측이 불확실하거나 물리적으로 타당하지 않은 사례에 검토자를 집중시킴으로써 이러한 한계를 균형 있게 보완할 수 있다.

서로 다른 라벨 범주(Label Category)는 서로 다른 자동화 수준(Automation Level)을 요구하는 경우가 많다. 강력한 인지 모델을 사용할 수 있다면 객체 식별과 이미지 분할(Image Segmentation)은 자동 처리에 적합할 수 있다. 접촉 상태 해석(Contact-State Interpretation), 작업 의도(Task Intention), 실패 인과관계(Failure Causality)는 더 많은 인간의 참여가 필요할 수 있다. 따라서 실용적인 로봇 데이터 엔진은 주석 복잡성(Annotation Complexity), 사용 가능한 근거, 운영 위험(Operational Risk), 예상되는 후속 결과(Downstream Consequence)에 따라 라벨링 방법을 배정한다.

신뢰도 기반 분기(Confidence-Based Routing)는 주석 방법을 선택하는 체계적인 메커니즘을 제공한다. 높은 신뢰도와 강력한 일관성 검사(Consistency Check)를 통과한 예측은 자동으로 승인할 수 있지만, 불확실한 사례는 인간 검토(Human Review)로 전달된다. 매우 모호하거나 안전 필수(Safety-Critical) 사례는 전문가 주석(Expert Annotation)이 필요할 수 있다. 신뢰도 임계값(Confidence Threshold)은 서로 다른 작업과 환경에서 보편적인 정확성 지표로 취급하기보다 실제 측정된 오류율(Error Rate)을 기준으로 보정해야 한다.

인간 수정 데이터(Human Correction Data)는 지속적인 개선(Continuous Improvement)의 기회를 제공한다. 검토자가 자동 생성 라벨을 수정하면 그 차이를 통해 인지 및 행동 이해 모델(Action-Understanding Model)의 체계적인 약점(Systematic Weakness)을 파악할 수 있다. 이러한 수정 결과는 이후 모델 업데이트(Model Update)를 위한 지도 학습 사례(Supervised Training Example)로 활용할 수 있다. 반복적인 개선 주기를 통해 주석 시스템은 이전에 처리하기 어려웠던 조건에 대한 대응 능력을 향상시키면서 일상적인 인간 개입(Human Intervention)의 양을 줄일 수 있다.

품질 보증(Quality Assurance)은 세 가지 라벨링 접근 방식 모두에서 수행되어야 한다. 수동 주석은 검토자 간 일치도(Reviewer Agreement), 전문가 감사(Expert Audit), 명확한 정의를 통해 개선할 수 있다. 반자동 출력은 수정 일관성(Correction Consistency)과 해결되지 않은 모델 오류(Model Error)에 대한 검사가 필요하다. 자동 라벨은 기하학적 검증(Geometric Validation), 시간적 일관성 검사(Temporal Consistency Testing), 독립적으로 검증된 기준 데이터(Verified Reference)와의 비교가 필요하다. 또한 평가에서는 주석 오류가 후속 로봇 행동(Downstream Robot Behavior)의 성능을 저하시키는지도 검토해야 한다.

확장성(Scalability)은 초당 생성되는 라벨 수 이상의 요소에 의해 결정된다. 대규모 로봇 데이터셋에는 동기화된 비디오, 깊이 측정값, 고유수용감각 신호(Proprioceptive Signal), 행동(Action), 작업 메타데이터(Task Metadata)가 포함된다. 주석 파이프라인은 상당한 양의 데이터를 처리하면서 이러한 모달리티(Modality) 간의 관계를 보존해야 한다. 로봇과 배치 현장(Deployment Site) 전반으로 데이터 수집이 확대됨에 따라 분산 컴퓨팅(Distributed Computing), 효율적인 저장소(Efficient Storage), 데이터셋 인덱싱(Dataset Indexing), 증분 처리(Incremental Processing)가 중요해진다.

주석 인터페이스(Annotation Interface) 역시 생산성(Productivity)과 신뢰성(Reliability)에 영향을 미친다. 효과적인 도구는 동기화된 센서 스트림(Sensor Stream), 로봇 상태(Robot State), 궤적(Trajectory), 관련 작업 정보를 일관된 작업 공간(Workspace)에 표시해야 한다. 검토자는 3차원 기하학(Three-Dimensional Geometry)을 검사하고, 시간적 경계(Temporal Boundary)를 조정하며, 예측 라벨과 관측 데이터를 비교할 수 있는 기능이 필요하다. 잘 설계된 인터페이스는 인지적 부담(Cognitive Effort)을 줄이고 시각적, 공간적, 행동적 주석 간의 불일치를 방지하는 데 도움이 된다.

라벨링 방법이 발전함에 따라 데이터 출처 추적(Data Provenance)과 버전 관리(Version Management)가 필수적이다. 각 주석에는 생성 알고리즘(Generating Algorithm), 인간 검토자(Human Reviewer), 신뢰도 점수(Confidence Score), 타임스탬프(Timestamp), 관련 보정 버전(Calibration Version) 또는 모델 버전(Model Version)에 관한 정보가 유지되어야 한다. 수정된 라벨은 추적 가능성(Traceability) 없이 이전 기록을 조용히 덮어써서는 안 된다. 이러한 정보는 데이터셋 감사(Dataset Audit), 재현 가능한 학습 실험(Reproducible Training Experiment), 특정 주석 파이프라인과 관련된 실패 조사를 가능하게 한다.

하이브리드 라벨링 아키텍처(Hybrid Labeling Architecture)는 하나의 데이터 엔진 안에서 수동, 반자동, 자동 처리를 결합할 수 있다. 일상적인 인지 라벨(Perception Label)은 자동으로 생성하고, 불확실한 기하학적 추정값(Geometric Estimate)은 선별적으로 검토하며, 복잡한 작업 결과(Task Outcome)는 전문가가 평가할 수 있다. 이러한 작업 흐름은 모든 사례에 동일한 주석 절차를 적용하는 대신 정보 가치(Information Value)와 위험(Risk)에 따라 인간의 주의와 검토 자원을 배분한다.

장기적인 목표는 인간 주석자를 완전히 제거하는 것이 아니라 라벨이 부여된 로봇 경험(Labeled Robotic Experience)의 품질과 유용성을 극대화하는 것이다. 자동화(Automation)는 높은 처리량(Throughput)을 제공하고, 인간의 전문성(Human Expertise)은 맥락적 판단(Contextual Judgment)을 제공하며, 검증(Validation)은 결과 데이터에 대한 신뢰를 확립한다. 이러한 역량을 지속적인 피드백 프로세스(Continuous Feedback Process)에 통합함으로써 피지컬 AI 데이터 엔진(Physical AI Data Engine)은 확장 가능하고, 추적 가능하며, 점점 더 신뢰할 수 있는 학습 데이터셋(Training Dataset)을 생성할 수 있다.

05.03. Human in the Loop and AI Assisted Labeling

인간 참여형 라벨링(Human-in-the-Loop Labeling)은 로봇 학습 데이터(Robotics Training Data)의 정확성(Accuracy), 신뢰성(Reliability), 유용성(Usefulness)을 향상시키기 위해 자동화된 주석 시스템(Automated Annotation System)에 인간의 판단을 통합하는 방식이다. 인간 주석(Human Annotation)과 기계 예측(Machine Prediction)을 별개의 과정으로 취급하는 대신, AI 모델이 후보 라벨(Candidate Label)을 생성하고 인간 전문가가 이를 검증, 수정 또는 개선하는 협업 작업 흐름(Collaborative Workflow)을 구축한다. 이러한 피드백은 데이터셋 품질(Dataset Quality)과 주석 효율성(Annotation Efficiency)을 지속적으로 향상시킨다.

로봇 응용 분야(Robotics Application)는 물리적 상호작용(Physical Interaction)에 자동화 모델이 신뢰성 있게 해결하기 어려운 모호성이 자주 포함되므로 인간 참여형 접근 방식(Human-in-the-Loop Approach)의 이점을 크게 얻을 수 있다. 가려진 객체(Occluded Object), 미세한 접촉 전환(Contact Transition), 예상하지 못한 움직임(Unexpected Movement), 복잡한 작업 의도(Task Intention)는 맥락적 해석(Contextual Interpretation)이 필요할 수 있다. 인간 검토자(Human Reviewer)는 의미적 이해(Semantic Understanding)와 물리적 추론(Physical Reasoning)을 제공하여 컴퓨터 기반 인지(Computational Perception)를 보완하며, 특히 잘못된 라벨이 위험한 로봇 행동으로 이어질 수 있는 경우에 중요하다.

AI 보조 라벨링(AI-Assisted Labeling)은 인간의 감독(Human Oversight)을 유지하면서 반복적인 주석 작업을 줄이기 위해 기계학습 모델(Machine Learning Model)을 활용한다. 객체 검출기(Object Detector), 분할 네트워크(Segmentation Network), 자세 추정기(Pose Estimator), 행동 인식 모델(Action Recognition Model)은 다중 모달 로봇 기록(Multimodal Robot Recording)에서 초기 주석을 생성할 수 있다. 이후 검토자는 모든 관측 데이터를 수동으로 라벨링하는 대신 불확실한 예측에 집중한다. 이러한 역할 분담은 주석 자원(Annotation Resource)을 어려운 사례와 높은 가치의 정보에 집중할 수 있도록 한다.

일반적인 인간 참여형 파이프라인(Human-in-the-Loop Pipeline)은 동기화된 센서 관측(Sensor Observation), 로봇 상태(Robot State), 행동(Action), 작업 메타데이터(Task Metadata)를 수집하는 것으로 시작한다. 자동화 모델은 이러한 기록을 처리하여 관련 신뢰도 추정값(Confidence Estimate)과 함께 후보 주석(Candidate Annotation)을 생성한다. 선택 메커니즘(Selection Mechanism)은 인간의 검토가 필요한 라벨을 식별한다. 검증된 수정 결과(Verified Correction)는 원본 데이터와 함께 저장되며, 이후 학습(Training), 평가(Evaluation), 모델 개선(Model Improvement) 작업 흐름에 반영된다.

이러한 아키텍처(Architecture)의 효과는 인간 개입(Human Intervention)이 필요한 시점을 결정하는 능력에 달려 있다. 신뢰도 기반 선택(Confidence-Based Selection)은 추정 신뢰성이 낮은 예측을 식별할 수 있으며, 여러 모델 간의 불일치(Model Disagreement)는 모호한 사례를 드러낼 수 있다. 기하학적 불일치(Geometric Inconsistency), 시간적 불연속성(Temporal Discontinuity), 물리적으로 타당하지 않은 행동(Physically Implausible Action)도 추가적인 경고 신호를 제공한다. 이러한 지표를 결합하면 모델 신뢰도만 사용하는 것보다 더 신뢰할 수 있는 검토 우선순위(Review Priority)를 설정할 수 있다.

인간 검토자(Human Reviewer)는 주석 작업(Annotation Task)에 따라 서로 다른 형태의 전문성을 제공한다. 일반 주석자(General Annotator)는 객체 범주(Object Category)와 분할 마스크(Segmentation Mask)를 검증할 수 있으며, 로봇 전문가(Robotics Specialist)는 파지 자세(Grasp Pose), 접촉 상태(Contact State), 동작 실행 가능성(Motion Feasibility)을 검사한다. 분야별 전문가(Domain Expert)는 산업 작업(Industrial Operation), 외과적 상호작용(Surgical Interaction), 안전 필수 이벤트(Safety-Critical Event)를 평가할 수 있다. 검토자의 전문성을 주석 복잡성(Annotation Complexity)에 맞게 배정하면 불필요한 전문가 참여를 줄이면서 품질을 향상시킬 수 있다.

대화형 주석 도구(Interactive Annotation Tool)는 효과적인 인간-AI 협업(Human-AI Collaboration)의 핵심 요소이다. 검토자는 통합 인터페이스(Unified Interface)에서 동기화된 카메라 스트림(Camera Stream), 깊이 측정값(Depth Measurement), 포인트 클라우드(Point Cloud), 로봇 궤적(Robot Trajectory), 컨트롤러 상태(Controller State)를 확인할 수 있어야 한다. AI가 생성한 라벨은 수정 가능해야 하며, 기하학적 구조(Geometry) 수정, 행동 경계(Action Boundary) 조정, 의미적 설명(Semantic Description) 변경 기능을 제공해야 한다. 효율적인 인터페이스는 검토 시간을 줄이고 주석 일관성(Annotation Consistency)을 향상시킨다.

시간적 주석(Temporal Annotation)은 로봇 행동이 독립적인 프레임이 아니라 연속적인 시퀀스(Sequence)로 전개되기 때문에 AI 보조의 효과가 크다. 추적 알고리즘(Tracking Algorithm)은 비디오 기록 전체에 걸쳐 객체 식별자(Object Identity)와 공간 라벨(Spatial Label)을 전파할 수 있으며, 시간 모델(Temporal Model)은 행동 경계와 작업 구간(Task Segment)을 제안할 수 있다. 인간 검토자는 전환 구간(Transition)을 확인하고 추적 드리프트(Tracking Drift)를 수정하며 의미 있는 행동 변화를 식별한다. 이러한 접근 방식은 모든 프레임을 개별적으로 주석 처리하지 않고도 시간적 구조(Temporal Structure)를 보존한다.

인간 참여형 라벨링은 접촉이 많은 조작 작업(Contact-Rich Manipulation Task)에서 특히 중요하다. 자동화 시스템은 객체의 움직임을 검출할 수 있지만 파지가 안정적인지, 접촉이 의도적인지, 작업이 실패한 이유가 무엇인지를 판단하지 못할 수 있다. 인간 전문가는 힘 측정값(Force Measurement), 촉각 신호(Tactile Signal), 시각적 근거(Visual Evidence), 작업 맥락(Task Context)을 검토하여 상호작용 라벨(Interaction Label)을 개선할 수 있다. 이러한 수정 결과는 물리적 관계(Physical Relationship)와 조작 동역학(Manipulation Dynamics)을 학습하는 모델에 유용한 지도 신호(Supervision Signal)를 제공한다.

능동 학습(Active Learning)은 모델 성능(Model Performance)을 가장 크게 향상시킬 것으로 예상되는 사례를 선택함으로써 인간 참여형 시스템을 강화한다. 데이터를 균일하게 샘플링(Sampling)하는 대신, 시스템은 불확실한 예측(Uncertain Prediction), 익숙하지 않은 환경(Unfamiliar Environment), 희귀한 객체 구성(Rare Object Configuration), 이전에 실패한 행동(Unsuccessful Action)에 우선순위를 부여한다. 이후 인간 주석은 현재 모델이 신뢰할 수 있는 지식을 충분히 확보하지 못한 영역에 집중되며, 이를 통해 라벨링 예산(Labeling Budget)의 효율성을 높일 수 있다.

불확실성 추정(Uncertainty Estimation)은 효과적인 검토 결정을 지원하도록 신중하게 보정되어야 한다. 모델은 익숙하지 않은 객체나 환경 조건을 접했을 때 잘못된 예측에 대해서도 높은 신뢰도를 출력할 수 있다. 보정 방법(Calibration Method), 앙상블 불일치(Ensemble Disagreement), 분포 변화 탐지(Distribution-Shift Detection)는 이러한 실패를 식별하는 데 도움이 된다. 검토 임계값(Review Threshold)은 특히 라벨이 안전에 민감한 인지(Perception), 계획(Planning), 제어(Control)를 지원하는 경우 주석 오류의 결과를 반영해야 한다.

인간 피드백(Human Feedback)은 직접적인 라벨 수정 외에도 다양한 형태를 취할 수 있다. 검토자는 대안적인 예측(Alternative Prediction)의 순위를 매기거나, 유효하지 않은 궤적(Invalid Trajectory)을 식별하거나, 실패 원인(Failure Cause)을 설명하거나, 서로 다른 로봇 행동에 대한 선호도(Preference)를 표현할 수 있다. 이러한 피드백은 단순한 범주형 라벨(Categorical Label)보다 풍부한 지도 정보(Supervision Information)를 제공한다. 선호도 및 비교 주석(Preference and Comparative Annotation)은 보상 모델링(Reward Modeling), 정책 평가(Policy Evaluation), 작업 완료(Task Completion), 효율성(Efficiency), 안전성(Safety)의 균형을 유지해야 하는 학습 시스템을 지원할 수 있다.

폐루프 주석 아키텍처(Closed-Loop Annotation Architecture)는 수정 결과를 지속적인 모델 개선(Continuous Model Improvement)으로 전환한다. 인간이 검토한 라벨이 품질 검사(Quality Check)를 통과하면 정제된 학습 데이터셋(Curated Training Dataset)에 통합된다. 업데이트된 모델(Updated Model)은 새롭게 수집된 에피소드(Episode)에 대한 예측을 생성하고, 이후 검토 결과는 남아 있는 약점을 드러낸다. 이러한 반복 과정은 어렵거나 익숙하지 않은 상황에 대한 감독을 유지하면서 반복적인 인간 작업을 점진적으로 줄인다.

주석 품질(Annotation Quality)은 일관된 지침(Consistent Instruction)과 허용 가능한 라벨(Acceptable Label)에 대한 명확한 정의에 달려 있다. 인간 검토자는 모호한 접촉(Ambiguous Contact), 행동 경계(Action Boundary), 부분적인 작업 성공(Partial Task Success)에 대해 서로 다른 판단을 내릴 수 있다. 상세한 주석 지침(Annotation Guideline), 대표 사례(Representative Example), 상위 검토 절차(Escalation Procedure)는 주관적 편차(Subjective Variation)를 줄이는 데 도움이 된다. 전문가 판정(Expert Adjudication)은 어려운 의견 불일치를 해결하고 인간 및 자동 라벨링 성능을 평가하기 위한 기준 주석(Reference Annotation)을 확립할 수 있다.

AI 보조는 검토자가 충분한 검토 없이 모델 예측을 수용하는 자동화 편향(Automation Bias)을 유발할 수 있다. 잘못된 제안은 특히 인터페이스가 예측을 권위 있는 결과처럼 제시할 때 인간의 판단에 영향을 미칠 수 있다. 효과적인 시스템은 불확실성을 표시하고, 판단의 근거(Supporting Evidence)를 제공하며, 원시 관측 데이터(Raw Observation)를 독립적으로 검사할 수 있도록 해야 한다. 정기적인 블라인드 검토(Blind Review)와 무작위 표본 감사(Randomly Sampled Audit)는 일반적인 확인 작업 흐름(Confirmation Workflow)에서 놓칠 수 있는 오류를 발견하는 데 도움이 된다.

검토 자원 배분(Review Allocation)은 정보 가치(Information Value)와 운영 위험(Operational Risk)을 모두 고려해야 한다. 충분한 근거가 있는 일상적인 라벨은 제한적인 검증만 필요할 수 있지만, 불확실한 접촉 상태나 안전 필수 실패(Safety-Critical Failure)는 더욱 상세한 검토가 필요하다. 위험 인식 검토 정책(Risk-Aware Review Policy)은 예측 불확실성(Prediction Uncertainty), 작업 중요도(Task Importance), 잠재적인 오류 결과(Potential Consequence of Error)를 결합할 수 있다. 이를 통해 주석 자원이 빈번하지만 영향이 작은 사례에 주로 소비되는 것을 방지할 수 있다.

확장 가능한 인간 참여형 시스템(Scalable Human-in-the-Loop System)은 주석 대기열(Annotation Queue), 검토자 배정(Reviewer Assignment), 처리 지연 시간(Processing Latency)을 신중하게 관리해야 한다. 대규모 로봇 플릿(Robot Fleet)은 인간 팀이 즉시 검토할 수 있는 양보다 더 많은 후보 이벤트(Candidate Event)를 생성할 수 있다. 우선순위 지정 메커니즘(Prioritization Mechanism)은 긴급하거나 정보 가치가 높은 에피소드를 적절한 검토자에게 전달하고 일상적인 사례는 나중에 처리하도록 할 수 있다. 분산 주석 플랫폼(Distributed Annotation Platform)과 작업량 모니터링(Workload Monitoring)은 품질을 희생하지 않으면서 처리량(Throughput)을 유지하는 데 도움이 된다.

데이터 출처 추적(Data Provenance)은 인간과 AI의 기여가 최종 데이터셋을 어떻게 형성했는지 추적하는 데 필수적이다. 각 주석에는 생성 모델(Generating Model), 신뢰도 추정값(Confidence Estimate), 검토 상태(Review Status), 수정 이력(Correction History), 관련 센서 또는 보정 버전(Calibration Version)이 기록되어야 한다. 자동 승인 라벨(Automatically Accepted Label)과 인간 검증 주석(Human-Verified Annotation)을 구분하면 선별적인 품질 분석(Targeted Quality Analysis)이 가능해진다. 버전 관리 기록(Versioned Record)은 재현 가능한 학습 실험(Reproducible Training Experiment)과 체계적인 라벨링 오류(Systematic Labeling Error)의 조사도 지원한다.

AI 보조 라벨링의 경제성(Economics of AI-Assisted Labeling)은 모델 개발(Model Development), 컴퓨팅 추론(Computational Inference), 인간 검토(Human Review), 품질 보증(Quality Assurance) 비용 사이의 균형에 달려 있다. 자동화(Automation)는 인간의 직접적인 작업이 필요한 주석 수를 줄일 수 있지만, 신뢰할 수 없는 예측은 수정 시간(Correction Time)을 증가시킬 수 있다. 따라서 생산성(Productivity)은 단순한 주석 생성량(Raw Annotation Volume)이 아니라 단위 비용당 검증된 라벨 수(Verified Labels per Unit Cost)로 측정해야 한다. 후속 로봇 성능(Downstream Robot Performance)은 라벨링 가치(Labeling Value)를 평가하는 추가적인 척도를 제공한다.

인간 참여형 시스템은 신체 구현 간 학습(Cross-Embodiment Learning)의 기회도 제공한다. 인간 전문가는 매니퓰레이터(Manipulator), 이동 로봇(Mobile Robot), 휴머노이드(Humanoid), 기타 플랫폼 전반에서 공통된 작업 의도(Common Task Intention)를 식별하면서 신체 구현별 제약(Embodiment-Specific Constraint)을 보존할 수 있다. AI 모델은 서로 다른 행동 표현(Action Representation) 사이의 대응 관계(Correspondence)를 제안할 수 있으며, 검토자는 그 물리적 의미(Physical Meaning)를 검증할 수 있다. 이러한 협업은 이질적인 로봇 데이터셋(Heterogeneous Robotic Dataset) 전반에서 재사용 가능한 의미 주석(Semantic Annotation)을 지원한다.

인간 검토자가 로봇 기록을 검사할 때 개인정보 보호(Privacy), 보안(Security), 책임성(Accountability)도 중요하다. 산업 환경(Industrial Environment)에는 기밀 공정(Confidential Process)이 포함될 수 있으며, 서비스 로봇(Service Robot)은 식별 가능한 개인(Identifiable Individual)이나 민감한 활동(Sensitive Activity)을 촬영할 수 있다. 주석 플랫폼(Annotation Platform)은 접근 제어(Access Control), 데이터 최소화(Data Minimization), 적절한 비식별 처리(Redaction Procedure)를 적용해야 한다. 검토 이력(Review History)과 감사 기록(Audit Record)은 개인정보를 불필요하게 노출하지 않으면서 책임성을 확립하는 데 도움이 된다.

인간 참여형 라벨링의 장기적인 발전 방향(Long-Term Direction)은 인간과 점점 더 높은 능력을 갖춘 AI 시스템 사이의 적응형 협업(Adaptive Collaboration)이다. 모델이 개선됨에 따라 인간의 주의와 전문성은 일상적인 주석 작업에서 복잡한 추론(Complex Reasoning), 희귀한 실패(Rare Failure), 새로운 기능(Emerging Capability)의 검증으로 이동할 수 있다. 목표는 단순히 인간의 참여를 최소화하는 것이 아니라 전문성이 가장 큰 가치를 제공하는 영역에 이를 배분하여 피지컬 AI(Physical AI)를 위한 확장 가능하고 신뢰할 수 있는 데이터 엔진(Data Engine)을 구축하는 것이다.

05.04. Weak Supervision and Pseudo Labeling

약한 지도 학습(Weak Supervision)과 의사 라벨링(Pseudo-Labeling)은 수동으로 라벨링된 로봇 데이터가 제한적이거나 비용이 많이 드는 경우 학습용 주석(Training Annotation)을 확장 가능하게 생성하는 접근 방식이다. 이러한 방법은 모든 관측 데이터에 정밀한 인간 주석(Human Annotation)을 요구하는 대신 불완전한 신호(Imperfect Signal), 휴리스틱 규칙(Heuristic Rule), 사전 학습 모델(Pretrained Model), 라벨이 없는 기록(Unlabeled Recording)을 활용한다. 목표는 라벨 잡음(Label Noise)을 제어하고 신뢰할 수 있는 로봇 학습(Robot Learning)에 필요한 물리적 일관성(Physical Consistency)을 유지하면서 유용한 지도 신호(Supervision Signal)를 확대하는 것이다.

약한 지도 학습(Weak Supervision)은 간접적이거나 불완전한 정보원(Information Source)에서 근사 라벨(Approximate Label)을 생성한다. 이러한 정보원에는 작업 메타데이터(Task Metadata), 로봇 컨트롤러 로그(Robot Controller Log), 센서 임계값(Sensor Threshold), 시뮬레이션 출력(Simulation Output), 자동 검출 이벤트(Automatically Detected Event)가 포함될 수 있다. 예를 들어 그리퍼 닫힘 명령(Gripper Closing Command)과 측정된 힘의 증가가 동시에 발생하면 객체 접촉(Object Contact)을 추정할 수 있다. 그러나 이러한 근거가 안정적인 파지(Stable Grasp)를 반드시 입증하는 것은 아니므로 불확실성 표현(Uncertainty Representation)이 필수적이다.

라벨링 함수(Labeling Function)는 약한 지도 학습을 구현하는 일반적인 메커니즘이다. 라벨링 함수는 규칙이나 계산 절차(Computational Procedure)를 적용하여 잠정적인 범주(Category), 상태(State), 이벤트 라벨(Event Label)을 부여한다. 서로 다른 함수는 시각적 검출(Visual Detection), 관절 측정값(Joint Measurement), 힘 신호(Force Signal), 시간적 관계(Temporal Relationship)를 활용할 수 있다. 이러한 함수의 출력은 서로 중복되거나 불일치하거나 판단을 보류(Abstain)할 수 있으므로, 신뢰성의 차이와 상관된 오류(Correlated Error)를 고려하는 집계 방법(Aggregation Method)이 필요하다.

로봇 조작(Robotic Manipulation)에서 약한 라벨(Weak Label)은 행동(Action)과 관측된 결과(Observed Outcome) 사이의 관계로부터 도출할 수 있다. 들어 올리기 명령(Commanded Lifting Motion) 이후 객체가 위쪽으로 이동하면 성공적인 집기(Successful Pickup)를 나타낼 수 있다. 반대로 그리퍼가 닫혔지만 객체의 움직임이 없다면 파지 실패(Unsuccessful Grasp)를 의미할 수 있다. 그러나 센서 잡음(Sensor Noise), 가림 현상(Occlusion), 환경적 제약(Environmental Constraint)은 서로 다른 물리적 조건에서도 유사한 관측을 생성할 수 있으므로 이러한 해석은 확률적(Probabilistic)으로 유지되어야 한다.

의사 라벨링(Pseudo-Labeling)은 학습된 모델(Trained Model)의 예측을 라벨이 없는 데이터(Unlabeled Data)에 대한 임시 주석(Provisional Annotation)으로 사용한다는 점에서 규칙 기반 약한 지도 학습(Rule-Based Weak Supervision)과 다르다. 인지 모델(Perception Model)은 새로운 카메라 기록에서 객체를 식별할 수 있으며, 행동 인식 모델(Action Recognition Model)은 조작 단계(Manipulation Phase)를 분류할 수 있다. 선택된 품질 기준(Quality Criteria)을 만족하는 예측은 후속 학습에 통합된다. 이러한 접근 방식은 수동 라벨링 작업을 동일한 비율로 증가시키지 않고도 추가적인 관측 데이터를 활용할 수 있도록 한다.

일반적인 의사 라벨링 작업 흐름(Pseudo-Labeling Workflow)은 비교적 작은 검증 데이터셋(Verified Dataset)으로 학습된 모델에서 시작한다. 모델은 더 큰 규모의 라벨이 없는 로봇 에피소드(Unlabeled Robot Episode)를 처리하고 신뢰도 추정값(Confidence Estimate)과 함께 후보 라벨(Candidate Label)을 생성한다. 필터링 메커니즘(Filtering Mechanism)은 충분히 신뢰할 수 있다고 판단되는 예측을 선택한다. 승인된 의사 라벨은 검증된 주석(Verified Annotation)과 결합되어 업데이트된 모델(Updated Model)을 학습하는 데 사용되며, 이 모델은 이후 반복 과정에서 개선된 예측을 생성할 수 있다.

신뢰도 임계값(Confidence Threshold)은 의사 라벨 품질(Pseudo-Label Quality)을 제어하는 데 자주 사용되지만 신뢰도만으로는 충분하지 않다. 신경망(Neural Network)은 익숙하지 않은 객체(Unfamiliar Object), 비정상적인 조명(Unusual Lighting), 새로운 로봇 신체 구현(New Robot Embodiment)을 접했을 때 잘못된 예측에도 높은 신뢰도를 출력할 수 있다. 신뢰도 보정(Calibration), 분포 변화 탐지(Distribution-Shift Detection), 독립적인 일관성 검사(Independent Consistency Check)는 선택의 신뢰성을 향상시킬 수 있다. 임계값은 서로 다른 라벨 범주(Label Category)와 작동 조건(Operating Condition)에 대해 개별적으로 검증해야 한다.

시간적 일관성(Temporal Consistency)은 로봇 분야에서 특히 가치 있는 약한 지도 신호(Weak Supervision Signal)를 제공한다. 객체 식별자(Object Identity), 자세(Pose), 접촉 관계(Contact Relationship)는 인접한 관측 사이에서 연속적으로 변화하는 경우가 많다. 예측된 객체 위치(Object Location)가 프레임 사이에서 물리적으로 불가능한 방식으로 변화한다면 주석 오류(Annotation Error)를 나타낼 수 있다. 따라서 추적 알고리즘(Tracking Algorithm)과 운동 제약(Motion Constraint)은 의사 라벨 검증에 도움이 될 수 있지만 실제 충돌이나 급격한 상호작용을 잘못 제거하지 않도록 주의해야 한다.

기하학적 일관성(Geometric Consistency)도 약한 지도 기반 주석(Weakly Supervised Annotation)을 강화할 수 있다. 보정된 카메라(Calibrated Camera), 깊이 센서(Depth Sensor), 라이다 측정값(LiDAR Measurement)은 객체 위치(Object Position)와 방향(Orientation)에 대한 상호 보완적인 제약을 제공한다. 여러 시점(Multiple Viewpoint)에서 얻은 예측을 공통 좌표계(Common Coordinate Frame)로 변환하여 비교할 수 있다. 예측 간의 일치는 공간 라벨(Spatial Label)에 대한 신뢰도를 높이는 반면, 불일치는 가림 현상, 보정 오류(Calibration Error), 부정확한 인지 추정(Inaccurate Perception Estimate)을 드러낼 수 있다.

로봇 고유수용감각(Robot Proprioception)은 기존 이미지 데이터셋(Image Dataset)에서는 사용할 수 없는 약한 지도 신호를 제공한다. 관절 위치(Joint Position), 속도(Velocity), 모터 전류(Motor Current), 측정된 힘(Measured Force)은 물리적 행동(Physical Action)과 상호작용 상태(Interaction State)에 관한 근거를 제공할 수 있다. 이러한 신호는 움직임 단계(Movement Phase), 접촉 전환(Contact Transition), 실행 이상(Execution Anomaly)의 자동 식별을 지원할 수 있다. 그러나 로봇이 의도한 움직임을 항상 달성하는 것은 아니므로 명령된 행동(Commanded Action)과 측정된 결과(Measured Outcome)를 구분해야 한다.

작업 구조(Task Structure)는 근사 지도 학습(Approximate Supervision)의 또 다른 정보원이다. 로봇 프로그램(Robot Program), 작업 흐름 설명(Workflow Description), 원격조작 로그(Teleoperation Log)에는 예상되는 행동 시퀀스(Expected Action Sequence)에 관한 정보가 포함되는 경우가 많다. 이러한 기록은 정확한 시간적 주석(Temporal Annotation)이 없는 경우에도 하위 작업 경계(Subtask Boundary)와 의도한 목표(Intended Goal)를 추정하는 데 활용할 수 있다. 작업 계획(Task Plan)에서 도출된 약한 라벨은 중단(Interruption), 수정 행동(Corrective Action), 실패(Failure)로 인해 예상 시퀀스가 무효화될 수 있으므로 실제 관측 행동과 비교하여 검증해야 한다.

언어 기반 약한 지도 학습(Language-Based Weak Supervision)은 자연어 명령(Natural-Language Instruction)을 로봇 관측(Observation) 및 행동(Action)과 연결할 수 있다. 작업 설명(Task Description)은 전체 에피소드(Episode)에 대한 근사 의미 라벨(Approximate Semantic Label)을 제공할 수 있으며, 비전-언어 모델(Vision-Language Model)은 객체 참조(Object Reference)나 행동 요약(Action Summary)을 제안할 수 있다. 이러한 주석은 언어 조건부 로봇 학습(Language-Conditioned Robot Learning)을 지원하지만 잘못된 시간적 연결(Temporal Grounding)이나 근거가 없는 설명을 포함할 수 있다. 특히 언어 라벨이 비전-언어-행동 정책(Vision-Language-Action Policy)의 학습에 사용되는 경우 검증이 중요하다.

시뮬레이션 생성 데이터(Simulation-Generated Data)는 약한 지도 학습과 의사 라벨링을 위한 추가적인 기회를 제공한다. 시뮬레이터(Simulator)는 합성 장면(Synthetic Scene)에 대한 정밀한 내부 라벨(Internal Label)을 제공할 수 있으며, 이러한 장면으로 학습된 모델은 실제 기록(Real Recording)에 대한 임시 주석을 생성할 수 있다. 그러나 외형(Appearance), 접촉 동역학(Contact Dynamics), 센서 특성(Sensor Characteristics)의 차이는 체계적인 오류(Systematic Error)를 유발할 수 있다. 따라서 합성 지도 신호(Synthetic Supervision)를 신뢰할 수 있는 정보로 취급하기 전에 도메인 적응(Domain Adaptation)과 실제 환경 검증(Real-World Validation)이 필요하다.

여러 약한 신호(Weak Signal)를 결합하면 오류가 충분히 독립적인 경우 주석 품질(Annotation Quality)을 향상시킬 수 있다. 시각적 객체 추적(Visual Object Tracking), 힘 측정값(Force Measurement), 컨트롤러 이벤트(Controller Event), 작업 메타데이터(Task Metadata)는 각각 파지(Grasp)에 대한 부분적인 근거를 제공할 수 있다. 확률적 라벨 모델(Probabilistic Label Model)은 이러한 관측으로부터 합의 결과(Consensus)를 추정할 수 있다. 그러나 여러 신호가 동일한 부정확한 센서나 잘못된 기본 가정(Underlying Assumption)에 의존할 수 있으므로 상관된 오류(Correlated Error)를 고려해야 한다.

교사-학생 학습(Teacher-Student Learning)은 반복적인 의사 라벨링(Iterative Pseudo-Labeling)에 일반적으로 사용되는 아키텍처(Architecture)이다. 교사 모델(Teacher Model)은 라벨이 없는 관측에 대한 라벨을 생성하고, 학생 모델(Student Model)은 검증된 사례와 의사 라벨이 부여된 사례(Pseudo-Labeled Example)로부터 학습한다. 이후 개선된 학생 모델이나 모델 매개변수(Model Parameter)의 이동 평균(Moving Average)을 사용하여 교사 모델을 업데이트할 수 있다. 이러한 과정은 데이터 활용도(Data Utilization)를 높일 수 있지만 제어되지 않은 피드백은 연속적인 학습 주기에서 오류를 강화할 수 있다.

오류 증폭(Error Amplification)은 자기 학습 시스템(Self-Training System)의 주요 위험이다. 잘못된 의사 라벨이 반복적으로 승인되면 모델은 부정확한 해석에 대해 점점 더 높은 확신을 갖게 될 수 있다. 희귀 객체(Rare Object), 특이한 접촉(Unusual Contact), 실패 이벤트(Failure Event)는 초기 학습 데이터(Initial Training Data)에 충분히 포함되지 않는 경우가 많으므로 특히 취약하다. 검증된 기준 데이터셋(Verified Reference Dataset)을 유지하고, 잡음이 있는 라벨(Noisy Label)의 영향을 제한하며, 예측을 정기적으로 감사(Audit)하면 점진적인 성능 저하(Progressive Degradation)를 방지하는 데 도움이 된다.

손실 가중치(Loss Weighting)는 서로 다른 라벨 신뢰도(Label Reliability)를 관리하는 실용적인 방법이다. 인간이 검증한 주석(Human-Verified Annotation)은 불확실한 의사 라벨보다 높은 학습 가중치(Training Weight)를 받을 수 있으며, 약한 라벨은 추정 신뢰도(Estimated Confidence)나 정보원 품질(Source Quality)에 따라 가중치를 부여할 수 있다. 일부 학습 목적 함수(Training Objective)는 확정적인 범주(Hard Category) 대신 연속적인 확률 분포(Soft Probability Distribution)를 반영할 수 있다. 이러한 전략은 잠재적으로 유용한 관측을 버리지 않으면서 불확실한 지도 신호의 영향을 줄인다.

약한 지도 학습은 대규모 기록 저장소(Recording Archive)에서 희귀한 로봇 이벤트(Rare Robotic Event)를 탐색하는 데 특히 유용하다. 휴리스틱 검출기(Heuristic Detector)는 비정상적인 힘 급증(Force Spike), 비상 정지(Emergency Stop), 예상하지 못한 궤적 편차(Trajectory Deviation), 잠재적인 조작 실패(Manipulation Failure)를 식별할 수 있다. 이러한 검출 결과는 최종 라벨로 직접 사용하기에는 정확도가 부족할 수 있지만 전문가 검토(Expert Review)가 필요한 에피소드의 우선순위를 결정하는 데 활용할 수 있다. 이는 약한 라벨링(Weak Labeling), 능동 학습(Active Learning), 인간 참여형 주석(Human-in-the-Loop Annotation)을 효율적으로 연결한다.

평가(Evaluation)에서는 주석 범위(Annotation Coverage)와 주석 정확성(Annotation Correctness)을 구분해야 한다. 시스템은 기록된 거의 모든 프레임에 의사 라벨을 생성하면서도 접촉 상태(Contact State)나 작업 결과(Task Outcome)에 상당한 오류를 도입할 수 있다. 유용한 평가 지표(Evaluation Metric)에는 정밀도(Precision), 재현율(Recall), 신뢰도 보정(Calibration), 시간적 일관성(Temporal Consistency), 후속 정책 성능(Downstream Policy Performance)이 포함된다. 추가된 약한 라벨 데이터가 실제로 로봇 능력(Robot Capability)을 향상시키는지 판단하려면 독립적으로 검증된 데이터와 비교해야 한다.

데이터 출처 추적(Data Provenance)은 검증된 주석(Verified Annotation), 약한 지도 기반 주석(Weakly Supervised Annotation), 의사 라벨 주석(Pseudo-Labeled Annotation)이 혼합된 데이터셋에서 필수적이다. 각 라벨에는 생성 방법(Generating Method), 모델 버전(Model Version), 신뢰도 추정값(Confidence Estimate), 검증 상태(Validation Status)를 기록해야 한다. 이러한 구분을 유지하면 선별적인 필터링(Targeted Filtering), 오류 조사(Error Investigation), 재현 가능한 학습 실험(Reproducible Training Experiment)이 가능해진다. 또한 자동으로 추론된 정보가 직접 측정되거나 인간이 검증한 정답 데이터(Ground Truth)로 잘못 인식되는 것을 방지한다.

실용적인 피지컬 AI 데이터 엔진(Physical AI Data Engine)은 약한 지도 학습과 의사 라벨링을 지속적인 개선 루프(Continuous Improvement Loop)에 통합할 수 있다. 새롭게 수집된 로봇 에피소드(Robot Episode)는 휴리스틱 라벨링 함수(Heuristic Labeling Function)와 학습된 모델(Trained Model)에 의해 처리되며, 불확실성 검사(Uncertainty Check)와 일관성 검사(Consistency Check)는 신뢰할 수 없는 예측을 식별한다. 선택된 사례는 인간 검증(Human Verification)을 거치고, 승인된 주석은 후속 학습을 지원한다. 이를 통해 시스템은 수정과 품질 관리(Quality Control)의 기회를 유지하면서 데이터셋 범위(Dataset Coverage)를 확대한다.

약한 지도 학습과 의사 라벨링의 장기적인 가치(Long-Term Value)는 풍부하게 존재하는 라벨이 없는 물리적 경험(Unlabeled Physical Experience)을 유용한 학습 신호(Learning Signal)로 전환하는 데 있다. 이러한 방법은 특히 안전 필수 응용 분야(Safety-Critical Application)에서 신뢰할 수 있는 정답 데이터(Ground Truth)의 필요성을 제거할 수는 없지만, 모든 데이터를 수동으로 주석 처리해야 하는 의존성을 크게 줄일 수 있다. 효과적인 활용은 지속적으로 발전하는 로봇 데이터 엔진(Robotics Data Engine) 내에서 규모(Scale), 불확실성(Uncertainty), 물리적 일관성(Physical Consistency), 독립적인 검증(Independent Validation) 사이의 균형을 유지하는 데 달려 있다.

05.05. Active Learning for Labeling

라벨링을 위한 능동 학습(Active Learning for Labeling)은 인간 검토(Human Review)에 가장 유익한 사례를 식별하여 주석 비용(Annotation Cost)을 줄이는 데이터 선택 전략(Data Selection Strategy)이다. 능동 학습은 모든 로봇 관측 데이터(Robot Observation)를 균일하게 라벨링하는 대신 모델 성능(Model Performance)을 향상시킬 것으로 예상되는 데이터에 우선순위를 부여한다. 이러한 접근 방식은 다중 모달 궤적(Multimodal Trajectory)의 수집과 주석 처리에 상당한 인간의 노력, 전문 지식(Specialized Expertise), 컴퓨팅 자원(Computational Resource)이 필요한 피지컬 AI(Physical AI)에서 특히 가치가 높다.

능동 학습(Active Learning)의 핵심 원리는 서로 다른 학습 사례(Training Example)가 제공하는 정보량(Information Amount)이 동일하지 않다는 것이다. 익숙한 객체(Familiar Object)와 성공적인 행동(Successful Action)에 대한 반복적인 관측은 추가적인 학습 가치(Learning Value)가 제한적일 수 있다. 반면 익숙하지 않은 환경(Unfamiliar Environment), 모호한 접촉(Ambiguous Contact), 예상하지 못한 실패(Unexpected Failure), 희귀한 상호작용(Rare Interaction)은 중요한 모델의 약점(Model Weakness)을 드러낼 수 있다. 이러한 사례를 선택하면 제한된 주석 예산(Annotation Budget)을 더욱 효율적으로 활용할 수 있다.

일반적인 능동 학습 작업 흐름(Active Learning Workflow)은 초기 검증 로봇 데이터(Verified Robot Data)로 학습된 모델에서 시작한다. 모델은 더 큰 규모의 라벨이 없는 관측 데이터(Unlabeled Observation) 또는 궤적(Trajectory)을 평가하고 예상 유용성(Expected Usefulness)을 나타내는 획득 점수(Acquisition Score)를 부여한다. 우선순위가 높은 사례는 인간 주석(Human Annotation)을 위해 전달되며, 검증된 라벨(Verified Label)은 후속 학습에 통합된다. 이러한 과정을 반복하면 모델 불확실성(Model Uncertainty)과 데이터셋 확장(Dataset Expansion) 사이에 피드백 루프(Feedback Loop)가 형성된다.

불확실성 샘플링(Uncertainty Sampling)은 가장 널리 사용되는 능동 학습 전략(Active Learning Strategy) 중 하나이다. 시스템은 서로 경쟁하는 객체 분류(Object Classification)나 모호한 행동 경계(Action Boundary)처럼 모델이 불확실한 예측을 생성하는 사례를 선택한다. 예측 엔트로피(Predictive Entropy), 신뢰도 마진(Confidence Margin), 확률 분포(Probability Distribution)를 사용하여 불확실성을 정량화할 수 있다. 그러나 익숙하지 않은 조건에서는 높은 신뢰도를 가진 예측도 잘못될 수 있으므로 불확실성 추정값(Uncertainty Estimate)을 보정해야 한다.

위원회 기반 질의(Query-by-Committee)는 여러 모델 사이의 불일치(Model Disagreement)를 활용하여 정보 가치가 높은 사례(Informative Example)를 식별한다. 여러 인지 모델(Perception Model)이나 행동 인식 모델(Action Recognition Model)이 동일한 로봇 관측 데이터를 독립적으로 평가한다. 상당한 불일치는 기존 학습 데이터(Training Data)가 예측을 충분히 제약하지 못한다는 것을 의미할 수 있다. 이러한 사례는 인간 라벨링(Human Labeling)의 후보가 되지만 센서 데이터 손상(Sensor Corruption)이나 일관되지 않은 모델 가정(Model Assumption)에서 발생한 불일치는 학습 가치가 제한적일 수 있다.

다양성 기반 샘플링(Diversity-Based Sampling)은 불확실성만으로 사례를 선택할 때 발생하는 한계를 해결한다. 데이터셋에는 거의 동일한 로봇 상호작용(Robot Interaction)에서 생성된 수천 개의 불확실한 프레임(Uncertain Frame)이 포함될 수 있다. 이들 모두에 주석을 부여하면 상당한 중복성(Redundancy)이 발생한다. 특징 임베딩(Feature Embedding), 군집화 알고리즘(Clustering Algorithm), 거리 기반 선택(Distance-Based Selection)을 활용하면 서로 다른 객체, 환경, 행동, 작동 조건(Operating Condition)을 대표하는 사례를 식별할 수 있다.

대표성(Representativeness)은 능동 학습에서 고려해야 할 또 다른 중요한 요소이다. 매우 특이한 관측 데이터(Highly Unusual Observation)는 불확실성이 높더라도 정상적인 로봇 작동(Normal Robot Operation)과 관련성이 낮을 수 있다. 유용한 획득 전략(Acquisition Strategy)은 어려운 사례(Difficult Example)와 실제 배포 데이터 분포(Deployment Distribution)의 포괄 범위(Coverage) 사이에서 균형을 유지한다. 이를 통해 주석 자원(Annotation Resource)이 극단적인 이상치(Extreme Outlier)에만 집중되고 전체 시스템 성능(System Performance)에 큰 영향을 미치는 일반적인 상황이 소홀히 다루어지는 것을 방지한다.

로봇 분야의 능동 학습(Robotics Active Learning)은 선택 단위(Selection Unit)가 개별 프레임(Individual Frame)이 아니라 전체 에피소드(Entire Episode)일 수 있다는 점에서 일반적인 이미지 분류(Image Classification)와 다르다. 파지 실패(Grasp Failure), 내비게이션 중단(Navigation Interruption), 복구 동작(Recovery Maneuver)은 정확한 해석을 위해 시간적 맥락(Temporal Context)이 필요한 경우가 많다. 궤적 구간(Trajectory Segment)을 선택하면 관측(Observation), 행동(Action), 결과(Outcome) 사이의 관계를 보존할 수 있다. 따라서 주석 시스템은 정보 가치(Information Value)와 시퀀스 경계(Sequence Boundary)를 모두 고려해야 한다.

시간적 불확실성(Temporal Uncertainty)은 로봇 궤적(Robot Trajectory) 내에서 정보 가치가 높은 순간(Informative Moment)을 식별할 수 있다. 예측된 접촉 상태(Contact State)의 갑작스러운 변화, 일관되지 않은 객체 추적(Object Tracking), 모호한 하위 작업 전환(Subtask Transition)은 주석이 필요한 구간을 나타낼 수 있다. 시스템은 전체 기록을 검토하는 대신 해당 이벤트 주변의 관련 시간 구간(Temporal Window)을 선택할 수 있다. 실제 행동 변화(Behavioral Change)를 센서 잡음(Sensor Noise)이나 예측 불안정성(Prediction Instability)과 구분하려면 충분한 맥락을 유지해야 한다.

물리적 상호작용 데이터(Physical Interaction Data)는 특화된 획득 기준(Acquisition Criterion)을 필요로 한다. 조작 모델(Manipulation Model)은 객체를 높은 신뢰도로 인식하면서도 파지 안정성(Grasp Stability), 마찰(Friction), 접촉 전환(Contact Transition)에 대해서는 불확실할 수 있다. 힘 측정값(Force Measurement), 촉각 신호(Tactile Signal), 동작 결과(Motion Outcome)는 이러한 불확실성을 드러낼 수 있다. 따라서 능동 학습은 시각적 분류 신뢰도(Visual Classification Confidence)에만 의존하지 않고 물리적 예측 오류(Physical Prediction Error)를 평가해야 한다.

실패 중심 샘플링(Failure-Driven Sampling)은 성공하지 못했거나 예상과 다른 결과(Unexpected Outcome)가 발생한 로봇 경험(Robot Experience)에 우선순위를 부여한다. 객체 낙하(Dropped Object), 불안정한 파지(Unstable Grasp), 차단된 이동 경로(Blocked Navigation Path), 실패한 복구 시도(Unsuccessful Recovery Attempt) 등이 대표적인 사례이다. 이러한 이벤트는 정책의 한계(Policy Limitation)와 환경적 제약(Environmental Constraint)에 관한 정보를 제공한다. 그러나 실패 사례는 성공적인 시연(Successful Demonstration)과 균형을 유지해야 하며, 그렇지 않으면 바람직한 행동(Desired Behavior)을 충분히 나타내지 못하는 학습 데이터셋이 생성될 수 있다.

안전 인식 능동 학습(Safety-Aware Active Learning)은 잠재적으로 심각한 결과를 초래할 수 있는 이벤트에 추가적인 중요성을 부여한다. 충돌 직전 상황(Near Collision), 예상하지 못한 인간 개입(Unexpected Human Intervention), 비상 정지(Emergency Stop), 불안정한 움직임(Unstable Movement)은 발생 빈도가 낮더라도 주석이 필요할 수 있다. 획득 점수(Acquisition Score)는 불확실성(Uncertainty)과 다양성(Diversity)에 추정 위험도(Estimated Risk)를 추가하여 계산할 수 있다. 이러한 전략은 위험한 경험(Hazardous Experience)을 불필요하게 수집하지 않으면서 안전성 평가(Safety Evaluation)를 지원한다.

모델 오류 분석(Model Error Analysis)은 데이터를 선택하는 또 다른 메커니즘을 제공한다. 로봇 정책(Robot Policy)을 평가한 후 엔지니어는 반사 표면(Reflective Surface), 특이한 객체 형상(Unusual Object Shape), 혼잡한 환경(Crowded Environment)처럼 성능 저하(Poor Performance)와 관련된 조건을 식별할 수 있다. 데이터 엔진(Data Engine)은 기록된 에피소드에서 유사한 상황을 검색하고 표적 주석(Targeted Annotation)을 요청할 수 있다. 이는 능동 학습을 배포된 로봇 능력(Deployed Robot Capability)의 측정 가능한 약점(Measurable Weakness)과 직접 연결한다.

능동 학습은 여러 주석 범주(Annotation Category)에 걸쳐 동시에 작동할 수 있다. 하나의 로봇 에피소드(Robot Episode)에 객체 라벨(Object Label), 3차원 자세(Three-Dimensional Pose), 접촉 상태(Contact State), 행동 구간(Action Segment), 결과 분류(Outcome Classification)가 필요할 수 있다. 각 라벨 유형(Label Type)은 서로 다른 불확실성과 주석 비용(Annotation Cost)을 갖는다. 실용적인 획득 시스템(Acquisition System)은 선택된 모든 에피소드에 가능한 모든 라벨을 자동으로 요청하는 대신 어떤 누락된 주석(Missing Annotation)이 가장 큰 이점을 제공하는지 추정한다.

비용 민감형 능동 학습(Cost-Sensitive Active Learning)은 주석 작업량(Annotation Effort)의 차이를 고려한다. 객체 범주(Object Category)를 식별하는 데는 몇 초만 필요할 수 있지만 복잡한 조작 궤적(Complex Manipulation Trajectory)을 검증하려면 전문 도구(Specialized Tool)와 전문가 검토(Expert Review)가 필요할 수 있다. 획득 전략은 주석 비용 대비 예상 모델 개선 효과(Expected Model Improvement)를 추정할 수 있다. 이를 통해 제한된 자원을 가장 높은 실질적 학습 가치(Practical Learning Value)를 제공하는 사례에 배분할 수 있다.

인간의 전문성(Human Expertise)은 자동화된 획득 점수(Automated Acquisition Score)만으로 주석의 유용성(Annotation Usefulness)을 완전히 판단할 수 없기 때문에 여전히 필수적이다. 검토자는 선택된 사례에 손상된 센서 데이터(Corrupted Sensor Data), 모호한 정답 데이터(Ambiguous Ground Truth), 물리적으로 불가능한 해석(Physically Impossible Interpretation)이 포함되어 있음을 발견할 수 있다. 주석 인터페이스(Annotation Interface)는 전문가가 부적절한 질의(Unsuitable Query)를 거부하고 그 이유를 기록할 수 있도록 해야 한다. 이러한 결정은 향후 선택 정책(Selection Policy)을 개선하고 정보 가치가 낮은 데이터에 대한 반복적인 요청을 방지할 수 있다.

능동 학습은 약한 지도 학습(Weak Supervision) 및 의사 라벨링(Pseudo-Labeling)과 통합될 수 있다. 신뢰도가 높은 예측(High-Confidence Prediction)은 자동으로 임시 라벨(Provisional Label)을 부여받을 수 있으며, 불확실하거나 일관성이 없는 사례는 인간 검증(Human Verification)으로 전달된다. 약한 라벨링 함수(Weak Labeling Function)는 잠재적인 이벤트(Potential Event)를 식별하고, 능동 학습은 상세한 검토가 필요한 이벤트의 우선순위를 결정할 수 있다. 이러한 결합은 데이터셋 범위(Dataset Coverage)를 확대하면서 비용이 많이 드는 인간 주석을 가장 가치 있는 사례에 집중시킨다.

배치 선택(Batch Selection)은 주석 팀(Annotation Team)이 많은 사례를 동시에 처리할 때 중요하다. 가장 높은 점수를 가진 관측 데이터를 각각 독립적으로 선택하면 유사한 장면으로 구성된 중복 배치(Redundant Batch)가 생성될 수 있다. 배치 획득 방법(Batch Acquisition Method)은 선택된 사례 사이의 상호 관계를 고려하여 다양성(Diversity)과 포괄 범위(Coverage)를 향상시킨다. 또한 라벨링 작업량(Labeling Workload)을 구성할 때 검토자의 전문 분야(Reviewer Specialization), 작업 긴급도(Task Urgency), 가용 주석 처리 능력(Available Annotation Capacity)을 고려할 수 있다.

능동 학습의 평가(Evaluation)는 주석 생성량(Annotation Volume)만이 아니라 후속 로봇 성능(Downstream Robot Performance)의 개선을 측정해야 한다. 관련 성과 지표에는 인지 정확도(Perception Accuracy), 조작 성공률(Manipulation Success), 내비게이션 강건성(Navigation Robustness), 익숙하지 않은 조건에서의 성능(Performance Under Unfamiliar Conditions)이 포함된다. 학습 곡선(Learning Curve)은 주석 비용이나 검증된 에피소드 수(Verified Episode Count)에 따른 모델 품질(Model Quality)을 비교할 수 있다. 무작위 샘플링(Random Sampling)은 획득 전략이 측정 가능한 이점을 제공하는지 판단하기 위한 중요한 기준선(Baseline)이 된다.

선택 편향(Selection Bias)은 능동적으로 수집된 데이터셋이 어렵거나 불확실한 상황을 과도하게 대표할 수 있기 때문에 중요한 문제이다. 이러한 사례는 학습에 가치가 있지만 실제 배포 환경(Actual Deployment Environment)에서 발생하는 이벤트의 빈도를 반영하지 않을 수 있다. 대표성 있는 검증 데이터셋(Representative Validation Dataset)과 테스트 데이터셋(Test Dataset)을 유지하면 잘못된 성능 추정(Misleading Performance Estimate)을 방지하는 데 도움이 된다. 샘플링 메타데이터(Sampling Metadata)는 획득 결정(Acquisition Decision)이 결과 데이터 분포(Data Distribution)에 미치는 영향을 분석하는 데도 활용할 수 있다.

플릿 규모 능동 학습(Fleet-Scale Active Learning)은 서로 다른 위치와 환경에서 작동하는 로봇 전반으로 데이터 선택을 확장한다. 개별 로봇(Individual Robot)은 익숙하지 않은 객체, 특이한 지형(Unusual Terrain), 희귀한 운영 실패(Rare Operational Failure)를 경험할 수 있다. 로컬 불확실성 추정(Local Uncertainty Estimate)과 이벤트 트리거(Event Trigger)는 중앙 집중식 검토(Centralized Review)를 위한 후보 에피소드를 식별할 수 있다. 이후 플릿 수준 선택(Fleet-Level Selection)은 전체 배포 환경에서 정보 가치, 다양성, 통신 비용(Communication Cost), 주석 처리 능력(Annotation Capacity)의 균형을 유지한다.

지속적인 능동 학습(Continuous Active Learning)은 모델 불확실성(Model Uncertainty)과 데이터 분포(Data Distribution)가 시간에 따라 어떻게 변화하는지 모니터링해야 한다. 새롭게 배포된 정책(Newly Deployed Policy)은 이전 버전과 다른 실패 패턴(Failure Pattern)을 경험할 수 있으며, 환경 변화(Environmental Change)는 익숙하지 않은 조건을 도입할 수 있다. 주기적인 데이터 획득(Periodic Acquisition)과 재학습 주기(Retraining Cycle)를 통해 데이터셋은 운영 경험(Operational Experience)에 따라 발전할 수 있다. 버전 추적(Version Tracking)은 선택된 사례, 검증된 라벨, 결과적인 모델 개선 사이의 추적 가능성(Traceability)을 보장한다.

로봇 분야에서 능동 학습의 장기적인 목표(Long-Term Objective)는 주석 작업량(Annotation Effort)의 단위당 로봇 능력 개선(Capability Improvement)을 극대화하는 것이다. 불확실성 추정(Uncertainty Estimation), 다양성(Diversity), 물리적 추론(Physical Reasoning), 실패 분석(Failure Analysis), 인간 전문성(Human Expertise)을 결합함으로써 데이터 엔진은 학습에 가장 중요한 경험을 식별할 수 있다. 이는 라벨링을 균일한 처리 작업(Uniform Processing Activity)에서 확장 가능하고 지속적으로 개선되는 피지컬 AI 시스템(Physical AI System)을 지원하는 적응형 피드백 메커니즘(Adaptive Feedback Mechanism)으로 전환한다.

05.06. 2D Perception Labels

2차원 인지 라벨(2D Perception Label)은 로봇이 객체를 인식하고 장면을 해석하며 물리적 상호작용(Physical Interaction)과 관련된 영역을 식별할 수 있도록 구조화된 시각적 지도 정보(Structured Visual Supervision)를 제공한다. 이러한 주석(Annotation)은 카메라 이미지(Camera Image)를 객체 식별 정보(Object Identity), 위치(Location), 경계(Boundary), 의미적 정보(Semantic Meaning)에 대한 기계 판독 가능 표현(Machine-Readable Representation)으로 변환한다. 피지컬 AI(Physical AI)에서 이러한 라벨의 가치는 이미지 인식(Image Recognition)을 넘어 내비게이션(Navigation), 조작(Manipulation), 계획(Planning), 안전한 행동(Safe Behavior)을 지원한다는 데 있다.

객체 분류 라벨(Object Classification Label)은 이미지나 검출된 개체(Detected Entity)에 의미적 범주(Semantic Category)를 부여한다. 로봇은 이러한 주석을 통해 도구(Tool), 용기(Container), 가구(Furniture), 사람(Person), 환경 장애물(Environmental Obstacle)을 구분할 수 있다. 범주 정의(Category Definition)는 시각적 외형(Visual Appearance)만이 아니라 운영 요구사항(Operational Requirement)을 반영해야 한다. 예를 들어 조작 계획(Manipulation Planning)에서는 광범위한 시각적 범주를 부여하는 것보다 이동 가능한 용기(Movable Container)와 고정된 보관 구조물(Fixed Storage Structure)을 구분하는 것이 더 유용할 수 있다.

경계 상자(Bounding Box)는 직사각형 이미지 영역(Rectangular Image Region)을 사용하여 객체 위치(Object Location)를 표현한다. 경계 상자는 주석 비용(Annotation Cost)이 상대적으로 낮고 계산 처리(Computational Processing)가 효율적이므로 객체 검출기(Object Detector)의 학습에 널리 사용된다. 각 경계 상자에는 일반적으로 좌표(Coordinate), 범주 식별 정보(Category Identity), 가림 상태(Occlusion) 또는 가시성(Visibility)과 같은 선택적 속성(Optional Attribute)이 포함된다. 그러나 직사각형 경계는 불규칙한 형상(Irregular Shape)을 정확하게 표현하거나 서로 겹치는 객체(Overlapping Object)를 분리하는 데 한계가 있다.

의미적 분할(Semantic Segmentation)은 이미지의 각 픽셀(Pixel)에 범주를 부여하여 로봇이 바닥(Floor), 벽(Wall), 장애물(Obstacle), 식생(Vegetation), 기타 환경 영역(Environmental Region)을 구분할 수 있도록 한다. 경계 상자와 달리 분할(Segmentation)은 이동 가능 영역 분석(Traversability Analysis)과 장면 이해(Scene Understanding)를 지원하는 상세한 공간 경계(Spatial Boundary)를 제공한다. 그러나 의미적 라벨(Semantic Label)은 동일한 범주에 속하는 개별 객체를 반드시 구분하지 않으므로 객체별 조작(Object-Specific Manipulation)에 활용하는 데 한계가 있다.

인스턴스 분할(Instance Segmentation)은 의미적 분류(Semantic Classification)와 개별 객체 분리(Individual Object Separation)를 결합한다. 여러 객체가 동일한 범주를 공유하더라도 눈에 보이는 각 객체에는 고유 식별자(Unique Identifier)와 픽셀 수준 마스크(Pixel-Level Mask)가 부여된다. 이러한 표현은 로봇 피킹(Robotic Picking), 분류 작업(Sorting), 복잡한 장면 조작(Cluttered-Scene Manipulation)에 유용하다. 정확한 인스턴스 경계(Instance Boundary)는 접근 가능한 표면(Accessible Surface)을 식별하고 객체가 겹치거나 서로를 부분적으로 가릴 때 발생하는 혼동을 줄이는 데 도움이 된다.

파놉틱 분할(Panoptic Segmentation)은 의미적 분할(Semantic Segmentation)과 인스턴스 분할(Instance Segmentation)을 통합된 장면 표현(Unified Scene Representation)으로 결합한다. 도구나 상자처럼 개별적으로 셀 수 있는 객체(Countable Object)에는 인스턴스 식별 정보(Instance Identity)가 부여되고, 바닥이나 벽처럼 연속적인 영역(Continuous Region)에는 의미적 범주(Semantic Category)가 부여된다. 이러한 접근 방식은 개별 객체(Discrete Object)와 주변 환경(Surrounding Environment)을 동시에 추론해야 하는 로봇을 지원한다. 신뢰할 수 있는 파놉틱 주석(Panoptic Annotation)을 위해서는 일관된 범주 정의가 필수적이다.

키포인트 라벨(Keypoint Label)은 객체, 사람 또는 관절형 메커니즘(Articulated Mechanism)과 관련된 의미 있는 이미지 위치(Image Location)를 식별한다. 대표적인 사례로는 인체 관절(Human Joint), 도구 끝점(Tool Endpoint), 문손잡이(Door Handle), 파지 관련 특징점(Grasp-Relevant Landmark)이 있다. 키포인트(Keypoint)는 자세 추정(Pose Estimation), 상호작용 계획(Interaction Planning), 시각적 추적(Visual Tracking)을 위한 간결한 기하학적 정보(Geometric Information)를 제공한다. 키포인트 정의는 서로 다른 시점(Viewpoint)에서도 일관성을 유지해야 하며, 보이지 않는 특징점(Invisible Landmark)은 신뢰성 있게 결정할 수 없는 점과 구분해야 한다.

2차원 인지 데이터셋(2D Perception Dataset)에는 선(Line), 다각형(Polygon), 영역 주석(Region Annotation)도 포함될 수 있다. 선은 차선 표시(Lane Marking), 구조적 모서리(Structural Edge), 이동 가능 영역(Navigable Area) 사이의 경계를 표현할 수 있다. 다각형은 불규칙한 객체 윤곽(Object Outline)이나 작업 영역(Operational Zone)을 직사각형 경계 상자보다 정밀하게 표현한다. 영역 라벨(Region Label)은 위험 구역(Hazardous Area), 적재 구역(Loading Zone), 작업 공간(Workspace)을 식별할 수 있다. 주석 기하 형상(Annotation Geometry)은 후속 로봇 작업(Downstream Robotic Task)에 따라 선택해야 한다.

가림 및 잘림 라벨(Occlusion and Truncation Label)은 객체 가시성(Object Visibility)의 한계를 설명한다. 가림(Occlusion)은 다른 객체가 대상 객체(Target Object)의 일부를 차단할 때 발생하며, 잘림(Truncation)은 대상 객체가 이미지 경계(Image Boundary) 밖으로 확장될 때 발생한다. 이러한 조건은 검출 신뢰도(Detection Confidence), 추적 연속성(Tracking Continuity), 객체 위치 추정(Object Localization)에 영향을 미친다. 명시적인 가시성 속성(Visibility Attribute)은 모델이 보이지 않는 영역을 객체가 존재하지 않는 영역으로 잘못 판단하지 않으면서 부분 관측(Partial Observation)을 학습하도록 돕는다.

시각적 속성(Visual Attribute)은 객체 상태(Object State)와 외형(Appearance)에 관한 정보를 추가하여 기하학적 라벨(Geometric Label)을 보완할 수 있다. 문은 열림(Open) 또는 닫힘(Closed) 상태일 수 있고, 용기는 가득 참(Full) 또는 비어 있음(Empty) 상태일 수 있으며, 경고 표시기(Warning Indicator)는 활성(Active) 또는 비활성(Inactive) 상태일 수 있다. 이러한 속성은 로봇의 적절한 대응(Appropriate Robot Response)을 결정하는 경우가 많다. 주석 지침(Annotation Guideline)은 직접 관측 가능한 속성(Directly Observable Property)과 단일 이미지(Single Image)만으로 신뢰성 있게 추론할 수 없는 상태를 구분해야 한다.

로봇 비디오(Robot Video)에서 2차원 라벨을 생성할 때는 시간적 일관성(Temporal Consistency)이 중요하다. 객체 식별 정보(Object Identity), 분할 마스크(Segmentation Mask), 키포인트(Keypoint)는 카메라 움직임(Camera Motion)과 시점 변화(Viewpoint Change)에도 불구하고 인접한 프레임(Adjacent Frame) 사이에서 일관성을 유지해야 한다. 추적 보조 주석(Tracking-Assisted Annotation)은 시퀀스(Sequence) 전체에 라벨을 전파하여 반복적인 수동 작업을 줄일 수 있다. 그러나 객체가 사라지거나 다시 나타나거나 외형이 크게 변하는 경우에는 인간 검증(Human Verification)이 여전히 필요하다.

카메라 보정(Camera Calibration)은 로봇 시스템이 2차원 주석을 해석하는 방식에 영향을 미친다. 이미지 좌표(Image Coordinate)는 카메라 해상도(Camera Resolution), 렌즈 왜곡(Lens Distortion), 자르기(Cropping), 이미지 변환(Image Transformation)에 따라 달라진다. 하나의 좌표계(Coordinate System)에서 생성된 라벨은 이미지 크기 변경(Resizing)이나 왜곡 보정(Rectification)이 수행될 때 일관되게 변환되어야 한다. 보정 메타데이터(Calibration Metadata)는 깊이 측정값(Depth Measurement)과 로봇 기하 구조(Robot Geometry)의 통합을 가능하게 하지만, 2차원 라벨만으로는 물리적 거리(Physical Distance)를 결정할 수 없다.

주석 품질(Annotation Quality)은 경계(Boundary)와 모호한 시각적 영역(Ambiguous Visual Region)에 대한 명확한 규칙에 달려 있다. 투명 객체(Transparent Object), 반사 표면(Reflective Surface), 움직임 흐림(Motion Blur), 그림자(Shadow), 심한 가림(Severe Occlusion)은 정확한 객체 윤곽(Object Outline)을 설정하기 어렵게 만들 수 있다. 지침에서는 마스크(Mask)가 실제로 보이는 픽셀(Visible Pixel), 추정된 전체 객체 경계(Estimated Full-Object Boundary), 또는 별도로 정의된 규칙 중 무엇을 따라야 하는지 명시해야 한다. 서로 호환되지 않는 주석 규칙(Annotation Convention)을 혼합하면 모델 학습(Model Training)에 체계적인 오류(Systematic Error)가 발생한다.

자동화 라벨링 도구(Automated Labeling Tool)는 2차원 인지 데이터셋(2D Perception Dataset)의 생성 속도를 높일 수 있다. 사전 학습된 검출기(Pretrained Detector)와 분할 모델(Segmentation Model)은 후보 경계 상자(Candidate Bounding Box)와 마스크(Mask)를 생성하며, 대화형 수정 도구(Interactive Correction Tool)는 주석자가 경계를 정교하게 수정하도록 지원한다. 추적 알고리즘(Tracking Algorithm)은 검증된 라벨을 비디오 프레임 전체에 전파한다. 신뢰도 필터링(Confidence Filtering)과 선별적인 인간 검토(Targeted Human Review)는 특히 익숙하지 않은 객체와 복잡한 산업 장면(Industrial Scene)에서 오류를 제어하는 데 도움이 된다.

약한 지도 학습(Weak Supervision)과 의사 라벨링(Pseudo-Labeling)은 2차원 주석 범위(2D Annotation Coverage)를 더욱 확대할 수 있다. 로봇 내비게이션 지도(Robot Navigation Map), 시뮬레이션 출력(Simulation Output), 객체 목록(Object Inventory), 기존에 학습된 비전 모델(Previously Trained Vision Model)은 근사 라벨(Approximate Label)을 제공할 수 있다. 신뢰도가 높은 예측(High-Confidence Prediction)은 추가 학습을 지원할 수 있지만 자동 생성 주석(Automatic Annotation)은 검증된 정답 데이터(Verified Ground Truth)와 구분되어야 한다. 도메인 변화(Domain Shift)나 잘못된 가정(Incorrect Assumption)으로 인한 체계적인 오류를 탐지하려면 독립적인 검증(Independent Validation)이 필요하다.

클래스 불균형(Class Imbalance)은 일반적인 객체와 배경(Background)이 많은 로봇 데이터셋에서 대부분을 차지하기 때문에 문제가 된다. 바닥, 벽, 자주 등장하는 용기는 수천 개의 프레임에 나타날 수 있지만 안전 위험 요소(Safety Hazard)나 희귀한 도구(Rare Tool)는 드물게 나타난다. 샘플링 전략(Sampling Strategy)과 주석 전략(Annotation Strategy)은 흔하지 않은 범주(Uncommon Category)에 대한 충분한 사례를 유지해야 한다. 평가(Evaluation)는 전체 정확도(Aggregate Accuracy)에만 의존하지 않고 범주별 성능(Category-Specific Performance)을 검토해야 한다.

데이터셋 설계(Dataset Design)는 환경 다양성(Environmental Diversity)과 배포 요구사항(Deployment Requirement)을 반영해야 한다. 조명 변화(Lighting Variation), 카메라 움직임(Camera Motion), 객체 크기(Object Scale), 복잡한 배치(Clutter), 날씨(Weather), 재질 외형(Material Appearance)은 시각적 인지(Visual Perception)에 상당한 영향을 미칠 수 있다. 실내 서비스 로봇(Indoor Service Robot), 창고 매니퓰레이터(Warehouse Manipulator), 실외 검사 로봇(Outdoor Inspection Robot)은 서로 다른 시각적 조건(Visual Condition)을 경험한다. 이러한 환경 전반의 대표성 있는 주석(Representative Annotation)은 강건성(Robustness)을 향상시키고 익숙하지 않은 배포 조건에서 발생하는 실패를 줄인다.

평가 지표(Evaluation Metric)는 주석 유형(Annotation Type)과 의도한 로봇 응용 분야(Robotic Application)에 부합해야 한다. 객체 검출(Object Detection)은 일반적으로 교집합 대비 합집합(Intersection over Union, IoU)과 평균 정밀도(Average Precision, AP)를 사용하며, 분할(Segmentation)은 픽셀 중첩(Pixel Overlap)과 범주 일관성(Category Consistency)을 평가한다. 키포인트 추정(Keypoint Estimation)은 정의된 가시성 조건(Visibility Condition)에서 위치 추정 정확도(Localization Accuracy)를 측정한다. 기존 비전 평가 지표를 넘어 후속 작업 성공률(Downstream Task Success)과 안전 성능(Safety Performance)은 인지 성능 향상이 실제 로봇 행동에 도움이 되는지를 나타낸다.

2차원 라벨(2D Label)은 3차원 인지(3D Perception) 및 로봇 상태 정보(Robot State Information)와 결합되는 경우가 많다. 이미지 검출(Image Detection)은 깊이 기반 위치 추정(Depth-Based Localization)을 안내할 수 있으며, 분할 마스크(Segmentation Mask)는 특정 객체와 관련된 포인트 클라우드(Point Cloud)를 분리할 수 있다. 카메라 매개변수(Camera Parameter)와 객체 모델(Object Model)을 사용할 수 있다면 키포인트(Keypoint)는 기하학적 자세 추정(Geometric Pose Estimation)을 지원할 수 있다. 이러한 통합은 시각적 주석(Visual Annotation)을 조작(Manipulation), 내비게이션(Navigation), 공간 추론(Spatial Reasoning)에 활용할 수 있는 실행 가능한 정보(Actionable Information)로 변환한다.

데이터 출처 추적(Data Provenance)과 버전 관리(Version Management)는 대규모 인지 데이터셋(Large Perception Dataset)을 유지하는 데 필수적이다. 각 주석에는 원본 이미지(Source Image), 라벨 스키마(Label Schema), 주석 방법(Annotation Method), 검토 상태(Reviewer Status), 관련 카메라 변환(Camera Transformation)이 기록되어야 한다. 범주 정의(Category Definition)나 마스크 규칙(Mask Convention)의 변경은 재현성(Reproducibility)을 유지하기 위해 추적해야 한다. 신뢰할 수 있는 메타데이터(Metadata)는 오류 분석(Error Analysis), 데이터셋 필터링(Dataset Filtering), 연속적인 인지 모델(Perception Model) 사이의 비교도 지원한다.

개인정보 보호(Privacy)와 안전 고려사항(Safety Consideration)은 2차원 인지 라벨의 수집 및 저장 방식에 영향을 미친다. 서비스 로봇(Service Robot)의 이미지에는 식별 가능한 개인(Identifiable Individual)이 포함될 수 있으며, 산업 현장 기록(Industrial Recording)은 기밀 장비(Confidential Equipment)나 공정(Process)을 노출할 수 있다. 접근 제어(Access Control)와 적절한 데이터 최소화 절차(Data Minimization Procedure)를 통해 민감한 콘텐츠(Sensitive Content)를 보호해야 한다. 안전 필수 범주(Safety-Critical Category)는 검출 누락(Missed Detection)이 내비게이션과 상호작용 결정(Interaction Decision)에 영향을 줄 수 있으므로 특히 신중한 검증이 필요하다.

2차원 인지 라벨링(2D Perception Labeling)의 장기적인 목표(Long-Term Objective)는 변화하는 로봇, 환경, 작업 전반에서 유용성을 유지하는 시각적 지도 정보(Visual Supervision)를 구축하는 것이다. 표준화된 의미적 정의(Standardized Semantic Definition), 정밀한 기하학적 주석(Precise Geometric Annotation), 시간적 일관성(Temporal Consistency), 지속적인 품질 관리(Continuous Quality Control)는 확장 가능한 인지 학습(Scalable Perception Learning)을 가능하게 한다. 이러한 라벨이 다중 모달 데이터 엔진(Multimodal Data Engine)과 통합되면 신뢰할 수 있는 장면 이해(Scene Understanding)와 물리적 환경에 기반한 로봇 지능(Physically Grounded Robot Intelligence)의 토대가 된다.

05.07. 3D Perception and Pose Labels

3차원 인지 및 자세 라벨(3D Perception and Pose Label)은 로봇 환경(Robotic Environment) 내 객체의 공간 구조(Spatial Structure), 위치(Position), 방향(Orientation), 기하학적 형상(Geometry)을 설명한다. 2차원 이미지 주석(2D Image Annotation)과 달리 이러한 라벨은 미터법 공간(Metric Space)에서 물리적 관계(Physical Relationship)를 표현하여 로봇이 거리를 추정하고 움직임을 계획하며 객체와 상호작용할 수 있도록 한다. 이는 조작(Manipulation), 내비게이션(Navigation), 충돌 회피(Collision Avoidance), 물리적 환경에 기반한 장면 이해(Physically Grounded Scene Understanding)를 위한 필수적인 지도 정보(Supervision)를 제공한다.

3차원 경계 상자(3D Bounding Box)는 공간적 크기(Spatial Dimension), 위치(Position), 방향(Orientation)을 사용하여 객체를 표현한다. 각 경계 상자에는 일반적으로 정의된 좌표계(Coordinate Frame) 내에서 중심 위치(Center Location), 길이(Length), 너비(Width), 높이(Height), 회전 매개변수(Rotational Parameter)가 포함된다. 이러한 주석은 자율 내비게이션(Autonomous Navigation), 창고 로봇(Warehouse Robotics), 이동 조작(Mobile Manipulation)에 널리 사용된다. 정확한 경계 상자 치수(Box Dimension)는 로봇이 여유 공간(Clearance)을 추정하고 장애물을 검출하며 사용 가능한 작업 공간(Available Workspace)을 추론하는 데 도움이 된다.

6자유도 자세 라벨(Six-Degree-of-Freedom Pose Label, 6-DoF Pose Label)은 기준 좌표계(Reference Frame)에 대한 객체의 3차원 병진 이동(3D Translation)과 회전(Rotation)을 지정한다. 병진 이동은 공간적 위치(Spatial Position)를 결정하며, 회전은 회전 행렬(Rotation Matrix), 쿼터니언(Quaternion) 또는 기타 표현 방식을 사용하여 방향을 설명한다. 이러한 라벨을 통해 로봇은 그리퍼(Gripper)를 정렬하고 부품을 삽입하며 도구를 조작할 수 있다. 라벨의 유용성은 일관된 좌표 규칙(Coordinate Convention)과 정확한 객체 기준 좌표계(Object Reference Frame)에 달려 있다.

좌표계 관리(Coordinate Frame Management)는 신뢰할 수 있는 3차원 라벨링(3D Labeling)의 기본 요소이다. 카메라(Camera), 라이다 센서(LiDAR Sensor), 로봇 베이스(Robot Base), 엔드 이펙터(End Effector), 객체(Object)는 각각 서로 다른 기준 좌표계(Reference Frame)를 사용할 수 있다. 변환 행렬(Transformation Matrix)은 보정된 병진 이동(Calibrated Translation)과 회전(Rotation)을 통해 이러한 좌표계를 연결한다. 주석 파이프라인(Annotation Pipeline)은 체계적인 기하학적 오류(Systematic Geometric Error)를 방지하기 위해 좌표계 정의(Frame Definition), 단위(Unit), 타임스탬프(Timestamp), 변환 방향(Transformation Direction)을 보존해야 한다.

포인트 클라우드 분할(Point Cloud Segmentation)은 개별 3차원 측정값(3D Measurement)에 의미적 라벨(Semantic Label) 또는 인스턴스 라벨(Instance Label)을 부여한다. 라이다(LiDAR)와 깊이 카메라(Depth Camera)는 관측 가능한 표면(Visible Surface)을 설명하는 포인트 클라우드(Point Cloud)를 생성하지만, 이러한 측정값은 희소하거나(Sparse), 잡음이 포함되거나(Noisy), 불완전할 수 있다. 의미적 분할(Semantic Segmentation)은 바닥, 벽, 장애물과 같은 범주를 식별하고, 인스턴스 분할(Instance Segmentation)은 개별 객체를 분리한다. 이러한 라벨은 공간 매핑(Spatial Mapping)과 객체 수준 추론(Object-Level Reasoning)을 지원한다.

3차원 키포인트(3D Keypoint)는 객체나 관절형 구조(Articulated Structure)에서 기하학적으로 의미 있는 특징점(Geometrically Meaningful Landmark)을 식별한다. 대표적인 사례로는 도구 끝점(Tool Tip), 기계적 관절(Mechanical Joint), 파지 기준점(Grasp Reference Point), 조립 정렬 특징점(Assembly Alignment Feature)이 있다. 이미지 키포인트(Image Keypoint)와 달리 이들의 좌표는 3차원 공간(Three-Dimensional Space)에서의 위치를 나타낸다. 정확한 특징점 정의(Landmark Definition)는 특히 객체의 전체 표면을 관측할 수 없는 경우 정합(Registration), 동작 계획(Motion Planning), 상호작용(Interaction)을 지원한다.

관절형 자세 라벨(Articulated Pose Label)은 움직일 수 있는 관절(Movable Joint)이나 연결된 구성 요소(Linked Component)를 포함하는 객체의 구성 상태(Configuration)를 설명한다. 로봇 팔(Robot Arm), 인체(Human Body), 문(Door), 산업용 기구(Industrial Mechanism)는 관절 위치(Joint Position)와 구조적 관계(Structural Relationship)를 표현할 수 있어야 한다. 운동학 모델(Kinematic Model)은 라벨이 부여된 관절을 링크 기하 구조(Link Geometry) 및 운동 제약(Motion Constraint)과 연결할 수 있다. 이러한 주석은 움직임 예측(Motion Prediction), 인간-로봇 상호작용(Human-Robot Interaction), 관절형 객체 조작(Articulated Object Manipulation)을 지원한다.

깊이 주석(Depth Annotation)은 카메라 또는 기준 좌표계(Reference Frame)에 대한 관측 가능한 표면(Visible Surface)의 미터법 정보(Metric Information)를 제공한다. 깊이 맵(Depth Map)은 스테레오 비전(Stereo Vision), 구조광(Structured Light), 비행시간 측정 센서(Time-of-Flight Sensor), 시뮬레이션(Simulation)을 사용하여 생성할 수 있다. 신뢰성(Reliability)은 센싱 범위(Sensing Range), 표면 특성(Surface Property), 보정(Calibration)에 따라 달라진다. 누락된 깊이 값(Missing Depth Value)과 측정 불확실성(Measurement Uncertainty)은 근거 없는 기하학적 가정(Geometric Assumption)으로 대체하지 않고 명시적으로 표현해야 한다.

표면 법선(Surface Normal)과 기하학적 특징 라벨(Geometric Feature Label)은 객체의 국소적인 방향(Local Orientation)과 형상(Shape)을 설명한다. 표면 법선은 관측된 표면에 수직인 방향을 나타내며, 곡률(Curvature)과 모서리 특징(Edge Feature)은 국소 기하 구조(Local Geometry)를 특징짓는다. 이러한 주석은 파지 계획(Grasp Planning), 접촉 추정(Contact Estimation), 표면 검사(Surface Inspection)에 유용하다. 정확도는 점 밀도(Point Density), 이웃 영역 선택(Neighborhood Selection), 측정 잡음(Measurement Noise)에 따라 달라진다.

객체 대칭성(Object Symmetry)은 3차원 자세 라벨링(3D Pose Labeling)에 모호성(Ambiguity)을 유발한다. 원기둥(Cylinder), 구(Sphere), 반복적인 기계 구조(Repeated Mechanical Structure)는 물리적으로 동등한 여러 방향(Physically Equivalent Orientation)을 가질 수 있다. 임의의 한 방향만 지정하면 잘못된 학습 목표(Misleading Training Target)와 평가 오류(Evaluation Error)가 발생할 수 있다. 대칭성 인식 표현(Symmetry-Aware Representation)과 자세 평가 지표(Pose Metric)는 로봇 상호작용과 관련된 차이를 유지하면서 동등한 구성 상태(Equivalent Configuration)를 고려해야 한다.

가림 현상(Occlusion)은 3차원 센서(3D Sensor)가 접근 가능한 표면(Accessible Surface)만 관측할 수 있기 때문에 중요한 문제이다. 객체는 다른 객체, 기계 장비(Machinery), 구조물(Structural Element) 뒤에 부분적으로 가려질 수 있다. 주석 시스템(Annotation System)은 관측된 기하 구조(Observed Geometry)와 추정된 완전 형상(Estimated Complete Shape)을 구분해야 한다. 비가시 영역까지 포함하는 객체 표현(Amodal Object Representation)이 필요한 경우 추론된 영역(Inferred Region)에 불확실성 정보(Uncertainty Information)를 부여하고 직접 측정값(Direct Measurement)이 아닌 추정값(Estimate)으로 식별할 수 있도록 해야 한다.

다중 시점 재구성(Multi-View Reconstruction)은 서로 다른 카메라 위치(Camera Position)에서 얻은 관측을 결합하여 3차원 주석 정확도(3D Annotation Accuracy)를 향상시킬 수 있다. 센서 자세(Sensor Pose)와 보정 매개변수(Calibration Parameter)를 이용하면 측정값을 공통 공간 기준계(Common Spatial Reference)로 변환할 수 있다. 정합 알고리즘(Registration Algorithm)은 서로 겹치는 포인트 클라우드(Overlapping Point Cloud)를 정렬하고, 융합 방법(Fusion Method)은 누락된 표면 영역(Missing Surface Coverage)을 줄인다. 그러나 보정 드리프트(Calibration Drift)와 동적 객체(Dynamic Object)는 검증이 필요한 불일치를 유발할 수 있다.

시간적 3차원 라벨링(Temporal 3D Labeling)은 로봇 궤적(Robot Trajectory) 전반에서 객체 자세(Object Pose)와 기하 구조(Geometry)를 추적한다. 일관된 자세 시퀀스(Consistent Pose Sequence)는 움직임 추정(Motion Estimation), 궤적 예측(Trajectory Prediction), 동적 장면 이해(Dynamic Scene Understanding)를 지원한다. 추적 방법(Tracking Method)은 기하학적 정합(Geometric Registration), 시각적 특징(Visual Feature), 운동 모델(Motion Model)을 결합할 수 있다. 갑작스러운 자세 변화(Abrupt Pose Change)는 실제 물리적 상호작용(Genuine Physical Interaction)이나 주석 오류(Annotation Error)를 나타낼 수 있으므로 신중하게 평가해야 한다.

시뮬레이션 환경(Simulation Environment)은 알려진 객체 상태(Object State)와 기하 구조(Geometry)를 바탕으로 정밀한 3차원 라벨(3D Label)을 생성할 수 있다. 합성 데이터셋(Synthetic Dataset)에는 객체 자세(Object Pose), 분할(Segmentation), 깊이(Depth), 관절 구성(Joint Configuration), 충돌 정보(Collision Information)가 포함될 수 있다. 이러한 주석은 수동 라벨링 작업(Manual Labeling Effort)을 줄이고 관측하기 어려운 상태에 대한 지도 정보(Supervision)를 제공한다. 그러나 시뮬레이션과 현실 사이의 차이(Simulation-to-Reality Difference)를 고려하여 합성 라벨(Synthetic Label)을 실제 배포 환경(Physical Deployment)의 대표 데이터로 취급하기 전에 검증해야 한다.

자동화된 3차원 라벨링 파이프라인(Automated 3D Labeling Pipeline)은 객체 검출(Object Detection), 포인트 클라우드 군집화(Point Cloud Clustering), 기하학적 정합(Geometric Registration), 자세 추정(Pose Estimation)을 결합하는 경우가 많다. 사전 학습 모델(Pretrained Model)은 후보 공간 라벨(Candidate Spatial Label)을 생성할 수 있으며, 최적화 절차(Optimization Procedure)는 센서 관측(Sensor Observation)과의 정렬을 개선한다. 인간 검토자(Human Reviewer)는 가림(Occlusion), 대칭성(Symmetry), 객체 중첩(Overlapping Object)이 포함된 어려운 사례를 검사한다. 신뢰도 추정(Confidence Estimation)과 일관성 검사(Consistency Check)는 검증 작업의 우선순위를 결정하는 데 도움이 된다.

주석 품질(Annotation Quality)은 기하학적 정확도(Geometric Accuracy)와 물리적 제약(Physical Constraint)에 대한 일관성에 달려 있다. 3차원 경계 상자(3D Bounding Box)는 실제 객체 치수(Actual Object Dimension)에 대응해야 하며, 자세 라벨(Pose Label)은 정의된 좌표 규칙(Coordinate Convention)을 따라야 한다. 보정 오류(Calibration Error)는 전체 데이터셋에 걸쳐 체계적인 위치 편차(Systematic Offset)를 발생시킬 수 있다. 따라서 품질 보증(Quality Assurance)은 공간 잔차(Spatial Residual), 변환 일관성(Transformation Consistency), 시간적 안정성(Temporal Stability), 독립적으로 측정된 기준 기하 구조(Reference Geometry)와의 일치도를 평가해야 한다.

평가 지표(Evaluation Metric)는 의도한 로봇 응용 분야(Robotics Application)를 반영해야 한다. 3차원 객체 검출(3D Object Detection)은 체적 교집합 대비 합집합(Volumetric Intersection over Union, 3D IoU)을 사용할 수 있으며, 자세 추정(Pose Estimation)은 병진 오차(Translation Error)와 회전 오차(Rotation Error)를 측정한다. 표면 재구성(Surface Reconstruction)은 기하학적 거리(Geometric Distance)를 통해 평가할 수 있고, 관절형 자세(Articulated Pose)는 관절 위치 정확도(Joint-Position Accuracy)를 통해 평가할 수 있다. 장애물 회피(Obstacle Avoidance)와 정밀 조립(Precision Assembly)에서 허용 가능한 오차가 다르므로 작업별 허용 오차(Task-Specific Tolerance)가 필수적이다.

3차원 라벨(3D Label)은 로봇 운동학(Robot Kinematics) 및 행동 데이터(Action Data)와 통합될 때 특히 가치가 높아진다. 객체 자세(Object Pose)는 엔드 이펙터 좌표계(End-Effector Frame)와 연관될 수 있으며, 접촉 위치(Contact Location)는 계획된 궤적(Planned Trajectory)과 연결될 수 있다. 이러한 관계는 공간 인지(Spatial Perception)를 조작 실행 가능성(Manipulation Feasibility) 및 충돌 검사(Collision Checking)와 연결한다. 물리적으로 의미 있는 지도 정보(Physically Meaningful Supervision)를 확보하려면 인지 데이터와 로봇 상태 측정값(Robot State Measurement) 사이의 정확한 동기화(Synchronization)가 필요하다.

불확실성 표현(Uncertainty Representation)은 기하학적 측정값(Geometric Measurement)이 완벽하게 정확할 수 없기 때문에 필수적이다. 깊이 잡음(Depth Noise), 센서 보정(Sensor Calibration), 부분 가시성(Partial Visibility), 객체 변형(Object Deformation)은 서로 다른 형태의 불확실성을 발생시킨다. 공분산 추정값(Covariance Estimate), 신뢰 구간(Confidence Interval), 가시성 속성(Visibility Attribute)은 라벨 신뢰성(Label Reliability)을 전달할 수 있다. 학습 시스템(Learning System)은 이러한 정보를 활용하여 불확실한 기하학적 추정값을 정확한 물리적 정답 데이터(Physical Ground Truth)로 취급하지 않도록 할 수 있다.

데이터 출처 추적(Data Provenance)은 3차원 데이터셋(3D Dataset)의 재현성(Reproducibility)과 체계적인 오류 조사(Systematic Error Investigation)를 지원한다. 각 주석에는 센서 보정 버전(Sensor Calibration Version), 좌표계 정의(Coordinate Frame Definition), 재구성 방법(Reconstruction Method), 타임스탬프(Timestamp), 검토 상태(Review Status)를 유지해야 한다. 센서 구성(Sensor Configuration)이나 객체 모델(Object Model)이 변경되면 라벨 재생성(Label Regeneration)이 필요할 수 있다. 버전 관리 기록(Versioned Record)은 실제 모델 개선(Genuine Model Improvement)과 주석 기하 구조 또는 평가 규칙(Evaluation Convention)의 변경을 구분하는 데 도움이 된다.

확장 가능한 3차원 라벨링(Scalable 3D Labeling)은 주석 정밀도(Annotation Precision), 계산 비용(Computational Cost), 후속 활용 가치(Downstream Value) 사이의 균형을 유지해야 한다. 고해상도 재구성(High-Resolution Reconstruction)은 대략적인 내비게이션(Coarse Navigation)에는 불필요할 수 있지만 정밀 조작(Precision Manipulation)에는 필수적일 수 있다. 적응형 파이프라인(Adaptive Pipeline)은 높은 정확도가 필요한 객체와 상호작용에 상세한 기하학적 주석(Detailed Geometric Annotation)을 집중적으로 배분할 수 있다. 이러한 작업 인식 전략(Task-Aware Strategy)은 로봇 성능에 중요한 정보를 보존하면서 불필요한 처리를 줄인다.

3차원 인지 및 자세 라벨링(3D Perception and Pose Labeling)의 장기적인 목표(Long-Term Objective)는 다양한 로봇 시스템(Robotic System) 전반에서 일관되고 물리적으로 의미 있는 공간 지도 정보(Spatial Supervision)를 제공하는 것이다. 정확한 기하 구조(Accurate Geometry), 보정된 좌표계(Calibrated Coordinate Frame), 시간적 정합성(Temporal Coherence), 명시적인 불확실성(Explicit Uncertainty)은 모델이 객체와 행동 사이의 신뢰할 수 있는 관계를 학습하도록 한다. 이러한 라벨이 다중 모달 데이터 엔진(Multimodal Data Engine)에 통합되면 더욱 발전된 공간 추론(Spatial Reasoning), 조작(Manipulation), 자율적인 물리적 상호작용(Autonomous Physical Interaction)을 지원한다.

05.08. Tracking and Temporal Labels

추적 및 시간적 라벨(Tracking and Temporal Label)은 객체(Object), 로봇(Robot), 상호작용(Interaction)이 시간에 따라 어떻게 변화하는지를 설명한다. 정적 인지 주석(Static Perception Annotation)과 달리 이러한 라벨은 연속된 관측(Observation) 전반에서 객체 식별 정보(Identity), 움직임(Motion), 이벤트 연속성(Event Continuity)을 유지한다. 이를 통해 피지컬 AI(Physical AI) 시스템은 객체 궤적(Object Trajectory)을 이해하고 행동 전환(Action Transition)을 인식하며 미래 상태(Future State)를 예측할 수 있다. 이러한 라벨은 내비게이션(Navigation), 조작(Manipulation), 인간-로봇 상호작용(Human-Robot Interaction), 동적 장면 이해(Dynamic Scene Understanding)를 위한 필수적인 지도 정보(Supervision)를 제공한다.

객체 추적 라벨(Object Tracking Label)은 연속된 프레임(Consecutive Frame)에서 관측되는 개체(Entity)에 지속적인 식별 정보(Persistent Identity)를 부여한다. 추적 대상 객체(Tracked Object)는 위치(Position), 방향(Orientation), 크기(Scale), 외형(Appearance)이 변하더라도 동일한 식별자(Identifier)를 유지한다. 경계 상자(Bounding Box), 분할 마스크(Segmentation Mask), 3차원 자세(3D Pose)를 이러한 식별 정보와 연결할 수 있다. 신뢰할 수 있는 식별 정보의 연속성(Identity Continuity)은 로봇이 움직이는 객체(Moving Object)를 구분하고 장면 기억(Scene Memory)을 유지하며 장시간에 걸친 상호작용을 추론하도록 지원한다.

시간적 주석(Temporal Annotation)은 타임스탬프(Timestamp), 시간 구간(Interval), 순서가 지정된 시퀀스(Ordered Sequence)를 사용하여 이벤트(Event)와 행동(Behavior)을 표현한다. 하나의 조작 에피소드(Manipulation Episode)에는 접근(Reaching), 파지(Grasping), 들어 올리기(Lifting), 운반(Transporting), 놓기(Releasing) 단계가 포함될 수 있다. 각 단계에는 시작 시간(Start Time), 종료 시간(End Time), 의미적 범주(Semantic Category)를 부여할 수 있다. 이러한 라벨은 행동 인식(Action Recognition), 작업 분할(Task Segmentation), 물리적 활동의 진행 과정에 의존하는 정책 학습(Policy Learning)을 위한 구조화된 지도 정보(Structured Supervision)를 제공한다.

추적 시스템(Tracking System)은 객체 움직임(Object Motion)과 카메라 움직임(Camera Motion)을 구분해야 한다. 정지된 객체(Stationary Object)라도 이동 로봇(Mobile Robot)의 위치나 방향이 변하면 움직이는 것처럼 보일 수 있다. 카메라 보정(Camera Calibration), 로봇 오도메트리(Robot Odometry), 시각적 움직임 추정(Visual Motion Estimation)은 이러한 효과를 분리하는 데 도움이 된다. 이미지 좌표(Image Coordinate)로 표현된 라벨은 월드 좌표(World Coordinate)로 표현된 라벨과 다를 수 있으므로 좌표 변환(Coordinate Transformation)과 기준 좌표계 일관성(Reference Frame Consistency)이 필수적이다.

데이터 연관(Data Association)은 다중 객체 추적(Multi-Object Tracking)의 핵심 과제이다. 여러 개의 유사한 객체가 동일한 장면에 나타나면 시스템은 어떤 관측값(Observation)이 이전에 추적하던 각 개체에 해당하는지 판단해야 한다. 외형 특징(Appearance Feature), 공간적 근접성(Spatial Proximity), 움직임 예측(Motion Prediction), 기하학적 제약(Geometric Constraint)은 데이터 연관을 지원할 수 있다. 잘못된 대응 관계(Incorrect Match)는 식별자 전환(Identity Switch)을 발생시켜 시간적 지도 정보(Temporal Supervision)를 손상시키고 추적 신뢰성(Tracking Reliability)을 저하시킨다.

가림 현상(Occlusion)은 객체가 장애물(Obstacle), 기계 장비(Machinery), 다른 이동 개체(Moving Entity) 뒤로 일시적으로 사라질 수 있기 때문에 추적을 복잡하게 만든다. 강건한 주석 시스템(Robust Annotation System)은 가려진 시간 구간(Hidden Interval) 전반에서 연속성을 뒷받침할 충분한 근거가 있는 경우 객체 식별 정보(Object Identity)를 유지해야 한다. 가시성 상태(Visibility State)는 완전 가시(Fully Visible), 부분 가림(Partially Occluded), 일시적 미관측(Temporarily Unobserved) 객체를 구분할 수 있다. 불확실한 연관 관계(Uncertain Association)는 근거 없는 식별자 할당(Identity Assignment)을 강제하지 않고 명시적으로 기록해야 한다.

궤적 라벨(Trajectory Label)은 시간에 따른 객체 또는 로봇 위치(Object or Robot Position)의 변화를 설명한다. 여기에는 샘플링된 좌표(Sampled Coordinate), 속도(Velocity), 가속도(Acceleration), 방향(Orientation), 관련 불확실성 추정값(Uncertainty Estimate)이 포함될 수 있다. 궤적은 움직임 예측(Motion Prediction), 충돌 회피(Collision Avoidance), 행동 모델링(Behavior Modeling)을 지원한다. 특히 센서가 서로 다른 주파수(Frequency)로 동작하는 경우 궤적 정확도(Trajectory Accuracy)는 동기화된 측정값(Synchronized Measurement)과 적절한 좌표계(Coordinate Frame)에 달려 있다.

시간 동기화(Temporal Synchronization)는 카메라 기록(Camera Recording), 라이다 스캔(LiDAR Scan), 촉각 측정값(Tactile Measurement), 로봇 제어기 로그(Robot Controller Log)를 결합할 때 기본적인 요소이다. 각 데이터 소스(Data Source)는 서로 다른 샘플링 속도(Sampling Rate)와 기준 시계(Clock Reference)를 사용할 수 있다. 타임스탬프 정렬(Timestamp Alignment)과 보간(Interpolation)을 통해 측정값을 해당 물리적 이벤트(Physical Event)와 연결할 수 있다. 동기화 오류(Synchronization Error)는 특히 빠른 조작(Rapid Manipulation) 중에 잘못된 움직임 패턴(False Motion Pattern)이나 부정확한 접촉 라벨(Incorrect Contact Label)을 발생시킬 수 있다.

행동 경계 라벨링(Action Boundary Labeling)은 의미 있는 행동 단계(Behavioral Phase) 사이의 전환(Transition)을 식별한다. 이러한 경계는 접근(Reaching), 접촉(Contact), 파지 안정화(Grasp Stabilization), 들어 올리기(Lifting)가 서로 중첩될 수 있기 때문에 모호한 경우가 많다. 주석 지침(Annotation Guideline)은 경계가 명령(Command), 측정된 물리적 이벤트(Measured Physical Event), 관측 가능한 상태 변화(Observable State Change) 중 무엇에 해당하는지 정의해야 한다. 일관된 규칙(Consistent Convention)은 계층적 로봇 행동(Hierarchical Robot Behavior)을 학습하는 데 시간적 라벨의 유용성을 높인다.

접촉 이벤트 라벨(Contact Event Label)은 물리적 상호작용(Physical Interaction)을 시간적으로 설명한다. 이러한 라벨은 최초 접촉(Initial Contact), 지속 접촉(Sustained Contact), 미끄러짐(Slipping), 접촉 해제(Release), 예상하지 못한 충돌(Unexpected Collision)을 나타낼 수 있다. 힘 센서(Force Sensor), 촉각 센서 배열(Tactile Array), 모터 전류(Motor Current), 시각적 관측(Visual Observation)은 상호 보완적인 근거를 제공할 수 있다. 정확한 이벤트 발생 시점(Event Timing)은 변화하는 접촉 조건(Contact Condition)에 맞춰 움직임을 조정해야 하는 조작 정책(Manipulation Policy)에서 특히 중요하다.

시간적 라벨(Temporal Label)은 작업 진행 상태(Task Progress)와 실행 결과(Execution Outcome)도 표현할 수 있다. 로봇은 개별 하위 작업(Subtask)을 성공적으로 완료하더라도 전체 작업(Overall Operation)에는 실패할 수 있다. 시퀀스 주석(Sequence Annotation)은 의도한 행동(Intended Action), 실행된 행동(Executed Action), 복구 시도(Recovery Attempt), 최종 결과(Final Result)를 구분할 수 있다. 이러한 구조는 중간 행동(Intermediate Behavior)과 최종 작업 성공(Eventual Task Success)을 연결하여 실패 분석(Failure Analysis), 보상 추정(Reward Estimation), 정책 학습(Policy Learning)을 지원한다.

인간 활동 추적(Human Activity Tracking)은 사람이 관절형 움직임(Articulated Motion)과 예측하기 어려운 행동(Unpredictable Behavior)을 보이기 때문에 추가적인 복잡성을 가진다. 시간적 라벨은 신체 관절 궤적(Body Joint Trajectory), 제스처(Gesture), 보행 방향(Walking Direction), 상호작용 의도(Interaction Intent)를 설명할 수 있다. 이러한 주석은 협업 로봇(Collaborative Robotics)과 안전 인식 내비게이션(Safety-Aware Navigation)을 지원한다. 그러나 불확실한 해석을 사실적인 라벨로 제시하지 않도록 추론된 의도(Inferred Intention)는 직접 관측된 움직임(Directly Observed Movement)과 구분해야 한다.

자동화된 추적 파이프라인(Automated Tracking Pipeline)은 일반적으로 객체 검출(Object Detection), 특징 매칭(Feature Matching), 움직임 추정(Motion Estimation), 시간적 필터링(Temporal Filtering)을 결합한다. 칼만 필터(Kalman Filter)와 학습된 운동 모델(Learned Motion Model)은 관측 사이의 객체 상태(Object State)를 예측할 수 있으며, 연관 알고리즘(Association Algorithm)은 식별 정보(Identity)를 유지한다. 이러한 시스템은 수동 주석 작업(Manual Annotation Effort)을 줄이지만 장시간 가림(Prolonged Occlusion)이나 갑작스러운 움직임(Abrupt Motion) 중에는 실패할 수 있다. 식별자 전환(Identity Switch)과 궤적 불연속(Trajectory Discontinuity)을 수정하기 위해 인간 검토(Human Review)는 여전히 중요하다.

추적 보조 주석(Tracking-Assisted Annotation)은 검증된 라벨(Verified Label)을 비디오 시퀀스(Video Sequence) 전체에 전파할 수 있다. 객체가 수동으로 식별되면 자동화 방법(Automated Method)은 후속 프레임(Subsequent Frame)에서 해당 객체의 위치(Location)와 형상(Shape)을 추정한다. 검토자(Reviewer)는 불확실한 시간 구간(Uncertain Interval)을 검사하고 누적된 드리프트(Accumulated Drift)를 수정한다. 이러한 작업 흐름(Workflow)은 전파된 오류(Propagated Error)가 긴 시퀀스 전체로 확산되기 전에 탐지된다는 조건에서 시간적 정합성(Temporal Coherence)을 유지하면서 주석 처리량(Annotation Throughput)을 향상시킨다.

약한 지도 학습(Weak Supervision)은 로봇 명령(Robot Command)과 센서 이벤트(Sensor Event)를 이용하여 근사적인 시간적 라벨(Approximate Temporal Label)을 생성할 수 있다. 그리퍼 닫기 명령(Gripper Closure Command)은 파지 단계(Grasp Phase)를 암시할 수 있으며, 힘의 증가(Increase in Force)는 접촉(Contact)을 나타낼 수 있다. 이러한 신호는 유용한 후보 정보(Candidate Information)를 제공하지만 실제 물리적 결과(Actual Physical Outcome)를 항상 확정할 수는 없다. 제어기 로그(Controller Log)를 관측된 움직임(Observed Motion) 및 인간 검증(Human Verification)과 결합하면 자동 추론된 이벤트(Automatically Inferred Event)의 신뢰성을 향상시킬 수 있다.

시간적 불확실성(Temporal Uncertainty)은 이벤트 경계(Event Boundary)와 객체 연관 관계(Object Association)를 항상 정확하게 관측할 수 있는 것은 아니므로 명시적으로 표현해야 한다. 라벨에는 신뢰도 추정값(Confidence Estimate), 모호한 시간 구간(Ambiguous Interval), 대안적인 식별자 가설(Alternative Identity Hypothesis)이 포함될 수 있다. 이러한 정보는 학습 시스템(Learning System)이 불확실한 주석(Uncertain Annotation)을 정확한 정답 데이터(Exact Ground Truth)로 취급하지 않도록 돕는다. 또한 주석 오류(Annotation Error)가 후속 성능(Downstream Performance)에 상당한 영향을 미칠 수 있는 시퀀스에 대한 선별적 검토(Targeted Review)를 지원한다.

시간적 주석(Temporal Annotation)의 품질 관리(Quality Control)는 개별 프레임(Individual Frame)뿐 아니라 시퀀스 수준 일관성(Sequence-Level Consistency)을 검토해야 한다. 객체 식별 정보(Object Identity)는 정당한 이유 없이 변경되어서는 안 되며, 궤적(Trajectory)은 일반적으로 물리적으로 타당한 운동 제약(Plausible Motion Constraint)을 충족해야 한다. 행동 라벨(Action Label)은 예상하지 못한 복구 행동(Recovery Behavior)을 허용하면서 의미 있는 작업 관계(Task Relationship)를 따라야 한다. 자동 검증(Automated Validation)은 인간 검사(Human Inspection)를 위해 불연속(Discontinuity), 불가능한 상태 전환(Impossible Transition), 일관되지 않은 타임스탬프(Inconsistent Timestamp)를 식별할 수 있다.

평가 지표(Evaluation Metric)는 시간적 라벨링 목표(Temporal Labeling Objective)에 따라 달라진다. 다중 객체 추적(Multi-Object Tracking)은 식별 정보 일관성(Identity Consistency), 연관 정확도(Association Accuracy), 궤적 위치 추정 오차(Trajectory Localization Error)를 통해 평가할 수 있다. 시간적 행동 분할(Temporal Action Segmentation)은 경계 정확도(Boundary Accuracy)와 구간 중첩(Segment Overlap)을 사용할 수 있다. 이벤트 검출(Event Detection)에서는 시점 정확도(Timing Precision)와 전환 누락(Missed Transition)에 주의해야 한다. 프레임 수준 평가 지표(Frame-Level Metric)가 정확하더라도 유용한 행동 지도 정보(Behavioral Supervision)가 반드시 보장되는 것은 아니므로 후속 로봇 성능(Downstream Robot Performance)도 중요하다.

장시간 로봇 기록(Long-Duration Robot Recording)은 시간적 라벨링(Temporal Labeling)에 저장 및 계산상의 문제(Storage and Computational Challenge)를 발생시킨다. 연속적인 로봇 운영(Continuous Operation)은 반복적이거나 특별한 이벤트가 없는 행동을 포함하는 수백만 개의 프레임을 생성할 수 있다. 이벤트 기반 샘플링(Event-Driven Sampling)과 계층적 분할(Hierarchical Segmentation)은 정보 가치가 높은 시퀀스(Informative Sequence)를 보존하면서 처리 요구량(Processing Requirement)을 줄일 수 있다. 주석 시스템은 선택된 이벤트 주변의 충분한 맥락(Context)을 유지하여 정확한 해석과 후속 정책 학습(Subsequent Policy Training)을 지원해야 한다.

플릿 규모 추적 데이터셋(Fleet-Scale Tracking Dataset)은 여러 로봇과 환경 전반에서 반복적으로 나타나는 상호작용 패턴(Interaction Pattern)을 밝혀낼 수 있다. 집계된 궤적(Aggregated Trajectory)은 공통적인 내비게이션 충돌(Navigation Conflict), 조작 지연(Manipulation Delay), 실패 시퀀스(Failure Sequence)를 식별할 수 있다. 일관된 시간적 라벨 정의(Temporal Label Definition)는 플랫폼(Platform)과 배포 환경(Deployment) 사이의 비교를 가능하게 한다. 데이터 출처 추적(Data Provenance)은 재현 가능한 분석(Reproducible Analysis)을 지원하기 위해 타임스탬프(Timestamp), 센서 구성(Sensor Configuration), 추적 모델 버전(Tracking Model Version), 인간 수정 기록(Human Correction)을 보존해야 한다.

개인정보 보호(Privacy)와 안전 요구사항(Safety Requirement)은 특히 기록에 식별 가능한 사람(Identifiable Person)이나 민감한 운영 활동(Sensitive Operational Activity)이 포함된 경우 시간적 데이터(Temporal Data)의 관리에 영향을 미친다. 장기 추적(Long-Term Tracking)은 로봇 학습(Robot Learning)에 필요한 범위를 넘어서는 이동 패턴(Movement Pattern)을 드러낼 수 있다. 데이터 최소화(Data Minimization), 접근 통제(Controlled Access), 적절한 보존 정책(Retention Policy)은 이러한 위험을 줄이는 데 도움이 된다. 안전 필수 시간적 이벤트(Safety-Critical Temporal Event)는 시점 오류(Timing Error)가 로봇의 의사결정(Robot Decision)에 영향을 줄 수 있으므로 추가적인 검증이 필요하다.

추적 및 시간적 라벨링(Tracking and Temporal Labeling)의 장기적인 목표(Long-Term Objective)는 개별 관측(Isolated Observation)을 일관된 물리적 행동 표현(Coherent Representation of Physical Behavior)으로 변환하는 것이다. 지속적인 식별 정보(Persistent Identity), 동기화된 궤적(Synchronized Trajectory), 이벤트 경계(Event Boundary), 명시적인 불확실성(Explicit Uncertainty)은 모델이 행동을 통해 환경이 어떻게 변화하는지 학습하도록 한다. 이러한 시간적 지도 정보(Temporal Supervision)가 인지 라벨(Perception Label), 작업 라벨(Task Label), 결과 라벨(Outcome Label)과 통합되면 예측형 월드 모델(Predictive World Model), 강건한 계획(Robust Planning), 적응형 피지컬 AI 시스템(Adaptive Physical AI System)의 기반이 된다.

05.09. Affordance Grasp and Contact Labels

어포던스, 파지 및 접촉 라벨(Affordance, Grasp, and Contact Label)은 로봇이 객체 및 환경과 물리적으로 어떻게 상호작용할 수 있는지를 설명한다. 객체와 위치를 식별하는 기존 인지 라벨(Perception Label)과 달리 이러한 주석(Annotation)은 가능한 행동(Possible Action), 실행 가능한 파지 구성(Feasible Grasp Configuration), 물리적 상호작용 상태(Physical Interaction State)를 표현한다. 이는 시각적 및 기하학적 이해(Visual and Geometric Understanding)를 조작 능력(Manipulation Capability)과 연결하여 피지컬 AI(Physical AI) 시스템이 어떤 행동이 가능하고 이를 어떻게 실행해야 하는지 학습하도록 한다.

어포던스(Affordance)는 특정 행위자(Agent)를 기준으로 객체나 환경 요소(Environmental Feature)가 제공하는 행동 가능성(Action Opportunity)을 의미한다. 손잡이(Handle)는 당기기(Pulling)를 가능하게 하고, 평평한 표면(Flat Surface)은 물체 놓기(Placing)를 지원하며, 버튼(Button)은 누르기(Pressing)를 가능하게 할 수 있다. 따라서 어포던스 라벨(Affordance Label)은 단순한 객체 범주(Object Category)가 아니라 기능적 관계(Functional Relationship)를 설명한다. 이러한 라벨의 해석은 로봇 형태(Robot Morphology), 사용 가능한 도구(Available Tool), 작업 목표(Task Objective), 환경 제약(Environmental Constraint)에 따라 달라진다.

어포던스 주석(Affordance Annotation)은 전체 객체(Complete Object), 객체 부품(Object Part), 이미지 영역(Image Region), 3차원 표면(3D Surface)에 부여할 수 있다. 캐비닛(Cabinet)에는 파지 가능한 손잡이(Graspable Handle), 당길 수 있는 문(Pullable Door), 객체를 지지하기에 적합한 표면(Support Surface)이 포함될 수 있다. 영역 수준 라벨(Region-Level Label)은 특정 상호작용이 실행 가능한 위치를 식별한다. 부품 수준 주석(Part-Level Annotation)은 동일한 객체의 서로 다른 구성 요소(Component)가 서로 다른 행동을 지원할 수 있으므로 조작 계획(Manipulation Planning)에 더 높은 정밀도를 제공한다.

파지 라벨(Grasp Label)은 객체를 안정적으로 제어하기 위한 후보 파지 구성(Candidate Grasp Configuration)을 설명한다. 파지 표현(Grasp Representation)에는 그리퍼 위치(Gripper Position), 방향(Orientation), 개방 폭(Opening Width), 접근 방향(Approach Direction), 예상 접촉 위치(Expected Contact Location)가 포함될 수 있다. 평행 조 그리퍼(Parallel-Jaw Gripper), 흡착 장치(Suction Device), 다관절 로봇 손(Dexterous Hand)은 서로 다른 파지 매개변수(Grasp Parameter)를 필요로 한다. 따라서 파지 주석(Grasp Annotation)은 로봇 엔드 이펙터 형상(End-Effector Geometry)과 기계적 능력(Mechanical Capability)을 반영해야 한다.

2차원 파지 라벨(2D Grasp Label)은 후보 파지(Candidate Grasp)를 방향이 지정된 직사각형(Oriented Rectangle)이나 이미지 기반 접촉점(Image-Based Contact Point)으로 표현하는 경우가 많다. 이러한 주석은 카메라 이미지(Camera Image)로부터 파지 검출(Grasp Detection)을 학습하는 데 편리하다. 그러나 이미지 공간 표현(Image-Space Representation)은 깊이(Depth), 충돌 여유 공간(Collision Clearance), 완전한 객체 기하 구조(Complete Object Geometry)를 직접 인코딩하지 않는다. 로봇이 예측된 파지를 물리적으로 실행 가능한 동작(Physically Executable Motion)으로 변환하려면 일반적으로 추가적인 기하학적 정보(Geometric Information)가 필요하다.

3차원 파지 라벨(3D Grasp Label)은 공간 좌표계(Spatial Coordinate Frame)에서 후보 엔드 이펙터 자세(Candidate End-Effector Pose)를 지정한다. 여기에는 접근 벡터(Approach Vector), 손가락 접촉 위치(Finger Contact Position), 파지 폭(Grasp Width), 충돌 제약(Collision Constraint)이 포함될 수 있다. 이러한 라벨은 복잡하게 배치된 환경(Cluttered Environment)에서 파지 계획(Grasp Planning)을 지원하고 로봇 운동학(Robot Kinematics)과의 통합을 가능하게 한다. 파지 예측(Grasp Prediction)을 로봇 명령(Robot Command)으로 변환할 때는 정확한 카메라 보정(Camera Calibration)과 객체 자세 추정(Object Pose Estimation)이 필수적이다.

파지 품질 라벨(Grasp Quality Label)은 제안된 파지가 객체를 안정적으로 제어할 가능성(Likelihood)을 추정한다. 파지 품질(Grasp Quality)은 접촉 기하 구조(Contact Geometry), 마찰(Friction), 힘 폐쇄(Force Closure), 객체 질량(Object Mass), 외부 교란(External Disturbance)에 따라 달라질 수 있다. 해석적 파지 평가 지표(Analytical Grasp Metric)는 유용한 근삿값(Approximation)을 제공하며, 실제 물리적 시험(Physical Trial)은 현실 조건에서의 성능을 보여준다. 특정 구성에서 성공으로 라벨링된 파지도 객체 특성(Object Property)이나 로봇 동역학(Robot Dynamics)이 변하면 실패할 수 있다.

접촉 라벨(Contact Label)은 물체 사이에서 물리적 상호작용(Physical Interaction)이 어디서, 언제, 어떻게 발생하는지를 식별한다. 여기에는 접촉점(Contact Point), 접촉 영역(Contact Region), 표면 법선(Surface Normal), 힘 방향(Force Direction), 상호작용 지속 시간(Interaction Duration)이 포함될 수 있다. 접촉은 그리퍼(Gripper)와 객체(Object), 객체와 지지 표면(Support Surface), 로봇과 주변 환경(Environment) 사이에서 발생할 수 있다. 이러한 주석은 조작 학습(Manipulation Learning), 충돌 분석(Collision Analysis), 물리적 환경에 기반한 상태 추정(Physically Grounded State Estimation)을 지원한다.

접촉 상태 라벨(Contact State Label)은 비접촉(No Contact), 최초 접촉(Initial Touch), 지속 접촉(Sustained Contact), 미끄러짐(Sliding), 고착(Sticking), 분리(Separation)와 같은 단계를 구분한다. 이러한 상태는 밀기(Pushing), 삽입(Insertion), 닦기(Wiping), 조립(Assembly)이 포함된 작업에서 특히 중요하다. 로봇은 접촉 상태가 자유 운동(Free Motion)에서 구속 운동(Constrained Motion)으로 전환될 때 제어 전략(Control Strategy)을 변경해야 할 수 있다. 시간적 접촉 주석(Temporal Contact Annotation)은 학습 시스템이 이러한 전환을 인식하고 적절하게 대응하도록 돕는다.

힘 및 촉각 측정값(Force and Tactile Measurement)은 접촉 라벨링(Contact Labeling)을 위한 직접적인 근거를 제공한다. 힘-토크 센서(Force-Torque Sensor)는 상호작용 하중(Interaction Load)을 측정하며, 촉각 센서 배열(Tactile Array)은 접촉 표면(Contact Surface) 전반의 압력 분포(Pressure Distribution)를 포착한다. 모터 전류(Motor Current)와 관절 토크 추정값(Joint Torque Estimate)은 간접적인 접촉 지표(Indirect Contact Indicator)를 제공할 수 있다. 잡음(Noise), 기계적 컴플라이언스(Mechanical Compliance), 지연된 측정값(Delayed Measurement)은 잘못된 해석을 유발할 수 있으므로 센서 측정값에는 보정(Calibration)과 동기화(Synchronization)가 필요하다.

어포던스 라벨(Affordance Label)은 작업 맥락(Task Context)과 객체 상태(Object State)를 고려해야 한다. 용기(Container)는 파지가 가능하더라도 과적재(Overloading)된 경우 들어 올리기에 적합하지 않을 수 있으며, 문손잡이(Door Handle)는 접근 가능하더라도 잠겨 있을 수 있다. 기능적 실행 가능성(Functional Feasibility)은 환경 조건(Environmental Condition)과 사용 가능한 로봇 능력(Robot Capability)에 따라 달라진다. 맥락 인식 라벨(Context-Aware Label)은 이론적으로 가능한 상호작용(Theoretically Possible Interaction)과 현재 안전하게 실행할 수 있는 행동(Currently Safe and Executable Action)을 구분할 수 있다.

부정적 상호작용 라벨(Negative Interaction Label)은 시도해서는 안 되는 행동을 설명하므로 가치가 높다. 대표적인 사례로는 불안정한 파지(Unstable Grasp), 차단된 접촉 영역(Obstructed Contact Region), 충돌 위험이 높은 접근 경로(Collision-Prone Approach), 흡착에 적합하지 않은 표면(Unsuitable Surface for Suction)이 있다. 이러한 라벨은 모델이 성공적인 행동뿐 아니라 운영 제약(Operational Constraint)도 학습하도록 돕는다. 다만 부정적 사례(Negative Example)는 신뢰할 수 있는 근거가 있는 경우 실행 불가능성(Infeasibility)의 원인을 식별해야 한다.

시연 데이터(Demonstration Data)는 파지 및 접촉 지도 정보(Grasp and Contact Supervision)를 확보하기 위한 실용적인 데이터 소스(Data Source)를 제공한다. 원격 조작 로봇(Teleoperated Robot)은 작업 실행(Task Execution) 중 그리퍼 자세(Gripper Pose), 관절 상태(Joint State), 촉각 신호(Tactile Signal), 조작 결과(Manipulation Outcome)를 기록할 수 있다. 성공적인 시연(Successful Demonstration)은 실행 가능한 상호작용 패턴(Feasible Interaction Pattern)을 보여주며, 실패한 시도(Failed Attempt)는 중요한 한계를 드러낸다. 센서 측정값을 행동 타임스탬프(Action Timestamp)와 정렬하면 접촉 이벤트(Contact Event)와 파지 전환(Grasp Transition)을 상세하게 재구성할 수 있다.

시뮬레이션(Simulation)은 알려진 객체 기하 구조(Object Geometry)와 물리적 상호작용 모델(Physical Interaction Model)을 사용하여 어포던스, 파지 및 접촉 라벨을 생성할 수 있다. 가상 실험(Virtual Experiment)을 통해 장비를 손상시키지 않고 많은 수의 후보 파지(Candidate Grasp)를 평가할 수 있다. 접촉 위치(Contact Location)와 충돌 상태(Collision State)는 자동으로 기록할 수 있다. 그러나 시뮬레이션된 마찰(Simulated Friction), 재료 변형(Material Deformation), 센서 동작(Sensor Behavior)은 현실과 다를 수 있으므로 실제 물리적 실험(Physical Experiment)을 통한 검증이 필요하다.

자동화 라벨링 파이프라인(Automated Labeling Pipeline)은 시각적 분할(Visual Segmentation), 기하학적 분석(Geometric Analysis), 파지 제안 네트워크(Grasp Proposal Network), 접촉 검출 알고리즘(Contact Detection Algorithm)을 결합할 수 있다. 후보 라벨(Candidate Label)은 객체 표면(Object Surface)으로부터 생성되고 로봇 시연(Robot Demonstration)을 사용하여 개선될 수 있다. 인간 검토자(Human Reviewer)는 모호한 사례(Ambiguous Case)를 평가하고 작업 관련성(Task Relevance)을 검증한다. 신뢰도 추정값(Confidence Estimate)과 데이터 출처 기록(Provenance Record)은 측정된 접촉(Measured Contact), 예측된 파지(Predicted Grasp), 추론된 어포던스(Inferred Affordance)를 구분하는 데 도움이 된다.

주석 품질(Annotation Quality)은 상호작용 실행 가능성(Interaction Feasibility)과 물리적 성공(Physical Success)에 대한 명확한 정의에 달려 있다. 파지는 처음에 객체를 들어 올리는 데 성공하더라도 운반 중 실패할 수 있으므로 평가 시간 범위(Evaluation Horizon)가 중요하다. 접촉 검출 임계값(Contact Detection Threshold)은 센서 잡음(Sensor Noise)과 작업별 힘 요구사항(Task-Specific Force Requirement)을 고려해야 한다. 일관된 라벨링 규칙(Consistent Labeling Convention)은 기준 좌표계(Reference Frame), 로봇 구성(Robot Configuration), 환경 가정(Environmental Assumption), 상호작용 성공 기준(Success Criteria)을 명시해야 한다.

평가 지표(Evaluation Metric)는 각 라벨의 물리적 목적(Physical Purpose)을 반영해야 한다. 어포던스 분할(Affordance Segmentation)은 영역 중첩(Region Overlap)을 사용할 수 있으며, 파지 예측(Grasp Prediction)은 자세 정확도(Pose Accuracy)와 실행 성공률(Execution Success)을 통해 평가할 수 있다. 접촉 위치 추정(Contact Localization)은 공간 오차(Spatial Error)를 평가하고, 접촉 이벤트 검출(Contact Event Detection)은 시간적 정밀도(Temporal Precision)를 측정한다. 기하학적 일치도(Geometric Agreement)만으로 성공적인 조작(Manipulation)을 보장할 수 없으므로 실제 작업 완료(Physical Task Completion)와 안전 결과(Safety Outcome)가 여전히 중요하다.

다중 모달 통합(Multimodal Integration)은 시각(Visual), 기하학(Geometric), 촉각(Tactile), 고유수용감각(Proprioceptive) 정보를 결합하여 상호작용 라벨(Interaction Label)의 신뢰성을 향상시킨다. 카메라(Camera)는 후보 상호작용 영역(Candidate Interaction Region)을 식별하고, 깊이 센서(Depth Sensor)는 표면 기하 구조(Surface Geometry)를 추정하며, 촉각 센서(Tactile Sensor)는 실제 물리적 접촉(Physical Contact)을 확인한다. 로봇 상태 측정값(Robot State Measurement)은 의도한 행동(Intended Action)이 실제로 실행되었는지를 보여준다. 이러한 신호를 결합하면 단일 센싱 모달리티(Sensing Modality)보다 강력한 지도 정보(Supervision)를 제공할 수 있다.

객체 특성(Object Property)과 접촉 조건(Contact Condition)을 항상 직접 관측할 수 있는 것은 아니므로 불확실성(Uncertainty)은 피할 수 없다. 마찰 계수(Friction Coefficient), 내부 질량 분포(Internal Mass Distribution), 숨겨진 지지 구조(Hidden Support Structure)는 상호작용이 발생하기 전까지 알려지지 않을 수 있다. 라벨은 관측된 결과(Observed Outcome), 예측된 실행 가능성(Predicted Feasibility), 불확실한 물리적 가정(Uncertain Physical Assumption)을 구분해야 한다. 이러한 구분은 학습 시스템이 가설적인 상호작용(Hypothetical Interaction)을 검증된 물리적 근거(Verified Physical Evidence)로 취급하는 것을 방지한다.

확장 가능한 데이터 엔진(Scalable Data Engine)은 새로운 능력(New Capability)이나 반복적인 실패(Recurring Failure)를 드러내는 상호작용 사례(Interaction Example)에 우선순위를 부여할 수 있다. 드문 접촉 전환(Rare Contact Transition), 특이한 객체 재질(Unusual Object Material), 실패한 파지 시도(Unsuccessful Grasp Attempt)는 반복적인 일상 시연(Routine Demonstration)보다 더 많은 정보를 제공할 수 있다. 능동 학습(Active Learning)과 표적 데이터 수집(Targeted Data Collection)은 주석 효율성(Annotation Efficiency)을 향상시킬 수 있다. 플릿 수준 피드백(Fleet-Level Feedback)은 추가적인 지도 정보나 수정된 파지 전략(Revised Grasp Strategy)이 필요한 상호작용 조건(Interaction Condition)을 식별할 수 있다.

어포던스, 파지 및 접촉 라벨링(Affordance, Grasp, and Contact Labeling)의 목표는 인지(Perception)를 신뢰할 수 있는 물리적 행동(Reliable Physical Action)과 연결하는 것이다. 기능적 영역(Functional Region)은 어떤 상호작용이 가능한지를 설명하고, 파지 라벨(Grasp Label)은 객체를 어떻게 제어할 수 있는지를 설명하며, 접촉 라벨(Contact Label)은 상호작용 중 실제로 어떤 일이 발생하는지를 설명한다. 이러한 주석이 작업 데이터(Task Data), 움직임 데이터(Motion Data), 결과 데이터(Outcome Data)와 통합되면 강건한 조작 정책(Robust Manipulation Policy)과 점차 적응 능력이 향상되는 피지컬 AI 시스템(Adaptive Physical AI System)을 지원한다.

05.10. Action Task and Subtask Labels

행동, 작업 및 하위 작업 라벨(Action, Task, and Subtask Label)은 서로 다른 추상화 수준(Abstraction Level)에서 로봇 행동(Robot Behavior)의 구조와 목적을 설명한다. 행동 라벨(Action Label)은 개별 움직임(Individual Movement)이나 제어 결정(Control Decision)을 식별하고, 작업 라벨(Task Label)은 더 포괄적인 목표(Broader Objective)를 표현하며, 하위 작업 라벨(Subtask Label)은 중간 단계(Intermediate Step)를 설명한다. 이러한 주석(Annotation)은 센서 관측(Sensor Observation)을 의도된 행동(Intended Behavior)과 연결하여 피지컬 AI(Physical AI) 시스템이 구조화된 정책(Structured Policy)을 학습하고 시연(Demonstration)을 해석하며 복잡한 작업(Complex Operation)을 실행하도록 한다.

행동 라벨(Action Label)은 정의된 시간 구간(Time Interval) 내에서 로봇이 수행하는 특정 행동(Specific Behavior)을 표현한다. 대표적인 사례로는 로봇 팔 이동(Moving an Arm), 그리퍼 닫기(Closing a Gripper), 손목 회전(Rotating a Wrist), 이동 베이스 전진(Advancing a Mobile Base)이 있다. 행동은 이산적 범주(Discrete Category) 또는 연속적인 제어 매개변수(Continuous Control Parameter)로 표현할 수 있다. 액추에이터 한계(Actuator Limitation), 환경 저항(Environmental Resistance), 제어 오류(Control Error)에 따라 실제 물리적 결과(Physical Outcome)가 달라질 수 있으므로 행동 정의는 명령된 행동(Commanded Action)과 실행된 움직임(Executed Movement)을 구분해야 한다.

작업 라벨(Task Label)은 로봇이 달성하려는 전체 목표(Overall Objective)를 설명한다. 작업에는 부품 조립(Component Assembly), 용기 운반(Container Transportation), 표면 청소(Surface Cleaning), 장비 검사(Equipment Inspection)가 포함될 수 있다. 저수준 행동(Low-Level Action)과 달리 작업은 주로 원하는 결과(Desired Outcome)와 운영 제약(Operational Constraint)에 따라 정의된다. 작업 주석(Task Annotation)은 학습 시스템(Learning System)이 목적을 가진 행동(Purposeful Behavior)과 관련 없는 움직임(Unrelated Movement)을 구분할 수 있도록 관련 객체(Relevant Object), 목표 상태(Target Condition), 완료 기준(Completion Criteria)을 식별해야 한다.

하위 작업 라벨(Subtask Label)은 복잡한 목표(Complex Objective)를 의미 있는 중간 작업(Intermediate Operation)으로 분할한다. 예를 들어 집기 및 놓기 작업(Pick-and-Place Task)에는 객체 위치 추정(Object Localization), 접근(Approach), 파지(Grasp), 들어 올리기(Lifting), 운반(Transportation), 배치(Placement), 놓기(Release)가 포함될 수 있다. 각 하위 작업은 고유한 사전 조건(Precondition)과 예상 결과(Expected Result)를 갖는 식별 가능한 단계(Recognizable Stage)를 나타낸다. 계층적 라벨링(Hierarchical Labeling)은 로봇이 긴 시퀀스(Long Sequence)를 분리할 수 없는 하나의 작업으로 취급하는 대신 재사용 가능한 행동 구성 요소(Reusable Behavioral Component)를 학습하도록 한다.

계층적 작업 표현(Hierarchical Task Representation)은 여러 추상화 수준(Multiple Levels of Abstraction)에 걸쳐 행동을 구성한다. 고수준 목표(High-Level Objective)는 하위 작업(Subtask), 동작 프리미티브(Motion Primitive), 액추에이터 명령(Actuator Command)으로 분해될 수 있다. 이러한 관계는 작업 트리(Task Tree), 방향 그래프(Directed Graph), 구조화된 시퀀스(Structured Sequence)를 사용하여 표현할 수 있다. 결과적으로 생성된 주석은 계층적 강화학습(Hierarchical Reinforcement Learning), 행동 계획(Behavior Planning), 서로 다른 로봇 플랫폼(Robotic Platform)에 걸친 모듈형 정책 개발(Modular Policy Development)을 지원한다.

시간적 경계(Temporal Boundary)는 행동(Action)과 하위 작업(Subtask)이 어디에서 시작하고 종료되는지 정의하는 데 필수적이다. 파지 시퀀스(Grasping Sequence)는 접근(Approach)에서 접촉(Contact)과 안정화(Stabilization)로 점진적으로 전환될 수 있으므로 정확한 경계를 식별하기 어려울 수 있다. 주석 지침(Annotation Guideline)은 이러한 전환이 제어기 명령(Controller Command), 센서 관측(Sensor Observation), 물리적 상태 변화(Physical State Change) 중 무엇을 기준으로 정의되는지 명시해야 한다. 일관된 경계 정의(Consistent Boundary Definition)는 시간적 분할(Temporal Segmentation)과 정책 학습(Policy Training)의 품질을 향상시킨다.

행동 라벨(Action Label)은 로봇 명령(Robot Command)과 관측된 결과(Observed Consequence) 사이의 관계를 보존해야 한다. 그리퍼 닫기 명령(Commanded Gripper Closure)이 반드시 성공적인 파지(Successful Grasp)를 의미하는 것은 아니며, 움직임 명령(Movement Command)은 충돌(Collision)이나 안전 개입(Safety Intervention)에 의해 중단될 수 있다. 의도된 행동(Intended Action)을 실행된 행동(Executed Behavior) 및 측정된 결과(Measured Outcome)와 분리하여 기록하면 잘못된 지도 정보(Misleading Supervision)를 방지할 수 있다. 이러한 구분은 실패한 시연(Unsuccessful Demonstration)으로부터 학습할 때 특히 중요하다.

작업 주석(Task Annotation)은 명시적인 사전 조건(Precondition)과 사후 조건(Postcondition)을 요구하는 경우가 많다. 사전 조건은 작업을 시작하는 데 필요한 상태(Necessary State)를 설명하고, 사후 조건은 완료 후 예상되는 상태(Expected State)를 지정한다. 예를 들어 캐비닛 열기(Opening a Cabinet)는 로봇이 손잡이(Handle)에 접근할 수 있어야 하며, 작업 종료 시 문이 충분히 열린 상태(Sufficiently Open State)가 되어야 한다. 이러한 라벨은 기호적 계획(Symbolic Planning), 실행 모니터링(Execution Monitoring), 작업 완료 검증(Task Completion Verification)을 지원한다.

객체 중심 행동 라벨(Object-Centered Action Label)은 로봇 관절(Robot Joint) 자체보다 조작 대상 개체(Manipulated Entity)와의 관계를 중심으로 행동을 설명한다. 병 파지(Grasping a Bottle), 카트 밀기(Pushing a Cart), 커넥터 삽입(Inserting a Connector)과 같은 행동에는 행위자(Agent), 객체(Object), 목표 대상(Target) 사이의 의미적 관계(Semantic Relationship)가 포함된다. 이러한 표현은 서로 다른 운동학적 구조(Kinematic Structure)를 가진 로봇 사이에서도 전이(Transfer)될 수 있다. 특히 이질적인 시연(Heterogeneous Demonstration)으로부터 일반화 가능한 조작 정책(Generalizable Manipulation Policy)을 학습하는 데 유용하다.

하위 작업 의존성(Subtask Dependency)은 중간 작업(Intermediate Operation) 사이의 순서 제약(Ordering Constraint)과 관계(Relationship)를 설명한다. 일부 활동은 순차적으로 수행되어야 하지만, 다른 활동은 동시에 수행하거나 대안적인 순서(Alternative Order)로 실행할 수 있다. 로봇은 객체를 꺼내기 전에 서랍을 열어야 할 수 있지만, 시각적 검사(Visual Inspection)와 경로 계획(Route Planning)은 동시에 진행할 수 있다. 의존성 라벨(Dependency Label)은 계획 시스템(Planning System)이 유효한 실행 시퀀스(Valid Execution Sequence)를 식별하고 작업 제약 위반(Task Constraint Violation)을 인식하도록 돕는다.

실패 및 복구 행동(Failure and Recovery Behavior)은 행동 및 하위 작업 주석(Action and Subtask Annotation)에 포함되어야 한다. 로봇은 파지에 실패한 후 엔드 이펙터(End Effector)의 위치를 다시 조정하고 작업을 재시도할 수 있다. 최종적으로 성공한 시도(Successful Final Attempt)만 라벨링하면 적응(Adaptation)에 관한 가치 있는 정보가 제거된다. 복구 주석(Recovery Annotation)은 실패 검출(Failure Detection), 수정 움직임(Corrective Movement), 반복 시도(Repeated Attempt), 최종 결과(Eventual Outcome)를 식별하여 강건한 정책 학습(Robust Policy Learning)을 지원할 수 있다.

시연 데이터셋(Demonstration Dataset)은 행동 및 작업 라벨(Action and Task Label)의 중요한 데이터 소스(Data Source)를 제공한다. 원격 조작 로그(Teleoperation Log), 로봇 제어기 기록(Robot Controller Record), 비디오 관측(Video Observation), 인간 지시(Human Instruction)는 의도된 작업(Intended Operation)과 실행된 행동(Executed Behavior)을 보여줄 수 있다. 그러나 명령(Command)만으로 작업의 의미(Task Meaning)나 물리적 성공(Physical Success)을 확정할 수는 없다. 신뢰할 수 있는 주석(Reliable Annotation)을 위해서는 행동 기록(Behavioral Record)을 센서 근거(Sensor Evidence)와 정렬하고 일관된 작업 정의(Task Definition)에 따라 해석해야 한다.

자동화 라벨링 파이프라인(Automated Labeling Pipeline)은 움직임 궤적(Motion Trajectory), 그리퍼 상태(Gripper State), 접촉 이벤트(Contact Event), 객체 구성 변화(Object Configuration Change)로부터 후보 행동(Candidate Action)과 하위 작업(Subtask)을 추론할 수 있다. 통계적 분할 방법(Statistical Segmentation Method)과 학습된 시퀀스 모델(Learned Sequence Model)은 반복되는 행동 패턴(Behavioral Pattern)을 식별할 수 있다. 언어 모델(Language Model)은 검출된 구간(Detected Segment)에 대한 의미적 설명(Semantic Description)을 제안할 수 있다. 그러나 추론된 라벨(Inferred Label)이 모호한 의도(Ambiguous Intention)나 불완전한 관측(Incomplete Observation)에 의존하는 경우 인간 검증(Human Verification)이 여전히 필요하다.

동일한 물리적 행동(Physical Behavior)이 서로 다른 목적(Purpose)을 수행할 수 있으므로 주석 일관성(Annotation Consistency)을 유지하기 어려울 수 있다. 용기(Container)를 향해 로봇 팔을 움직이는 행동은 접근(Reaching), 검사(Inspection), 충돌 회피(Collision Avoidance), 파지 준비(Preparation for Grasping)를 의미할 수 있다. 라벨은 움직임의 외형(Motion Appearance)에만 의존하지 않고 작업 맥락(Task Context)과 관측 가능한 근거(Observable Evidence)를 반영해야 한다. 명확한 정의(Clear Definition)는 주석자 간 불일치(Annotator Disagreement)를 줄이고 학습된 행동 표현(Learned Behavioral Representation)의 신뢰성을 향상시킨다.

언어 조건부 작업 라벨(Language-Conditioned Task Label)은 자연어 지시(Natural-Language Instruction)를 구조화된 로봇 행동(Structured Robot Behavior)과 연결한다. 도구를 상자 안에 넣으라는 지시(Instruction)는 작업 목표(Task Objective), 관련 객체(Relevant Object), 순서가 지정된 하위 작업 시퀀스(Ordered Subtask Sequence)와 연결될 수 있다. 이러한 정렬(Alignment)은 비전-언어-행동 모델(Vision-Language-Action Model, VLA)과 지시 수행 정책(Instruction-Following Policy)을 지원한다. 모호한 지시(Ambiguous Instruction)는 근거 없는 행동 시퀀스(Unsupported Action Sequence)로 변환하지 않고 불확실성(Uncertainty)을 유지해야 한다.

작업 분류 체계(Task Taxonomy)와 온톨로지(Ontology)는 행동(Action), 하위 작업(Subtask), 목표(Objective)에 대한 표준화된 정의(Standardized Definition)를 제공한다. 분류 체계(Taxonomy)는 이동(Locomotion), 조작(Manipulation), 검사(Inspection), 상호작용(Interaction)을 구분할 수 있으며, 온톨로지(Ontology)는 행위자(Agent), 객체(Object), 작업(Operation) 사이의 관계를 정의한다. 일관된 의미적 구조(Semantic Structure)는 데이터셋 통합(Dataset Integration)과 플랫폼 간 학습(Cross-Platform Learning)을 가능하게 한다. 범주(Category)나 작업 정의(Task Definition)가 발전함에 따라 버전 관리(Version Management)가 필요하다.

평가(Evaluation)는 주석 정확도(Annotation Accuracy)와 로봇 학습(Robot Learning)에 대한 유용성을 모두 측정해야 한다. 행동 인식(Action Recognition)은 분류 성능(Classification Performance)을 통해 평가할 수 있으며, 하위 작업 분할(Subtask Segmentation)은 시간적 경계 정확도(Temporal Boundary Accuracy)와 구간 중첩(Segment Overlap)을 평가한다. 작업 수준 라벨(Task-Level Label)은 목표 일관성(Objective Consistency)과 완료 조건(Completion Condition)을 확인해야 한다. 후속 실행 성공(Downstream Execution Success)은 주석이 의미 있는 행동 학습(Behavioral Learning)을 지원한다는 추가적인 근거를 제공한다.

장기 작업(Long-Horizon Task)은 기억(Memory), 지연된 결과(Delayed Outcome), 변화하는 환경 조건(Changing Environmental Condition)과 관련된 문제를 발생시킨다. 로봇은 전체 목표(Overall Objective)의 달성 여부를 판단하기 전에 여러 하위 작업(Subtask)을 실행할 수 있다. 계층적 라벨(Hierarchical Label)은 중간 진행 상태(Intermediate Progress)를 보존하고 실패가 발생한 위치를 드러낸다. 또한 학습 시스템(Learning System)이 실행 시퀀스(Execution Sequence)의 구조를 잃지 않으면서 초기 결정(Early Decision)을 이후 결과(Later Consequence)와 연결하도록 한다.

다중 모달 통합(Multimodal Integration)은 비디오(Video), 고유수용감각(Proprioception), 힘 측정값(Force Measurement), 객체 상태(Object State), 제어기 로그(Controller Log)를 결합하여 행동 라벨링(Behavioral Labeling)을 강화한다. 시각적 관측(Visual Observation)은 장면 변화(Scene Change)를 보여주고, 로봇 상태 데이터(Robot State Data)는 실행된 움직임(Executed Motion)을 설명하며, 촉각 신호(Tactile Signal)는 접촉 전환(Contact Transition)을 식별한다. 이러한 데이터 소스(Data Source)는 외형상 유사한 행동(Superficially Similar Action)을 구분하는 데 도움이 된다. 의미적 라벨(Semantic Label)을 올바른 물리적 이벤트(Physical Event)에 할당하려면 정확한 동기화(Synchronization)가 필수적이다.

확장 가능한 데이터 엔진(Scalable Data Engine)은 행동 및 작업 라벨(Action and Task Label)을 활용하여 데이터가 부족한 행동(Underrepresented Behavior)과 어려운 실행 상황(Difficult Execution Scenario)을 식별할 수 있다. 드문 복구 절차(Rare Recovery Procedure), 특이한 객체 상호작용(Unusual Object Interaction), 장시간 작업 실패(Long-Duration Task Failure)는 추가적인 주석이 필요할 수 있다. 능동 학습(Active Learning)은 행동 모델(Behavioral Model)이 불확실성(Uncertainty)이나 예측 불일치(Disagreement)를 보이는 시퀀스에 우선순위를 부여할 수 있다. 플릿 수준 분석(Fleet-Level Analysis)은 반복적인 하위 작업 실패(Recurring Subtask Failure)와 정책 개선(Policy Improvement)의 기회를 밝혀낼 수 있다.

행동, 작업 및 하위 작업 라벨링(Action, Task, and Subtask Labeling)의 목표는 원시 로봇 궤적(Raw Robot Trajectory)을 목적을 가진 행동(Purposeful Behavior)에 대한 해석 가능한 표현(Interpretable Representation)으로 변환하는 것이다. 계층적 구조(Hierarchical Structure), 시간적 경계(Temporal Boundary), 의미적 관계(Semantic Relationship), 명시적인 결과(Explicit Outcome)는 학습 시스템이 개별 행동(Individual Action)을 복잡한 목표(Complex Objective)와 연결하도록 한다. 이러한 라벨이 인지 데이터(Perception Data) 및 상호작용 데이터(Interaction Data)와 통합되면 재사용 가능한 기술(Reusable Skill), 적응형 계획(Adaptive Planning), 점차 자율성이 향상되는 피지컬 AI 시스템(Autonomous Physical AI System)을 지원한다.

05.11. Success Failure Reward and Preference Labels

성공, 실패, 보상 및 선호도 라벨(Success, Failure, Reward, and Preference Label)은 로봇 행동(Robot Behavior)의 품질과 결과를 설명한다. 인지 라벨(Perception Label)과 행동 라벨(Action Label)이 로봇이 무엇을 관측하고 수행하는지를 설명하는 반면, 결과 중심 라벨(Outcome-Oriented Label)은 로봇의 행동이 의도된 목표(Intended Objective)를 달성했는지를 나타낸다. 이러한 주석(Annotation)은 강화학습(Reinforcement Learning), 모방학습(Imitation Learning), 정책 평가(Policy Evaluation), 다양한 물리적 환경(Physical Environment)에서의 자율적 개선(Autonomous Improvement)을 위한 핵심 지도 정보(Supervision)를 제공한다.

성공 라벨(Success Label)은 로봇이 정의된 작업 완료 기준(Task Completion Criteria)을 충족했는지를 나타낸다. 파지(Grasp)는 객체를 안정적으로 들어 올렸을 때 성공할 수 있으며, 배송 작업(Delivery Task)은 올바른 물품이 목적지(Destination)에 도착했을 때 성공으로 판단할 수 있다. 성공은 추정된 의도(Assumed Intention)가 아니라 관측 가능한 조건(Observable Condition)을 통해 정의해야 한다. 명확한 기준(Clear Criteria)은 자동 검증(Automated Verification)을 가능하게 하고 다양한 시연(Demonstration), 로봇(Robot), 배포 환경(Deployment Environment) 사이의 일관된 비교를 지원한다.

실패 라벨(Failure Label)은 성공하지 못한 결과(Unsuccessful Outcome)와 그 원인이 되는 조건(Condition)을 식별한다. 조작 시도(Manipulation Attempt)는 불안정한 파지(Unstable Grasp), 충돌(Collision), 잘못된 객체 선택(Incorrect Object Selection), 불완전한 배치(Incomplete Placement)로 인해 실패할 수 있다. 실패 범주(Failure Category)를 구분하면 단일 부정 라벨(Negative Label)을 부여하는 것보다 유용한 지도 정보를 제공할 수 있다. 구조화된 실패 정보(Structured Failure Information)는 진단(Diagnosis), 복구 계획(Recovery Planning), 어려운 학습 사례(Difficult Training Example)의 표적 수집(Targeted Collection)을 지원한다.

이진 결과 라벨(Binary Outcome Label)은 에피소드(Episode)를 성공(Success) 또는 실패(Failure)로 분류하여 학습과 평가를 위한 단순한 표현(Simple Representation)을 제공한다. 그러나 복잡한 로봇 작업(Complex Robotic Task)에는 부분적인 성취(Partial Achievement)와 여러 실패 가능성(Failure Opportunity)이 포함되는 경우가 많다. 로봇은 객체 회수(Object Retrieval)를 완료했더라도 운반(Transportation) 중 실패할 수 있다. 계층적 결과 라벨(Hierarchical Outcome Label)은 중간 결과(Intermediate Result)를 보존하고 학습 시스템(Learning System)이 개선이 필요한 단계를 식별하도록 돕는다.

성공 검증(Success Verification)은 작업 명세(Task Specification)와 센서 근거(Sensor Evidence)를 결합해야 한다. 카메라 관측(Camera Observation)은 객체 배치(Object Placement)를 확인할 수 있으며, 힘 센서(Force Sensor)는 접촉 안정성(Contact Stability)을 나타내고, 제어기 로그(Controller Log)는 실행 상태(Execution Status)를 보여줄 수 있다. 단일 신호(Single Signal)만으로 성공적인 완료(Successful Completion)를 반드시 입증할 수 있는 것은 아니다. 다중 모달 검증(Multimodal Verification)은 명령된 행동(Commanded Action)을 완료된 물리적 작업(Completed Physical Operation)으로 잘못 판단하여 발생하는 거짓 양성(False Positive)을 줄인다.

보상 라벨(Reward Label)은 상태(State), 행동(Action), 상태 전이(Transition), 전체 에피소드(Complete Episode)에 수치적 피드백(Numerical Feedback)을 부여한다. 양의 보상(Positive Reward)은 성공적인 작업 완료(Successful Task Completion)를 장려할 수 있으며, 페널티(Penalty)는 충돌(Collision), 과도한 힘(Excessive Force), 안전하지 않은 움직임(Unsafe Motion)을 억제할 수 있다. 보상 값(Reward Value)은 학습 알고리즘(Learning Algorithm)이 어떤 행동에 우선순위를 부여하는지에 영향을 미친다. 보상 설계(Reward Design)는 의도된 작업 요구사항(Intended Task Requirement)을 위반하는 편법(Shortcut)에 대한 유인을 만들지 않으면서 운영 목표(Operational Objective)를 반영해야 한다.

희소 보상(Sparse Reward)은 조립 완료(Assembly Completion)나 목적지 도착(Reaching a Destination)과 같이 의미 있는 결과(Meaningful Outcome)가 발생했을 때 주로 피드백을 제공한다. 이는 작업 목표(Task Objective)를 직접 반영하지만 성공적인 에피소드(Successful Episode)가 드문 경우 학습을 어렵게 만들 수 있다. 밀집 보상(Dense Reward)은 진행 상태(Progress), 정렬(Alignment), 목표까지의 거리 감소(Reduced Distance to Target)에 대해 중간 피드백(Intermediate Feedback)을 제공한다. 그러나 밀집 신호(Dense Signal)가 실제 작업 성공(Genuine Task Success) 없이 겉으로 드러나는 진행(Apparent Progress)만 보상할 수 있으므로 신중한 설계가 필요하다.

보상 형성(Reward Shaping)은 학습을 바람직한 행동(Desirable Behavior)으로 유도하기 위해 추가적인 피드백(Additional Feedback)을 도입한다. 잠재 함수 기반 보상 형성(Potential-Based Shaping)은 적절한 수학적 가정(Mathematical Assumption) 아래 최적 정책(Optimal Policy)을 보존할 수 있지만, 임의적인 보상 형성(Arbitrary Shaping)은 선호되는 해결 방법(Preferred Solution)을 변경할 수 있다. 물리적 로봇(Physical Robot)에서 잘못 설계된 보상(Poorly Designed Reward)은 불필요한 움직임(Unnecessary Motion), 과도한 접촉(Excessive Contact), 센서 인공 신호(Sensor Artifact)의 악용을 유도할 수 있다. 따라서 보상 검증(Reward Validation)에는 실제 실행 결과(Real Execution Outcome)가 포함되어야 한다.

선호도 라벨(Preference Label)은 절대적인 수치 점수(Absolute Numerical Score)를 부여하는 대신 대안적인 로봇 행동(Alternative Robot Behavior)을 비교한다. 인간 평가자(Human Evaluator)는 더 안전하거나(Safer), 부드럽거나(Smoother), 빠르거나(Faster), 신뢰성이 높은(More Reliable) 궤적(Trajectory)을 선호할 수 있다. 쌍별 선호도(Pairwise Preference)는 정확한 보상 함수(Reward Function)를 정의하기 어려운 경우 유용한 지도 정보를 제공할 수 있다. 그러나 서로 다른 검토자(Reviewer)가 상충하는 목표(Competing Objective)에 우선순위를 부여할 수 있으므로 선호도 판단(Preference Judgment)에는 평가 기준(Evaluation Criteria)을 명시해야 한다.

선호도 데이터셋(Preference Dataset)에는 궤적 쌍(Trajectory Pair), 순위가 지정된 시연(Ranked Demonstration), 제안된 행동(Proposed Action) 사이의 비교가 포함될 수 있다. 주석자(Annotator)는 판단을 내리기 전에 비디오(Video), 로봇 상태 이력(Robot State History), 결과 요약(Outcome Summary)을 검토할 수 있다. 비교 대상 사례(Compared Example)에는 의미 있는 차이(Meaningful Difference)를 평가할 수 있을 만큼 충분한 맥락(Context)이 포함되어야 한다. 선호도 라벨은 단순한 성공 지표(Success Indicator)로 표현하기 어려운 행동 품질(Behavioral Quality)을 학습하는 데 특히 유용하다.

인간 피드백(Human Feedback)은 가치 있는 운영 지식(Operational Knowledge)을 제공하지만 주관적 편차(Subjective Variation)도 발생시킨다. 서로 다른 주석자(Annotator)는 허용 가능한 속도(Speed), 여유 거리(Clearance), 힘(Force), 작업 효율성(Task Efficiency)에 대해 의견이 다를 수 있다. 상세한 평가 지침(Evaluation Guideline)과 대표 사례(Representative Example)는 일관성(Consistency)을 향상시킨다. 검토자 간 일치도(Reviewer Agreement)와 불확실성(Uncertainty)을 기록하면 모호한 선호도(Ambiguous Preference)를 라벨링 오류(Labeling Error)나 불명확하게 정의된 목표(Poorly Specified Objective)와 구분하는 데 도움이 된다.

보상 모델(Reward Model)은 라벨이 부여된 행동 비교(Labeled Behavior Comparison)로부터 인간 선호도(Human Preference)를 예측하도록 학습할 수 있다. 이러한 모델은 선호도 지도 정보(Preference Supervision)를 정책 최적화(Policy Optimization)나 후보 궤적 선택(Candidate Trajectory Selection)에 사용할 수 있는 추정 피드백(Estimated Feedback)으로 변환한다. 모델의 예측(Prediction)은 근본적인 평가 기준(Underlying Evaluation Criteria)에 대한 근사치(Approximation)로 남는다. 보상 모델은 익숙하지 않은 객체(Object), 환경(Environment), 로봇 구성(Robot Configuration)에 대해 일반화(Generalization)가 잘 이루어지지 않을 수 있으므로 독립적인 시험(Independent Testing)이 필요하다.

실패 심각도(Failure Severity)는 실패 발생 여부(Failure Occurrence)와 구분해야 한다. 가벼운 객체(Lightweight Object)를 보호된 표면(Protected Surface)에 떨어뜨리는 것과 사람과 충돌하거나 중요한 장비(Critical Equipment)를 손상시키는 것은 상당히 다르다. 심각도 라벨(Severity Label)에는 안전상의 결과(Safety Consequence), 장비 손상(Equipment Damage), 복구 비용(Recovery Cost), 운영 중단(Operational Disruption)이 포함될 수 있다. 이러한 주석은 사소한 실행 오류(Minor Execution Error)보다 발생 빈도가 낮더라도 위험도가 높은 실패(High-Risk Failure)에 우선순위를 부여하도록 돕는다.

아차 사고 라벨(Near-Miss Label)은 바람직하지 않은 결과(Undesirable Outcome)를 가까스로 피한 상황을 설명한다. 로봇은 장애물(Obstacle)에 지나치게 가까이 지나가거나, 파지를 거의 놓칠 뻔하거나, 금지된 작업 공간 경계(Prohibited Workspace Boundary)에 접근할 수 있다. 이러한 이벤트(Event)는 이진 성공 라벨(Binary Success Label)만으로는 포착할 수 없는 안전 여유(Safety Margin)에 관한 정보를 제공한다. 아차 사고 주석(Near-Miss Annotation)은 심각한 실패(Serious Failure)가 발생하기 전에 예방적 정책 개선(Preventive Policy Improvement)과 위험 인식 평가(Risk-Aware Evaluation)를 지원한다.

복구 라벨(Recovery Label)은 로봇이 실패하거나 예상하지 못한 행동(Unsuccessful or Unexpected Behavior)을 감지한 후 어떻게 대응하는지를 설명한다. 실패한 파지(Failed Grasp)는 위치 재조정(Repositioning), 재시도(Another Attempt), 인간 지원 요청(Request for Human Assistance)을 유발할 수 있다. 복구 품질(Recovery Quality)은 최종 성공(Eventual Success), 추가 소요 시간(Additional Time), 자원 소비(Resource Consumption), 안전성(Safety)을 통해 평가할 수 있다. 복구 결과(Recovery Outcome)를 포함하면 학습 시스템이 모든 초기 실패(Initial Failure)를 되돌릴 수 없는 작업 종료(Irreversible Task Termination)로 취급하는 것을 방지할 수 있다.

자동화된 결과 라벨링(Automated Outcome Labeling)은 상태 비교(State Comparison), 센서 임계값(Sensor Threshold), 작업별 검증 규칙(Task-Specific Verification Rule)을 결합할 수 있다. 시뮬레이션(Simulation)은 선택된 객체 상태(Object State)에 대한 정확한 접근을 제공하지만, 실제 물리적 배포 환경(Physical Deployment)은 불완전한 관측(Imperfect Observation)에 의존한다. 규칙 기반 시스템(Rule-Based System)은 명확한 사례(Straightforward Case)를 효율적으로 라벨링할 수 있지만 모호한 결과(Ambiguous Outcome)를 잘못 해석할 수 있다. 검증 신호(Verification Signal)가 충돌하거나 작업 요구사항(Task Requirement)이 불완전한 경우 인간 검토(Human Review)가 특히 중요하다.

시간적 정렬(Temporal Alignment)은 결과 라벨(Outcome Label)을 해당 결과를 발생시킨 행동(Action)과 연결한다. 최종 실패(Final Failure)는 마지막에 실행된 움직임(Last Executed Movement)이 아니라 이전의 위치 결정 오류(Earlier Positioning Error)에서 비롯될 수 있다. 작업 시퀀스(Task Sequence)가 길어지고 결과가 지연(Delayed Consequence)될수록 공로 할당(Credit Assignment)은 어려워진다. 하위 작업 결과(Subtask Outcome), 이벤트 타임스탬프(Event Timestamp), 인과적 근거(Causal Evidence)는 학습 시스템이 근거 없는 인과관계(Unsupported Causal Relationship)를 가정하지 않으면서 행동과 의미 있는 피드백(Meaningful Feedback)을 연결하도록 돕는다.

주석 품질(Annotation Quality)을 확보하려면 성공(Success), 실패(Failure), 보상 척도(Reward Scale), 선호도 기준(Preference Criteria)에 대한 명확한 정의가 필요하다. 라벨은 판단이 직접 측정(Direct Measurement), 인간 평가(Human Evaluation), 시뮬레이션(Simulation), 학습된 추정기(Learned Estimator) 중 어디에서 비롯되었는지를 식별해야 한다. 상충하는 평가(Conflicting Assessment)는 조용히 조정하여 없애는 대신 검토할 수 있도록 보존해야 한다. 버전 관리된 지침(Versioned Guideline)은 운영 목표(Operational Objective)나 안전 요구사항(Safety Requirement)이 변경될 때 일관성을 유지하도록 한다.

평가(Evaluation)는 예측 정확도(Predictive Accuracy)와 후속 행동 효과(Downstream Behavioral Effect)를 모두 검토해야 한다. 성공 분류기(Success Classifier)는 정밀도(Precision)와 재현율(Recall)을 사용하여 평가할 수 있으며, 보상 모델(Reward Model)은 선호도 예측 정확도(Preference Prediction Accuracy)를 통해 평가할 수 있다. 보정 시험(Calibration Test)은 신뢰도 추정값(Confidence Estimate)이 관측된 결과(Observed Outcome)와 일치하는지를 판단한다. 궁극적으로 정책 성능(Policy Performance), 안전성(Safety), 강건성(Robustness)은 피드백 라벨(Feedback Label)이 신뢰할 수 있는 물리적 행동(Reliable Physical Behavior)을 지원하는지를 보여준다.

데이터셋 불균형(Dataset Imbalance)은 일상적인 성공 작업(Routine Successful Operation)이 드문 실패(Rare Failure)보다 훨씬 많을 수 있는 반면, 실험 데이터셋(Experimental Dataset)은 어려운 시도(Difficult Attempt)를 과도하게 포함할 수 있기 때문에 흔히 발생한다. 샘플링 전략(Sampling Strategy)은 중요한 실패 유형(Failure Mode)에 대한 충분한 범위(Coverage)를 확보하면서 실제 배포 환경의 통계적 특성(Deployment Statistics)을 보존해야 한다. 별도의 평가 데이터셋(Evaluation Set)은 학습된 모델(Learned Model)이 서로 다른 결과 발생 빈도(Outcome Frequency)와 운영 조건(Operating Condition)에서도 신뢰성을 유지하는지 확인하는 데 도움이 된다.

플릿 규모 데이터 엔진(Fleet-Scale Data Engine)은 결과 피드백(Outcome Feedback)을 활용하여 반복되는 취약점(Recurring Weakness)을 식별하고 새로운 시연(New Demonstration)의 우선순위를 결정할 수 있다. 실패 군집(Failure Cluster)은 문제가 되는 객체(Problematic Object), 환경 조건(Environmental Condition), 로봇 구성(Robot Configuration)을 드러낼 수 있다. 선호도 피드백(Preference Feedback)은 움직임 품질(Motion Quality)과 운영 효율성(Operational Efficiency)의 개선을 유도할 수 있다. 지속적인 검증(Continuous Validation)은 라벨링(Labeling)이나 보상 설계(Reward Design)의 변경이 잘못된 최적화 신호(Misleading Optimization Signal)가 아니라 측정 가능한 개선(Measurable Improvement)을 만들어 내는지 확인하도록 한다.

성공, 실패, 보상 및 선호도 라벨링(Success, Failure, Reward, and Preference Labeling)의 목표는 로봇 행동(Robot Behavior)을 그 결과에 대한 의미 있는 평가(Meaningful Assessment)와 연결하는 것이다. 명시적인 완료 기준(Explicit Completion Criteria), 구조화된 실패 설명(Structured Failure Description), 보정된 보상(Calibrated Reward), 명확하게 정의된 선호도(Well-Defined Preference)는 학습 시스템이 효과적인 행동(Effective Action)과 바람직하지 않은 행동(Undesirable Action)을 구분하도록 한다. 이러한 라벨이 인지 데이터(Perception Data) 및 작업 데이터(Task Data)와 통합되면 더욱 안전한 정책(Safer Policy), 적응형 복구(Adaptive Recovery), 피지컬 AI(Physical AI)의 지속적인 개선(Continual Improvement)을 지원한다.

05.12. Language and Vision Language Action Labels

언어 및 비전-언어-행동 라벨(Language and Vision-Language-Action Label)은 인간의 지시(Human Instruction), 시각적 관측(Visual Observation), 실행 가능한 로봇 행동(Executable Robot Behavior)을 통합된 학습 프레임워크(Unified Learning Framework) 안에서 연결한다. 언어 라벨(Language Label)은 목표(Goal), 객체(Object), 제약 조건(Constraint), 의도된 결과(Intended Outcome)를 설명하며, 비전-언어-행동 라벨(Vision-Language-Action Label)은 이러한 설명을 감각 입력(Sensory Input) 및 물리적 행동(Physical Action)과 연관시킨다. 이러한 주석(Annotation)은 로봇이 자연어 명령(Natural-Language Command)을 해석하고 의미적 이해(Semantic Understanding)를 실제 상호작용(Practical Interaction)으로 변환하는 정책(Policy)을 학습하도록 한다.

언어 주석(Language Annotation)은 시연(Demonstration) 내의 전체 작업(Complete Task), 개별 하위 작업(Individual Subtask), 특정 행동(Specific Action)을 설명할 수 있다. 빨간색 컵을 선반 위에 놓으라는 명령(Command)은 객체(Object), 의도된 작업(Intended Operation), 목적지(Destination)를 식별한다. 보다 상세한 설명에는 방향(Orientation), 취급 시 주의사항(Handling Precaution), 완료 요구사항(Completion Requirement)이 포함될 수 있다. 효과적인 라벨링(Effective Labeling)은 이러한 관계를 보존하여 모델(Model)이 고립된 단어(Isolated Word)나 서로 연결되지 않은 행동 범주(Disconnected Action Category)가 아니라 실제 환경에 기반한 지시(Grounded Instruction)를 학습하도록 한다.

비전-언어 그라운딩(Vision-Language Grounding)은 언어적 표현(Linguistic Expression)과 관측 가능한 장면 요소(Observable Scene Element) 사이의 대응 관계(Correspondence)를 확립한다. 객체 이름(Object Name), 공간적 관계(Spatial Relationship), 속성(Attribute), 참조 표현(Reference)은 관련 이미지 영역(Image Region)이나 3차원 개체(Three-Dimensional Entity)와 연결되어야 한다. 예를 들어 가장 왼쪽에 있는 용기(Leftmost Container)라는 표현은 현재 장면(Current Scene)을 기준으로 올바른 객체를 식별해야 한다. 그라운딩 주석(Grounding Annotation)은 모호성(Ambiguity)을 줄이고 로봇이 기호적 설명(Symbolic Description)을 측정 가능한 물리적 상태(Measurable Physical State)와 연결하도록 돕는다.

비전-언어-행동 데이터셋(Vision-Language-Action Dataset)은 지시(Instruction)와 관측(Observation)을 로봇 제어 시퀀스(Robot Control Sequence)와 연결함으로써 그라운딩(Grounding)을 확장한다. 학습 사례(Training Example)에는 작업 지시(Task Instruction), 카메라 프레임(Camera Frame), 고유수용감각 측정값(Proprioceptive Measurement), 이에 대응하는 엔드 이펙터 행동(End-Effector Action)이 포함될 수 있다. 주석(Annotation)은 관측과 실행된 명령(Executed Command) 사이의 시간적 관계(Temporal Relationship)를 보존해야 한다. 이러한 정렬(Alignment)은 모델이 언어 조건부 결정(Language-Conditioned Decision)이 환경(Environment)에 물리적 변화(Physical Change)를 일으키는 과정을 학습하도록 한다.

비전-언어-행동 데이터셋(VLA Dataset)의 행동 표현(Action Representation)은 로봇 하드웨어(Robot Hardware)와 학습 목표(Learning Objective)에 따라 달라진다. 여기에는 관절 위치(Joint Position), 관절 속도(Joint Velocity), 엔드 이펙터 자세(End-Effector Pose), 그리퍼 명령(Gripper Command), 이산화된 행동 토큰(Discretized Action Token)이 포함될 수 있다. 라벨(Label)은 좌표계(Coordinate Frame), 단위(Unit), 제어 주파수(Control Frequency), 액추에이터 규약(Actuator Convention)을 명시해야 한다. 일관된 행동 의미 체계(Consistent Action Semantics)가 없으면 서로 다른 플랫폼(Platform)에서 수집된 데이터셋이 상충하는 지도 정보(Contradictory Supervision)를 생성하여 전이 성능(Transfer Performance)을 저하시킬 수 있다.

작업 수준 언어 라벨(Task-Level Language Label)은 정확한 움직임 시퀀스(Exact Movement Sequence)보다 의도된 결과(Intended Outcome)를 설명한다. 작업 공간을 정리하라는 지시(Instruction)는 객체 위치(Object Position)와 환경 조건(Environmental Condition)에 따라 여러 유효한 행동 계획(Valid Action Plan)을 허용할 수 있다. 하위 작업 주석(Subtask Annotation)은 목표(Objective)를 객체 식별(Object Identification), 목적지 선택(Destination Selection), 물품 조작(Item Manipulation), 완료 검증(Completion Verification)으로 분해할 수 있다. 이러한 구조는 고정된 궤적(Fixed Trajectory)의 암기보다 계층적 계획(Hierarchical Planning)과 유연한 실행(Flexible Execution)을 지원한다.

시간적 언어 라벨(Temporal Language Label)은 설명(Description)을 로봇 시연(Robot Demonstration) 내의 특정 시간 구간(Specific Time Interval)과 연결한다. 긴 녹화 데이터(Long Recording)에는 객체 접근(Object Approach), 접촉 형성(Contact Establishment), 들어 올리기(Lifting), 운반(Transportation), 놓기(Releasing)가 포함될 수 있다. 구간 수준 캡션(Segment-Level Caption)은 이러한 단계를 식별하고 계획된 행동(Planned Action)과 관측된 결과(Observed Outcome)를 구분한다. 부정확하게 정렬된 설명(Incorrectly Aligned Description)은 모델이 지시를 관련 없는 움직임(Unrelated Movement)과 연관시키도록 학습시킬 수 있으므로 정확한 시간적 경계(Temporal Boundary)가 중요하다.

언어 주석(Language Annotation)은 명령(Command), 관측(Observation), 설명(Explanation), 결과 진술(Outcome Statement)을 구분해야 한다. 병을 잡으라는 표현(Grasp the Bottle)은 지시(Instruction)를 나타내지만, 병이 잡혔다는 표현(The Bottle Was Grasped)은 관측된 결과(Observed Result)를 설명한다. 이러한 문장은 동일한 물리적 작업(Physical Operation)을 가리키더라도 서로 다른 의미(Meaning)를 가진다. 명시적인 주석 역할(Explicit Annotation Role)은 학습 시스템(Learning System)이 의도된 행동(Intended Behavior)을 검증된 실행(Verified Execution)과 혼동하는 것을 방지하고 더욱 신뢰할 수 있는 지시 수행(Instruction Following)을 지원한다.

공간 언어(Spatial Language)는 왼쪽(Left), 뒤쪽(Behind), 위쪽(Above), 가까이(Near)와 같은 표현이 기준 좌표계(Reference Frame)와 맥락(Context)에 의존하기 때문에 어려움을 발생시킨다. 방향(Direction)은 카메라(Camera), 로봇 베이스(Robot Base), 객체(Object), 인간 조작자(Human Operator)를 기준으로 정의될 수 있다. 주석 지침(Annotation Guideline)은 가능한 경우 의도된 기준 좌표계(Intended Reference Frame)를 기록해야 한다. 실제 환경에 기반한 공간적 설명(Grounded Spatial Description)은 공유 환경(Shared Environment)에서 작동하는 인간과 로봇 사이의 내비게이션(Navigation), 조작(Manipulation), 의사소통(Communication)을 향상시킨다.

모호한 지시(Ambiguous Instruction)는 근거 없는 해석(Unsupported Interpretation)보다 신중한 처리가 필요하다. 상자를 옮기라는 요청(Request)은 여러 상자가 보이거나 목적지(Destination)가 지정되지 않은 경우 불명확할 수 있다. 라벨(Label)은 불확실성(Uncertainty)을 보존하거나 후보 참조 대상(Candidate Referent)을 식별하거나 추가 확인(Clarification)이 필요함을 나타낼 수 있다. 이러한 사례를 학습하면 로봇이 사용 가능한 정보(Available Information)가 충분하지 않은 상황을 인식하도록 돕고, 잠재적으로 잘못된 행동(Potentially Incorrect Action)을 확신을 가지고 실행하는 것을 방지할 수 있다.

다중 모달 주석(Multimodal Annotation)은 언어(Language)를 RGB 이미지(RGB Image), 깊이 측정값(Depth Measurement), 촉각 신호(Tactile Signal), 로봇 상태 이력(Robot State History)과 결합한다. 시각적 관측(Visual Observation)은 객체 식별(Object Identity)과 장면 기하 구조(Scene Geometry)를 보여주며, 고유수용감각(Proprioception)과 촉각 센싱(Tactile Sensing)은 움직임(Motion)과 접촉(Contact)을 설명한다. 언어는 센서 측정값(Sensor Measurement)에서 직접 관측할 수 없는 의미적 목표(Semantic Goal)를 제공한다. 이러한 모달리티(Modality)를 동기화하면 모델이 고수준 의도(High-Level Intent)를 저수준 물리적 근거(Low-Level Physical Evidence)와 연결할 수 있다.

자동 언어 라벨링(Automatic Language Labeling)은 비디오 캡셔닝 모델(Video Captioning Model), 음성 전사(Speech Transcription), 객체 인식(Object Recognition), 궤적 분할(Trajectory Segmentation)을 사용하여 후보 설명(Candidate Description)을 생성할 수 있다. 이러한 도구는 수동 주석 작업(Manual Annotation Effort)을 줄이지만 존재하지 않는 객체를 생성하는 환각(Hallucination), 행동 오인식(Action Misidentification), 충분한 근거 없이 의도를 추론하는 오류를 발생시킬 수 있다. 따라서 자동 생성 캡션(Automatically Generated Caption)은 기록된 관측(Recorded Observation)과 실행 결과(Execution Outcome)를 기준으로 검증해야 하며, 특히 안전 필수 행동(Safety-Critical Behavior)을 설명하는 라벨에서 이러한 검증이 중요하다.

인간 주석자(Human Annotator)는 시연(Demonstration)에 암묵적인 목표(Implicit Goal)나 특이한 상호작용(Unusual Interaction)이 포함된 경우 맥락적 이해(Contextual Understanding)를 제공한다. 그러나 주석자는 동일한 행동(Identical Behavior)을 서로 다른 어휘(Vocabulary)나 상세 수준(Level of Detail)으로 설명할 수 있다. 통제된 용어 체계(Controlled Terminology), 주석 사례(Annotation Example), 의미적 정규화(Semantic Normalization)는 유용한 언어적 다양성(Linguistic Diversity)을 제거하지 않으면서 일관성(Consistency)을 향상시킨다. 품질 관리(Quality Control)는 설명이 정확하고 실제 환경에 기반하며 의도된 추상화 수준(Intended Abstraction Level)에 적합한지 검증해야 한다.

서로 다른 로봇 형태를 포함하는 데이터셋(Cross-Embodiment Dataset)은 서로 다른 로봇이 동일한 작업(Equivalent Task)을 서로 다른 행동 공간(Action Space)을 통해 실행하기 때문에 추가적인 복잡성을 발생시킨다. 이동 매니퓰레이터(Mobile Manipulator)와 휴머노이드(Humanoid)는 모두 문을 열 수 있지만 서로 다른 관절 구성(Joint Configuration)과 접촉 전략(Contact Strategy)을 사용할 수 있다. 공통 언어 라벨(Shared Language Label)은 동일한 목표(Common Objective)를 설명할 수 있으며, 로봇 형태별 행동 라벨(Embodiment-Specific Action Label)은 실행 세부사항(Execution Detail)을 보존한다. 이러한 분리는 동일한 물리적 능력(Identical Physical Capability)을 가정하지 않으면서 일반화(Generalization)를 지원한다.

평가(Evaluation)는 언어적 정확도(Linguistic Accuracy), 시각적 그라운딩(Visual Grounding), 시간적 정렬(Temporal Alignment), 후속 작업 실행(Downstream Task Execution)을 검토해야 한다. 그라운딩 성능(Grounding Performance)은 객체 위치 추정 정확도(Object Localization Accuracy)를 통해 측정할 수 있으며, 행동 예측(Action Prediction)은 적절한 궤적 지표(Trajectory Metric)나 제어 지표(Control Metric)를 필요로 한다. 지시 수행 성공(Instruction-Following Success)은 관측 가능한 작업 결과(Observable Task Outcome)를 통해 검증해야 한다. 강건한 평가(Robust Evaluation)는 모델이 모호한 명령(Ambiguous Command), 익숙하지 않은 객체(Unfamiliar Object), 변화하는 환경(Changing Environment)에 적절하게 대응하는지도 시험한다.

언어 및 비전-언어-행동 라벨링(Language and Vision-Language-Action Labeling)의 목적은 인간 의도(Human Intent), 환경 인지(Environmental Perception), 로봇 실행(Robot Execution) 사이에 신뢰할 수 있는 연결(Reliable Connection)을 구축하는 것이다. 구조화된 지시(Structured Instruction), 실제 환경에 기반한 참조(Grounded Reference), 동기화된 행동(Synchronized Action), 검증된 결과(Verified Outcome)는 피지컬 AI(Physical AI)를 위한 상호 보완적인 지도 정보(Complementary Supervision)를 제공한다. 이러한 주석이 확장 가능한 데이터 엔진(Scalable Data Engine)에 통합되면 재사용 가능한 기술(Reusable Skill), 작업 간 일반화(Cross-Task Generalization), 점차 향상되는 언어 조건부 로봇 시스템(Language-Conditioned Robotic System)을 지원한다.

05.13. Label Taxonomy and Ontology Design

라벨 분류 체계 및 온톨로지 설계(Label Taxonomy and Ontology Design)는 로봇 학습 데이터(Robotic Training Data)를 체계적으로 구성하기 위한 일관된 의미적 기반(Semantic Foundation)을 구축한다. 분류 체계(Taxonomy)는 라벨(Label)을 계층적 범주(Hierarchical Category)로 구성하며, 온톨로지(Ontology)는 개념(Concept), 속성(Property), 개념 간 관계(Relationship)를 정의한다. 이러한 구조는 인지(Perception), 행동(Action), 작업(Task), 결과(Outcome)에 관한 주석(Annotation)을 연결한다. 이를 통해 피지컬 AI(Physical AI) 시스템은 개별적인 명명 규칙(Naming Convention)이 아니라 공유된 의미(Shared Meaning)를 바탕으로 이질적인 데이터셋(Heterogeneous Dataset)을 해석할 수 있다.

라벨 분류 체계(Label Taxonomy)는 추상화 수준(Level of Abstraction)과 기능적 유사성(Functional Similarity)에 따라 주석 범주(Annotation Category)를 구성한다. 인지 라벨(Perception Label)에는 객체(Object), 표면(Surface), 자세(Pose), 공간적 관계(Spatial Relationship)가 포함될 수 있으며, 행동 라벨(Action Label)은 움직임(Movement), 조작(Manipulation), 상호작용(Interaction)을 설명한다. 작업 라벨(Task Label)은 목표(Objective)와 하위 작업(Subtask)을 표현하고, 결과 라벨(Outcome Label)은 성공(Success) 또는 실패(Failure)를 기록한다. 계층적 구성(Hierarchical Organization)은 효율적인 데이터셋 탐색(Dataset Navigation), 통계 분석(Statistical Analysis), 재사용 가능한 학습 표현(Reusable Learning Representation)을 지원한다.

온톨로지 설계(Ontology Design)는 개체(Entity)와 이벤트(Event) 사이의 의미적 관계(Semantic Relationship)를 표현함으로써 분류(Classification)를 확장한다. 로봇은 용기(Container)를 파지하고, 선반(Shelf) 위에 배치한 다음, 최종 위치(Final Position)를 검증할 수 있다. 이러한 상호작용에는 행위자(Agent), 객체(Object), 행동(Action), 위치(Location), 시간적 관계(Temporal Relationship)가 포함된다. 온톨로지는 이러한 연결을 명시적으로 인코딩(Encoding)하여 학습 시스템(Learning System)이 객체 정체성(Object Identity), 기능적 역할(Functional Role), 물리적 상태(Physical State), 작업 의존적 관계(Task-Dependent Relationship)를 구분하도록 한다.

설계 과정(Design Process)은 명확하게 정의된 주석 요구사항(Annotation Requirement)과 의도된 응용 분야(Intended Application)에서 시작해야 한다. 창고 로봇(Warehouse Robot)은 재고 취급(Inventory Handling), 내비게이션(Navigation), 인간과의 상호작용(Human Interaction)에 관한 라벨이 필요할 수 있으며, 조립 로봇(Assembly Robot)은 상세한 접촉(Contact) 및 부품 관계(Component Relationship)를 필요로 한다. 공유 핵심 어휘(Shared Core Vocabulary)는 두 분야를 모두 지원할 수 있으며, 개별 응용 분야를 위한 특화 확장(Specialized Extension)을 추가할 수 있다. 이러한 접근 방식은 상호운용성(Interoperability)과 운영 특수성(Operational Specificity) 사이의 균형을 유지한다.

객체 분류 체계(Object Taxonomy)는 의미적 범주(Semantic Category)를 물리적 및 기능적 속성(Physical and Functional Property)과 구분해야 한다. 용기(Container)는 저장 범주(Storage Category)에 속하면서 강성(Rigidity), 용량(Capacity), 무게(Weight), 파지 가능성(Graspability)과 같은 속성을 가질 수 있다. 이러한 속성은 로봇 행동(Robot Behavior)에 영향을 미치지만 객체 정체성(Object Identity)과 혼동해서는 안 된다. 범주(Category)를 속성(Attribute)과 분리하면 모델(Model)이 관련된 물리적 특성(Physical Characteristic)을 공유하는 익숙하지 않은 객체(Unfamiliar Object)에 대해 추론할 수 있다.

행동 온톨로지(Action Ontology)는 참여 개체(Participant), 사전 조건(Precondition), 효과(Effect), 실행 제약(Execution Constraint)을 통해 작업(Operation)을 설명한다. 파지 행동(Grasp Action)에는 로봇(Robot), 엔드 이펙터(End Effector), 대상 객체(Target Object), 의도된 접촉 관계(Intended Contact Relationship)가 포함된다. 사전 조건에는 도달 가능성(Reachability)과 충분한 그리퍼 여유 공간(Sufficient Gripper Clearance)이 포함될 수 있으며, 효과에는 안정적인 객체 결합(Stable Object Attachment)이 포함될 수 있다. 이러한 표현은 작업 계획(Task Planning), 실행 모니터링(Execution Monitoring), 시연의 구조화된 해석(Structured Interpretation of Demonstrations)을 지원한다.

작업 온톨로지(Task Ontology)는 고수준 목표(High-Level Objective)를 하위 작업(Subtask), 행동 시퀀스(Action Sequence), 완료 기준(Completion Criteria)과 연결한다. 배송 작업(Delivery Task)에는 물품 위치 파악(Item Localization), 파지(Grasping), 목적지까지의 이동(Navigation to Destination), 놓기(Releasing)가 포함될 수 있다. 의존성(Dependency)은 어떤 작업이 다른 작업보다 먼저 수행되어야 하는지를 지정하며, 대안적 분기(Alternative Branch)는 유효한 실행 전략(Valid Execution Strategy)을 표현한다. 명시적인 작업 구조(Explicit Task Structure)는 계층적 정책 학습(Hierarchical Policy Learning)을 가능하게 하고 장기 로봇 행동(Long-Horizon Robot Behavior)의 분석을 향상시킨다.

공간 및 시간 개념(Spatial and Temporal Concept)은 일관되지 않은 해석(Inconsistent Interpretation)을 방지하기 위해 표준화된 정의(Standardized Definition)가 필요하다. 왼쪽(Left), 위쪽(Above), 내부(Inside), 접근 중(Approaching), 접촉 중(Contacting)과 같은 라벨은 좌표계(Coordinate Frame), 기하학적 임계값(Geometric Threshold), 관측 시점(Observation Time)에 따라 달라진다. 온톨로지(Ontology)는 기준 좌표계(Reference Frame)와 관련 측정 규약(Measurement Convention)을 식별해야 한다. 시간적 관계(Temporal Relationship)는 이벤트 순서(Event Ordering), 중첩(Overlap), 지속 시간(Duration), 물리적 상호작용 상태(Physical Interaction State) 사이의 전환(Transition)을 설명할 수 있다.

어포던스 및 접촉 온톨로지(Affordance and Contact Ontology)는 객체 기하 구조(Object Geometry)를 가능한 상호작용(Possible Interaction) 및 관측된 상호작용(Observed Interaction)과 연결한다. 손잡이(Handle)는 당기기(Pulling)를 지원할 수 있으며, 평평한 표면(Flat Surface)은 놓기(Placing) 또는 미끄러뜨리기(Sliding)를 지원할 수 있다. 접촉 관계(Contact Relationship)는 상호작용하는 물체(Interacting Body), 접촉 영역(Contact Region), 물리적 상태(Physical State)를 식별한다. 이러한 개념은 잠재적인 행동(Potential Action)과 검증된 상호작용(Verified Interaction)을 구분해야 한다. 이러한 분리는 예측된 능력(Predicted Capability)을 관측된 이벤트(Observed Event)로 잘못 취급하는 것을 방지한다.

라벨 정의(Label Definition)는 주석 세분성(Annotation Granularity)과 관련 범주(Related Category) 사이의 경계를 명시해야 한다. 로봇 팔 움직임(Arm Movement)은 한 추상화 수준(Abstraction Level)에서는 뻗기(Reaching)로 라벨링될 수 있으며, 다른 수준에서는 파지 준비(Grasp Preparation)의 일부로 라벨링될 수 있다. 추상화 수준이 명시적이라면 두 설명 모두 유효할 수 있다. 주석 지침(Annotation Guideline)은 포함 기준(Inclusion Criteria), 제외 기준(Exclusion Criteria), 모호한 사례(Ambiguous Case)를 설명하여 인간 주석자(Human Annotator)와 자동화 라벨링 시스템(Automated Labeling System) 사이의 불일치를 줄여야 한다.

실용적인 온톨로지(Practical Ontology)는 동일한 하드웨어 능력(Identical Hardware Capability)을 가정하지 않으면서 다양한 로봇 형태(Robot Embodiment)를 지원해야 한다. 이동 로봇(Mobile Robot), 매니퓰레이터(Manipulator), 사족보행 로봇(Quadruped), 휴머노이드(Humanoid)는 서로 다른 액추에이터(Actuator)와 제어 공간(Control Space)을 사용하여 유사한 작업을 수행할 수 있다. 공유된 작업 및 객체 개념(Shared Task and Object Concept)은 플랫폼 간 학습(Cross-Platform Learning)을 가능하게 하며, 로봇 형태별 속성(Embodiment-Specific Property)은 운동학(Kinematics)과 센싱(Sensing)의 차이를 보존한다. 이러한 구분은 이질적인 피지컬 AI 데이터셋(Heterogeneous Physical AI Dataset)을 통합하는 데 필수적이다.

의미적 식별자(Semantic Identifier)와 메타데이터(Metadata)는 사람이 읽을 수 있는 라벨 이름(Human-Readable Label Name)을 넘어서는 안정성(Stability)을 제공한다. 각 개념(Concept)에는 고유 식별자(Unique Identifier), 정의(Definition), 상위 범주(Parent Category), 문서화된 관계(Documented Relationship)가 있어야 한다. 메타데이터에는 좌표계 규약(Coordinate Convention), 측정 단위(Measurement Unit), 주석 출처(Annotation Source), 신뢰도 값(Confidence Value)이 포함될 수 있다. 기계 판독 가능 스키마(Machine-Readable Schema)는 자동 검증(Automated Validation)과 데이터셋 형식(Dataset Format) 사이의 신뢰할 수 있는 변환(Reliable Conversion)을 가능하게 하여 대규모 데이터 통합(Large-Scale Data Integration) 과정에서 오류를 줄인다.

서로 다른 조직(Organization)이나 연구 그룹(Research Group)이 개발한 데이터셋을 결합할 때 온톨로지 정렬(Ontology Alignment)이 중요해진다. 한 데이터셋은 집기(Pick)라는 용어를 사용하고 다른 데이터셋은 파지(Grasp)라는 용어를 사용할 수 있으며, 두 용어의 의미는 일부 중첩될 수 있다. 매핑 절차(Mapping Procedure)는 라벨이 동등한지(Equivalent), 더 넓은 개념인지(Broader), 더 좁은 개념인지(Narrower), 맥락 의존적인지(Context-Dependent)를 판단해야 한다. 정규화된 라벨(Normalized Label)과 함께 원본 주석(Original Annotation)을 보존하면 정보 손실(Information Loss)을 방지하고 의미적 매핑(Semantic Mapping)이 수정될 때 추적 가능성(Traceability)을 지원한다.

불확실성(Uncertainty)과 불완전한 지식(Incomplete Knowledge)은 주석 구조(Annotation Structure) 내에서 명시적으로 표현되어야 한다. 객체(Object)는 불확실한 정체성(Uncertain Identity), 추론된 어포던스(Inferred Affordance), 검증되지 않은 접촉 상태(Unverified Contact State)를 가질 수 있다. 신뢰도 점수(Confidence Score)와 출처 기록(Provenance Record)은 직접 측정(Direct Measurement)을 인간 판단(Human Judgment) 및 모델 예측(Model Prediction)과 구분할 수 있다. 불확실성을 구조화된 정보(Structured Information)로 취급하면 모호한 관측(Ambiguous Observation)이 오해를 유발하는 정답 데이터(Misleading Ground Truth)로 변환되는 것을 방지할 수 있다.

분류 체계 및 온톨로지 유지관리(Taxonomy and Ontology Maintenance)에는 버전 관리(Version Control), 변경 문서화(Change Documentation), 호환성 관리(Compatibility Management)가 필요하다. 새로운 로봇 능력(New Robot Capability)은 이전에 지원되지 않았던 행동(Action), 센서(Sensor), 상호작용 범주(Interaction Category)를 도입할 수 있다. 변경 사항은 가능한 한 기존 의미(Historical Meaning)를 보존해야 하며, 정의(Definition)가 수정되는 경우 마이그레이션 규칙(Migration Rule)을 제공해야 한다. 버전이 관리되는 스키마(Versioned Schema)는 주석 표준(Annotation Standard)이 발전하더라도 데이터셋(Dataset)과 학습된 모델(Trained Model)의 해석 가능성(Interpretability)을 유지하도록 한다.

품질 평가(Quality Evaluation)는 의미적 일관성(Semantic Consistency), 관계 유효성(Relationship Validity), 주석 범위(Annotation Coverage), 후속 학습 성능(Downstream Learning Performance)을 검토해야 한다. 자동화 검사(Automated Check)는 호환되지 않는 범주(Incompatible Category), 누락된 필수 속성(Missing Required Attribute), 불가능한 관계 조합(Impossible Relationship Combination)을 검출할 수 있다. 모호한 의미적 구분(Ambiguous Semantic Distinction)에는 여전히 인간 검토(Human Review)가 필요하다. 잘 설계된 온톨로지(Well-Designed Ontology)는 데이터셋 상호운용성(Dataset Interoperability), 라벨링 신뢰성(Labeling Reliability), 다양한 작업과 환경에 걸친 피지컬 AI 모델(Physical AI Model)의 일반화(Generalization)를 향상시켜야 한다.

05.14. Label Quality Control and Agreement

라벨 품질 관리 및 일치도(Label Quality Control and Agreement)는 신뢰할 수 있는 로봇 학습 데이터셋(Robotic Training Dataset)을 구축하는 데 필수적이다. 피지컬 AI(Physical AI)에서 주석 오류(Annotation Error)는 인지(Perception), 동작 계획(Motion Planning), 조작(Manipulation), 안전 필수 의사결정(Safety-Critical Decision)에 영향을 미칠 수 있다. 품질 관리(Quality Control)는 라벨(Label)이 정의된 요구사항(Defined Requirement)을 충족하는지 검증하며, 일치도(Agreement)는 주석자(Annotator) 또는 라벨링 시스템(Labeling System) 사이의 일관성(Consistency)을 측정한다. 이러한 과정은 로봇 지능(Robotic Intelligence)의 학습과 평가에 사용되는 데이터에 대한 신뢰도(Confidence)를 확립한다.

로봇 라벨링 품질(Robot Labeling Quality)은 올바른 의미적 범주(Semantic Category)를 할당하는 것 이상의 의미를 가진다. 객체 라벨(Object Label)은 정확하더라도 바운딩 박스(Bounding Box), 자세(Pose), 타임스탬프(Timestamp), 좌표계(Coordinate Frame)가 잘못될 수 있다. 접촉 라벨(Contact Label)과 행동 라벨(Action Label)도 직접 관측하기 어려운 물리적 조건(Physical Condition)에 의존할 수 있다. 따라서 효과적인 품질 보증(Quality Assurance)은 의미적 정확성(Semantic Correctness), 기하학적 정밀도(Geometric Precision), 시간적 일관성(Temporal Consistency), 로봇 실행 요구사항(Robot Execution Requirement)과의 호환성을 검토해야 한다.

주석 지침(Annotation Guideline)은 일관된 라벨링(Consistent Labeling)을 위한 기반을 제공한다. 이러한 지침은 라벨 범주(Label Category), 포함 규칙(Inclusion Rule), 제외 조건(Exclusion Condition), 좌표계 규약(Coordinate Convention), 허용 가능한 불확실성(Acceptable Uncertainty)을 정의해야 한다. 예를 들어 파지 이벤트(Grasp Event)는 최초 접촉(Initial Contact) 시점이나 안정적인 객체 제어(Stable Object Control)가 확립된 시점에 시작될 수 있다. 명시적인 정의(Explicit Definition)가 없다면 서로 다른 주석자가 동일한 시연(Demonstration)에 서로 다른 경계(Boundary)를 할당하여 일관되지 않은 학습 지도 정보(Training Supervision)를 생성할 수 있다.

주석자 간 일치도(Inter-Annotator Agreement)는 독립적인 검토자(Independent Reviewer)가 동일한 데이터(Identical Data)에 얼마나 일관되게 라벨을 할당하는지 측정한다. 높은 일치도(High Agreement)는 주석 정의(Annotation Definition)가 이해하기 쉽고 재현 가능(Reproducible)하다는 것을 시사하지만, 반드시 정확성(Correctness)을 보장하지는 않는다. 낮은 일치도(Low Agreement)는 모호한 관측(Ambiguous Observation), 불충분한 지침(Insufficient Instruction), 중첩되는 범주(Overlapping Category)를 나타낼 수 있다. 일치도 분석(Agreement Analysis)은 모든 차이를 개별적인 라벨링 오류(Labeling Mistake)로 취급하기보다 불일치의 원인(Source of Disagreement)을 식별해야 한다.

범주형 일치도(Categorical Agreement)는 주석 환경(Annotation Setting)에 따라 백분율 일치도(Percentage Agreement), 코헨의 카파(Cohen\'s Kappa), 플라이스의 카파(Fleiss\' Kappa)를 사용하여 평가할 수 있다. 이러한 측정 방법은 우연 일치도(Chance Agreement)에 대한 서로 다른 가정을 고려하면서 일관성을 정량화(Quantification)하는 데 도움이 된다. 그러나 범주 불균형(Category Imbalance)이 심한 경우 잘못된 해석(Misleading Interpretation)이 발생할 수 있다. 따라서 일치도 통계(Agreement Statistics)는 클래스 분포(Class Distribution), 표본 수(Sample Count), 논쟁이 있는 주석(Disputed Annotation)의 사례와 함께 보고해야 한다.

기하학적 주석(Geometric Annotation)은 해당 표현(Representation)에 적합한 평가 방법(Evaluation Method)을 필요로 한다. 바운딩 박스(Bounding Box)와 분할 마스크(Segmentation Mask)는 교집합 대 합집합 비율(Intersection over Union, IoU)을 사용하여 비교할 수 있으며, 키포인트(Keypoint)와 객체 자세(Object Pose)는 거리 오차(Distance Error) 또는 방향 오차(Orientation Error)를 필요로 한다. 3차원 주석(Three-Dimensional Annotation)은 측정 단위(Measurement Unit)와 기준 좌표계(Reference Frame)를 명시해야 한다. 잘못된 좌표계에 표현된 기하학적으로 정확한 라벨(Geometrically Accurate Label)은 시각적으로 타당해 보이더라도 로봇 제어(Robot Control)에 사용할 수 없을 수 있다.

시간적 일치도(Temporal Agreement)는 주석자들이 동일한 행동 구간(Action Interval), 접촉 전환(Contact Transition), 작업 경계(Task Boundary)를 식별하는지 평가한다. 물리적 상호작용(Physical Interaction)은 점진적으로 진행되는 경우가 많으므로 정확한 타임스탬프 일치(Exact Timestamp Matching)는 현실적이지 않을 수 있다. 경계 허용 오차(Boundary Tolerance), 구간 중첩(Segment Overlap), 이벤트 검출 지표(Event Detection Metric)는 더욱 의미 있는 비교를 제공한다. 평가 규칙(Evaluation Rule)은 요구되는 제어 정밀도(Control Precision)를 반영하고 사소한 시간 차이(Minor Timing Difference)를 중대한 의미적 불일치(Substantial Semantic Disagreement)와 구분해야 한다.

연속형 라벨(Continuous Label)의 품질 관리(Quality Control)는 측정 불확실성(Measurement Uncertainty)을 신중하게 처리해야 한다. 관절 각도(Joint Angle), 속도(Velocity), 힘(Force), 객체 자세(Object Pose)는 서로 다른 잡음 특성(Noise Characteristic)을 가진 센서(Sensor)에서 생성될 수 있다. 기준값(Reference Value)에는 가능한 경우 보정 정보(Calibration Information)와 예상 오차 범위(Expected Error Range)가 포함되어야 한다. 비현실적으로 정확한 목표값(Unrealistic Exact Target)을 기준으로 연속형 주석(Continuous Annotation)을 비교하면 유효한 측정값(Valid Measurement)을 라벨링 실패(Labeling Failure)로 잘못 분류할 수 있다.

골드 스탠더드 데이터셋(Gold-Standard Dataset)은 주석자(Annotator)와 자동화 라벨링 파이프라인(Automated Labeling Pipeline)을 평가하기 위한 기준(Reference)을 제공한다. 기준 라벨(Reference Label)은 전문가 검토(Expert Review), 보정된 측정값(Calibrated Measurement), 독립적으로 검증된 결과(Independently Verified Outcome)를 통해 생성되어야 한다. 어려운 사례(Difficult Example)는 일상적인 사례(Routine Case)에 가려진 취약점(Weakness)을 드러내므로 특별한 주의가 필요하다. 센서(Sensor), 작업 정의(Task Definition), 주석 표준(Annotation Standard)이 변경되면 골드 스탠더드 기준(Gold-Standard Reference)을 주기적으로 재평가해야 한다.

다단계 검토 워크플로(Multi-Stage Review Workflow)는 초기 라벨링(Initial Labeling), 독립 검증(Independent Verification), 불일치 해결(Disagreement Resolution), 최종 승인(Final Approval)을 결합할 수 있다. 명확한 사례(Straightforward Example)는 자동화 검사(Automated Check)를 통과할 수 있지만, 모호하거나 안전과 관련된 사례(Ambiguous or Safety-Relevant Case)는 전문가 검토(Expert Examination)가 필요하다. 검토 노력(Review Effort)은 잘못된 라벨(Incorrect Label)이 초래할 수 있는 결과(Consequence)에 비례해야 한다. 이러한 위험 기반 접근 방식(Risk-Based Approach)은 모든 기록 표본(Recorded Sample)에 동일한 검증 비용(Verification Cost)을 적용하지 않으면서 효율성(Efficiency)을 향상시킨다.

합의 라벨링(Consensus Labeling)은 여러 주석자(Multiple Annotator)의 판단(Judgment)을 결합하여 최종 주석(Final Annotation)을 생성한다. 다수결(Majority Voting)은 단순한 범주(Simple Category)에 적용할 수 있지만, 복잡한 공간적 또는 시간적 라벨(Spatial or Temporal Label)은 전문가 판정(Expert Adjudication)이 필요할 수 있다. 근거(Evidence)가 여전히 모호한 경우 합의(Consensus)가 소수 의견(Minority Judgment)을 자동으로 대체해서는 안 된다. 불일치 기록(Disagreement Record)과 대안적 해석(Alternative Interpretation)을 보존하면 불확실성(Uncertainty)과 데이터셋 한계(Dataset Limitation)에 관한 가치 있는 정보를 제공할 수 있다.

자동화 검증(Automated Validation)은 주석이 학습 파이프라인(Training Pipeline)에 입력되기 전에 구조적 오류(Structural Error)와 논리적 오류(Logical Error)를 검출한다. 스키마 검사(Schema Check)는 누락된 필드(Missing Field), 유효하지 않은 범주(Invalid Category), 일관되지 않은 타임스탬프(Inconsistent Timestamp), 잘못된 좌표계 규약(Incorrect Coordinate Convention)을 식별할 수 있다. 물리적 일관성 규칙(Physical Consistency Rule)은 불가능한 객체 자세(Impossible Object Pose), 모순되는 접촉 상태(Contradictory Contact State), 로봇 한계(Robot Limit)를 벗어나는 행동을 검출할 수 있다. 이러한 검사는 예방 가능한 오류(Preventable Error)를 줄이지만 의미적 해석(Semantic Interpretation)의 정확성을 완전히 판단할 수는 없다.

AI 지원 품질 관리(AI-Assisted Quality Control)는 신뢰도 점수(Confidence Score), 모델 간 불일치(Model Disagreement), 이상 탐지(Anomaly Detection)를 사용하여 의심스러운 주석(Suspicious Annotation)의 우선순위를 결정할 수 있다. 비정상적인 기하 구조(Unusual Geometry), 일관되지 않은 행동 시퀀스(Inconsistent Action Sequence), 불확실한 객체 정체성(Uncertain Object Identity)을 가진 표본(Sample)은 인간 검토(Human Review) 대상으로 전달될 수 있다. 이러한 시스템은 모델 예측(Model Prediction)을 정답 데이터(Ground Truth)로 가정해서는 안 된다. 자동화 검토 시스템(Automated Reviewer)은 학습 편향(Training Bias)을 그대로 이어받을 수 있으므로 어려운 사례(Difficult Case)를 해결하려면 독립적인 근거(Independent Evidence)가 필수적이다.

주석 드리프트(Annotation Drift)는 인력 변경(Personnel Change), 지침 발전(Evolving Guideline), 새로운 데이터 조건(New Data Condition)으로 인해 라벨링 방식(Labeling Behavior)이 시간에 따라 변화할 때 발생한다. 처음에는 좁게 정의된 범주(Narrowly Defined Category)가 점차 더 넓은 상황(Broader Situation)에 적용될 수 있다. 주기적인 보정 훈련(Periodic Calibration Exercise)과 기준 표본(Reference Sample)의 반복 라벨링(Repeated Labeling)은 이러한 변화를 드러낼 수 있다. 버전 관리된 지침(Versioned Instruction)과 감사 이력(Audit History)은 대규모 주석 팀(Large Annotation Team)과 장기간 데이터 수집 프로그램(Long-Running Data Collection Program)에서 일관성을 유지하도록 돕는다.

불일치 분석(Disagreement Analysis)은 분류 체계 및 온톨로지 설계(Taxonomy and Ontology Design)의 개선을 유도할 수 있다. 파지 준비(Grasp Preparation)와 파지 실행(Grasp Execution) 사이의 반복적인 혼동은 불명확한 시간적 정의(Unclear Temporal Definition)를 나타낼 수 있다. 접촉(Contact)과 근접 접촉(Near-Contact) 라벨 사이의 불일치는 부적절한 센서 임계값(Inadequate Sensor Threshold)을 드러낼 수 있다. 범주 정의(Category Definition)를 수정하거나 사례(Example)를 추가하거나 불확실성 라벨(Uncertainty Label)을 도입하면 단순히 검토자의 작업량(Reviewer Workload)을 늘리는 것보다 이러한 문제를 효과적으로 해결할 수 있다.

데이터셋 품질(Dataset Quality)은 후속 로봇 성능(Downstream Robotic Performance)을 통해서도 평가해야 한다. 라벨링 파이프라인(Labeling Pipeline)은 높은 일치도(High Agreement)를 달성하더라도 신뢰할 수 있는 조작(Manipulation)이나 내비게이션(Navigation)을 지원하지 못하는 주석을 생성할 수 있다. 통제된 학습 실험(Controlled Training Experiment)은 서로 다른 라벨링 표준(Alternative Labeling Standard)에 따른 정책 성능(Policy Performance)을 비교할 수 있다. 작업 성공(Task Success), 강건성(Robustness), 안전성 지표(Safety Metric)는 주석 일관성(Annotation Consistency)의 개선이 의미 있는 운영상 이점(Operational Benefit)으로 이어지는지 보여준다.

확장 가능한 데이터 엔진(Scalable Data Engine)은 데이터 수집(Collection), 라벨링(Labeling), 학습(Training), 배포(Deployment)의 전 과정에 품질 모니터링(Quality Monitoring)을 통합해야 한다. 품질 대시보드(Quality Dashboard)는 오류율(Error Rate), 일치도 추세(Agreement Trend), 검토 대기 작업(Review Backlog), 데이터 소스별 성능 차이(Performance Difference Across Data Sources)를 추적할 수 있다. 플릿 피드백(Fleet Feedback)은 특정 센서(Sensor)나 환경(Environment)과 관련된 체계적인 라벨링 취약점(Systematic Labeling Weakness)을 드러낼 수 있다. 지속적인 모니터링(Continuous Monitoring)은 추적 가능성(Traceability)과 재현성(Reproducibility)을 유지하면서 주석 표준(Annotation Standard)을 발전시킬 수 있도록 한다.

라벨 품질 관리 및 일치도(Label Quality Control and Agreement)의 목표는 로봇 데이터셋(Robotic Dataset)이 단순히 많은 양의 주석(Annotation)을 제공하는 것이 아니라 신뢰할 수 있는 지도 정보(Dependable Supervision)를 제공하도록 보장하는 것이다. 명확한 정의(Clear Definition), 보정된 측정값(Calibrated Measurement), 독립적인 검토(Independent Review), 통계적 일치도 분석(Statistical Agreement Analysis), 자동화 검증(Automated Validation)은 신뢰할 수 있는 데이터(Trustworthy Data)를 위한 기반을 구축한다. 이러한 실천 방법이 실제 로봇 실행(Real Robot Execution)에서 얻은 피드백(Feedback)과 통합되면 더욱 안전한 학습(Safer Learning), 향상된 일반화(Strong Generalization), 확장 가능한 피지컬 AI 개발(Scalable Physical AI Development)을 지원한다.

05.15. Automated Robot Labeling Pipeline [w/Code]

자동화된 로봇 라벨링 파이프라인(Automated Robot Labeling Pipeline)은 원시 센서 기록(Raw Sensor Recording)과 로봇 실행 로그(Robot Execution Log)를 최소한의 수동 개입(Manual Intervention)으로 구조화된 학습 주석(Structured Training Annotation)으로 변환한다. 이 파이프라인은 데이터 수집 및 입력(Data Ingestion), 동기화(Synchronization), 인지 모델(Perception Model), 행동 분할(Behavioral Segmentation), 품질 검증(Quality Validation), 데이터셋 내보내기(Dataset Export)를 결합한다. 기존 이미지 라벨링(Conventional Image Labeling)과 달리 로봇 주석(Robotic Annotation)은 신뢰할 수 있는 피지컬 AI(Physical AI) 학습을 지원하기 위해 시간적 관계(Temporal Relationship), 좌표계(Coordinate Frame), 물리적 상호작용(Physical Interaction), 작업 결과(Task Outcome)를 보존해야 한다.

파이프라인(Pipeline)은 카메라(Camera), 깊이 센서(Depth Sensor), 라이다(LiDAR), 관절 인코더(Joint Encoder), 힘 센서(Force Sensor), 로봇 제어기(Robot Controller)에서 동기화된 데이터(Synchronized Data)를 수집하는 것으로 시작한다. 각 기록(Recording)에는 타임스탬프(Timestamp), 센서 식별자(Sensor Identifier), 보정 매개변수(Calibration Parameter), 로봇 구성 메타데이터(Robot Configuration Metadata)가 포함되어야 한다. 원시 데이터(Raw Data)는 최초 수집 세션(Original Acquisition Session)까지 추적할 수 있어야 한다. 이러한 기반은 이후 물리적 이벤트(Physical Event)를 재구성할 수 있도록 하며, 주석(Annotation)이 측정 맥락(Measurement Context)과 분리되는 것을 방지한다.

데이터 입력(Data Ingestion)은 이질적인 센서 스트림(Heterogeneous Sensor Stream)을 일관된 내부 표현(Consistent Internal Representation)으로 변환한다. 이미지(Image), 포인트 클라우드(Point Cloud), 관절 상태(Joint State), 제어 명령(Control Command)은 서로 다른 주파수(Frequency)와 형식(Format)으로 전달될 수 있다. 전처리 계층(Preprocessing Layer)은 파일 무결성(File Integrity)을 검증하고 메타데이터(Metadata)를 정규화하며 공통 시간 기준(Common Time Reference)을 설정한다. 누락된 프레임(Missing Frame), 손상된 메시지(Corrupted Message), 일관되지 않은 타임스탬프(Inconsistent Timestamp)는 후속 라벨링(Downstream Labeling)이 시작되기 전에 검출되어야 한다.

시간 동기화(Temporal Synchronization)는 센서 관측(Sensor Observation)을 로봇 행동(Robot Action) 및 환경 변화(Environmental Change)와 정렬한다. 하드웨어 타임스탬프(Hardware Timestamp)를 사용할 수 있다면 이를 우선하는 것이 바람직하며, 소프트웨어 동기화(Software Synchronization)는 알려진 통신 지연(Communication Delay)을 보정할 수 있다. 보간(Interpolation)은 관절 위치(Joint Position)와 같은 연속 신호(Continuous Signal)를 정렬하는 데 사용할 수 있지만, 이산적인 접촉 이벤트(Discrete Contact Event)는 신중하게 처리해야 한다. 동기화 오류(Synchronization Error)는 행동(Action)을 잘못된 결과(Outcome)와 연결하여 오해를 유발하는 지도 정보(Misleading Supervision)를 생성할 수 있다.

보정 관리(Calibration Management)는 카메라(Camera), 로봇 베이스(Robot Base), 엔드 이펙터(End Effector), 세계 좌표계(World Coordinate Frame) 사이에 일관된 기하학적 관계(Geometric Relationship)를 설정한다. 카메라 내부 매개변수(Intrinsic Camera Parameter)는 이미지 해석(Image Interpretation)을 지원하며, 외부 변환(Extrinsic Transformation)은 관측(Observation)을 로봇 기준 좌표계(Robot Reference Frame)와 연결한다. 보정 기록(Calibration Record)은 버전 관리(Version Control)를 수행하고 개별 기록 세션(Recording Session)과 연결해야 한다. 잘못된 좌표 변환(Incorrect Transformation)은 겉으로는 타당해 보이지만 물리적으로 사용할 수 없는 라벨(Physically Unusable Label)을 생성할 수 있다.

인지 라벨링(Perception Labeling)은 사전 학습 모델(Pretrained Model) 또는 작업별 모델(Task-Specific Model)을 적용하여 객체(Object), 표면(Surface), 의미적 영역(Semantic Region), 공간적 관계(Spatial Relationship)를 식별한다. 객체 검출기(Object Detector)는 바운딩 박스(Bounding Box)를 생성하고, 분할 네트워크(Segmentation Network)는 마스크(Mask)를 생성하며, 자세 추정기(Pose Estimator)는 객체 구성(Object Configuration)을 추론한다. 3차원 인지(Three-Dimensional Perception)는 깊이 이미지(Depth Image)와 포인트 클라우드(Point Cloud)를 결합할 수 있다. 불확실한 주석(Uncertain Annotation)을 검토하거나 재생성할 수 있도록 예측 결과(Prediction)는 신뢰도 값(Confidence Value)과 모델 버전(Model Version)을 유지해야 한다.

추적 모듈(Tracking Module)은 연속된 관측(Consecutive Observation) 사이에서 검출된 개체(Detected Entity)를 연결한다. 지속적인 객체 식별자(Persistent Object Identifier)를 사용하면 파이프라인이 움직임 궤적(Motion Trajectory), 객체 상호작용(Object Interaction), 장면 구성 변화(Scene Configuration Change)를 재구성할 수 있다. 추적(Tracking)은 가림(Occlusion), 일시적인 검출 실패(Temporary Detection Failure), 시야(Field of View)를 벗어나는 객체를 고려해야 한다. 식별자 전환(Identity Switch)은 행동 연관성(Action Association)과 장기 작업 주석(Long-Horizon Task Annotation)을 손상시킬 수 있으므로 반드시 검출해야 한다.

행동 라벨링(Behavioral Labeling)은 로봇 상태 이력(Robot State History)을 행동(Action), 작업(Task), 하위 작업(Subtask)에 대한 설명으로 변환한다. 관절 궤적(Joint Trajectory), 그리퍼 명령(Gripper Command), 제어기 상태(Controller State), 객체 움직임(Object Movement)은 접근(Reaching), 파지(Grasping), 들어 올리기(Lifting), 운반(Transportation), 배치(Placement)를 검출하기 위한 근거를 제공한다. 규칙 기반 분할(Rule-Based Segmentation)은 명확한 전환(Clear Transition)을 식별할 수 있으며, 학습된 시퀀스 모델(Learned Sequence Model)은 더 복잡한 패턴(Complex Pattern)을 처리한다. 의미적 라벨(Semantic Label)은 의도된 명령(Intended Command)과 검증된 물리적 행동(Verified Physical Behavior)을 구분해야 한다.

접촉 및 어포던스 라벨링(Contact and Affordance Labeling)은 기하학적 관측(Geometric Observation)을 힘(Force), 토크(Torque), 촉각(Tactile), 움직임 신호(Motion Signal)와 통합한다. 후보 파지 영역(Candidate Grasp Region)은 객체 기하 구조(Object Geometry)에서 추론할 수 있지만, 실제 접촉 이벤트(Actual Contact Event)는 이를 뒷받침하는 물리적 근거(Physical Evidence)가 필요하다. 센서 임계값(Sensor Threshold)은 상호작용 전환(Interaction Transition)을 식별할 수 있지만 잡음(Noise)과 기계적 컴플라이언스(Mechanical Compliance)는 불확실성(Uncertainty)을 발생시킨다. 파이프라인은 예측된 어포던스(Predicted Affordance)를 관측된 접촉(Observed Contact) 및 성공적인 조작 결과(Successful Manipulation Outcome)와 구분해야 한다.

결과 라벨링(Outcome Labeling)은 기록된 작업(Recorded Operation)이 명시적인 완료 기준(Explicit Completion Criteria)을 충족하는지 평가한다. 성공적인 배치(Successful Placement)는 객체를 놓은 후 대상 객체(Target Object)가 정의된 영역(Defined Region) 안에서 안정적인 상태(Stable State)를 유지해야 할 수 있다. 실패 라벨(Failure Label)은 충돌(Collision), 객체 낙하(Dropped Object), 불완전한 행동(Incomplete Action), 안전 중단(Safety Interruption)을 식별할 수 있다. 작업별 검증 규칙(Task-Specific Verification Rule)은 완료된 명령(Completed Command)을 성공의 증거로 취급하지 않고 센서 근거(Sensor Evidence)와 로봇 실행 상태(Robot Execution State)를 결합해야 한다.

언어 라벨링(Language Labeling)은 시연(Demonstration)을 지시(Instruction), 객체 참조(Object Reference), 행동 설명(Action Description)과 연결한다. 음성 전사(Speech Transcript), 조작자 명령(Operator Command), 비디오-언어 모델(Video-Language Model)은 후보 의미적 주석(Candidate Semantic Annotation)을 제공할 수 있다. 이러한 설명은 관측 가능한 객체(Observable Object)에 기반해야 하며 관련 행동 구간(Relevant Action Interval)과 정렬되어야 한다. 자동 생성 캡션(Automatically Generated Caption)은 근거 없는 의도(Unsupported Intention)를 추가하거나 예측된 이벤트(Predicted Event)를 검증된 결과(Verified Outcome)로 설명해서는 안 된다.

실용적인 구현(Practical Implementation)은 재현 가능한 워크플로(Reproducible Workflow)를 통해 연결된 파이썬 기반 처리 모듈(Python-Based Processing Module)을 사용할 수 있다. 데이터 리더(Data Reader)는 동기화된 기록(Synchronized Recording)을 불러오고, 인지 모델(Perception Model)은 후보 라벨(Candidate Label)을 생성하며, 검증 함수(Validation Function)는 스키마 준수(Schema Compliance)를 검사한다. 중간 결과(Intermediate Result)는 구조화된 파일(Structured File)이나 데이터베이스(Database)에 저장할 수 있다. 모듈형 인터페이스(Modular Interface)를 사용하면 전체 라벨링 시스템(Labeling System)을 다시 구축하지 않고도 개별 모델(Individual Model)을 업그레이드할 수 있다.

자동화 검증(Automated Validation)은 주석 완전성(Annotation Completeness), 기하학적 일관성(Geometric Consistency), 시간적 순서(Temporal Ordering), 논리적 관계(Logical Relationship)를 검사한다. 바운딩 박스(Bounding Box)는 이미지 크기(Image Dimension) 범위 안에 있어야 하고, 자세 라벨(Pose Label)은 선언된 좌표계(Declared Coordinate Frame)를 사용해야 하며, 행동 구간(Action Interval)은 유효한 타임스탬프(Valid Timestamp)를 따라야 한다. 물리적 규칙(Physical Rule)은 모순되는 접촉 상태(Contradictory Contact State)나 불가능한 관절 구성(Impossible Joint Configuration)을 표시할 수 있다. 검증 실패(Validation Failure)는 문제가 있는 표본(Problematic Sample)을 조용히 제거하는 대신 명시적인 오류 기록(Explicit Error Record)을 생성해야 한다.

신뢰도 기반 라우팅(Confidence-Based Routing)은 불확실하거나 위험도가 높은 주석(Uncertain or High-Risk Annotation)을 인간 검토자(Human Reviewer)에게 전달한다. 낮은 신뢰도의 검출(Low-Confidence Detection), 일관되지 않은 추적(Inconsistent Tracking), 모호한 작업 경계(Ambiguous Task Boundary), 상충하는 결과 신호(Conflicting Outcome Signal)는 수동 검증(Manual Verification)이 필요할 수 있다. 검토자는 동기화된 센서 근거(Synchronized Sensor Evidence)와 모델이 제안한 라벨(Proposed Label)을 제공받아야 한다. 수정된 주석(Corrected Annotation)은 향후 자동화 라벨링(Automated Labeling)을 개선하기 위한 검증된 기준(Verified Reference)으로 파이프라인에 다시 입력할 수 있다.

데이터셋 내보내기(Dataset Export)는 검증된 주석(Validated Annotation)을 학습(Training)과 평가(Evaluation)에 적합한 표준화된 형식(Standardized Format)으로 변환한다. 각 표본(Sample)은 센서 참조(Sensor Reference), 의미적 라벨(Semantic Label), 좌표계 규약(Coordinate Convention), 타임스탬프(Timestamp), 신뢰도 값(Confidence Value), 출처 메타데이터(Provenance Metadata)를 보존해야 한다. 데이터셋 버전(Dataset Version)은 주석 모델(Annotation Model)과 처리 구성(Processing Configuration)을 기록해야 한다. 재현 가능한 내보내기(Reproducible Export)는 연구자가 기초 데이터(Underlying Data)의 변경과 혼동하지 않고 라벨링 개선(Labeling Improvement)을 비교하도록 한다.

지속적인 운영(Continuous Operation)을 위해서는 주석 품질(Annotation Quality), 처리 처리량(Processing Throughput), 계산 비용(Computational Cost), 후속 모델 성능(Downstream Model Performance)을 모니터링해야 한다. 능동 학습(Active Learning)은 어려운 기록(Difficult Recording)에 우선순위를 부여할 수 있으며, 플릿 피드백(Fleet Feedback)은 반복적인 실패(Recurring Failure)와 데이터가 부족한 상황(Underrepresented Scenario)을 식별한다. 새롭게 검증된 사례(Newly Verified Example)는 인지 및 행동 라벨링 모델(Perception and Behavior Labeling Model)을 개선할 수 있다. 이러한 피드백 루프(Feedback Loop)는 실제 로봇 배포(Real Robot Deployment)를 점진적으로 개선되는 학습 데이터(Training Data)와 연결한다.

자동화된 로봇 라벨링 파이프라인(Automated Robot Labeling Pipeline)의 목표는 단순히 주석 속도(Annotation Speed)를 극대화하는 것이 아니라 신뢰할 수 있고(Trustworthy), 확장 가능하며(Scalable), 물리적으로 의미 있는(Physically Meaningful) 지도 정보(Supervision)를 생성하는 것이다. 신뢰할 수 있는 데이터 입력(Reliable Data Ingestion), 동기화(Synchronization), 인지(Perception), 행동 해석(Behavioral Interpretation), 검증(Validation), 인간 검토(Human Review)는 통합된 데이터 엔진(Integrated Data Engine)을 구성한다. 이러한 아키텍처(Architecture)가 버전 관리(Version Control) 및 배포 피드백(Deployment Feedback)과 결합되면 피지컬 AI 시스템(Physical AI System)의 지속적인 개선(Continuous Improvement)을 지원한다.


저자: Richard Minsoo Go

LinkedIn: Richard Minsoo Go

Top comments (0)