STATERA Library · Series 08 · Volume 19 · Chapter 04 · KR
Source: https://github.com/Statera-Library/08_Vol_19_Robot_Learning_and_AI/blob/main/19_04_Semi_Supervised_Learning/19_04_Semi_Supervised_Learning_KR.md
Volume 19 Robot Machine Learning and AI
04. Semi Supervised Learning
04.01 Semi Supervised Learning Theory Consistency Pseudo Label
준지도학습(Semi-Supervised Learning)은 지도학습(Supervised Learning)과 자기지도학습(Self-Supervised Learning)의 장점을 결합한 학습 방법이다. 실제 로봇 환경에서는 센서 데이터는 매우 쉽게 수집할 수 있지만 사람이 직접 라벨(Label)을 부여하는 작업은 비용과 시간이 많이 든다. 산업용 검사 로봇은 매일 수백만 장의 영상을 생성하고, 자율주행 로봇은 방대한 주행 데이터를 축적하지만 실제로 라벨이 부여되는 데이터는 극히 일부에 불과하다. 준지도학습은 소량의 라벨 데이터와 대량의 비라벨(Unlabeled) 데이터를 함께 사용하여 모델의 일반화 성능을 향상시키며, 데이터 구축 비용을 크게 줄일 수 있는 핵심 기술이다.
준지도학습의 이론적 기반은 비라벨 데이터에도 데이터의 구조와 분포에 대한 중요한 정보가 포함되어 있다는 가정에 있다. 비록 정답 라벨은 존재하지 않지만 데이터들은 서로의 관계, 군집 구조(Cluster Structure), 기하학적 형태(Geometry), 다양체(Manifold) 구조를 자연스럽게 형성한다. 준지도학습은 이러한 구조를 이용하여 적은 양의 라벨 데이터만으로도 더욱 정확한 결정 경계(Decision Boundary)를 학습한다. 즉, 비라벨 데이터를 단순히 버리는 것이 아니라 모델을 더욱 안정적이고 일반화된 방향으로 학습시키는 제약 조건으로 활용한다.
준지도학습에는 몇 가지 중요한 이론적 가정이 존재한다. 첫 번째는 평활성 가정(Smoothness Assumption)이다. 입력 공간(Input Space)이나 잠재 공간(Latent Space)에서 서로 가까운 데이터는 동일한 라벨을 가질 가능성이 높으며, 모델의 출력도 갑자기 변하지 않고 부드럽게 변화해야 한다는 개념이다. 예를 들어 같은 물체를 조명이 조금 달라진 상태에서 촬영하거나 약간의 센서 노이즈가 추가된 경우에도 모델은 동일한 결과를 출력해야 한다. 이러한 원리는 이후 설명하는 일관성 정규화(Consistency Regularization)의 핵심 이론이 된다.
두 번째는 군집 가정(Cluster Assumption)이다. 실제 데이터는 의미적으로 비슷한 샘플끼리 자연스럽게 하나의 군집을 형성하며, 결정 경계는 이러한 군집 내부가 아니라 군집 사이의 밀도가 낮은 영역(Low-Density Region)에 위치해야 한다는 개념이다. 비라벨 데이터만으로도 이러한 군집 구조를 파악할 수 있으며, 준지도학습은 이를 이용하여 더욱 안정적인 분류 경계를 생성한다. 따라서 적은 양의 라벨만으로도 높은 일반화 성능을 얻을 수 있다.
세 번째는 다양체 가정(Manifold Assumption)이다. 카메라 영상, 포인트 클라우드(Point Cloud), 촉각 데이터(Tactile Data), 멀티모달 센서 데이터는 매우 높은 차원을 가지지만 실제로는 훨씬 낮은 차원의 다양체 위에 존재한다고 가정한다. 이는 현실 세계의 물리 법칙과 공간 구조가 일정한 제약을 가지기 때문이다. 비라벨 데이터는 이러한 다양체의 형태를 잘 보여주며, 준지도학습은 이를 이용하여 보다 의미 있는 특징 표현(Feature Representation)을 학습한다.
일관성 정규화(Consistency Regularization)는 현재 가장 성공적인 준지도학습 기법 가운데 하나이다. 핵심 아이디어는 매우 단순하다. 동일한 데이터를 조금 변형하더라도 모델의 예측 결과는 동일해야 한다는 것이다. 입력에는 회전(Rotation), 자르기(Cropping), 색상 변화(Color Jitter), 가우시안 노이즈(Gaussian Noise), 센서 잡음, 시점 변화(Viewpoint Change) 등의 증강(Augmentation)이 적용되지만 의미(Semantics)는 변하지 않는다. 따라서 모델도 동일한 예측을 출력하도록 학습하는 것이 일관성 정규화의 목표이다.
일관성 정규화의 이론적 배경은 안정적인 모델일수록 일반화 능력이 높다는 사실에 기반한다. 작은 입력 변화에도 출력이 크게 달라지는 모델은 학습 데이터에 과적합(Overfitting)될 가능성이 높다. 반대로 입력이 조금 변해도 예측이 거의 동일하게 유지되는 모델은 실제 환경에서도 안정적으로 동작한다. 따라서 동일한 데이터의 다양한 증강 버전에 대해 예측 차이를 최소화하도록 학습하면 비라벨 데이터도 매우 강력한 학습 신호로 활용할 수 있다.
일관성 정규화를 기반으로 다양한 알고리즘이 개발되었다. Π-Model은 동일한 데이터를 여러 번 입력하여 동일한 출력을 생성하도록 학습하며, Temporal Ensembling은 과거의 예측 평균을 목표값(Target)으로 사용한다. Mean Teacher는 학생(Student) 모델과 지수 이동 평균(Exponential Moving Average, EMA)으로 생성한 교사(Teacher) 모델을 이용하여 안정적인 목표를 생성한다. 최근에는 이러한 일관성 정규화와 의사 라벨(Pseudo Label)을 결합한 FixMatch가 가장 대표적인 준지도학습 알고리즘으로 널리 사용되고 있다.
의사 라벨(Pseudo Labeling)은 준지도학습의 또 다른 핵심 기술이다. 사람이 직접 라벨을 붙이는 대신 현재 모델이 비라벨 데이터의 정답을 스스로 예측한다. 예측 확률이 충분히 높은 경우에는 이를 임시 정답(Pseudo Label)으로 사용하여 다시 학습을 수행한다. 모델의 성능이 점점 향상될수록 생성되는 의사 라벨의 품질도 함께 향상되며, 결과적으로 라벨 데이터가 계속 증가하는 것과 같은 효과를 얻을 수 있다.
의사 라벨의 성능은 예측 신뢰도(Confidence)에 크게 의존한다. 잘못된 의사 라벨은 오히려 모델을 잘못된 방향으로 학습시킬 수 있기 때문에 대부분의 알고리즘은 일정한 신뢰도 임계값(Confidence Threshold) 이상인 경우에만 의사 라벨을 사용한다. 신뢰도가 낮은 데이터는 학습에 사용하지 않고 이후 모델 성능이 향상되면 다시 평가한다. 이러한 선택적 학습은 오류 전파(Error Propagation)를 줄이고 안정적인 학습을 가능하게 한다.
신뢰도 추정(Confidence Estimation)은 의사 라벨에서 매우 중요한 역할을 한다. 일반적으로 소프트맥스(Softmax) 확률을 사용하지만, 최근에는 베이지안 추론(Bayesian Inference), 앙상블(Ensemble), 몬테카를로 드롭아웃(Monte Carlo Dropout), 증거 기반 신경망(Evidential Neural Network) 등을 이용하여 더욱 정확한 불확실성(Uncertainty)을 추정하는 연구가 활발히 진행되고 있다. 정확한 신뢰도 추정은 의사 라벨의 품질을 크게 향상시킨다.
FixMatch는 일관성 정규화와 의사 라벨을 결합한 대표적인 알고리즘이다. 먼저 약한 증강(Weak Augmentation)을 적용한 입력으로 의사 라벨을 생성하고, 일정한 신뢰도 이상일 경우 이를 정답으로 사용한다. 이후 강한 증강(Strong Augmentation)을 적용한 동일한 데이터가 같은 의사 라벨을 예측하도록 학습한다. 약한 증강은 의미를 유지하면서 안정적인 라벨을 만들고, 강한 증강은 다양한 환경에서도 동일한 결과를 출력하도록 만든다. 매우 단순한 구조이지만 뛰어난 성능을 보여 현재 가장 널리 활용되는 준지도학습 기법 중 하나이다.
로봇 비전(Robot Vision)에서는 준지도학습의 효과가 매우 크다. 이동 로봇은 카메라, 라이다, IMU, GPS, 깊이 센서 등에서 매일 방대한 데이터를 생성하지만 의미 분할(Semantic Segmentation), 장애물 검출(Object Detection), 위치 추정(Localization) 등에 필요한 라벨 데이터는 매우 적다. 준지도학습은 이러한 비라벨 데이터를 적극 활용하여 인식 성능을 향상시키며, 데이터 구축 비용을 크게 줄여준다.
산업용 로봇에서도 준지도학습은 매우 유용하다. 검사 시스템은 하루에도 수십만 개의 제품을 촬영하지만 불량(Defect)에 대한 라벨을 모두 구축하는 것은 현실적으로 어렵다. 소량의 불량 데이터와 대량의 정상 생산 데이터를 함께 학습하면 제품 검사 정확도를 크게 향상시킬 수 있다. 또한 생산 환경이 변경되더라도 새로운 비라벨 데이터를 이용하여 지속적으로 모델을 개선할 수 있다.
의료 로봇(Medical Robotics) 역시 준지도학습의 대표적인 응용 분야이다. 의료 영상(Medical Imaging), 수술 보조(Surgical Assistance), 재활 로봇(Rehabilitation Robot)은 방대한 데이터를 생성하지만 전문 의료진의 라벨링 비용은 매우 높다. 준지도학습은 적은 의료 라벨과 많은 비라벨 데이터를 함께 이용하여 병변 분할(Segmentation), 이상 탐지(Anomaly Detection), 질병 분류(Classification)의 성능을 향상시키며, 전문가의 부담을 크게 줄일 수 있다.
자율주행(Autonomous Driving)에서도 준지도학습은 핵심 기술이다. 차량은 카메라, 라이다, 레이더(Radar), GPS 데이터를 지속적으로 생성하지만 모든 객체와 차선, 표지판을 사람이 직접 라벨링하는 것은 거의 불가능하다. 준지도학습은 대량의 주행 데이터를 이용하여 객체 인식, 차선 검출(Lane Detection), 경로 예측(Trajectory Prediction) 등의 성능을 크게 향상시킨다.
로봇 조작(Robot Manipulation)에서도 준지도학습은 효과적이다. 수많은 파지(Grasp), 접촉(Contact), 힘(Force), 촉각(Tactile) 데이터가 생성되지만 실제 성공 여부만 일부 기록되는 경우가 많다. 준지도학습은 이러한 비라벨 조작 데이터를 함께 학습하여 물체 조작과 파지 전략을 더욱 안정적으로 학습할 수 있도록 지원한다.
최근에는 자기지도학습(Self-Supervised Learning)과 준지도학습을 함께 사용하는 방식이 일반화되고 있다. 먼저 자기지도학습으로 대규모 비라벨 데이터를 이용하여 범용 표현을 학습한 뒤, 이후 적은 양의 라벨 데이터와 많은 비라벨 데이터를 함께 사용하는 준지도학습으로 세부 작업에 적응한다. 이러한 2단계 학습 방식은 표현 학습과 작업 적응을 모두 최적화하여 단독으로 사용하는 경우보다 훨씬 높은 성능을 제공한다.
최신 로봇 파운데이션 모델(Robot Foundation Model)은 이러한 계층적 학습 구조를 사용한다. 먼저 자기지도학습으로 시각, 공간, 시간, 촉각, 물리 정보를 통합한 범용 표현을 학습하고, 이후 준지도학습을 이용하여 자율주행, 조작, 검사, 지도 작성(Mapping), 인간-로봇 협업(Human-Robot Collaboration) 등 실제 응용 분야에 적응한다. 이는 적은 라벨만으로도 높은 성능을 달성할 수 있는 매우 효율적인 학습 전략이다.
물론 해결해야 할 과제도 존재한다. 초기 단계에서 잘못 생성된 의사 라벨은 확인 편향(Confirmation Bias)을 발생시켜 오류를 계속 강화할 수 있다. 또한 새로운 환경이나 드문 클래스(Rare Class)에서는 신뢰도 추정이 어려우며, 데이터 불균형(Data Imbalance)이 존재하면 일부 클래스만 계속 학습되는 문제가 발생한다. 멀티모달 센서를 사용하는 로봇에서는 여러 센서 간 일관성을 유지하는 것도 중요한 연구 과제로 남아 있다.
최근 연구는 적응형 신뢰도 임계값(Adaptive Confidence Threshold), 불확실성 기반 의사 라벨(Uncertainty-Aware Pseudo Labeling), 커리큘럼 학습(Curriculum Learning), 교사-학생 구조(Teacher-Student Architecture), 확산 모델(Diffusion Model), 그래프 신경망(Graph Neural Network, GNN), 멀티모달 일관성(Multimodal Consistency), 지속학습(Lifelong Learning)을 결합하는 방향으로 발전하고 있다. 또한 강화학습(Reinforcement Learning), 월드 모델(World Model), 비전-언어-행동(Vision-Language-Action, VLA) 모델과도 통합되면서 더욱 범용적인 로봇 지능을 구현하는 핵심 기술로 발전하고 있다.
향후 준지도학습은 피지컬 AI(Physical AI) 시대의 핵심 학습 기술이 될 것으로 전망된다. 미래의 로봇은 대부분의 데이터를 사람의 도움 없이 스스로 수집하고, 일부 중요한 데이터에 대해서만 인간의 피드백을 받을 것이다. 일관성 정규화는 다양한 환경 변화에서도 안정적인 예측을 유지하도록 만들고, 의사 라벨은 신뢰할 수 있는 예측을 새로운 학습 데이터로 활용하게 한다. 이러한 두 기술이 결합됨으로써 로봇은 방대한 비라벨 데이터를 지속적으로 학습하며 새로운 환경에 빠르게 적응하고, 적은 라벨만으로도 사람에 가까운 수준의 학습 능력을 갖춘 범용 로봇 지능으로 발전할 것으로 기대된다.
04.02 Pseudo Labeling for Robot Perception Models [w/Code]
의사 라벨링(Pseudo Labeling)은 로봇 인식(Robot Perception) 모델에서 가장 널리 사용되는 준지도학습(Semi-Supervised Learning) 기법 가운데 하나이다. 현대의 로봇은 카메라(Camera), 라이다(LiDAR), 깊이 카메라(Depth Camera), 레이더(Radar), 관성측정장치(IMU, Inertial Measurement Unit), 촉각 센서(Tactile Sensor), 힘 센서(Force Sensor), GPS(Global Positioning System), 고유감각(Proprioception) 센서 등을 통해 방대한 데이터를 지속적으로 생성한다. 하지만 이러한 데이터를 사람이 직접 라벨링(Labeling)하는 것은 막대한 비용과 시간이 필요하다. 의사 라벨링은 이미 학습된 모델이 스스로 새로운 데이터에 대한 라벨을 생성하여 이를 다시 학습에 활용함으로써, 적은 양의 라벨 데이터만으로도 높은 성능을 달성할 수 있도록 한다.
의사 라벨링의 기본 원리는 매우 단순하다. 먼저 소량의 라벨 데이터만 이용하여 기본적인 인식 모델을 지도학습(Supervised Learning)으로 학습한다. 이후 학습된 모델을 이용하여 대량의 비라벨(Unlabeled) 데이터에 대한 예측을 수행한다. 모델이 높은 확신(Confidence)을 가지는 예측 결과는 임시 정답인 의사 라벨(Pseudo Label)로 저장된다. 이후 이 의사 라벨을 실제 정답처럼 사용하여 모델을 다시 학습한다. 이러한 과정을 반복하면 학습 가능한 데이터가 점점 증가하고 모델의 성능도 지속적으로 향상되는 선순환 구조가 형성된다.
의사 라벨링은 모델이 높은 신뢰도를 가진 예측은 대부분 정확하다는 가정에 기반한다. 신경망은 자신이 충분히 학습한 데이터에 대해서는 매우 높은 확률을 출력하지만, 처음 보는 환경이나 불확실한 데이터에 대해서는 낮은 확률을 출력한다. 따라서 예측 결과의 신뢰도를 이용하면 신뢰할 수 있는 데이터만 선택하여 새로운 학습 데이터로 활용할 수 있다. 이러한 방식은 사람의 개입 없이도 대규모 데이터를 효과적으로 활용할 수 있게 만든다.
신뢰도 임계값(Confidence Threshold)은 의사 라벨링에서 가장 중요한 요소 가운데 하나이다. 임계값이 너무 낮으면 잘못된 예측까지 의사 라벨로 사용되어 오류가 누적될 수 있다. 반대로 임계값이 너무 높으면 사용할 수 있는 의사 라벨의 수가 매우 적어져 준지도학습의 효과가 감소한다. 실제 시스템에서는 데이터의 특성과 모델 성능에 맞추어 적절한 임계값을 선택하거나, 학습이 진행될수록 임계값을 점진적으로 조정하는 적응형 임계값(Adaptive Threshold)을 사용하는 경우가 많다.
로봇 인식은 다양한 작업(Task)으로 구성되며 의사 라벨링은 각각의 작업에서 서로 다른 방식으로 활용된다. 영상 분류(Image Classification)는 새로운 이미지에 대한 클래스(Class)를 자동으로 생성하고, 의미 분할(Semantic Segmentation)은 픽셀 단위의 라벨을 생성한다. 객체 검출(Object Detection)은 바운딩 박스(Bounding Box)를 생성하며, 깊이 추정(Depth Estimation), 자세 추정(Pose Estimation), 이상 탐지(Anomaly Detection) 등도 모두 의사 라벨을 이용하여 성능을 향상시킬 수 있다. 따라서 의사 라벨링은 거의 모든 로봇 인식 분야에서 활용되는 범용 기술이다.
의미 분할은 의사 라벨링이 가장 활발하게 활용되는 분야 가운데 하나이다. 이동 로봇은 주행 가능한 영역(Traversable Area), 장애물(Obstacle), 사람(Human), 차량(Vehicle), 건물(Building), 장비(Equipment) 등을 픽셀 단위로 구분해야 한다. 그러나 픽셀마다 사람이 직접 라벨을 부여하는 것은 매우 많은 비용이 든다. 의사 라벨링은 소량의 라벨 영상으로 학습한 모델이 수백만 장의 비라벨 영상에 대해 의미 분할 결과를 생성하고, 이를 다시 학습하여 다양한 환경과 조명 변화에서도 더욱 강인한 분할 성능을 제공한다.
객체 검출(Object Detection) 역시 의사 라벨링의 대표적인 응용 분야이다. 물류 로봇은 박스(Box), 팔레트(Pallet), 지게차(Forklift), 사람 등을 인식해야 하고, 산업용 로봇은 부품(Component), 공구(Tool), 설비(Equipment)를 인식해야 한다. 기존에는 모든 객체를 사람이 직접 라벨링해야 했지만, 의사 라벨링은 기존 검출기가 높은 신뢰도로 검출한 객체를 새로운 학습 데이터로 사용하여 다양한 환경에서도 객체 검출 성능을 지속적으로 향상시킨다.
3차원 인식(3D Perception)에서도 의사 라벨링의 중요성이 커지고 있다. 라이다 포인트 클라우드(Point Cloud), RGB-D 데이터, 점유 지도(Occupancy Grid)는 2차원 영상보다 라벨링 비용이 훨씬 높다. 의사 라벨링은 이미 학습된 모델을 이용하여 포인트 단위의 의미 정보를 자동으로 생성하며, 시간적으로 연속된 라이다 데이터를 함께 활용하여 더욱 정확한 3차원 환경 이해를 수행한다. 이는 자율주행과 지도 작성(Mapping) 분야에서 매우 중요한 기술이다.
위치 추정(Localization)과 동시적 위치추정 및 지도작성(SLAM, Simultaneous Localization and Mapping)에서도 의사 라벨링은 간접적으로 활용된다. 장소 인식(Place Recognition), 루프 클로저(Loop Closure), 랜드마크(Landmark) 인식 등에서 모델이 높은 신뢰도로 동일 장소를 인식하면 이를 새로운 학습 데이터로 활용하여 위치 추정 성능을 지속적으로 향상시킬 수 있다. 장기간 운용되는 자율주행 로봇에서는 이러한 지속적인 학습이 매우 중요하다.
자율주행(Autonomous Driving)은 의사 라벨링이 가장 활발히 적용되는 분야 가운데 하나이다. 차량은 카메라, 라이다, 레이더, GPS 데이터를 매일 수집하지만 차선(Lane), 차량(Vehicle), 보행자(Pedestrian), 교통 표지판(Traffic Sign) 등을 모두 사람이 라벨링하는 것은 현실적으로 불가능하다. 의사 라벨링은 이미 학습된 인식 모델을 이용하여 새로운 주행 데이터를 자동으로 라벨링하고, 이를 이용하여 다양한 기후와 도로 환경에서도 인식 성능을 향상시킨다.
산업용 검사 로봇에서도 의사 라벨링은 매우 효과적이다. 생산 공정에서는 정상 제품이 대부분이며 불량(Defect)은 상대적으로 매우 적다. 따라서 불량 데이터를 충분히 확보하기 어렵다. 검사 모델은 소량의 불량 데이터를 이용하여 학습한 뒤 대량의 생산 데이터를 자동으로 분류하고, 신뢰도가 높은 결과를 의사 라벨로 사용하여 검사 모델을 지속적으로 개선한다. 이를 통해 품질 검사 정확도를 높이고 전문가의 라벨링 부담을 크게 줄일 수 있다.
농업 로봇(Agricultural Robotics)도 의사 라벨링의 중요한 응용 분야이다. 수확 로봇, 잡초 탐지, 병충해 진단, 작물 모니터링 시스템은 계절, 날씨, 조명 조건에 따라 매우 다양한 영상을 생성한다. 이러한 데이터를 모두 라벨링하는 것은 현실적으로 어렵다. 의사 라벨링은 작물(Crop), 잡초(Weed), 과일(Fruit), 병해(Disease)를 자동으로 라벨링하여 계절 변화에도 강인한 인식 모델을 구축할 수 있도록 지원한다.
의료 로봇(Medical Robotics)에서는 전문가의 라벨링 비용이 매우 높기 때문에 의사 라벨링의 가치가 더욱 크다. 의료 영상(Medical Image), 수술 보조(Surgical Assistance), 재활 로봇(Rehabilitation Robot)은 방대한 데이터를 생성하지만 전문 의료진만이 정확한 라벨을 생성할 수 있다. 의사 라벨링은 병변 분할(Lesion Segmentation), 장기 인식(Organ Segmentation), 질병 분류(Disease Classification) 등에 활용되어 전문가의 부담을 줄이면서도 높은 정확도를 유지할 수 있도록 한다.
교사-학생(Teacher-Student) 구조는 의사 라벨링에서 가장 성공적인 방법 가운데 하나이다. 교사 모델(Teacher Model)은 비라벨 데이터에 대해 의사 라벨을 생성하고, 학생 모델(Student Model)은 실제 라벨과 의사 라벨을 함께 사용하여 학습한다. 일반적으로 교사 모델은 학생 모델의 가중치를 지수 이동 평균(Exponential Moving Average, EMA)으로 업데이트하여 더욱 안정적인 예측을 생성한다. 이러한 구조는 Mean Teacher 알고리즘의 핵심이며 의사 라벨의 품질을 크게 향상시킨다.
FixMatch는 의사 라벨링과 일관성 정규화(Consistency Regularization)를 결합한 대표적인 알고리즘이다. 먼저 약한 증강(Weak Augmentation) 이미지를 이용하여 의사 라벨을 생성하고, 신뢰도가 충분히 높은 경우에만 이를 채택한다. 이후 강한 증강(Strong Augmentation)을 적용한 동일한 이미지도 동일한 의사 라벨을 예측하도록 학습한다. 이러한 방식은 조명 변화, 시점 변화, 센서 노이즈 등 실제 로봇 환경에서도 매우 강인한 인식 모델을 구축할 수 있도록 한다.
멀티모달 의사 라벨링(Multimodal Pseudo Labeling)은 최근 매우 활발히 연구되고 있다. 카메라, 라이다, 레이더, 깊이 카메라, 열화상 카메라(Thermal Camera), 촉각 센서 등이 동일한 환경을 서로 다른 방식으로 관측한다. 예를 들어 카메라에서 신뢰도 높은 객체 검출 결과를 라이다 의미 분할(Semantic Segmentation)의 학습 데이터로 사용할 수 있다. 이러한 교차 모달(Cross-Modal) 학습은 센서 융합(Sensor Fusion)과 로봇 파운데이션 모델의 성능을 크게 향상시킨다.
시간적 일관성(Temporal Consistency)도 의사 라벨의 품질을 높이는 중요한 요소이다. 로봇이 연속적으로 관측하는 영상은 대부분 매우 유사하기 때문에 연속 프레임의 예측 결과도 크게 변하지 않아야 한다. 객체 추적(Object Tracking), 궤적 추정(Trajectory Estimation), 시간적 평활화(Temporal Smoothing)를 이용하면 개별 프레임에서 발생하는 오류를 줄이고 더욱 안정적인 의사 라벨을 생성할 수 있다.
최근에는 불확실성 추정(Uncertainty Estimation)이 의사 라벨링의 핵심 기술로 발전하고 있다. 단순한 소프트맥스(Softmax) 확률만으로는 항상 정확한 신뢰도를 얻을 수 없다. 따라서 베이지안 신경망(Bayesian Neural Network), 몬테카를로 드롭아웃(Monte Carlo Dropout), 딥 앙상블(Deep Ensemble), 확률적 트랜스포머(Probabilistic Transformer) 등을 이용하여 예측의 불확실성을 함께 추정하고, 신뢰할 수 있는 데이터만 의사 라벨로 사용하는 연구가 활발히 진행되고 있다.
물론 의사 라벨링에도 해결해야 할 문제가 존재한다. 가장 큰 문제는 확인 편향(Confirmation Bias)이다. 초기 모델이 잘못된 의사 라벨을 생성하면 이후 학습 과정에서 동일한 오류가 계속 강화될 수 있다. 또한 희귀 클래스(Rare Class)는 의사 라벨이 충분히 생성되지 않아 데이터 불균형(Data Imbalance)이 발생할 수 있으며, 새로운 환경이나 미학습 객체(OOD, Out-of-Distribution)에서는 신뢰도가 매우 높아도 실제로는 잘못된 예측일 가능성이 존재한다.
최근 연구는 적응형 신뢰도 조절(Adaptive Confidence Scheduling), 커리큘럼 학습(Curriculum Learning), 능동학습(Active Learning), 그래프 기반 의사 라벨(Graph-Based Pseudo Labeling), 확산 모델(Diffusion Model), 멀티모달 교사-학생 구조(Multimodal Teacher-Student Architecture), 지속학습(Lifelong Learning)을 결합하는 방향으로 발전하고 있다. 또한 자기지도학습(Self-Supervised Learning), 월드 모델(World Model), 강화학습(Reinforcement Learning), 비전-언어-행동(Vision-Language-Action, VLA) 모델과도 통합되면서 더욱 강력한 로봇 인식 시스템을 구축하고 있다.
향후 의사 라벨링은 로봇 파운데이션 모델(Robot Foundation Model)의 지속학습(Continual Learning)을 위한 핵심 기술이 될 것으로 전망된다. 미래의 로봇은 공장, 병원, 창고, 농장, 가정 등 다양한 환경에서 수십억 개의 멀티모달 데이터를 스스로 수집하게 될 것이다. 모든 데이터를 사람이 라벨링하는 것은 불가능하기 때문에, 로봇은 자신이 높은 신뢰도로 예측한 결과를 새로운 학습 데이터로 활용하여 스스로 성장하게 된다. 여기에 일관성 정규화, 불확실성 추정, 월드 모델, 멀티모달 파운데이션 모델이 결합되면, 사람의 개입을 최소화하면서도 실제 환경에 지속적으로 적응하는 범용 피지컬 AI의 핵심 학습 기술로 발전할 것으로 기대된다.
04.03 Mean Teacher and Temporal Ensembling [w/Code]
평균 교사(Mean Teacher)와 시간 앙상블링(Temporal Ensembling)은 준지도학습(Semi-Supervised Learning)을 대표하는 핵심 알고리즘으로, 라벨이 없는 데이터를 효과적으로 활용하기 위해 개발되었다. 두 방법 모두 일관성 정규화(Consistency Regularization)를 기반으로 하며, 동일한 데이터가 다양한 증강(Augmentation)이나 시간의 흐름에 따라 입력되더라도 모델은 동일한 예측을 해야 한다는 원리를 따른다. 이러한 기법은 컴퓨터 비전(Computer Vision), 의료 영상(Medical Imaging), 자율주행(Autonomous Driving), 로봇 인식(Robot Perception) 등에서 널리 활용되고 있으며, 적은 양의 라벨 데이터만으로도 높은 성능을 달성할 수 있도록 지원한다.
준지도학습은 서로 가까운 데이터는 동일한 의미를 가진다는 가정에 기반한다. 로봇이 연속적으로 촬영한 카메라 영상, 라이다(LiDAR) 스캔, 깊이 영상(Depth Image), 촉각(Tactile) 데이터는 센서 잡음이나 시점(Viewpoint) 변화가 있더라도 실제 환경은 거의 동일하다. 따라서 안정적인 모델이라면 이러한 작은 변화에도 동일한 예측을 유지해야 한다. 평균 교사와 시간 앙상블링은 이러한 일관성을 학습의 핵심 목표로 삼으며, 비라벨 데이터를 새로운 학습 신호로 활용한다.
시간 앙상블링은 일관성 기반 준지도학습의 초기 대표 알고리즘이다. 핵심 아이디어는 동일한 데이터에 대해 여러 학습 단계(Epoch)에서 생성된 예측을 저장하고 평균을 내어 더 신뢰할 수 있는 목표(Target)를 만드는 것이다. 모델은 학습 과정에서 동일한 데이터에 대해 반복적으로 예측을 수행하며, 이전 예측을 버리지 않고 지수 이동 평균(Exponential Moving Average, EMA) 형태로 누적한다. 이렇게 생성된 평균 예측은 이후 학습에서 새로운 지도 신호로 사용된다.
시간 앙상블링의 핵심 원리는 개별 예측은 불안정할 수 있지만 여러 번의 예측을 평균하면 훨씬 안정적인 결과를 얻을 수 있다는 것이다. 드롭아웃(Dropout), 미니배치(Mini-Batch), 초기 가중치(Random Initialization) 등의 영향으로 한 번의 예측은 흔들릴 수 있지만, 여러 번의 예측을 평균하면 실제 정답에 가까워진다. 따라서 과거의 예측을 누적하여 생성한 앙상블 결과는 비라벨 데이터에 대한 매우 유용한 학습 목표가 된다.
시간 앙상블링에서는 각 학습 데이터마다 예측 결과를 저장하는 메모리를 유지한다. 매 학습 주기마다 새로운 예측을 이전의 평균과 결합하여 업데이트하며, 오래된 정보는 점차 비중이 줄어들고 최신 정보는 더 큰 영향을 미친다. 또한 초기 학습 단계에서 평균값이 왜곡되지 않도록 편향 보정(Bias Correction)도 함께 수행한다. 이러한 평균 예측이 이후 모델이 따라야 하는 목표값으로 사용된다.
시간 앙상블링의 학습은 일관성 손실(Consistency Loss)을 최소화하는 방향으로 진행된다. 하나의 데이터를 여러 형태로 증강하여 입력하고, 현재 모델의 예측이 과거 평균 예측과 최대한 동일하도록 학습한다. 영상에서는 회전(Rotation), 좌우 반전(Flip), 색상 변화(Color Jitter), 가우시안 노이즈(Gaussian Noise) 등을 사용하며, 로봇 센서에서는 센서 잡음이나 시점 변화를 적용한다. 이를 통해 결정 경계(Decision Boundary)가 더욱 부드럽고 안정적으로 형성된다.
하지만 시간 앙상블링은 데이터마다 예측 결과를 저장해야 하기 때문에 대규모 데이터셋에서는 메모리 사용량이 매우 커진다. 또한 모든 예측을 한 학습 주기(Epoch)가 끝난 후에야 업데이트할 수 있기 때문에 학습 속도가 느리고 실시간성이 떨어진다. 이러한 한계를 해결하기 위해 제안된 알고리즘이 평균 교사(Mean Teacher)이다.
평균 교사는 저장된 예측 대신 두 개의 신경망을 사용하는 구조를 제안하였다. 하나는 학생 모델(Student Model)이고, 다른 하나는 교사 모델(Teacher Model)이다. 학생 모델은 일반적인 방식으로 학습되며, 교사 모델은 학생 모델의 가중치를 지수 이동 평균으로 갱신한다. 따라서 교사 모델은 여러 시점의 학생 모델을 평균한 것과 유사한 효과를 가지며, 항상 더욱 안정적인 예측을 생성한다.
평균 교사의 가장 큰 특징은 교사 모델이 직접 역전파(Backpropagation)로 학습되지 않는다는 점이다. 학생 모델만 손실 함수를 이용하여 업데이트되고, 교사 모델은 학생 모델의 가중치를 EMA 방식으로 천천히 따라간다. 따라서 교사 모델은 순간적인 변화에 영향을 적게 받고, 여러 학습 단계를 평균한 안정적인 모델이 된다. 결과적으로 교사 모델이 생성하는 예측은 학생 모델보다 일반적으로 더 안정적이며 신뢰도가 높다.
지수 이동 평균(EMA)은 평균 교사의 핵심이다. 매 학습 단계마다 교사의 가중치는 이전 교사 모델과 현재 학생 모델의 가중치를 일정 비율로 혼합하여 업데이트된다. 업데이트 비율이 작을수록 교사는 더욱 천천히 변화하며, 결과적으로 수많은 학생 모델의 평균과 비슷한 성능을 갖는다. 이는 여러 개의 모델을 앙상블하는 것과 유사한 효과를 매우 적은 계산 비용으로 구현할 수 있게 해준다.
평균 교사에서는 동일한 데이터를 서로 다른 증강 형태로 학생과 교사에게 입력한다. 교사는 하나의 증강 데이터를 보고 예측을 생성하고, 학생은 다른 형태의 증강 데이터를 입력받는다. 두 데이터는 모양은 다르지만 의미는 동일하기 때문에 학생은 교사의 예측과 최대한 같은 결과를 출력하도록 학습한다. 동시에 라벨 데이터는 일반적인 지도학습으로 학습되므로 지도학습과 준지도학습이 함께 이루어진다.
로봇 인식에서는 평균 교사의 효과가 매우 크다. 이동 로봇은 동일한 복도, 창고, 공장, 작업장을 다양한 조명과 각도에서 반복적으로 관측한다. 평균 교사는 이러한 다양한 환경 변화에도 동일한 인식 결과를 유지하도록 학습하여 실제 환경에서 훨씬 강인한 인식 모델을 생성한다. 또한 적은 양의 라벨만으로도 대량의 비라벨 데이터를 효과적으로 활용할 수 있다.
의미 분할(Semantic Segmentation)은 평균 교사의 대표적인 응용 분야이다. 자율주행 로봇은 도로, 장애물, 사람, 설비, 식생(Vegetation), 작업 구역 등을 픽셀 단위로 구분해야 하지만 이러한 라벨링은 매우 많은 비용이 든다. 평균 교사는 소량의 라벨 데이터와 대량의 비라벨 영상을 함께 사용하여 더욱 정확하고 안정적인 의미 분할 모델을 학습할 수 있도록 지원한다.
객체 검출(Object Detection)에서도 평균 교사는 매우 효과적이다. 물류 로봇은 박스(Box), 팔레트(Pallet), 작업자(Worker), 지게차(Forklift)를 인식하고, 산업용 로봇은 부품(Component), 공구(Tool), 결함(Defect)을 검출해야 한다. 교사 모델이 생성한 안정적인 예측을 이용하면 학생 모델은 다양한 환경 변화에도 높은 검출 성능을 유지할 수 있으며, 대량의 비라벨 영상도 효과적으로 활용할 수 있다.
3차원 인식(3D Perception)에서도 평균 교사는 중요한 역할을 한다. 라이다 포인트 클라우드(Point Cloud), RGB-D 영상, 점유 지도(Occupancy Grid)는 라벨링 비용이 매우 높다. 평균 교사는 연속된 스캔과 다양한 시점(Viewpoint)에서 안정적인 의미 정보를 생성하여 지도 작성(Mapping), 장애물 회피(Obstacle Avoidance), 위치 추정(Localization), 환경 재구성(Scene Reconstruction)의 성능을 크게 향상시킨다.
시간적 일관성(Temporal Consistency)은 평균 교사와 매우 잘 결합된다. 연속적으로 촬영된 영상은 대부분 동일한 환경을 나타내므로 예측 결과도 크게 달라지지 않아야 한다. 평균 교사는 이러한 시간 정보를 이용하여 연속 프레임 간의 예측을 일관되게 유지하도록 학습한다. 이는 자율주행, 감시(Surveillance), 장기 지도 작성(Long-Term Mapping), 산업 모니터링에서 매우 중요한 역할을 수행한다.
멀티모달 인식(Multimodal Perception)에서도 평균 교사는 활용된다. 카메라, 라이다, 레이더(Radar), 깊이 센서, 촉각 센서, 힘 센서 등은 동일한 환경을 서로 다른 방식으로 측정한다. 평균 교사는 하나의 센서에서 생성된 안정적인 예측을 다른 센서의 학습 목표로 사용할 수 있으며, 이를 통해 센서 융합(Sensor Fusion)과 멀티모달 표현(Multimodal Representation)의 성능을 크게 향상시킨다.
자율주행에서는 평균 교사가 이미 널리 활용되고 있다. 차량은 카메라, 라이다, 레이더, GPS, IMU 데이터를 지속적으로 수집하며, 교사 모델은 이러한 데이터를 이용하여 차량, 보행자(Pedestrian), 차선(Lane), 교통 표지판(Traffic Sign), 도로 경계(Road Boundary)를 안정적으로 인식한다. 이러한 방식은 농업 로봇, 광산 로봇, 드론(Drone), 건설 장비에도 동일하게 적용되고 있다.
의료 로봇(Medical Robotics)에서도 평균 교사는 전문가의 라벨링 부담을 크게 줄여준다. 의료 영상, 수술 로봇, 재활 시스템은 방대한 데이터를 생성하지만 전문가의 라벨링 비용이 매우 높다. 평균 교사는 장기 분할(Organ Segmentation), 병변 검출(Lesion Detection), 조직 분류(Tissue Classification)의 정확도를 향상시키면서 적은 양의 라벨만으로도 높은 성능을 유지할 수 있도록 지원한다.
평균 교사는 시간 앙상블링보다 여러 가지 장점을 가진다. 데이터별 예측을 저장하지 않기 때문에 메모리 사용량이 데이터 크기와 무관하며, 학습 도중에도 교사 모델이 지속적으로 업데이트되어 즉시 새로운 목표를 생성할 수 있다. 또한 분산 학습(Distributed Training)이 쉽고, 학습 속도가 빠르며, 최종 성능도 일반적으로 더 우수하다. 이러한 이유로 현재는 시간 앙상블링보다 평균 교사가 훨씬 널리 사용되고 있다.
물론 평균 교사에도 해결해야 할 과제가 있다. 초기 교사 모델의 품질이 낮으면 잘못된 예측을 생성할 수 있으며, EMA 계수를 너무 크게 설정하면 적응 속도가 느려지고 너무 작게 설정하면 안정성이 감소한다. 또한 새로운 환경(Domain Shift), 희귀 객체(Rare Object), 센서 고장(Sensor Failure), 매우 동적인 환경에서는 교사 모델의 신뢰도가 떨어질 수 있다. 따라서 적절한 데이터 증강과 파라미터 설정이 매우 중요하다.
최근 연구는 평균 교사를 불확실성 추정(Uncertainty Estimation), 적응형 일관성 가중치(Adaptive Consistency Weighting), 커리큘럼 학습(Curriculum Learning), 멀티모달 교사(Multimodal Teacher), 트랜스포머(Transformer), 확산 모델(Diffusion Model), 그래프 신경망(Graph Neural Network, GNN), 지속학습(Lifelong Learning)과 결합하는 방향으로 발전하고 있다. 또한 의사 라벨링(Pseudo Labeling), 자기지도학습(Self-Supervised Learning), 월드 모델(World Model), 강화학습(Reinforcement Learning), 비전-언어-행동(Vision-Language-Action, VLA) 모델과 통합되어 범용 로봇 지능의 핵심 기술로 발전하고 있다.
향후 평균 교사와 시간 앙상블링은 로봇 파운데이션 모델(Robot Foundation Model)의 준지도학습을 위한 핵심 기술로 계속 활용될 것으로 전망된다. 미래의 로봇은 수십억 개의 멀티모달 데이터를 스스로 수집하고, 극히 일부의 인간 피드백만 이용하여 지속적으로 학습하게 된다. 안정적인 교사 모델, 과거 예측의 평균화, 시간적 일관성, 멀티모달 정렬(Multimodal Alignment), 불확실성 기반 학습이 결합되면, 로봇은 방대한 비라벨 데이터를 이용하여 스스로 인식 능력을 지속적으로 향상시키는 범용 피지컬 AI(Physical AI)의 핵심 학습 구조를 구현하게 될 것이다.
04.04 FixMatch FlexMatch for Robot Image Classification [w/Code]
FixMatch와 FlexMatch는 이미지 분류(Image Classification)를 위한 대표적인 준지도학습(Semi-Supervised Learning) 알고리즘으로, 적은 양의 라벨(Label) 데이터와 방대한 비라벨(Unlabeled) 데이터를 함께 활용하여 높은 인식 성능을 달성하도록 설계되었다. 현대의 로봇은 RGB 카메라(RGB Camera), 스테레오 카메라(Stereo Camera), 깊이 카메라(Depth Camera), 산업용 검사 카메라 등 다양한 영상 센서를 통해 막대한 양의 데이터를 생성한다. 그러나 이러한 데이터를 사람이 직접 모두 라벨링하는 것은 현실적으로 어렵다. FixMatch는 의사 라벨(Pseudo Label)과 일관성 정규화(Consistency Regularization)를 결합하여 이 문제를 해결하였고, FlexMatch는 클래스(Class)별 적응형 신뢰도 임계값을 도입하여 이를 더욱 발전시킨 알고리즘이다.
FixMatch의 기본 아이디어는 사람의 인식 방식에서 출발한다. 사람은 같은 컵을 밝은 곳에서 보든 어두운 곳에서 보든, 또는 약간 다른 각도에서 보더라도 동일한 컵으로 인식한다. 로봇 역시 조명(Illumination), 시점(Viewpoint), 카메라 품질이 달라져도 동일한 객체를 같은 클래스로 분류해야 한다. 이를 위해 FixMatch는 동일한 이미지에 대해 약한 증강(Weak Augmentation)과 강한 증강(Strong Augmentation)을 적용한 후, 두 경우 모두 동일한 결과를 예측하도록 학습한다. 이러한 일관성 학습은 실제 환경 변화에도 강인한 인식 모델을 구축하는 핵심 원리이다.
FixMatch는 크게 두 가지 요소로 구성된다. 첫 번째는 의사 라벨 생성(Pseudo Label Generation)이다. 모델이 비라벨 데이터에 대해 예측한 결과 중 신뢰도(Confidence)가 충분히 높은 경우 이를 임시 정답으로 사용한다. 두 번째는 일관성 정규화이다. 약한 증강 이미지에서 생성한 의사 라벨을 이용하여 강한 증강 이미지도 동일한 결과를 출력하도록 학습한다. 이 두 과정을 반복하면 사람의 추가적인 라벨링 없이도 대량의 비라벨 데이터를 효과적으로 학습할 수 있다.
약한 증강과 강한 증강의 차이는 FixMatch의 핵심이다. 약한 증강은 좌우 반전(Flip), 약간의 이동(Translation), 작은 자르기(Cropping), 밝기 변화(Brightness Adjustment)처럼 원래 이미지의 의미를 거의 그대로 유지하는 변환이다. 이러한 이미지는 안정적인 의사 라벨을 생성하는 데 사용된다. 반면 강한 증강은 RandAugment, 색상 왜곡(Color Distortion), 기하학적 변환(Geometric Transformation), 대비 변화(Contrast Modification), Cutout 등을 적용하여 이미지의 외형을 크게 변화시킨다. 그러나 객체의 의미는 변하지 않기 때문에 모델은 동일한 클래스를 예측해야 하며, 이를 통해 높은 일반화 성능을 얻게 된다.
FixMatch에서 의사 라벨은 신뢰도 기반으로 생성된다. 모델은 약한 증강 이미지를 입력받아 소프트맥스(Softmax) 확률을 계산하며, 가장 높은 확률이 일정 임계값(Threshold), 일반적으로 약 0.95 이상이면 해당 클래스를 의사 라벨로 채택한다. 반대로 신뢰도가 낮은 경우에는 해당 데이터를 학습에 사용하지 않는다. 이러한 선택적 학습은 잘못된 의사 라벨이 모델을 오염시키는 것을 방지하고, 신뢰할 수 있는 데이터만 학습에 활용하도록 만든다.
생성된 의사 라벨은 강한 증강 이미지의 학습 목표(Target)로 사용된다. 약한 증강과 강한 증강은 동일한 원본 이미지에서 생성되었기 때문에 의미는 완전히 동일하다. 따라서 강한 증강 이미지도 동일한 의사 라벨을 예측하도록 학습한다. 이 과정은 환경 변화에도 예측이 흔들리지 않는 모델을 만들며, 비라벨 데이터를 실제 라벨 데이터처럼 활용할 수 있도록 한다.
FixMatch의 전체 손실 함수(Loss Function)는 지도학습과 준지도학습을 동시에 포함한다. 라벨 데이터는 일반적인 교차 엔트로피(Cross Entropy) 손실을 사용하며, 비라벨 데이터는 신뢰도가 충분히 높은 경우에만 의사 라벨 손실을 계산한다. 또한 두 손실의 비중을 조절하는 가중치(Weight)를 이용하여 학습을 안정적으로 수행한다. 학습이 진행될수록 신뢰도가 높은 데이터가 증가하므로 활용 가능한 데이터의 양도 지속적으로 늘어나게 된다.
FixMatch는 구조가 매우 단순하면서도 뛰어난 성능을 보여 준지도학습 분야에서 큰 주목을 받았다. 기존의 복잡한 교사-학생(Teacher-Student) 구조나 예측 메모리(Prediction Memory), 앙상블(Ensemble) 기법 없이도 단순한 이미지 증강, 의사 라벨, 신뢰도 임계값만으로 ImageNet, CIFAR, SVHN 등 다양한 벤치마크(Benchmark)에서 최고 수준의 성능을 달성하였다. 구현이 쉽고 계산량도 적기 때문에 실제 로봇 시스템에도 매우 적합하다.
로봇 이미지 분류(Robot Image Classification)는 FixMatch의 대표적인 응용 분야이다. 서비스 로봇은 가구(Furniture), 가전제품(Appliance), 문(Door), 공구(Tool), 생활용품(Household Object)을 지속적으로 관찰하며, 산업용 로봇은 다양한 부품과 제품을 검사한다. 농업 로봇은 작물(Crop), 잡초(Weed), 과일(Fruit), 병해(Disease)를 분류해야 한다. 이러한 환경에서는 비라벨 데이터가 압도적으로 많기 때문에 FixMatch를 적용하면 적은 라벨만으로도 매우 높은 분류 성능을 달성할 수 있다.
물류 창고(Warehouse) 환경에서도 FixMatch는 매우 효과적이다. 창고에서는 박스(Box), 팔레트(Pallet), 선반(Shelf), 작업자(Worker), 지게차(Forklift)가 다양한 조명과 시점에서 반복적으로 관찰된다. 약한 증강은 안정적인 의사 라벨을 생성하고, 강한 증강은 부분 가림(Occlusion), 모션 블러(Motion Blur), 조명 변화에도 동일한 객체를 인식하도록 학습시킨다. 결과적으로 창고 환경에 매우 강인한 인식 모델을 구축할 수 있다.
산업용 검사(Industrial Inspection)에서도 FixMatch는 뛰어난 효과를 보인다. 전자 부품, 자동차 부품, 기계 조립품, 반도체(Semiconductor), 의약품(Pharmaceutical) 등은 대부분 정상 제품이며 불량(Defect)은 상대적으로 적다. 적은 불량 데이터와 대량의 정상 생산 데이터를 함께 학습하면 의사 라벨을 이용하여 검사 성능을 지속적으로 향상시킬 수 있으며, 전문가의 라벨링 비용도 크게 절감된다.
의료 로봇(Medical Robotics)에서도 FixMatch는 활용된다. 의료 영상(Medical Imaging), 수술 로봇(Surgical Robot), 재활 시스템(Rehabilitation System)은 방대한 데이터를 생성하지만 전문가의 라벨링 비용이 매우 높다. FixMatch는 적은 의료 라벨과 많은 비라벨 영상을 함께 사용하여 질병 분류(Disease Classification), 조직 인식(Tissue Recognition), 수술 장면 이해(Surgical Scene Understanding)의 정확도를 향상시킬 수 있다.
FixMatch는 뛰어난 성능을 보이지만 하나의 한계가 존재한다. 모든 클래스에 동일한 신뢰도 임계값을 사용하는 것이다. 실제 학습에서는 어떤 클래스는 매우 빠르게 학습되지만, 다른 클래스는 학습 속도가 느릴 수 있다. 하나의 고정된 임계값은 쉬운 클래스에는 적합하지만 어려운 클래스에서는 지나치게 엄격하여 활용 가능한 의사 라벨이 부족해질 수 있다. 이러한 문제를 해결하기 위해 제안된 알고리즘이 FlexMatch이다.
FlexMatch는 클래스별 적응형 신뢰도 임계값(Class-Adaptive Confidence Threshold)을 도입하였다. 모든 클래스에 동일한 기준을 적용하지 않고, 각 클래스의 학습 진행 정도에 따라 임계값을 자동으로 조정한다. 이미 충분히 학습된 클래스는 높은 임계값을 사용하고, 아직 학습이 부족한 클래스는 더 낮은 임계값을 사용하여 더 많은 의사 라벨을 활용한다. 이러한 방식은 클래스 간 학습 균형을 크게 향상시킨다.
FlexMatch의 핵심 아이디어는 사람의 교육 방식과 유사하다. 교사는 모든 학생에게 동일한 수준의 문제를 제시하지 않고, 학습 수준에 맞추어 난이도를 조절한다. FlexMatch도 쉬운 클래스에는 더 엄격한 기준을 적용하고, 어려운 클래스에는 완화된 기준을 적용하여 모든 클래스가 균형 있게 학습되도록 한다. 이로 인해 전체적인 학습 효율과 최종 성능이 크게 향상된다.
FlexMatch는 각 클래스의 학습 상태를 자동으로 추정한다. 특정 클래스에서 신뢰도 높은 의사 라벨이 많이 생성되면 해당 클래스의 임계값은 점차 높아지고, 아직 의사 라벨이 적은 클래스는 낮은 임계값을 유지한다. 이러한 적응형 커리큘럼(Curriculum) 방식은 사람이 별도로 학습 일정을 설계하지 않아도 데이터 자체가 학습 속도를 결정하도록 만든다.
로봇 환경에서는 클래스 불균형(Class Imbalance)이 매우 심하기 때문에 FlexMatch의 장점이 더욱 크다. 이동 로봇은 의자(Chair)나 책상(Table)은 자주 보지만 소화기(Fire Extinguisher)나 비상 장비(Emergency Equipment)는 거의 보지 못한다. 산업용 검사에서는 정상 제품은 매우 많지만 불량품은 드물다. 농업에서는 건강한 작물은 많지만 병든 작물은 적다. FlexMatch는 이러한 희귀 클래스(Rare Class)도 충분히 학습할 수 있도록 지원하여 실제 환경에서 더욱 높은 성능을 제공한다.
자율주행(Autonomous Navigation)에서도 FlexMatch는 매우 유용하다. 일반 도로, 건물(Building), 차량(Vehicle), 보행자(Pedestrian)는 자주 등장하지만 공사 구간(Construction Zone), 긴급 차량(Emergency Vehicle), 특수 표지판(Special Traffic Sign)은 매우 드물다. FlexMatch는 이러한 드문 객체도 초기부터 효과적으로 학습할 수 있도록 하여 안전성과 일반화 성능을 향상시킨다.
최근의 로봇 파운데이션 모델(Robot Foundation Model)은 FixMatch와 FlexMatch를 자기지도학습(Self-Supervised Learning) 이후의 적응 단계에서 활용한다. 먼저 대규모 비라벨 데이터로 대조학습(Contrastive Learning), 마스크드 오토인코더(Masked Autoencoder, MAE), 예측 부호화(Predictive Coding), 월드 모델(World Model)을 이용하여 범용 표현을 학습한다. 이후 FixMatch나 FlexMatch를 이용하여 소량의 라벨 데이터와 대량의 비라벨 데이터를 함께 사용하여 특정 작업에 적응한다. 이러한 계층적 학습 구조는 매우 높은 데이터 효율성과 일반화 성능을 제공한다.
최신 연구에서는 FixMatch와 FlexMatch를 교사-학생 구조(Teacher-Student), 불확실성 추정(Uncertainty Estimation), 멀티모달 인식(Multimodal Perception), 지속학습(Lifelong Learning), 능동학습(Active Learning), 확산 모델(Diffusion Model), 비전 트랜스포머(Vision Transformer, ViT), 비전-언어-행동(Vision-Language-Action, VLA) 모델과 결합하는 방향으로 발전시키고 있다. 이를 통해 단순한 이미지 분류를 넘어 자율주행, 조작, 검사, 지도 작성(Mapping), 인간-로봇 협업(Human-Robot Collaboration)까지 지원하는 범용 로봇 인식 시스템을 구축하고 있다.
물론 두 알고리즘에도 해결해야 할 과제는 존재한다. 초기 단계에서 잘못 생성된 의사 라벨은 모델의 오류를 강화할 수 있으며, 라벨 데이터와 비라벨 데이터의 분포 차이(Domain Shift)가 크면 신뢰도 추정이 어려워질 수 있다. 또한 지나치게 강한 데이터 증강은 이미지의 의미 자체를 변경하여 오히려 학습 성능을 저하시킬 가능성도 있다. 따라서 적절한 증강 전략과 신뢰도 관리가 매우 중요하다.
최근 연구는 불확실성 기반 의사 라벨(Uncertainty-Aware Pseudo Labeling), 베이지안 신뢰도 추정(Bayesian Confidence Estimation), 그래프 기반 라벨 전파(Graph-Based Label Propagation), 적응형 증강 정책(Adaptive Augmentation Policy), 강화학습(Reinforcement Learning), 지속학습, 로봇 파운데이션 모델과의 통합을 중심으로 발전하고 있다. 로봇이 자신의 예측 신뢰도를 스스로 평가하면서 장기간 운용 중에도 지속적으로 성능을 향상시키는 방향이 활발히 연구되고 있다.
향후 FixMatch와 FlexMatch는 피지컬 AI(Physical AI) 시대의 로봇 이미지 분류를 위한 핵심 준지도학습 알고리즘으로 계속 발전할 것으로 전망된다. 미래의 로봇은 공장, 병원, 창고, 농장, 스마트시티, 가정 등에서 수십억 장의 이미지를 수집하게 될 것이며, 대부분은 라벨이 없는 데이터가 될 것이다. 약한-강한 증강 기반의 일관성 학습, 적응형 신뢰도 임계값, 커리큘럼 의사 라벨링(Curriculum Pseudo Labeling), 멀티모달 센서 융합(Sensor Fusion), 지속학습이 결합되면, 사람의 개입을 최소화하면서도 스스로 성장하는 범용 로봇 인식 시스템과 차세대 로봇 파운데이션 모델의 핵심 기술로 자리매김할 것으로 기대된다.
04.05 Semi Supervised 3D Object Detection [w/Code]
준지도 3차원 객체 검출(Semi-Supervised 3D Object Detection)은 소량의 라벨(Label) 데이터와 대량의 비라벨(Unlabeled) 데이터를 함께 활용하여 3차원 공간에서 객체를 정확하게 인식하는 기술이다. 창고, 공장, 병원, 건설 현장, 농업, 자율주행 차량 등에서 운용되는 로봇은 라이다(LiDAR), RGB-D 카메라(RGB-D Camera), 스테레오 비전(Stereo Vision), 구조광(Structured Light), ToF(Time-of-Flight) 센서 등을 통해 막대한 양의 3차원 데이터를 생성한다. 그러나 3차원 바운딩 박스(Bounding Box), 객체 자세(Pose), 크기(Size), 방향(Orientation)을 사람이 직접 라벨링하는 것은 매우 높은 비용과 시간이 필요하다. 준지도학습은 이러한 문제를 해결하여 적은 라벨만으로도 높은 인식 성능을 달성할 수 있도록 한다.
2차원 객체 검출과 달리 3차원 객체 검출은 객체의 종류뿐만 아니라 공간상의 정확한 위치(Position), 방향(Orientation), 크기(Size), 형태(Geometry)까지 동시에 추정해야 한다. 자율주행 로봇은 차량(Vehicle), 사람(Pedestrian), 팔레트(Pallet), 선반(Shelf), 장애물(Obstacle)의 위치를 정확하게 파악해야 하며, 산업용 로봇은 부품(Component)의 자세를 정확히 추정해야 조립과 파지(Grasp)가 가능하다. 따라서 3차원 객체 검출은 훨씬 많은 정보와 정밀한 학습이 요구되는 인식 기술이다.
준지도 3차원 객체 검출의 가장 큰 목적은 대량의 비라벨 데이터를 최대한 활용하는 것이다. 최신 라이다는 초당 수십만에서 수백만 개의 포인트(Point)를 생성하며, 자율주행 차량과 이동 로봇은 매일 수많은 주행 데이터를 축적한다. 하지만 이러한 데이터를 모두 사람이 직접 라벨링하는 것은 현실적으로 불가능하다. 준지도학습은 모델이 생성한 예측 결과를 다시 학습에 활용하여 비라벨 데이터에서도 유용한 학습 정보를 추출하고, 지속적으로 성능을 향상시킨다.
준지도 3차원 객체 검출은 기존의 준지도 이미지 학습과 동일한 이론을 따른다. 특징 공간(Feature Space)에서 가까운 데이터는 동일한 의미를 가져야 하며, 작은 기하학적 변화(Geometric Transformation)가 발생해도 객체의 의미는 변하지 않아야 한다. 또한 객체 군집(Cluster)은 서로 명확하게 구분되어야 하며 결정 경계(Decision Boundary)는 데이터 밀도가 낮은 영역에 위치해야 한다. 이러한 가정을 통해 비라벨 포인트 클라우드(Point Cloud)에서도 의미 있는 구조를 학습할 수 있다.
의사 라벨(Pseudo Labeling)은 준지도 3차원 객체 검출에서 가장 널리 사용되는 방법이다. 먼저 소량의 라벨 데이터로 기본 검출기를 학습한 후, 이를 이용하여 비라벨 포인트 클라우드에서 객체의 종류, 위치, 방향, 크기 등을 예측한다. 예측 결과의 신뢰도(Confidence)가 충분히 높으면 이를 의사 라벨로 채택하고 다시 학습에 사용한다. 모델이 점차 향상될수록 의사 라벨의 품질도 개선되며, 활용 가능한 데이터도 계속 증가하게 된다.
3차원 객체 검출에서는 신뢰도 추정(Confidence Estimation)이 특히 중요하다. 포인트 클라우드는 거리 증가에 따라 밀도가 감소하고, 가림(Occlusion), 반사체(Reflective Surface), 악천후(Adverse Weather), 센서 노이즈(Sensor Noise) 등으로 인해 예측이 불안정해질 수 있다. 따라서 최근의 준지도학습은 객체 분류(Classification)뿐 아니라 위치 오차(Localization Error), 방향 추정, 바운딩 박스 품질(Box Quality), 기하학적 일관성(Geometric Consistency)까지 함께 평가하여 신뢰할 수 있는 의사 라벨만 학습에 활용한다.
일관성 정규화(Consistency Regularization)는 준지도 3차원 객체 검출의 또 다른 핵심 기술이다. 동일한 포인트 클라우드에 회전(Rotation), 이동(Translation), 크기 변화(Scaling), 포인트 삭제(Point Dropout), 좌표 잡음(Coordinate Jittering) 등을 적용하더라도 객체의 의미는 변하지 않는다. 따라서 모델은 이러한 다양한 변환에도 동일한 결과를 출력해야 한다. 일관성 손실(Consistency Loss)은 이러한 예측 차이를 최소화하여 더욱 안정적이고 일반화된 특징 표현을 학습하도록 만든다.
교사-학생(Teacher-Student) 구조는 준지도 3차원 객체 검출에서 매우 널리 사용된다. 교사 모델(Teacher Model)은 비라벨 데이터에 대해 의사 라벨을 생성하고, 학생 모델(Student Model)은 실제 라벨과 의사 라벨을 함께 사용하여 학습한다. 일반적으로 교사 모델은 학생 모델의 가중치를 지수 이동 평균(Exponential Moving Average, EMA)으로 업데이트하기 때문에 더욱 안정적인 예측을 생성한다. 이러한 구조는 의사 라벨의 품질을 향상시키고 학습의 안정성을 높인다.
시간적 일관성(Temporal Consistency)도 매우 중요한 학습 신호이다. 이동 로봇은 연속적으로 동일한 환경을 관찰하기 때문에 연속된 라이다 스캔은 거의 같은 객체를 서로 다른 시점에서 포함하고 있다. 건물(Building), 차량(Vehicle), 선반(Shelf), 기계(Machine)와 같은 객체는 짧은 시간 동안 크게 변하지 않는다. 준지도학습은 이러한 시간적 연속성을 이용하여 동일한 객체가 지속적으로 동일한 위치와 의미를 유지하도록 학습한다.
다중 시점 일관성(Multi-View Consistency)은 여러 위치에서 동일한 객체를 관찰하는 정보를 활용한다. 하나의 라이다 스캔은 시야 제한(Field of View)과 가림 현상 때문에 객체의 일부만 볼 수 있다. 그러나 여러 위치에서 수집한 데이터를 결합하면 객체의 전체 형태를 복원할 수 있다. 준지도학습은 이러한 다중 시점 정보를 이용하여 더욱 정확한 객체 위치와 형태를 추정하며, 추가적인 라벨링 없이도 성능을 향상시킨다.
복셀 기반 검출기(Voxel-Based Detector)는 준지도학습과 매우 잘 결합된다. 원시 포인트 클라우드를 복셀(Voxel) 구조로 변환하면 공간 정보를 효율적으로 처리할 수 있으며, 의사 라벨과 일관성 정규화를 복셀 특징 공간에서 쉽게 적용할 수 있다. 또한 희소 합성곱(Sparse Convolution)을 이용하면 대규모 산업용 데이터와 자율주행 데이터도 효율적으로 처리할 수 있다.
포인트 기반 검출기(Point-Based Detector) 역시 준지도학습의 중요한 대상이다. 복셀화 과정 없이 원시 포인트를 직접 처리하기 때문에 더욱 세밀한 공간 정보를 유지할 수 있다. 의사 라벨, 국소 영역(Local Neighborhood) 일관성, 특징 정렬(Feature Alignment), 기하학적 증강을 함께 사용하면 파지(Grasp)와 조작(Manipulation)에 필요한 정밀한 객체 자세 추정 성능을 향상시킬 수 있다.
자율주행(Autonomous Driving)은 준지도 3차원 객체 검출이 가장 활발하게 활용되는 분야이다. 차량은 라이다, 카메라, 레이더(Radar), GPS 데이터를 지속적으로 생성하며, 차량, 보행자(Pedestrian), 자전거(Bicycle), 교통 표지판(Traffic Sign), 도로 구조물을 모두 3차원으로 인식해야 한다. 하지만 모든 데이터를 사람이 라벨링하는 것은 불가능하다. 준지도학습은 소량의 라벨과 대량의 비라벨 데이터를 함께 활용하여 다양한 도로 환경에서도 높은 인식 성능을 유지할 수 있도록 한다.
창고 로봇(Warehouse Robotics)에서도 준지도 3차원 객체 검출은 매우 중요하다. 자율 이동 로봇은 선반(Shelf), 팔레트(Pallet), 박스(Box), 작업자(Worker), 컨베이어(Conveyor)를 지속적으로 인식해야 한다. 창고 구조와 물품 배치는 계속 변화하기 때문에 새로운 데이터를 지속적으로 학습해야 한다. 준지도학습은 이러한 변화에 자동으로 적응하면서 추가적인 라벨링 비용을 최소화할 수 있도록 지원한다.
산업 자동화(Industrial Automation)에서는 조립품(Assembly), 공작물(Workpiece), 공구(Tool), 검사 대상(Inspection Target)을 정확하게 인식해야 한다. 3차원 센서는 복잡한 기계 구조를 정밀하게 측정할 수 있지만 라벨링은 매우 어렵다. 준지도학습은 생산 현장에서 생성되는 대량의 데이터를 활용하여 검사와 조립 성능을 지속적으로 향상시키며, 전문가의 라벨링 부담을 크게 줄인다.
농업 로봇(Agricultural Robotics)도 준지도 3차원 객체 검출의 중요한 응용 분야이다. 라이다와 깊이 카메라는 작물(Crop), 과일(Fruit), 잎(Leaf), 줄기(Stem), 지형(Terrain)의 복잡한 구조를 측정한다. 계절과 날씨 변화에 따라 데이터의 형태가 크게 달라지므로 충분한 라벨을 확보하기 어렵다. 준지도학습은 비라벨 데이터를 활용하여 수확, 병충해 탐지, 수량 예측(Yield Estimation)의 정확도를 향상시킨다.
의료 로봇(Medical Robotics)에서도 3차원 인식은 매우 중요하다. CT(Computed Tomography), MRI(Magnetic Resonance Imaging), 초음파(Ultrasound), 수술용 깊이 센서 등은 풍부한 3차원 정보를 제공하지만 전문 의료진의 라벨링이 필요하다. 준지도학습은 장기(Organ), 병변(Lesion), 수술 기구(Surgical Instrument)를 적은 양의 라벨만으로도 정확하게 인식할 수 있도록 지원한다.
로봇 조작(Robot Manipulation)에서도 준지도 3차원 객체 검출은 핵심 기술이다. 로봇 팔은 RGB-D 카메라를 이용하여 물체의 위치와 자세를 정확히 추정한 후 파지 동작을 수행한다. 실제 환경에서는 물체가 겹쳐 있거나 일부가 가려지는 경우가 많다. 준지도학습은 다양한 비라벨 조작 데이터를 활용하여 이러한 복잡한 환경에서도 안정적인 객체 검출과 자세 추정을 가능하게 한다.
멀티모달 센서 융합(Multimodal Sensor Fusion)은 준지도학습의 성능을 더욱 향상시킨다. 카메라는 색상과 질감을 제공하고, 라이다는 정확한 거리와 기하학 정보를 제공하며, 레이더는 악천후에서도 안정적인 속도 정보를 제공한다. 준지도학습은 이러한 다양한 센서의 정보를 공동으로 학습하여 더욱 강인한 객체 검출 성능을 달성하며, 로봇 파운데이션 모델(Robot Foundation Model)의 중요한 기반 기술이 된다.
최근의 로봇 파운데이션 모델은 자기지도학습(Self-Supervised Learning)과 준지도학습을 계층적으로 결합한다. 먼저 대규모 비라벨 포인트 클라우드를 이용하여 마스크드 복원(Masked Reconstruction), 대조학습(Contrastive Learning), 예측 부호화(Predictive Coding), 월드 모델(World Model)을 학습한다. 이후 준지도학습을 통해 소량의 라벨 데이터를 이용하여 특정 작업에 적응한다. 이러한 구조는 다양한 로봇 플랫폼에서도 높은 전이 성능(Transferability)을 제공한다.
준지도 3차원 객체 검출의 평가는 단순한 정확도만으로 이루어지지 않는다. 평균 정밀도(mAP, mean Average Precision), 위치 정확도(Localization Accuracy), 방향 추정(Orientation Estimation), 3차원 IoU(Intersection-over-Union), 신뢰도(Calibration), 추론 속도(Inference Latency), 메모리 사용량(Memory Consumption), 실제 환경 성능(Real-World Performance) 등을 종합적으로 평가한다. 또한 다양한 센서와 로봇 플랫폼 간의 전이 성능도 중요한 평가 항목이다.
아직 해결해야 할 과제도 존재한다. 먼 거리에서는 포인트 밀도가 크게 감소하고, 시뮬레이션과 실제 환경 간의 도메인 차이(Domain Shift), 센서 제조사별 특성 차이, 움직이는 사람과 차량, 악천후 등은 의사 라벨의 품질을 저하시킬 수 있다. 또한 희귀 객체(Rare Object)는 충분한 의사 라벨이 생성되지 않으며, 교사 모델의 오류가 반복 학습 과정에서 누적될 가능성도 존재한다.
최근 연구는 불확실성 기반 의사 라벨(Uncertainty-Aware Pseudo Labeling), 적응형 신뢰도 추정(Adaptive Confidence Estimation), 확산 모델(Diffusion Model), 기하학 트랜스포머(Geometric Transformer), 그래프 신경망(Graph Neural Network, GNN), 능동학습(Active Learning), 지속학습(Lifelong Learning), 멀티모달 월드 모델(Multimodal World Model), 비전-언어-행동(Vision-Language-Action, VLA) 모델과의 통합을 중심으로 발전하고 있다. 또한 여러 로봇이 학습한 지식을 공유하는 협력 학습(Collaborative Learning)도 중요한 연구 분야로 주목받고 있다.
향후 준지도 3차원 객체 검출은 피지컬 AI(Physical AI)의 핵심 인식 기술이 될 것으로 전망된다. 미래의 로봇은 공장, 병원, 창고, 건설 현장, 농업, 스마트시티 등에서 수십억 개의 3차원 데이터를 지속적으로 수집하게 될 것이다. 로봇은 사람이 직접 라벨링하지 않아도 스스로 신뢰할 수 있는 객체를 의사 라벨로 생성하고, 일관성 학습과 멀티모달 융합을 통해 공간 이해 능력을 지속적으로 향상시킬 것이다. 이러한 기술은 대규모 라벨링 비용을 획기적으로 줄이면서도 더욱 지능적이고 적응력이 뛰어난 차세대 로봇 파운데이션 모델을 구현하는 핵심 기반 기술이 될 것으로 기대된다.
04.06 Active Learning for Efficient Robot Data Annotation [w/Code]
능동학습(Active Learning)은 로봇 인식(Robot Perception)에서 데이터 라벨링 비용을 크게 줄일 수 있는 대표적인 학습 방법이다. 현대의 로봇은 RGB 카메라(RGB Camera), 라이다(LiDAR), 깊이 카메라(Depth Camera), 스테레오 비전(Stereo Vision), 레이더(Radar), 관성측정장치(IMU, Inertial Measurement Unit), 촉각(Tactile), 힘(Force) 센서 등 다양한 센서를 통해 방대한 데이터를 생성한다. 하지만 모든 데이터를 사람이 직접 라벨링하는 것은 현실적으로 어렵다. 능동학습은 전체 데이터를 모두 라벨링하는 대신, 모델 성능 향상에 가장 큰 도움이 되는 데이터만 선택하여 사람에게 라벨링을 요청함으로써 데이터 구축 비용을 획기적으로 절감한다.
능동학습의 핵심 원리는 모든 데이터가 동일한 학습 가치를 가지지 않는다는 점이다. 이미 충분히 학습된 환경이나 동일한 장면을 반복적으로 라벨링하는 것은 모델 성능 향상에 거의 도움이 되지 않는다. 반면 드물게 등장하는 객체, 모호한 상황, 새로운 환경, 어려운 시점(Viewpoint), 예측이 불확실한 데이터는 모델을 크게 향상시킬 수 있다. 따라서 능동학습은 이러한 정보 가치(Information Value)가 높은 데이터만 선택하여 전문가의 라벨링을 요청하며, 최소한의 라벨링으로 최대의 학습 효과를 얻는 것을 목표로 한다.
기존 지도학습(Supervised Learning)은 모든 데이터를 미리 라벨링한 후 학습을 시작하지만, 능동학습은 반복적인 학습 구조를 가진다. 먼저 소량의 라벨 데이터를 이용하여 초기 모델을 학습한다. 이후 모델은 대량의 비라벨(Unlabeled) 데이터를 분석하여 가장 학습 가치가 높은 데이터를 선택한다. 사람이 이 데이터만 라벨링하면 모델은 다시 학습되고, 이러한 과정을 반복하면서 점차 성능을 향상시킨다. 따라서 제한된 라벨링 예산으로도 매우 높은 성능을 달성할 수 있다.
가장 널리 사용되는 데이터 선택 방법은 불확실성 샘플링(Uncertainty Sampling)이다. 모델이 어떤 데이터를 매우 높은 신뢰도로 분류한다면 추가적인 라벨은 큰 도움이 되지 않는다. 그러나 여러 클래스(Class)의 확률이 비슷하게 나타나는 데이터는 모델이 판단을 어려워하는 사례이다. 이러한 데이터는 결정 경계(Decision Boundary) 근처에 존재하는 경우가 많으며, 라벨링을 수행하면 모델 성능이 크게 향상될 가능성이 높다. 따라서 능동학습은 이러한 불확실한 데이터를 우선적으로 선택한다.
불확실성을 계산하는 방법도 다양하다. 가장 간단한 방법은 소프트맥스(Softmax) 최대 확률을 이용하는 것이다. 또한 상위 두 클래스 간의 확률 차이를 이용하는 마진 샘플링(Margin Sampling), 전체 확률 분포의 엔트로피(Entropy)를 이용하는 방법도 널리 사용된다. 최근에는 베이지안 신경망(Bayesian Neural Network), 몬테카를로 드롭아웃(Monte Carlo Dropout), 딥 앙상블(Deep Ensemble), 증거 기반 학습(Evidential Learning)을 이용하여 모델의 불확실성을 더욱 정확하게 추정하는 연구가 활발히 진행되고 있다.
위원회 질의(Query-by-Committee)는 여러 개의 모델을 동시에 사용하는 대표적인 능동학습 기법이다. 서로 다른 초기값이나 구조를 가진 여러 모델이 동일한 데이터를 예측하도록 한 뒤, 예측 결과가 크게 다른 데이터를 선택하여 사람이 라벨링한다. 모델 간의 의견 차이가 크다는 것은 현재 모델들이 충분한 지식을 가지고 있지 않다는 의미이므로, 이러한 데이터를 학습하면 전체 모델의 성능을 효과적으로 향상시킬 수 있다.
예상 모델 변화(Expected Model Change)는 특정 데이터를 라벨링했을 때 모델의 가중치(Parameter)가 얼마나 크게 변화할지를 계산하여 데이터를 선택하는 방법이다. 모델을 크게 변화시키는 데이터일수록 새로운 정보를 많이 포함하고 있을 가능성이 높으므로 우선적으로 선택된다. 계산량은 많지만 실제 학습 효과를 직접 고려한다는 점에서 매우 이론적인 접근 방법으로 평가된다.
예상 오류 감소(Expected Error Reduction)는 특정 데이터를 라벨링한 이후 전체 모델의 예측 오류가 얼마나 감소할지를 추정하는 방법이다. 즉, 가장 많은 일반화 성능 향상을 가져올 것으로 예상되는 데이터를 선택한다. 이 방법은 매우 효과적이지만, 수많은 가상 학습 시나리오를 계산해야 하기 때문에 계산 비용이 매우 높은 단점이 있다.
대표성 기반 샘플링(Representative Sampling)은 단순히 불확실한 데이터만 선택하는 방식의 한계를 보완한다. 불확실한 데이터 중에는 센서 오류, 이상치(Outlier), 손상된 데이터처럼 실제 학습에는 도움이 되지 않는 경우도 존재한다. 따라서 대표성 기반 방법은 전체 데이터 분포를 잘 대표하면서도 다양한 환경과 객체를 포함하는 데이터를 선택하여 모델의 일반화 성능을 더욱 향상시킨다.
다양성 기반 샘플링(Diversity-Based Sampling)은 중복 데이터를 줄이는 데 목적이 있다. 이동 로봇은 동일한 복도나 창고를 수백 번 반복해서 촬영하기 때문에 유사한 영상이 매우 많다. 이러한 데이터를 모두 라벨링하는 것은 비효율적이다. 다양성 기반 방법은 서로 다른 환경, 객체, 조명(Illumination), 날씨(Weather), 시점, 작업(Task)을 대표하는 데이터를 선택하여 최소한의 라벨링으로 최대의 정보를 얻도록 한다.
능동학습은 로봇 인식에서 매우 큰 효과를 발휘한다. 창고 로봇은 동일한 선반(Shelf)과 통로(Corridor)를 반복적으로 관찰하지만, 공사 구역(Construction Zone), 비상 차량(Emergency Vehicle), 예상치 못한 장애물과 같은 드문 상황은 거의 발생하지 않는다. 능동학습은 이러한 예외적인 상황을 우선적으로 선택하여 학습시키므로 실제 환경에서 훨씬 강인한 인식 성능을 제공한다.
객체 검출(Object Detection)에서도 능동학습은 매우 효과적이다. 일반적으로 사람은 모든 이미지에서 객체마다 바운딩 박스(Bounding Box)를 직접 그려야 한다. 능동학습은 모델이 확신하지 못하는 객체, 새로운 시점, 부분 가림(Occlusion), 새로운 환경에서 촬영된 영상만 선택하여 라벨링하도록 한다. 따라서 훨씬 적은 작업량으로도 높은 객체 검출 성능을 달성할 수 있다.
의미 분할(Semantic Segmentation)은 픽셀(Pixel) 단위의 라벨링이 필요하기 때문에 가장 비용이 많이 드는 작업 가운데 하나이다. 능동학습은 객체 경계가 복잡하거나 조명 변화가 심한 장면, 예측이 불확실한 이미지만 선택하여 전문가가 라벨링하도록 만든다. 결과적으로 동일한 정확도를 유지하면서도 라벨링 비용을 크게 절감할 수 있다.
3차원 인식(3D Perception)에서도 능동학습은 매우 중요하다. 라이다 포인트 클라우드(Point Cloud)의 객체를 3차원으로 라벨링하는 작업은 전문적인 지식과 시간이 많이 필요하다. 능동학습은 가려진 객체, 희소한 포인트(Sparse Point), 새로운 환경, 위치 추정이 어려운 장면만 선택하여 전문가가 라벨링하도록 함으로써 3차원 객체 검출과 지도 작성(Mapping)의 성능을 효과적으로 향상시킨다.
로봇 조작(Robot Manipulation)에서도 능동학습은 활용된다. 로봇은 수많은 파지(Grasp), 접촉(Contact), 힘(Force), 촉각(Tactile) 데이터를 생성하지만 대부분은 이미 학습된 동작이다. 반면 실패한 파지, 새로운 물체, 예상하지 못한 물리 현상은 매우 중요한 학습 자료이다. 능동학습은 이러한 사례를 우선적으로 선택하여 사람이 검토하도록 하여 조작 성능을 빠르게 향상시킨다.
인간 참여 학습(Human-in-the-Loop Learning)은 능동학습의 핵심 개념이다. 능동학습은 사람을 제거하는 것이 아니라 사람이 가장 가치 있는 데이터만 라벨링하도록 돕는다. 로봇이 먼저 학습 가치가 높은 데이터를 선택하고, 전문가가 그 데이터만 라벨링한 후 모델이 다시 학습한다. 이 과정은 전문가의 시간을 가장 중요한 데이터에 집중시켜 전체 데이터 구축 효율을 크게 높인다.
최근에는 능동학습과 자기지도학습(Self-Supervised Learning), 준지도학습(Semi-Supervised Learning)을 함께 사용하는 계층적 학습 구조가 널리 사용되고 있다. 먼저 자기지도학습으로 대규모 비라벨 데이터에서 범용 특징을 학습하고, 준지도학습으로 의사 라벨(Pseudo Label)과 일관성 정규화(Consistency Regularization)를 이용하여 추가 학습을 수행한다. 마지막으로 능동학습이 사람의 라벨링이 꼭 필요한 데이터만 선택한다. 이러한 구조는 최소한의 라벨링으로 매우 높은 성능을 달성할 수 있도록 한다.
로봇 파운데이션 모델(Robot Foundation Model)은 능동학습의 효율을 더욱 높여준다. 대규모 사전학습(Pretraining)을 통해 이미 풍부한 시각, 공간, 시간, 촉각 표현을 학습했기 때문에 데이터의 불확실성과 다양성을 더욱 정확하게 계산할 수 있다. 따라서 단순히 원시 데이터가 아니라 의미 공간(Semantic Latent Space)에서 가장 중요한 데이터를 선택하게 되며, 라벨링 효율이 크게 향상된다.
멀티모달 능동학습(Multimodal Active Learning)은 여러 센서를 동시에 고려한다. 카메라, 라이다, 레이더, 열화상 카메라(Thermal Camera), 촉각 센서, 힘 센서 등은 동일한 환경을 서로 다른 방식으로 관찰한다. 능동학습은 이러한 여러 센서의 불확실성을 함께 계산하여 어떤 데이터가 가장 가치 있는지 결정하며, 센서 융합(Sensor Fusion)의 성능도 함께 향상시킨다.
물론 능동학습에도 해결해야 할 문제가 존재한다. 새로운 환경(Domain Shift)에서는 불확실성 추정이 어려울 수 있으며, 센서 고장이나 희귀 객체(Rare Object)는 데이터 선택의 정확도를 떨어뜨릴 수 있다. 또한 로봇이 생성하는 데이터의 속도가 전문가의 라벨링 속도보다 훨씬 빠르기 때문에 제한된 라벨링 자원을 어떻게 효율적으로 사용할 것인지도 중요한 연구 과제로 남아 있다.
최근 연구는 강화학습 기반 데이터 선택(Reinforcement Learning-Based Acquisition), 그래프 신경망(Graph Neural Network, GNN), 확산 모델(Diffusion Model), 지속 능동학습(Continual Active Learning), 연합 학습(Federated Learning), 비전-언어-행동(Vision-Language-Action, VLA) 모델과의 통합을 중심으로 발전하고 있다. 또한 로봇이 먼저 임시 라벨을 생성하고 사람은 이를 검토만 하는 반자동 라벨링(Semi-Automatic Annotation) 기술도 활발하게 연구되고 있다.
향후 능동학습은 피지컬 AI(Physical AI) 시대의 핵심 데이터 구축 기술이 될 것으로 전망된다. 미래의 로봇은 공장, 병원, 창고, 농장, 스마트시티, 건설 현장 등에서 수십억 개의 멀티모달 데이터를 생성하게 될 것이다. 그러나 모든 데이터를 사람이 직접 라벨링하는 것은 불가능하다. 능동학습은 가장 중요한 데이터만 선택하여 전문가의 피드백을 받고, 자기지도학습, 준지도학습, 지속학습(Lifelong Learning), 월드 모델(World Model), 로봇 파운데이션 모델과 결합하여 최소한의 인간 개입으로도 지속적으로 성장하는 차세대 지능형 로봇 시스템을 구현하는 핵심 기술로 자리 잡을 것으로 기대된다.
04.07 Weak Supervision from Robot Sensor Data [w/Code]
약한 지도학습(Weak Supervision)은 완전히 정확한 사람이 만든 라벨(Label)에만 의존하지 않고, 불완전하거나 노이즈(Noise)가 포함된 자동 생성 라벨을 활용하여 로봇 인공지능을 학습시키는 방법이다. 현대의 로봇은 RGB 카메라(RGB Camera), 라이다(LiDAR), 깊이 카메라(Depth Camera), 레이더(Radar), 열화상 카메라(Thermal Camera), 관성측정장치(IMU, Inertial Measurement Unit), 촉각(Tactile) 센서, 힘(Force) 센서, GPS(Global Positioning System), 휠 엔코더(Wheel Encoder) 등 다양한 센서를 통해 막대한 데이터를 생성한다. 하지만 모든 데이터를 사람이 직접 정밀하게 라벨링하는 것은 현실적으로 매우 어렵고 비용도 크다. 약한 지도학습은 이러한 센서 데이터를 자동으로 학습 신호로 변환하여 최소한의 인력으로도 대규모 학습을 가능하게 한다.
약한 지도학습의 기본 개념은 로봇이 운용되는 과정에서 자연스럽게 생성되는 다양한 정보를 학습용 정답으로 활용하는 것이다. 이동 로봇은 위치 추정(Localization), 주행 경로(Trajectory), 휠 엔코더, IMU, SLAM(Simultaneous Localization and Mapping), 장애물 검출(Obstacle Detection), 제어 명령(Control Command) 등을 지속적으로 생성한다. 조작 로봇은 관절 위치(Joint Position), 모터 토크(Torque), 힘과 촉각 정보, 그리퍼 상태(Gripper State), 접촉 이벤트(Contact Event) 등을 기록한다. 이러한 정보는 사람이 직접 만든 라벨은 아니지만 환경과 작업에 대한 중요한 의미를 포함하고 있으므로 효과적인 학습 신호로 활용될 수 있다.
완전 지도학습(Supervised Learning)은 모든 데이터가 정확한 정답을 가지고 있다고 가정하지만, 약한 지도학습은 다양한 형태의 불완전한 라벨을 허용한다. 라벨은 기존 알고리즘이 생성한 결과이므로 오류가 포함될 수 있으며, 일부 정보만 포함하는 불완전한 형태일 수도 있다. 또한 개별 객체가 아닌 전체 장면(Scene)에 대한 거친 정보만 제공할 수도 있고, 로봇의 행동 결과나 센서 융합 결과처럼 간접적인 정보일 수도 있다. 약한 지도학습은 이러한 불완전성을 허용하면서도 대규모 데이터를 효율적으로 활용하는 것을 목표로 한다.
로봇 센서는 다양한 형태의 약한 지도 신호를 자연스럽게 생성한다. 연속된 프레임은 시간적 일관성(Temporal Consistency)을 제공하며, 인접한 센서 측정은 공간적 일관성(Spatial Consistency)을 제공한다. 여러 센서 간의 센서 융합(Sensor Fusion)은 교차 모달(Cross-Modal) 학습을 가능하게 하고, 로봇의 물리적 상호작용(Physical Interaction)은 접촉이나 충돌 정보를 제공한다. 또한 제어 시스템(Control System)은 행동(Action)과 결과(Result)를 기록하고, 위치 추정 시스템은 공간적인 관계를 제공한다. 이러한 정보는 모두 별도의 사람 라벨 없이도 학습을 지원하는 약한 지도 신호가 된다.
노이즈 라벨링(Noisy Labeling)은 가장 널리 사용되는 약한 지도 방식이다. 기존 객체 검출기(Object Detector), 의미 분할(Semantic Segmentation), SLAM 시스템, 전통적인 컴퓨터 비전(Computer Vision) 알고리즘이 생성한 결과는 완벽하지 않지만 충분히 활용 가능한 수준의 정보를 제공한다. 약한 지도학습은 이러한 예측 결과를 그대로 버리지 않고, 노이즈에 강한 학습 알고리즘(Robust Learning)을 이용하여 유용한 정보를 추출한다. 데이터의 양이 충분히 많아지면 일부 오류가 포함되어 있어도 전체적인 학습 성능은 크게 향상될 수 있다.
프로그램 기반 라벨링(Programmatic Labeling)은 사람이 하나하나 라벨링하는 대신 규칙(Rule)이나 휴리스틱(Heuristic)을 정의하여 자동으로 라벨을 생성하는 방식이다. 예를 들어 라이다 높이 정보를 이용하면 지면(Ground)과 장애물을 구분할 수 있고, 열화상 카메라는 고온의 장비를 탐지할 수 있으며, IMU와 휠 슬립(Wheel Slip)을 이용하면 미끄러운 노면을 추정할 수 있다. 각각의 규칙은 완벽하지 않지만 여러 규칙을 함께 사용하면 대규모 데이터에 대해 효과적인 학습 데이터를 자동으로 생성할 수 있다.
센서 융합은 약한 지도학습에서 매우 중요한 역할을 한다. 카메라는 색상과 질감을 제공하고, 라이다는 거리와 기하학 정보를 제공하며, 레이더는 속도 정보를 제공하고, 촉각 센서는 접촉을 감지하며, 힘 센서는 물리적인 상호작용을 측정한다. 하나의 센서가 생성한 신뢰도 높은 결과를 다른 센서의 학습 데이터로 활용할 수 있다. 예를 들어 카메라에서 검출된 객체를 이용하여 라이다 포인트 클라우드(Point Cloud)의 의미 정보를 학습할 수 있으며, 서로 다른 센서 간의 일관성을 이용하여 더욱 강인한 인식 모델을 구축할 수 있다.
위치 추정(Localization)은 매우 유용한 약한 지도 신호를 제공한다. SLAM 시스템은 로봇의 이동 경로와 환경 지도를 지속적으로 생성한다. 이러한 위치 정보는 일정한 오차를 포함하지만, 가까운 위치에서 촬영된 영상은 비슷한 의미를 가져야 한다는 사실을 알려준다. 반대로 멀리 떨어진 위치는 서로 다른 특징을 가져야 한다. 이러한 공간적 관계를 이용하면 명시적인 객체 라벨 없이도 효과적인 특징 표현(Feature Representation)을 학습할 수 있다.
오도메트리(Odometry) 역시 중요한 학습 신호이다. 휠 엔코더, IMU, 비주얼 오도메트리(Visual Odometry), 라이다 오도메트리(LiDAR Odometry)는 로봇의 이동량을 지속적으로 계산한다. 이러한 이동 정보는 연속된 센서 데이터가 서로 어떻게 연결되는지를 알려주며, 미래 프레임 예측(Future Prediction), 자기 위치 추정(Ego Motion), 시간적 일관성 학습 등에 활용될 수 있다. 누적 오차는 존재하지만 짧은 구간에서는 매우 정확한 학습 정보를 제공한다.
로봇 조작(Robot Manipulation)은 물리적 상호작용 자체가 강력한 약한 지도 신호가 된다. 파지(Grasp)가 성공했는지 실패했는지 여부는 즉시 학습 데이터가 되며, 힘과 토크 정보는 물체의 무게, 마찰력(Friction), 강성(Stiffness) 등을 알려준다. 관절의 움직임과 모터 전류(Current)는 조작 과정의 특성을 반영한다. 이러한 정보는 사람이 직접 라벨을 만들지 않아도 로봇 스스로 경험을 통해 학습할 수 있도록 지원한다.
작업 완료(Task Completion) 여부 역시 중요한 지도 신호이다. 로봇은 자율주행, 검사, 운반, 조립, 청소, 수확 등 다양한 작업을 수행한다. 작업이 성공적으로 완료되면 현재의 인식과 제어가 적절했음을 의미하고, 실패하면 개선이 필요하다는 것을 의미한다. 강화학습(Reinforcement Learning)과 모방학습(Imitation Learning)은 이러한 성공과 실패 정보를 활용하여 별도의 중간 라벨 없이도 정책(Policy)을 개선할 수 있다.
의미 지도(Semantic Mapping)에서도 약한 지도학습은 매우 효과적이다. 자율 이동 로봇은 건물, 공장, 병원, 창고를 탐색하면서 점유 지도(Occupancy Grid), 장애물 지도, 주행 가능 영역 등을 자동으로 생성한다. 이러한 지도는 완전한 의미 정보를 포함하지는 않지만, 시각 정보와 결합하면 의미 지도 구축 성능을 크게 향상시킬 수 있다. 기하학 정보와 영상 정보를 함께 활용하는 것이 핵심이다.
자율주행(Autonomous Driving)은 약한 지도학습이 가장 활발하게 적용되는 분야 가운데 하나이다. 차량은 카메라, 라이다, 레이더, GPS, IMU 데이터를 지속적으로 수집하며, 기존 시스템은 차선(Lane), 차량(Vehicle), 보행자(Pedestrian), 교통 표지판(Traffic Sign)을 자동으로 검출한다. 이러한 기존 인식 결과와 위치 정보, 차량 군집(Fleet) 데이터를 활용하면 모든 장면을 사람이 라벨링하지 않아도 지속적으로 인식 성능을 향상시킬 수 있다.
산업용 로봇(Industrial Robotics)도 다양한 약한 지도 신호를 제공한다. 컨베이어(Conveyor)는 물체의 이동 경로를 알려주고, 생산 계획은 제품 종류를 제공하며, 바코드(Barcode), RFID(Radio Frequency Identification), 품질 검사 장비, PLC(Programmable Logic Controller), MES(Manufacturing Execution System)는 생산 공정 정보를 기록한다. 원래는 생산 관리 목적으로 생성된 정보이지만, 이를 학습 데이터로 활용하면 객체 인식, 불량 검출, 예지 보전(Predictive Maintenance) 등의 성능을 크게 향상시킬 수 있다.
농업 로봇(Agricultural Robotics)에서도 약한 지도학습은 매우 유용하다. GPS는 위치를 제공하고, 수확 장비는 생산량(Yield)을 기록하며, 토양 센서와 기상 관측 장비는 환경 정보를 측정한다. 드론과 지상 로봇은 작물의 성장 상태를 지속적으로 촬영한다. 이러한 다양한 정보를 결합하면 작물 분류(Crop Classification), 잡초 탐지(Weed Detection), 병충해 진단(Disease Diagnosis), 수확량 예측을 별도의 대규모 라벨링 없이도 효과적으로 수행할 수 있다.
의료 로봇(Medical Robotics)에서는 전문 의료진의 라벨링 비용이 매우 높기 때문에 약한 지도학습의 가치가 더욱 크다. 수술 로봇은 기구의 움직임, 힘 정보, 수술 단계, 조직 변형 등을 자동으로 기록하며, 의료 영상 시스템은 판독 결과와 전자의무기록(Electronic Health Record)을 함께 생성한다. 이러한 임상 정보를 이용하면 장기 분할(Organ Segmentation), 기구 추적(Instrument Tracking), 수술 단계 인식(Surgical Workflow Recognition) 등을 적은 양의 전문가 라벨만으로도 효과적으로 학습할 수 있다.
최근의 약한 지도학습은 여러 개의 라벨 생성 방법을 동시에 결합한다. 각각의 라벨은 정확도가 높지 않을 수 있지만, 확률적 모델(Probabilistic Model)을 이용하여 신뢰도를 추정하고 서로 충돌하는 결과를 통합하면 더욱 정확한 최종 라벨을 생성할 수 있다. 이러한 데이터 프로그래밍(Data Programming) 방식은 센서 종류가 많아질수록 더욱 큰 효과를 발휘한다.
로봇 파운데이션 모델(Robot Foundation Model)은 약한 지도학습의 성능을 크게 향상시킨다. 먼저 자기지도학습(Self-Supervised Learning)으로 대규모 비라벨 데이터를 이용하여 범용 표현을 학습한 후, 약한 지도 정보를 이용하여 세부 작업에 적응한다. 이미 강력한 표현을 보유한 모델은 다소 부정확한 라벨에도 잘 적응할 수 있으므로 약한 지도학습의 효과가 더욱 커진다.
약한 지도학습은 자기지도학습, 준지도학습(Semi-Supervised Learning), 능동학습(Active Learning), 지속학습(Continual Learning)과도 긴밀하게 연결된다. 자기지도학습은 비라벨 데이터에서 표현을 학습하고, 약한 지도학습은 센서 기반 자동 라벨을 활용하며, 준지도학습은 일부 정답과 의사 라벨(Pseudo Label)을 함께 사용하고, 능동학습은 사람이 반드시 라벨링해야 하는 데이터만 선택한다. 이러한 기술들이 결합되면 매우 적은 인간의 개입으로도 지속적으로 성장하는 학습 시스템을 구축할 수 있다.
물론 약한 지도학습에도 해결해야 할 과제가 존재한다. 자동 생성 라벨에는 체계적인 편향(Bias)이 포함될 수 있으며, 서로 다른 센서가 상반된 결과를 제공할 수도 있다. 위치 추정 오차, 센서 보정(Calibration) 오류, 시간 동기화 문제, 센서 노후화, 환경 변화 등은 라벨 품질을 저하시킬 수 있다. 또한 실제 정답이 없는 상황에서 약한 지도의 품질을 평가하는 것도 매우 어려운 문제이다.
최근 연구는 불확실성 기반 약한 지도(Uncertainty-Aware Weak Supervision), 베이지안 라벨 융합(Bayesian Label Fusion), 그래프 신경망(Graph Neural Network, GNN), 트랜스포머(Transformer), 확산 모델(Diffusion Model), 월드 모델(World Model), 비전-언어-행동(Vision-Language-Action, VLA) 모델과의 결합을 중심으로 발전하고 있다. 또한 여러 로봇이 서로의 센서 데이터를 공유하여 공동으로 학습하는 플릿 학습(Fleet Learning)도 중요한 연구 분야로 자리 잡고 있다.
향후 약한 지도학습은 피지컬 AI(Physical AI) 시대의 핵심 학습 기술이 될 것으로 전망된다. 미래의 로봇은 공장, 창고, 병원, 건설 현장, 농업, 스마트시티, 가정 등에서 방대한 멀티모달 데이터를 지속적으로 생성하게 될 것이다. 로봇은 자신의 위치 추정, 센서 융합, 물리적 상호작용, 작업 결과, 운영 경험을 자동으로 학습 신호로 변환하여 스스로 성능을 향상시킬 것이다. 여기에 자기지도학습, 준지도학습, 능동학습, 월드 모델, 로봇 파운데이션 모델이 결합되면 사람의 라벨링을 최소화하면서도 지속적으로 성장하는 차세대 범용 지능형 로봇 시스템을 구현하는 핵심 기반 기술이 될 것으로 기대된다.
04.08 Label Efficient Training for Novel Robot Environments
라벨 효율 학습(Label-Efficient Training)은 새로운 환경(Novel Environment)에 로봇을 빠르게 적응시키기 위해 최소한의 라벨(Label)만 사용하는 학습 방법이다. 기존 딥러닝은 수천에서 수백만 개의 라벨 데이터가 필요하지만, 실제 공장, 병원, 창고, 농장, 건설 현장 등에서는 새로운 환경마다 대규모 라벨을 다시 구축하기 어렵다. 조명(Illumination), 센서 특성, 물체의 형태, 작업 절차, 환경 구조가 모두 달라질 수 있기 때문이다. 라벨 효율 학습은 적은 양의 라벨과 다양한 사전학습 기법을 활용하여 이러한 새로운 환경에서도 빠르게 높은 성능을 달성하는 것을 목표로 한다.
현실의 로봇은 동일한 작업을 수행하더라도 환경이 바뀌면 새로운 문제를 만나게 된다. 창고 로봇은 다른 물류센터에서 새로운 선반 구조와 포장 형태를 인식해야 하고, 병원 로봇은 새로운 의료 장비와 병실 구조를 학습해야 한다. 농업 로봇은 계절과 작물 성장 단계에 따라 전혀 다른 영상을 관찰한다. 산업용 검사 로봇도 새로운 제품과 생산 공정을 만나게 된다. 라벨 효율 학습은 기존에 학습한 지식을 최대한 유지하면서 새로운 환경에 필요한 정보만 빠르게 추가 학습하도록 설계된다.
라벨 효율 학습의 가장 중요한 원리는 기존에 학습한 특징 표현(Feature Representation)을 재사용하는 것이다. 무작위(Random Initialization) 상태에서 새롭게 학습하는 대신, 대규모 데이터로 사전학습(Pretraining)된 모델을 출발점으로 사용한다. 이러한 모델은 이미 다양한 시각 패턴, 공간 구조, 시간 정보, 물리적 상호작용 등을 이해하고 있기 때문에 새로운 환경에서는 일부 정보만 추가로 학습하면 된다. 결과적으로 적은 라벨만으로도 매우 높은 성능을 달성할 수 있다.
전이학습(Transfer Learning)은 라벨 효율 학습에서 가장 널리 사용되는 방법이다. 대규모 데이터셋에서 학습한 모델을 새로운 환경에 적용하고, 필요한 부분만 미세조정(Fine-Tuning)한다. 일반적으로 하위 계층(Lower Layer)은 기본적인 시각 특징을 유지하고, 상위 계층(Higher Layer)만 새로운 환경에 맞게 조정한다. 이렇게 하면 기존 지식을 그대로 활용하면서도 적은 양의 데이터만으로 새로운 작업에 빠르게 적응할 수 있다.
자기지도학습(Self-Supervised Learning)은 라벨 효율성을 더욱 높여준다. 로봇은 대량의 비라벨(Unlabeled) 데이터를 이용하여 대조학습(Contrastive Learning), 마스크드 오토인코더(Masked Autoencoder, MAE), 예측 부호화(Predictive Coding), 월드 모델(World Model), 시간적 일관성(Temporal Consistency) 등을 학습한다. 이후 실제 작업에서는 소량의 라벨만 추가하면 되므로 데이터 구축 비용이 크게 감소하고 다양한 환경에서도 높은 일반화 성능을 유지할 수 있다.
준지도학습(Semi-Supervised Learning)은 소량의 라벨과 대량의 비라벨 데이터를 함께 활용한다. 새로운 환경에서 일부 데이터만 사람이 라벨링하면 로봇은 나머지 데이터에 대해 의사 라벨(Pseudo Label)을 생성한다. 이후 일관성 정규화(Consistency Regularization), 교사-학생(Teacher-Student) 구조 등을 이용하여 의사 라벨의 품질을 지속적으로 향상시키면서 학습을 진행한다. 이 과정은 라벨링 비용을 최소화하면서도 실제 학습 데이터의 양을 크게 늘려준다.
능동학습(Active Learning)은 어떤 데이터를 사람이 라벨링해야 하는지를 자동으로 결정한다. 무작위로 데이터를 선택하는 대신, 모델이 가장 확신하지 못하는 데이터나 가장 다양한 정보를 포함하는 데이터를 우선적으로 선택한다. 사람은 이 데이터만 라벨링하면 되고, 모델은 가장 효과적으로 성능을 향상시킬 수 있다. 제한된 라벨링 예산으로도 높은 정확도를 얻을 수 있는 대표적인 방법이다.
약한 지도학습(Weak Supervision)은 센서와 시스템이 생성하는 다양한 정보를 자동 라벨로 활용한다. 위치 추정(Localization), 오도메트리(Odometry), 작업 성공 여부(Task Completion), 센서 융합(Sensor Fusion), 규칙 기반 휴리스틱(Heuristic) 등을 이용하면 사람이 직접 라벨을 만들지 않아도 대량의 학습 데이터를 생성할 수 있다. 이러한 자동 생성 라벨은 다소 부정확할 수 있지만 충분한 양을 확보하면 높은 학습 효과를 얻을 수 있다.
소량학습(Few-Shot Learning)은 매우 적은 수의 예제만으로 새로운 객체를 학습하는 기술이다. 메트릭 학습(Metric Learning), 프로토타입 네트워크(Prototypical Network), 대조 표현(Contrastive Embedding) 등을 이용하여 단 몇 개의 예제만으로도 새로운 객체나 새로운 작업을 인식할 수 있다. 이는 맞춤형 산업 로봇이나 개인 서비스 로봇처럼 새로운 환경이 자주 등장하는 분야에서 매우 중요한 기술이다.
메타학습(Meta-Learning)은 \'학습하는 방법을 학습하는 것(Learning to Learn)\'을 목표로 한다. 로봇은 다양한 환경과 작업을 반복적으로 경험하면서 새로운 환경에 빠르게 적응하는 방법 자체를 익힌다. 따라서 새로운 작업이 주어지면 몇 번의 학습만으로도 높은 성능을 달성할 수 있다. 대표적으로 모델 불가지론 메타학습(Model-Agnostic Meta-Learning, MAML)과 메모리 기반 학습(Memory-Augmented Learning)이 널리 연구되고 있다.
도메인 적응(Domain Adaptation)은 학습 환경(Source Domain)과 실제 적용 환경(Target Domain)의 차이를 줄이는 기술이다. 카메라 특성, 조명, 날씨, 지형, 센서 보정(Calibration), 객체 모양 등이 달라져도 동일한 특징 공간을 유지하도록 학습한다. 특징 정렬(Feature Alignment), 적대적 학습(Adversarial Learning), 스타일 변환(Style Transfer) 등을 이용하여 새로운 환경에서도 적은 라벨만으로 높은 성능을 유지할 수 있다.
도메인 일반화(Domain Generalization)는 사후 적응보다 한 단계 더 발전한 개념이다. 다양한 환경에서 미리 학습하여 특정 환경에 의존하지 않는 표현을 만드는 것이 목표이다. 여러 시뮬레이션, 다양한 센서, 여러 종류의 로봇 플랫폼에서 학습하면 새로운 환경에서도 별도의 적응 없이 높은 성능을 유지할 가능성이 커진다. 따라서 실제 현장 적용 비용을 더욱 줄일 수 있다.
시뮬레이션(Simulation)은 라벨 효율 학습에서 매우 중요한 역할을 한다. 디지털 트윈(Digital Twin), 물리 시뮬레이터(Physics Simulator), 광사실 렌더링(Photorealistic Rendering), 절차적 환경 생성(Procedural Generation)을 이용하면 무제한의 자동 라벨 데이터를 생성할 수 있다. 이후 실제 환경에서는 소량의 데이터만 추가 학습하면 되므로 전체 데이터 구축 비용이 크게 감소한다.
로봇 파운데이션 모델(Robot Foundation Model)은 라벨 효율 학습을 크게 변화시키고 있다. 비전 트랜스포머(Vision Transformer, ViT), 비전-언어 모델(Vision-Language Model), 비전-언어-행동(Vision-Language-Action, VLA) 모델은 이미 다양한 환경에서 방대한 사전학습을 수행하였다. 따라서 새로운 환경에서는 몇 개의 라벨만으로도 매우 빠르게 적응할 수 있으며, 기존의 환경별 모델 개발 방식보다 훨씬 높은 효율을 제공한다.
멀티모달 학습(Multimodal Learning)은 라벨 효율성을 더욱 향상시킨다. 카메라는 시각 정보를 제공하고, 라이다는 거리와 기하학 정보를 제공하며, 레이더는 속도를 측정하고, 촉각과 힘 센서는 물리적 접촉을 제공한다. 여러 센서를 함께 학습하면 하나의 센서만 사용하는 경우보다 풍부한 정보를 얻을 수 있으며, 부족한 라벨을 서로 보완하여 적은 데이터로도 높은 성능을 유지할 수 있다.
지속학습(Continual Learning)은 새로운 환경에 적응하는 과정이 한 번으로 끝나지 않도록 한다. 로봇은 새로운 물체, 작업 절차, 사용자 요구를 계속 경험하며 기존 지식을 잊지 않으면서 새로운 정보를 추가로 학습한다. 재생 메모리(Replay Memory), 정규화(Regularization), 파라미터 분리(Parameter Isolation), 확장형 네트워크(Expandable Network) 등을 이용하여 기존 성능을 유지하면서 지속적으로 발전하는 시스템을 구현한다.
플릿 학습(Fleet Learning)은 여러 대의 로봇이 경험을 공유하는 방식이다. 서로 다른 공장이나 창고에서 운용되는 로봇은 각기 다른 환경을 경험한다. 각 로봇이 얻은 지식을 연합학습(Federated Learning), 지식 증류(Knowledge Distillation), 공유 월드 모델(Shared World Model)을 통해 서로 공유하면 개별 로봇이 처음부터 모든 환경을 학습할 필요가 없어진다. 이는 전체 시스템의 학습 효율을 크게 향상시킨다.
사람 참여 학습(Human-in-the-Loop Learning)은 여전히 중요한 역할을 수행한다. 사람은 모든 데이터를 라벨링하는 것이 아니라, 모델이 확신하지 못하는 예측을 수정하거나 새로운 작업을 시연(Demonstration)하고, 의미를 검증하는 역할을 수행한다. 로봇은 사람이 개입해야 할 시점을 스스로 판단하여 최소한의 전문가 시간으로 최대의 성능 향상을 달성하도록 한다.
라벨 효율 학습의 성능은 단순한 정확도만으로 평가되지 않는다. 샘플 효율(Sample Efficiency), 라벨링 비용(Annotation Cost), 적응 속도(Adaptation Speed), 전이 성능(Transfer Performance), 환경 변화에 대한 강인성(Robustness), 계산 효율성(Computational Efficiency), 추론 속도(Inference Latency), 메모리 사용량(Memory Consumption), 지속학습 능력 등을 종합적으로 평가한다. 실제 로봇 시스템에서는 적은 데이터로 얼마나 빠르게 안전하게 적응하는지가 매우 중요한 평가 요소이다.
아직 해결해야 할 과제도 존재한다. 완전히 새로운 객체(Open-Set Object), 심각한 도메인 차이(Domain Shift), 센서 성능 저하, 계절 변화, 희귀한 위험 상황(Rare Safety-Critical Event)은 매우 적은 라벨만으로 학습하기 어렵다. 또한 빠른 적응과 기존 지식 유지 사이의 균형, 재앙적 망각(Catastrophic Forgetting) 방지 역시 중요한 연구 주제로 남아 있다.
최근 연구는 생성형 AI(Generative AI), 확산 모델(Diffusion Model), 월드 모델(World Model), 그래프 신경망(Graph Neural Network, GNN), 인과 표현 학습(Causal Representation Learning), 강화학습(Reinforcement Learning), VLA 모델과 결합되는 방향으로 발전하고 있다. 또한 합성 데이터(Synthetic Data), 검색 증강 학습(Retrieval-Augmented Learning), 적응형 커리큘럼(Adaptive Curriculum), 온라인 불확실성 추정(Online Uncertainty Estimation), 플릿 학습을 통해 로봇이 스스로 부족한 지식을 찾아 지속적으로 학습하는 방향으로 연구가 확대되고 있다.
향후 라벨 효율 학습은 피지컬 AI(Physical AI) 시대의 핵심 기술이 될 것으로 전망된다. 미래의 로봇은 새로운 공장, 병원, 창고, 농장, 건설 현장, 가정에 배치될 때마다 대규모 데이터셋을 새롭게 구축하지 않아도 된다. 대신 사전학습된 멀티모달 표현(Multimodal Representation), 자기지도학습, 준지도학습, 능동학습, 약한 지도학습, 지속학습, 플릿 학습을 결합하여 단 몇 개의 라벨만으로도 새로운 환경을 빠르게 이해하고 지속적으로 적응하게 될 것이다. 이러한 기술은 로봇 개발 비용과 구축 기간을 획기적으로 단축시키며, 범용 로봇 파운데이션 모델의 실용화를 가속하는 핵심 기반 기술로 자리매김할 것이다.
04.09 Semi Supervised Learning Benchmark for Robot Tasks
준지도학습 벤치마크(Semi-Supervised Learning Benchmark)는 소량의 라벨(Label) 데이터와 대량의 비라벨(Unlabeled) 데이터를 함께 활용하는 알고리즘의 성능을 공정하게 평가하기 위한 표준 평가 체계이다. 실제 로봇은 운용 과정에서 방대한 센서 데이터를 생성하지만 사람이 라벨링할 수 있는 데이터는 극히 일부에 불과하다. 따라서 실제 환경과 유사한 데이터 구성으로 알고리즘의 성능을 비교하고, 데이터 효율(Data Efficiency)이 높은 로봇 파운데이션 모델(Robot Foundation Model)을 개발하기 위해 준지도학습 전용 벤치마크가 필수적으로 요구된다.
준지도학습 벤치마크가 필요한 이유는 실제 로봇 환경의 데이터 특성과 기존 지도학습 환경이 크게 다르기 때문이다. 창고, 병원, 공장, 농장, 건설 현장, 스마트시티에서 운용되는 로봇은 매일 수백만 장의 영상과 라이다(LiDAR), 깊이 지도(Depth Map), 촉각(Tactile), 위치 정보(Localization) 등을 생성한다. 그러나 사람이 객체, 장애물, 경로, 의미 영역(Semantic Region), 물체 자세(Pose)를 모두 라벨링하는 것은 현실적으로 불가능하다. 따라서 실제 환경과 동일한 조건에서 알고리즘을 평가하는 벤치마크가 반드시 필요하다.
우수한 벤치마크는 라벨과 비라벨 데이터의 비율을 명확하게 정의해야 한다. 일반적으로 전체 데이터 가운데 1%, 5%, 10%, 20%만 라벨을 제공하고 나머지는 비라벨 데이터로 유지한다. 이러한 표준 비율을 사용하면 서로 다른 연구에서 동일한 조건으로 알고리즘을 비교할 수 있으며, 적은 라벨에서 얼마나 높은 성능을 달성하는지를 객관적으로 평가할 수 있다.
현대의 로봇은 단일 센서만 사용하는 경우가 거의 없기 때문에 벤치마크도 멀티모달(Multimodal) 데이터를 포함해야 한다. 카메라는 색상과 질감을 제공하고, 라이다는 3차원 기하학 정보를 제공하며, 레이더(Radar)는 속도를 측정하고, IMU(Inertial Measurement Unit)는 자세와 움직임을 제공한다. 여기에 촉각 센서, 힘 센서, 마이크(Microphone), GPS 등 다양한 센서가 함께 사용된다. 준지도학습 벤치마크는 이러한 다양한 센서를 함께 활용하는 알고리즘을 평가할 수 있도록 구성되어야 한다.
영상 분류(Image Classification)는 가장 기본적인 평가 과제이다. 로봇은 공구(Tool), 제품(Product), 차량(Vehicle), 농작물(Crop), 산업 부품(Component), 의료 장비(Medical Equipment), 생활용품(Household Object) 등을 인식해야 한다. 준지도학습 벤치마크는 소량의 라벨만 이용하여 얼마나 정확하게 이러한 객체를 분류할 수 있는지를 평가하며, 의사 라벨(Pseudo Label), 교사-학생(Teacher-Student) 구조, 일관성 정규화(Consistency Regularization) 등의 성능을 비교한다.
객체 검출(Object Detection)은 로봇 인식의 핵심 평가 항목이다. 대부분의 영상에는 라벨이 없으며 일부 영상만 바운딩 박스(Bounding Box)를 제공한다. 알고리즘은 비라벨 영상에서 의사 라벨을 생성하고 반복적으로 성능을 향상시킨다. 벤치마크는 평균 정밀도(mAP, mean Average Precision), 위치 정확도(Localization Accuracy), 신뢰도(Calibration), 가림(Occlusion) 환경에서의 강인성 등을 함께 평가한다.
의미 분할(Semantic Segmentation)은 픽셀(Pixel) 단위의 라벨이 필요하기 때문에 가장 높은 라벨링 비용을 요구한다. 자율주행, 환경 지도 작성(Mapping), 농업, 의료, 시설 점검에서는 장면 전체를 의미 단위로 분할해야 한다. 준지도학습 벤치마크는 적은 픽셀 라벨만으로 Mean IoU(Intersection-over-Union), 경계 정확도(Boundary Accuracy), 클래스 균형(Class Balance) 등을 얼마나 유지하는지를 평가한다.
3차원 인식(3D Perception)은 라이다, RGB-D 카메라, 스테레오 비전(Stereo Vision) 등을 사용하는 로봇에서 매우 중요한 평가 분야이다. 포인트 클라우드(Point Cloud) 의미 분할, 3차원 객체 검출, 지도 생성, 점유 공간(Occupancy) 예측 등을 소량의 라벨만으로 얼마나 정확하게 수행하는지를 평가한다. 3차원 라벨링은 매우 비용이 높기 때문에 준지도학습의 효과를 가장 잘 확인할 수 있는 분야 중 하나이다.
자율주행(Navigation)은 로봇의 실제 운용 능력을 평가하는 대표적인 벤치마크이다. 장소 인식(Place Recognition), 주행 가능 영역(Traversability), 장애물 검출, 자기 위치 추정(Localization), 경로 계획(Path Planning) 등을 부분적인 라벨만으로 얼마나 정확하게 수행하는지를 평가한다. 성공률(Success Rate), 이동 거리(Path Efficiency), 충돌 회피(Collision Avoidance), 이동 시간 등 실제 운용 성능도 함께 측정한다.
로봇 조작(Robot Manipulation)은 파지(Grasp), 조립(Assembly), 접촉(Contact), 힘 제어(Force Control), 물체 조작(Object Manipulation)을 평가한다. 대부분의 조작 데이터는 자동으로 생성되지만 성공 여부나 접촉 상태를 사람이 라벨링하기는 어렵다. 준지도학습 벤치마크는 소량의 라벨만으로 파지 성공률과 작업 수행 능력이 얼마나 향상되는지를 평가한다.
산업 검사(Industrial Inspection)는 준지도학습의 대표적인 활용 분야이다. 생산라인은 매일 수많은 검사 영상을 생성하지만 실제 불량(Defect)은 매우 적다. 벤치마크는 표면 결함(Surface Defect), 용접(Welding), 부식(Corrosion), 치수 검사(Dimensional Inspection), 예지 보전(Predictive Maintenance) 등을 적은 라벨만으로 얼마나 정확하게 수행하는지를 평가하며, 실제 산업 환경과 매우 유사한 조건을 제공한다.
농업 로봇(Agricultural Robotics)은 계절과 환경 변화가 매우 심하기 때문에 준지도학습의 효과가 크다. 작물 분류(Crop Classification), 과일 검출(Fruit Detection), 잡초 탐지(Weed Detection), 병충해 진단(Disease Detection), 수확량 예측(Yield Estimation) 등을 다양한 계절과 날씨에서 평가한다. 적은 라벨로도 환경 변화에 얼마나 잘 적응하는지가 중요한 평가 요소가 된다.
의료 로봇(Medical Robotics)은 전문가의 라벨링 비용이 매우 높기 때문에 준지도학습 벤치마크의 중요성이 더욱 크다. 의료 영상 분할(Medical Image Segmentation), 수술 기구 추적(Instrument Tracking), 병변 검출(Lesion Detection), 수술 단계 인식(Surgical Workflow Recognition) 등을 소수의 전문가 라벨만으로 얼마나 정확하게 수행할 수 있는지를 평가한다.
준지도학습 벤치마크는 단순한 정확도만 평가하지 않는다. 라벨 효율(Label Efficiency), 샘플 효율(Sample Efficiency), 일반화 성능(Generalization), 환경 변화에 대한 강인성(Robustness), 계산 효율성(Computational Efficiency), 메모리 사용량(Memory Usage), 추론 속도(Inference Latency), 신뢰도 보정(Calibration) 등을 함께 평가한다. 실제 로봇은 제한된 연산 자원과 실시간 처리가 요구되므로 이러한 요소들이 매우 중요하다.
일반화 능력(Generalization)은 준지도학습 벤치마크의 핵심 목표 가운데 하나이다. 알고리즘은 학습 환경만 잘 인식하는 것이 아니라 새로운 센서, 새로운 로봇, 새로운 공장이나 창고에서도 높은 성능을 유지해야 한다. 따라서 학습 환경(Source Domain)과 테스트 환경(Target Domain)을 분리하여 성능을 평가하는 교차 도메인(Cross-Domain) 평가가 많이 사용된다.
지속학습(Continual Learning) 벤치마크는 시간이 지나면서 환경이 계속 변화하는 상황을 평가한다. 로봇은 새로운 물체, 계절 변화, 생산 공정 변경, 장비 교체 등을 지속적으로 경험한다. 준지도 지속학습은 적은 라벨만으로 새로운 환경에 빠르게 적응하면서도 기존 지식을 잊지 않는지(Catastrophic Forgetting)를 평가하는 중요한 기준이 된다.
시뮬레이션(Simulation) 기반 벤치마크도 중요한 역할을 한다. 디지털 트윈(Digital Twin), 물리 시뮬레이터(Physics Simulator), 절차적 환경 생성(Procedural Generation)을 이용하면 무제한의 자동 라벨 데이터를 생성할 수 있다. 이후 실제 환경에서는 소량의 라벨만 추가하여 성능을 평가하는 Sim-to-Real(Simulation-to-Reality) 방식이 널리 활용되고 있다.
최근의 로봇 파운데이션 모델(Robot Foundation Model)은 벤치마크 구조도 변화시키고 있다. 기존처럼 처음부터 학습하는 것이 아니라 대규모 사전학습(Pretraining)을 수행한 후 적은 라벨로 미세조정(Fine-Tuning)하는 성능을 평가한다. 또한 제로샷(Zero-Shot), 소량학습(Few-Shot), 멀티모달 추론(Multimodal Reasoning), 다양한 작업으로의 전이 성능(Transferability)도 중요한 평가 요소가 되고 있다.
벤치마크의 재현성(Reproducibility) 역시 매우 중요하다. 동일한 데이터 분할, 동일한 라벨 비율, 공개된 평가 코드, 하이퍼파라미터(Hyperparameter), 난수 시드(Random Seed)를 제공해야 연구자들이 공정하게 알고리즘을 비교할 수 있다. 이러한 표준화는 국제 연구에서 매우 중요한 기준이 된다.
최근의 준지도학습 벤치마크는 자기지도학습(Self-Supervised Learning), 능동학습(Active Learning), 약한 지도학습(Weak Supervision), 지속학습, 월드 모델(World Model), 비전-언어 모델(Vision-Language Model), 비전-언어-행동(Vision-Language-Action, VLA) 모델과 결합되는 방향으로 발전하고 있다. 또한 플릿 학습(Fleet Learning), 연합학습(Federated Learning), 생성형 AI(Generative AI)까지 포함하는 종합적인 평가 체계로 확대되고 있다.
현재의 벤치마크에도 한계는 존재한다. 실제 환경의 다양성을 완전히 반영하지 못하며, 데이터셋마다 라벨 품질이 다르고, 대부분 인식(Perception)에만 집중되어 있다. 의사결정(Decision Making), 조작(Manipulation), 장기 자율성(Long-Term Autonomy), 안전성(Safety), 에너지 효율(Energy Efficiency)까지 함께 평가하는 통합 벤치마크는 아직 충분하지 않다.
향후 준지도학습 벤치마크는 피지컬 AI(Physical AI) 시대에 맞추어 인식, 추론(Reasoning), 계획(Planning), 조작, 자율주행, 언어 이해(Language Understanding), 멀티모달 상호작용, 지속학습을 모두 포함하는 통합 평가 체계로 발전할 것이다. 미래의 로봇 파운데이션 모델은 매우 적은 라벨만으로 새로운 환경에 빠르게 적응하고 지속적으로 학습해야 하므로, 이러한 벤치마크는 차세대 범용 지능 로봇의 성능을 객관적으로 평가하는 핵심 기준으로 자리 잡을 것으로 기대된다.
04.10 Semi Supervised Manipulation Policy Learning [w/Code]
준지도 조작 정책 학습(Semi-Supervised Manipulation Policy Learning)은 소량의 전문가 시연(Demonstration)과 대량의 비라벨(Unlabeled) 로봇 조작 데이터를 함께 활용하여 조작 정책(Manipulation Policy)을 학습하는 기술이다. 기존의 로봇 조작은 많은 사람의 시연이나 정교한 보상 함수(Reward Function)가 필요했기 때문에 데이터 구축 비용이 매우 높았다. 반면 준지도학습은 일부 전문가 데이터와 일상적인 로봇 운용 과정에서 자동으로 생성되는 데이터를 함께 활용하여 적은 비용으로도 높은 조작 성능을 달성할 수 있도록 한다. 이는 산업용 로봇, 물류 로봇, 의료 로봇, 서비스 로봇 등 다양한 분야에서 핵심 기술로 주목받고 있다.
현실의 로봇은 작업을 수행하면서 RGB 카메라(RGB Camera), 깊이 카메라(Depth Camera), 관절 위치(Joint Position), 모터 전류(Motor Current), 촉각(Tactile), 힘(Force), 그리퍼 상태(Gripper State), 물체 이동 경로(Trajectory) 등 방대한 데이터를 지속적으로 생성한다. 그러나 이러한 모든 데이터를 사람이 직접 시연하거나 라벨링하는 것은 매우 어렵다. 준지도 조작 정책 학습은 이러한 비라벨 데이터를 효과적인 학습 자원으로 활용하여 지속적으로 조작 능력을 향상시키는 것을 목표로 한다.
조작 정책 학습은 단순한 객체 인식과는 다르다. 현재의 센서 정보를 바탕으로 다음 행동(Action)을 결정해야 하며, 현재의 선택이 미래 결과에 어떤 영향을 미치는지도 함께 고려해야 한다. 따라서 로봇은 물체의 형태와 위치뿐 아니라 접촉(Contact), 힘 제어, 물리적 상호작용(Physical Interaction), 장기적인 작업 순서까지 동시에 이해해야 한다. 준지도학습은 이러한 연속적인 의사결정 과정을 적은 양의 지도 데이터로도 효율적으로 학습할 수 있도록 지원한다.
모방학습(Imitation Learning)은 준지도 조작 정책 학습의 기본이 된다. 사람은 원격 조종(Teleoperation), 직접 교시(Kinesthetic Teaching), 모션 캡처(Motion Capture), 가상현실(VR), 프로그램 등을 이용하여 성공적인 작업을 시연한다. 이러한 시연 데이터는 조작 정책의 초기 학습을 위한 지도 데이터가 된다. 하지만 전문가 시연은 비용이 매우 높기 때문에 일반적으로 많은 양을 확보하기 어렵다. 준지도학습은 이러한 소량의 시연을 기반으로 대량의 비라벨 조작 데이터를 활용하여 일반화 성능을 크게 향상시킨다.
행동 복제(Behavior Cloning)는 가장 대표적인 지도 기반 조작 학습 방법이다. 입력된 센서 정보로부터 전문가가 수행한 행동을 그대로 예측하도록 학습한다. 준지도 환경에서는 초기 모델이 비라벨 데이터에 대해 행동(Action)을 예측하고, 신뢰도가 높은 결과를 의사 행동(Pseudo Action)으로 생성한다. 이후 이 의사 행동을 새로운 학습 데이터로 사용하여 정책을 지속적으로 개선함으로써 적은 시연만으로도 대규모 조작 데이터를 활용할 수 있다.
일관성 정규화(Consistency Regularization)는 조작 정책을 더욱 안정적으로 만든다. 조명(Illumination), 카메라 위치(Viewpoint), 센서 노이즈, 촉각 오차 등 작은 변화가 발생해도 로봇의 행동은 크게 달라져서는 안 된다. 준지도학습은 동일한 상황에 대해 항상 유사한 행동을 출력하도록 정책을 학습시키며, 이를 통해 환경 변화에 강한 조작 정책을 구축한다.
교사-학생(Teacher-Student) 구조도 널리 활용된다. 교사 모델(Teacher Model)은 비라벨 조작 데이터를 분석하여 행동을 예측하고, 학생 모델(Student Model)은 전문가 시연과 교사 모델이 생성한 의사 행동을 동시에 학습한다. 일반적으로 교사 모델은 학생 모델의 가중치를 지수 이동 평균(Exponential Moving Average, EMA)으로 갱신하므로 더욱 안정적인 학습이 가능하며, 의사 라벨의 품질도 지속적으로 향상된다.
자기지도학습(Self-Supervised Learning)은 준지도 조작 정책의 기반 표현(Representation)을 학습한다. 로봇은 대조학습(Contrastive Learning), 마스크드 오토인코더(Masked Autoencoder, MAE), 예측 부호화(Predictive Coding), 월드 모델(World Model) 등을 이용하여 비라벨 데이터만으로도 물체의 형태, 공간 구조, 접촉 특성, 물리적 관계를 이해하는 표현을 학습한다. 이후 소량의 전문가 시연만으로도 새로운 조작 정책을 빠르게 학습할 수 있다.
시간 예측(Temporal Prediction)은 조작 학습에서 매우 중요한 자기지도 목표이다. 현재의 카메라 영상과 촉각 정보를 이용하여 미래의 물체 위치, 접촉 상태, 그리퍼 움직임, 힘 변화를 예측하도록 학습한다. 이러한 과정은 물리적 인과관계(Causal Relationship)를 이해하도록 도와주며, 실제 조작 정책의 일반화 성능을 크게 향상시킨다.
멀티모달 학습(Multimodal Learning)은 조작 정책의 성능을 크게 향상시킨다. 카메라는 외형과 색상을 제공하고, 깊이 센서는 3차원 형태를 제공하며, 촉각 센서는 접촉 상태와 미끄러짐(Slip)을 감지하고, 힘 센서는 물리적인 상호작용을 측정한다. 여러 센서를 동시에 학습하면 하나의 센서만 사용할 때보다 훨씬 안정적이고 정밀한 조작 정책을 구축할 수 있다.
촉각 센서(Tactile Sensor)는 조작 정책에서 매우 중요한 역할을 한다. 시각 정보만으로는 파지(Grasp)의 안정성이나 물체의 재질(Material), 마찰력(Friction), 강성(Stiffness)을 정확히 알기 어렵다. 반면 촉각 데이터는 이러한 정보를 직접 제공하며, 로봇은 일상적인 조작 과정에서 자연스럽게 방대한 촉각 데이터를 수집할 수 있다. 준지도학습은 이러한 데이터를 활용하여 더욱 안정적인 파지와 정밀한 조작을 가능하게 한다.
힘 제어(Force Control) 역시 준지도학습의 중요한 대상이다. 조립(Assembly), 연마(Polishing), 삽입(Insertion), 의료 수술(Medical Surgery), 커넥터 결합(Connector Insertion)과 같은 작업은 정밀한 힘 제어가 필수적이다. 힘 센서는 작업 중 지속적으로 힘 데이터를 생성하며, 준지도학습은 이러한 데이터를 이용하여 접촉 제어(Contact Control)와 순응 제어(Compliance Control)의 성능을 지속적으로 향상시킨다.
로봇의 자율 탐색(Autonomous Exploration)은 새로운 조작 데이터를 생성하는 중요한 방법이다. 로봇은 다양한 크기, 형태, 무게, 재질의 물체를 스스로 만지고 이동시키면서 성공과 실패를 모두 경험한다. 실패한 조작 역시 매우 중요한 학습 자료가 되며, 준지도학습은 이러한 경험을 활용하여 물체의 어포던스(Affordance)와 조작 가능성을 지속적으로 학습한다.
조작에서 의사 라벨(Pseudo Label)은 단순한 분류 문제보다 훨씬 복잡하다. 생성된 행동은 로봇의 운동학(Kinematics), 동역학(Dynamics), 충돌(Collision), 작업 공간 제한 등을 모두 만족해야 한다. 따라서 의사 행동을 생성할 때는 궤적 최적화(Trajectory Optimization), 역기구학(Inverse Kinematics), 그립 안정성(Grasp Stability), 불확실성(Uncertainty) 등을 함께 고려하여 신뢰할 수 있는 데이터만 학습에 활용한다.
강화학습(Reinforcement Learning)은 준지도 조작 정책과 함께 자주 사용된다. 작업 성공 여부는 희소한 보상(Sparse Reward)을 제공하며, 전문가 시연은 초기 정책을 안정적으로 만들어 준다. 여기에 대량의 비라벨 조작 데이터를 함께 활용하면 표현 학습과 정책 학습을 동시에 수행할 수 있어 학습 속도와 샘플 효율(Sample Efficiency)이 크게 향상된다.
로봇 파운데이션 모델(Robot Foundation Model)은 준지도 조작 정책의 핵심 기반이 되고 있다. 비전 트랜스포머(Vision Transformer, ViT), 비전-언어 모델(Vision-Language Model), 비전-언어-행동(Vision-Language-Action, VLA) 모델은 이미 대규모 데이터로 사전학습되어 물체와 공간, 조작 가능성을 이해하고 있다. 따라서 새로운 조작 작업에서는 소량의 시연만으로도 매우 빠르게 적응할 수 있다.
비전-언어-행동(Vision-Language-Action, VLA) 모델은 자연어를 이용하여 조작 정책을 학습한다. 예를 들어 "빨간 컵을 집어라(Pick up the red cup)" 또는 "상자 안에 부품을 넣어라(Insert the part into the box)"와 같은 언어 명령이 고수준 목표를 제공하며, 비라벨 조작 데이터는 실제 행동을 세밀하게 보완한다. 이를 통해 하나의 정책이 다양한 작업으로 일반화될 수 있다.
시뮬레이션(Simulation)은 준지도 조작 정책 개발에서 매우 중요한 역할을 한다. 물리 시뮬레이터(Physics Simulator), 디지털 트윈(Digital Twin), 광사실 렌더링(Photorealistic Rendering), 절차적 환경 생성(Procedural Generation)을 이용하면 무한한 조작 데이터를 자동으로 생성할 수 있다. 이후 실제 환경에서는 소량의 시연만으로 정책을 현실에 맞게 미세조정(Fine-Tuning)하면 된다.
플릿 학습(Fleet Learning)은 여러 대의 로봇이 조작 경험을 공유하는 방식이다. 공장, 창고, 연구소, 가정에서 운용되는 로봇들은 서로 다른 물체와 작업을 경험한다. 각 로봇이 학습한 정책과 월드 모델(World Model), 표현(Representation)을 연합학습(Federated Learning)이나 지식 증류(Knowledge Distillation)를 통해 공유하면 전체 로봇 시스템의 학습 속도와 성능이 크게 향상된다.
준지도 조작 정책의 평가는 단순한 정확도만으로 이루어지지 않는다. 작업 성공률(Task Success Rate), 파지 안정성(Grasp Stability), 삽입 정확도(Insertion Accuracy), 힘 제어 품질(Force Regulation), 접촉 안정성(Contact Stability), 샘플 효율, 라벨링 비용, 새로운 물체에 대한 일반화 성능, 계산 효율성, 추론 속도(Inference Latency), 안전성(Safety) 등을 종합적으로 평가한다.
현재도 해결해야 할 과제는 많다. 접촉 역학(Contact Dynamics)은 매우 복잡하며, 촉각 센서는 노이즈가 많고, 탐색 과정에서는 위험한 행동이 발생할 수 있다. 또한 시뮬레이션과 실제 환경의 차이(Sim-to-Real Gap), 희귀한 실패 사례(Rare Failure), 안전한 탐색(Safe Exploration)은 여전히 중요한 연구 과제로 남아 있다.
최근 연구는 월드 모델(World Model), 확산 정책(Diffusion Policy), 트랜스포머(Transformer), 그래프 신경망(Graph Neural Network, GNN), 인과 표현 학습(Causal Representation Learning), 강화학습, 능동학습(Active Learning), 지속학습(Continual Learning), VLA 모델을 통합하는 방향으로 발전하고 있다. 또한 검색 증강 조작 정책(Retrieval-Augmented Manipulation), 메모리 기반 월드 모델(Memory-Augmented World Model), 자동 기술 조합(Autonomous Skill Composition) 등을 통해 범용 조작 능력을 향상시키는 연구가 활발히 진행되고 있다.
향후 준지도 조작 정책 학습은 피지컬 AI(Physical AI)의 핵심 기술이 될 것으로 전망된다. 미래의 로봇은 공장, 병원, 창고, 가정, 농장, 건설 현장에서 수행하는 수많은 조작 경험을 자동으로 학습 데이터로 변환하게 될 것이다. 자기지도학습, 의사 라벨, 멀티모달 센서 융합, 지속학습, 플릿 학습, 로봇 파운데이션 모델이 결합되면 전문가의 시연을 최소화하면서도 사람과 유사한 수준의 적응력과 범용성을 갖춘 조작 정책을 지속적으로 발전시키는 차세대 지능형 로봇이 구현될 것으로 기대된다.
저자: Richard Minsoo Go
LinkedIn: Richard Minsoo Go










Top comments (0)