DEV Community

Richard Minsoo Go
Richard Minsoo Go

Posted on

Robot Learning and AI — Ch.06: Imitation Learning [KR]

STATERA Library · Series 08 · Volume 19 · Chapter 06 · KR
Source: https://github.com/Statera-Library/08_Vol_19_Robot_Learning_and_AI/blob/main/19_06_Imitation_Learning/19_06_Imitation_Learning_KR.md

Volume 19 Robot Machine Learning and AI

06. Imitation Learning

06.01 Imitation Learning Overview BC IRL GAIL

모방 학습(Imitation Learning)은 전문가(Expert)가 수행한 시연(Demonstration)을 관찰하여 행동을 학습하는 기계학습(Machine Learning) 방법이다. 강화 학습(Reinforcement Learning)처럼 수많은 시행착오를 반복하기보다, 전문가의 행동을 직접 학습하여 정책(Policy)을 생성한다. 따라서 위험하거나 비용이 큰 환경에서도 빠르게 학습할 수 있으며, 로봇(Robot), 자율주행(Autonomous Driving), 산업 자동화(Industrial Automation), 의료 로봇(Medical Robotics) 등 다양한 분야에서 널리 활용되고 있다.

모방 학습의 핵심 목표는 전문가의 의사결정 과정을 가능한 한 정확하게 재현하는 것이다. 전문가 시연에는 상태(State), 관측(Observation), 행동(Action), 시간 정보뿐 아니라 경우에 따라 힘(Force), 언어 명령(Language Instruction), 환경 정보(Environment Context) 등이 함께 포함된다. 학습된 정책은 새로운 환경에서도 전문가와 유사한 행동을 수행하도록 설계되며, 단순한 입력과 출력의 대응 관계를 배우는 것이 아니라 연속적인 의사결정(Sequential Decision Making)을 학습한다.

가장 대표적인 방법은 행동 복제(Behavioral Cloning, BC)이다. BC는 모방 학습을 지도 학습(Supervised Learning) 문제로 변환한다. 전문가의 관측값을 입력으로 사용하고, 전문가가 수행한 행동을 정답(Label)으로 사용하여 신경망(Neural Network)을 학습시킨다. 연속적인 행동은 평균제곱오차(Mean Squared Error), 이산 행동은 교차 엔트로피(Cross Entropy)와 같은 일반적인 손실 함수(Loss Function)를 이용하여 최적화한다.

행동 복제는 구현이 매우 간단하며 대규모 데이터셋을 쉽게 활용할 수 있다는 장점이 있다. 원격 조작(Teleoperation), 작업자의 시연, 산업용 로봇의 반복 작업 등을 이용하여 데이터를 수집한 후 비교적 짧은 시간 안에 정책을 학습할 수 있다. 또한 별도의 보상 함수(Reward Function)를 설계할 필요가 없으므로 개발 기간과 구현 난이도를 크게 줄일 수 있다.

그러나 BC에는 공변량 이동(Covariate Shift) 또는 분포 불일치(Distribution Mismatch)라는 대표적인 문제가 존재한다. 학습 과정에서는 전문가가 방문한 상태만 관찰하지만 실제 실행에서는 작은 예측 오차가 누적되면서 학습 데이터에 존재하지 않았던 새로운 상태로 이동하게 된다. 이러한 상태에서는 적절한 행동을 배우지 못했기 때문에 오류가 계속 증가하며 결국 작업 실패로 이어질 가능성이 높다. 이를 누적 오류(Compounding Error) 문제라고 한다.

이러한 문제를 해결하기 위해 데이터 집계(Dataset Aggregation, DAgger) 기법이 제안되었다. DAgger는 현재 학습된 정책을 실제로 실행하면서 전문가에게 지속적으로 수정 행동을 요청한다. 새롭게 생성된 복구 데이터(Recovery Trajectory)를 기존 데이터셋에 반복적으로 추가하여 다시 학습함으로써, 정책이 자신의 실수 이후의 상태에서도 적절한 행동을 수행하도록 만든다. 결과적으로 BC보다 훨씬 높은 안정성과 일반화 능력을 확보할 수 있다.

역강화 학습(Inverse Reinforcement Learning, IRL)은 BC와는 다른 관점을 가진다. 전문가의 행동 자체를 그대로 모방하는 것이 아니라, 전문가가 최적화하고 있는 숨겨진 보상 함수(Hidden Reward Function)를 추정하는 것이 목적이다. 먼저 보상 함수를 복원한 뒤, 일반적인 강화 학습을 이용하여 해당 보상을 최대화하는 정책을 다시 학습한다. 즉 행동보다 행동의 목적과 의도를 배우려는 접근법이다.

IRL은 동일한 작업이라도 전문가마다 서로 다른 경로를 선택할 수 있다는 사실에서 출발한다. 사람마다 움직임은 조금씩 다르지만 궁극적인 목표는 동일할 수 있다. 단순히 행동만 복사하면 특정 시연에 과도하게 의존할 수 있지만, 보상 함수를 학습하면 새로운 환경에서도 동일한 목적을 달성하기 위한 다양한 행동을 생성할 수 있다. 따라서 일반화 성능(Generalization)이 매우 중요한 응용 분야에서 높은 가치를 가진다.

초기의 IRL 알고리즘들은 전문가와 학습된 정책의 특징 기대값(Feature Expectation)을 비교하여 보상 함수를 추정하였다. 이후 최대 마진(Maximum Margin), 베이지안 추론(Bayesian Inference), 엔트로피 정규화(Entropy Regularization), 확률 그래프 모델(Probabilistic Graphical Model) 등이 적용되면서 보다 안정적이고 정확한 보상 함수 추정이 가능해졌다. 다만 계산량은 BC보다 상당히 크며 학습 과정도 복잡하다.

최대 엔트로피 역강화 학습(Maximum Entropy IRL)은 전문가의 행동을 하나의 확률 분포(Probability Distribution)로 모델링한다. 여러 개의 최적 행동이 존재할 수 있음을 인정하고, 가능한 행동들의 다양성을 유지하면서 보상 함수를 추정한다. 이 접근법은 특정 경로에 과도하게 의존하지 않으므로 새로운 환경에서도 보다 자연스럽게 일반화되는 장점을 가진다.

생성적 적대적 모방 학습(Generative Adversarial Imitation Learning, GAIL)은 최근 가장 영향력이 큰 모방 학습 기법 가운데 하나이다. 생성적 적대 신경망(Generative Adversarial Network, GAN)의 구조를 응용하여 보상 함수를 명시적으로 추정하지 않고도 전문가 행동을 학습한다. 정책 네트워크(Policy Network)는 전문가와 비슷한 행동을 생성하고, 판별기(Discriminator)는 전문가의 행동과 생성된 행동을 구별하도록 학습된다.

학습이 반복될수록 정책은 판별기를 속일 만큼 전문가와 유사한 행동을 생성하게 된다. 반대로 판별기는 더욱 정교하게 전문가 행동을 식별하려고 한다. 이러한 경쟁 구조를 통해 정책은 별도의 보상 함수를 설계하지 않아도 전문가 수준의 행동을 점차 학습하게 된다. 판별기는 사실상 적응형 보상 함수(Adaptive Reward Function)의 역할을 수행한다고 볼 수 있다.

GAIL은 BC보다 누적 오류에 훨씬 강한 특성을 가진다. 정책이 자신의 행동 결과를 직접 경험하면서 환경과 상호작용하기 때문에 잘못된 상태에서도 복구 행동을 자연스럽게 학습할 수 있다. 따라서 장기적인 의사결정(Long-Term Decision Making)이 필요한 보행, 조작, 이동 로봇 등의 응용에서 우수한 성능을 보인다.

반면 GAIL은 계산량이 많고 학습 안정성이 중요한 문제가 된다. 정책과 판별기를 번갈아 최적화해야 하며, 생성적 적대 신경망에서 나타나는 학습 불안정성, 진동(Oscillation), 모드 붕괴(Mode Collapse) 등의 문제가 발생할 수 있다. 따라서 충분한 연산 자원과 세심한 하이퍼파라미터(Hyperparameter) 조정이 요구된다.

BC, IRL, GAIL은 각각 서로 다른 철학을 가진다. BC는 전문가의 행동을 직접 복사하는 가장 단순한 접근법이며, IRL은 전문가가 추구하는 목적을 추론하는 방법이다. GAIL은 적대적 학습(Adversarial Learning)을 이용하여 전문가와 구별되지 않는 행동을 생성하는 방향으로 정책을 발전시킨다. 실제 시스템에서는 이들 기법이 서로 경쟁하기보다 상호 보완적으로 활용되는 경우가 많다.

최근에는 모방 학습이 비전-언어 모델(Vision-Language Model, VLM), 비전-언어-행동 모델(Vision-Language-Action Model, VLA), 트랜스포머(Transformer), 파운데이션 모델(Foundation Model)과 결합되고 있다. 이미지(Image), 영상(Video), 언어(Language), 로봇 궤적(Trajectory), 힘 데이터(Force Data)를 함께 학습함으로써 다양한 작업에 재사용 가능한 표현(Representation)을 형성하고 있다.

확산 정책(Diffusion Policy)은 BC를 더욱 발전시킨 최신 접근법이다. 단순히 하나의 행동을 예측하는 대신 확산 모델(Diffusion Model)을 이용하여 여러 가능한 행동 분포(Action Distribution)를 생성한다. 이를 통해 보다 부드러운 궤적을 생성할 수 있으며, 동일한 작업에 존재하는 다양한 성공 전략을 자연스럽게 표현할 수 있다. 특히 정밀 조작(Dexterous Manipulation)과 복잡한 조립 작업에서 매우 높은 성능을 보여주고 있다.

비전-언어-행동 모델은 자연어 명령과 시각 정보를 동시에 이용하여 행동을 생성한다. 사람의 시연과 함께 작업 설명을 학습하기 때문에 로봇은 "컵을 집어 선반 위에 올려라"와 같은 언어 명령을 이해하면서 동시에 주변 환경을 인식하고 적절한 행동을 생성할 수 있다. 이러한 다중모달(Multimodal) 능력은 범용 로봇 개발에 매우 중요한 요소가 되고 있다.

현대의 모방 학습은 실제 로봇뿐 아니라 시뮬레이션(Simulation) 환경과도 긴밀하게 연결되어 있다. 디지털 트윈(Digital Twin)과 고정밀 물리 시뮬레이터에서 생성한 전문가 데이터를 실제 데이터와 함께 활용하면 데이터 구축 비용을 크게 줄일 수 있다. 또한 도메인 랜덤화(Domain Randomization), 물리 랜덤화(Physics Randomization), 시뮬레이션-실환경 전이(Sim-to-Real Transfer) 기술을 이용하여 실제 환경에서도 높은 성능을 유지할 수 있도록 발전하고 있다.

향후 모방 학습은 강화 학습, 월드 모델(World Model), 계층적 계획(Hierarchical Planning), 평생 학습(Lifelong Learning)과 더욱 긴밀하게 통합될 것으로 예상된다. 초기에는 BC를 이용하여 빠르게 정책을 생성하고, 이후 IRL을 통해 작업의 목적을 학습하며, 마지막으로 GAIL과 강화 학습을 이용하여 지속적으로 성능을 향상시키는 형태가 점차 일반적인 개발 방식이 될 가능성이 높다. 이러한 통합 접근법은 인간의 경험을 효과적으로 활용하면서도 스스로 지속적으로 발전하는 차세대 지능형 로봇 시스템의 핵심 기반 기술로 자리잡을 것으로 전망된다.

06.02 Behavior Cloning Data Collection and Training [w/Code]

행동 복제(Behavior Cloning, BC)는 모방 학습(Imitation Learning)에서 가장 직관적이고 널리 사용되는 방법이다. 강화학습(Reinforcement Learning)처럼 시행착오를 통해 정책(Policy)을 학습하는 대신, 전문가(Expert)가 수행한 시범(Demonstration)을 그대로 학습 데이터로 사용한다. 각 시범은 관측(Observation)과 행동(Action)의 쌍으로 구성되며, 모델은 이를 지도학습(Supervised Learning) 방식으로 학습하여 입력된 상태(State)에 대해 적절한 행동을 예측한다. 따라서 행동 복제는 복잡한 보상 함수(Reward Function)를 설계할 필요가 없으며, 다양한 로봇 작업에 빠르게 적용할 수 있다는 장점이 있다.

행동 복제의 핵심 가정은 전문가가 수행한 행동이 최적 또는 충분히 우수한 행동이라는 점이다. 만약 전문가가 동일한 작업을 반복적으로 성공적으로 수행한다면, 모델은 상태와 행동 사이의 관계를 통계적으로 학습하여 유사한 환경에서도 동일한 행동을 재현할 수 있다. 결국 학습 과정은 예측한 행동과 전문가 행동의 차이를 최소화하는 최적화 문제로 변환된다. 이러한 구조는 영상 분류나 회귀 문제와 유사하지만, 출력이 클래스(Label)가 아니라 실제 로봇 제어 명령이라는 점에서 차이가 있다.

행동 복제에서 가장 중요한 요소는 데이터 수집(Data Collection)이다. 강화학습에서는 에이전트가 스스로 데이터를 생성하지만, 행동 복제에서는 모든 학습 성능이 시범 데이터의 품질에 크게 의존한다. 전문가 시범의 품질이 낮으면 아무리 뛰어난 신경망 구조를 사용하더라도 좋은 정책을 얻기 어렵다. 따라서 실제 프로젝트에서는 데이터 수집이 전체 개발 비용과 시간을 가장 많이 차지하는 경우가 많다. 모델은 데이터에 존재하지 않는 행동을 스스로 학습할 수 없기 때문에 데이터셋(Dataset)의 범위가 곧 정책의 성능 한계를 결정한다.

전문가 시범은 다양한 방식으로 수집할 수 있다. 가장 일반적인 방법은 사람의 원격 조작(Teleoperation)이다. 조이스틱(Joystick), VR 컨트롤러(VR Controller), 햅틱 장치(Haptic Device), 외골격(Exoskeleton), 모션 캡처(Motion Capture), 마스터-슬레이브 로봇(Master-Slave Robot) 등을 이용하여 작업을 수행하면, 로봇은 모든 센서 정보와 제어 명령을 동시에 기록한다. 이러한 시스템은 지연 시간(Latency)을 최소화하고 조작의 직관성을 높일수록 더욱 자연스럽고 품질 높은 시범 데이터를 생성할 수 있다.

시뮬레이션(Simulation)은 또 다른 중요한 데이터 생성 방법이다. Isaac Sim, MuJoCo, Gazebo, Unity와 같은 물리 시뮬레이터에서는 전문가나 자동 제어기(Scripted Controller)가 실제 하드웨어 없이도 대량의 시범 데이터를 생성할 수 있다. 시뮬레이션은 다양한 환경, 물체 배치, 조명 조건, 마찰 계수 등을 자유롭게 변경할 수 있어 데이터 다양성을 크게 향상시킨다. 하지만 실제 환경과 시뮬레이션 사이에는 심투리얼 격차(Sim-to-Real Gap)가 존재하기 때문에, 이를 줄이기 위해 도메인 랜덤화(Domain Randomization)와 현실적인 물리 모델이 함께 사용된다.

최근에는 기존 알고리즘을 이용하여 자동으로 시범 데이터를 생성하기도 한다. 이미 구축된 강화학습 정책, 최적화 기반 제어기, 경로 계획기(Planner), 산업용 자동 제어기 등이 전문가 역할을 수행하며, 이들의 실행 결과를 행동 복제의 학습 데이터로 활용한다. 이러한 접근은 계산량이 매우 큰 알고리즘을 경량 신경망으로 압축(Knowledge Distillation)하여 실제 로봇에서 빠르게 실행할 수 있도록 만드는 데 매우 효과적이다.

하나의 시범 궤적(Trajectory)에는 단순한 제어 명령 이상의 다양한 정보가 포함된다. RGB 영상, 깊이 영상(Depth Image), LiDAR 데이터, 힘·토크 센서(Force-Torque Sensor), 촉각 센서(Tactile Sensor), 관절 위치(Joint Position), 관절 속도(Joint Velocity), 말단장치 자세(End-Effector Pose), 그리퍼 상태(Gripper State), IMU 데이터, 위치 추정(Localization), 자연어 명령(Language Instruction), 작업 ID(Task ID), 환경 정보(Environment Metadata), 시간 정보(Timestamp) 등이 함께 저장된다. 이러한 다중모달(Multimodal) 데이터는 정책이 다양한 센서를 동시에 활용하여 보다 정확한 의사결정을 수행하도록 만든다.

관측 공간(Observation Space)의 설계는 정책 성능에 직접적인 영향을 미친다. 일부 작업은 로봇 상태와 물체 위치만 포함된 저차원 상태 벡터(Low-Dimensional State Vector)만으로도 해결할 수 있다. 반면 복잡한 조작 작업에서는 영상 정보가 필수적이며, 최근에는 합성곱 신경망(CNN), 비전 트랜스포머(Vision Transformer), 멀티모달 파운데이션 모델(Multimodal Foundation Model)을 이용하여 원시 영상(Raw Image)으로부터 특징을 자동으로 학습하는 방식이 주류가 되고 있다.

행동 공간(Action Space)의 정의도 매우 중요하다. 산업용 로봇은 관절 각도(Joint Angle), 관절 속도(Joint Velocity), 말단장치 위치 변화(Cartesian Displacement), 그리퍼 개폐(Gripper Command) 등을 출력한다. 이동 로봇(Mobile Robot)은 조향각(Steering Angle), 바퀴 속도(Wheel Velocity), 가속도(Acceleration), 목표 경로(Waypoint)를 예측한다. 휴머노이드(Humanoid)는 수십 개 이상의 자유도(Degree of Freedom)를 동시에 제어해야 하므로 훨씬 복잡한 행동 표현이 필요하다.

센서 동기화(Sensor Synchronization)는 데이터 품질을 결정하는 또 하나의 핵심 요소이다. 카메라, LiDAR, IMU, 힘 센서, 관절 인코더는 서로 다른 주기로 데이터를 생성하기 때문에, 시간 동기화(Time Synchronization)가 이루어지지 않으면 현재 행동과 과거 센서 데이터가 잘못 연결될 수 있다. 이를 방지하기 위해 하드웨어 트리거(Hardware Trigger), 정밀 시간 프로토콜(Precision Time Protocol, PTP), 공통 시계(Common Clock) 등을 이용하여 모든 센서를 동일한 시간 기준으로 정렬한다.

데이터 수집이 완료되면 전처리(Preprocessing)가 수행된다. 센서 보정(Calibration)을 통해 오차를 제거하고, 필터링(Filtering)을 이용하여 노이즈를 감소시킨다. 누락된 데이터는 보간(Interpolation)하거나 제거하며, 영상은 크기 조정(Resize)과 정규화(Normalization)를 수행한다. 또한 사람의 손 떨림 등 의미 없는 작은 움직임은 궤적 평활화(Trajectory Smoothing)를 통해 제거하여 보다 안정적인 학습 데이터를 생성한다.

긴 작업은 의미 있는 작업 단위(Task Segment)로 분할하는 경우가 많다. 예를 들어 접근(Reach), 파지(Grasp), 들어 올리기(Lift), 이동(Transport), 삽입(Insert), 배치(Place) 등의 단계로 구분하면 학습이 더욱 효율적이다. 이러한 시간 분할(Temporal Segmentation)은 커리큘럼 학습(Curriculum Learning)에도 활용되며, 쉬운 작업부터 어려운 작업으로 점진적으로 학습하도록 도와준다. 또한 데이터 불균형(Data Imbalance)을 완화하는 데에도 효과적이다.

데이터 다양성(Data Diversity)은 일반화 성능(Generalization)을 결정하는 가장 중요한 요소 중 하나이다. 물체 위치, 조명, 배경, 카메라 시점, 작업 속도, 환경 구조가 지나치게 제한되어 있으면 모델은 단순 암기(Memorization)에 가까운 학습을 수행하게 된다. 따라서 실제 데이터셋은 다양한 초기 조건, 여러 작업자, 다양한 물체와 환경, 센서 노이즈 등을 의도적으로 포함하여 모델이 환경 변화에도 안정적으로 동작하도록 설계한다.

정책 신경망(Policy Network)은 작업 특성에 따라 다양한 구조를 사용할 수 있다. 저차원 입력에서는 다층 퍼셉트론(Multilayer Perceptron, MLP)이 효과적이며, 영상 기반 작업에서는 CNN과 Vision Transformer가 주로 사용된다. 순환 신경망(Recurrent Neural Network), LSTM(Long Short-Term Memory), GRU(Gated Recurrent Unit), Transformer 기반 시퀀스 모델은 시간 정보를 함께 고려하여 이전 동작까지 반영한 행동을 생성한다. 최근에는 영상, 언어, 로봇 상태, 촉각 정보를 동시에 처리하는 멀티모달 트랜스포머(Multimodal Transformer)가 Physical AI의 핵심 구조로 자리 잡고 있다.

행동 복제의 학습은 일반적인 지도학습 절차와 동일하다. 미니배치(Mini-Batch)를 구성하여 신경망이 행동을 예측하고, 예측값과 전문가 행동 사이의 차이를 손실 함수(Loss Function)로 계산한다. 연속 제어에서는 평균제곱오차(Mean Squared Error, MSE)나 Smooth L1 Loss를 사용하며, 이산 행동은 교차 엔트로피(Cross Entropy)를 사용한다. 일부 시스템은 행동 예측뿐 아니라 표현 학습(Representation Learning), 궤적 부드러움(Trajectory Smoothness), 보조 인식(Auxiliary Perception) 등의 추가 목적 함수를 함께 최적화한다.

과적합(Overfitting)을 방지하기 위해 다양한 정규화(Regularization) 기법이 사용된다. 가중치 감쇠(Weight Decay), 드롭아웃(Dropout), 데이터 증강(Data Augmentation)이 대표적이다. 영상은 색상 변화(Color Jitter), 밝기 조절, 노이즈 추가, 블러(Blur), 회전 등의 변환을 적용하고, 상태 벡터에는 작은 잡음을 추가하여 센서 오차에 대한 강건성(Robustness)을 향상시킨다.

행동 복제는 강화학습보다 데이터 효율성(Sample Efficiency)이 매우 높다. 모든 데이터가 전문가 행동이므로 무의미한 탐색에 시간을 소비하지 않으며, 위험한 행동을 수행할 필요도 없다. 따라서 의료 로봇(Medical Robot), 산업용 매니퓰레이터(Industrial Manipulator), 물류 로봇(Warehouse Robot), 검사 로봇(Inspection Robot)과 같이 안전성이 중요한 분야에서 초기 정책을 학습하는 데 매우 적합하다.

그러나 행동 복제는 공변량 이동(Covariate Shift)이라는 대표적인 문제를 가진다. 학습 과정에서는 전문가가 방문한 상태만 관찰하지만, 실제 실행에서는 작은 오차가 누적되면서 학습 데이터에 존재하지 않는 새로운 상태에 도달하게 된다. 이러한 상태에서는 적절한 행동을 학습하지 못했기 때문에 오류가 더욱 커지고 결국 작업이 실패하는 경우가 많다. 이것이 행동 복제가 긴 작업(Long-Horizon Task)에서 어려움을 겪는 가장 큰 이유이다.

이 문제를 해결하기 위해 다양한 기법이 제안되었다. 데이터 증강은 상태 분포를 넓혀 일반화를 향상시키며, 노이즈 주입(Noise Injection)은 복구 행동(Recovery Behavior)을 학습하도록 만든다. DAgger(Dataset Aggregation)와 같은 상호작용 모방학습(Interactive Imitation Learning)은 현재 정책이 방문한 상태를 다시 전문가가 시범으로 보완하여 학습 데이터를 지속적으로 확장한다. 또한 행동 복제와 강화학습을 결합하여 전문가 지식을 유지하면서 스스로 성능을 향상시키는 하이브리드(Hybrid) 접근도 널리 연구되고 있다.

행동 복제의 평가는 단순한 예측 오차만으로 이루어지지 않는다. 실제 로봇에서는 작업 성공률(Task Success Rate), 수행 시간(Task Completion Time), 궤적의 부드러움(Trajectory Smoothness), 충돌 횟수(Collision Rate), 에너지 소비(Energy Consumption), 외란에 대한 강건성(Robustness), 실패 복구 능력(Recovery Capability) 등이 더욱 중요한 평가 지표가 된다. 결국 실제 환경에서 폐루프(Closed-Loop) 실행을 수행하는 것이 가장 신뢰할 수 있는 평가 방법이다.

산업 현장에서는 실시간 추론(Inference Latency), 모델 경량화(Model Compression), 양자화(Quantization), 가지치기(Pruning), 지식 증류(Knowledge Distillation) 등이 필수적으로 고려된다. 또한 안전 감시기(Runtime Safety Monitor)가 정책 출력을 지속적으로 감시하여 위험한 명령을 차단하며, 운영 중에도 새로운 데이터를 수집하여 지속적으로 재학습(Retraining)을 수행함으로써 변화하는 환경에 적응한다.

최근 행동 복제는 대규모 로봇 데이터셋(Large-Scale Robot Dataset), 비전-언어-행동 모델(Vision-Language-Action Model), 확산 정책(Diffusion Policy), 액션 청킹 트랜스포머(Action Chunking Transformer), 계층형 정책(Hierarchical Policy) 등의 발전과 함께 더욱 강력한 학습 방법으로 진화하고 있다. 이러한 기술들은 행동 복제를 대체하는 것이 아니라 기존의 지도학습 기반 구조를 더욱 확장하여 장기 작업(Long-Horizon Task)과 복잡한 조작 능력을 향상시키고 있다.

행동 복제는 여전히 현대 로봇학에서 가장 실용적인 모방학습 기법 중 하나이다. 전문가 지식을 직접 활용할 수 있고, 높은 데이터 효율성과 간단한 학습 구조를 가지며, 다양한 산업 분야에 즉시 적용할 수 있다. 앞으로 로봇 파운데이션 모델(Robot Foundation Model)과 Physical AI가 발전할수록, 고품질 시범 데이터의 수집과 체계적인 학습 파이프라인 구축은 더욱 중요한 핵심 기술로 자리 잡게 될 것이다.

06.03 DAgger and HG DAgger Interactive IL [w/Code]

행동 복제(Behavior Cloning, BC)는 전문가의 시범을 그대로 학습하는 가장 단순한 모방학습(Imitation Learning) 방법이지만, 실제 환경에서는 중요한 한계를 가진다. 학습 과정에서는 전문가가 방문한 상태(State)만 경험하지만, 실제 실행에서는 로봇 자신의 작은 예측 오차가 누적되면서 전문가가 경험하지 않은 새로운 상태에 도달하게 된다. 이러한 상태에서는 적절한 행동을 학습하지 못했기 때문에 오류가 더욱 커지고 결국 작업 실패로 이어진다. 이러한 현상을 공변량 이동(Covariate Shift) 또는 분포 불일치(Distribution Mismatch)라고 하며, 작업 시간이 길고 환경이 복잡할수록 더욱 심각해진다. 상호작용 모방학습은 이러한 문제를 해결하기 위해 제안된 학습 방식이다.

데이터셋 집계(Dataset Aggregation), 즉 DAgger는 가장 대표적인 상호작용 모방학습 알고리즘이다. 기존 행동 복제가 처음 수집한 시범 데이터만 사용하는 것과 달리, DAgger는 학습 과정에서 로봇이 실제로 방문한 새로운 상태를 지속적으로 데이터셋에 추가한다. 즉, 전문가의 이상적인 행동뿐만 아니라 로봇이 실수한 이후의 상태에서도 전문가의 올바른 행동을 함께 학습하도록 만드는 것이 핵심 아이디어이다. 이를 통해 학습 데이터와 실제 운용 환경 사이의 차이를 점진적으로 줄일 수 있다.

DAgger는 반복적인(Iterative) 학습 과정을 수행한다. 먼저 전문가 시범만을 이용하여 일반적인 행동 복제 정책(Policy)을 학습한다. 이후 학습된 정책을 실제 또는 시뮬레이션 환경에서 자율적으로 실행하게 한다. 이때 전문가는 로봇이 방문하는 모든 상태를 관찰하면서 해당 상태에서 수행했어야 하는 올바른 행동을 기록한다. 새롭게 생성된 상태-행동(State-Action) 쌍은 기존 데이터셋과 합쳐지고, 정책은 확장된 데이터셋을 이용하여 다시 학습된다. 이러한 과정은 여러 번 반복되며 정책의 성능을 점진적으로 향상시킨다.

행동 복제와 DAgger의 가장 큰 차이는 학습 데이터가 생성되는 방식에 있다. 행동 복제는 전문가가 방문한 상태만 학습하지만, DAgger는 로봇이 실제 실행 중 방문한 상태를 학습 대상으로 포함한다. 이러한 상태에는 복구 상황(Recovery Situation), 부분적인 실패(Partial Failure), 예상하지 못한 물체 배치, 새로운 시점(Viewpoint), 환경 변화 등이 포함된다. 따라서 정책은 정상적인 작업 수행뿐 아니라 실패에서 회복하는 방법까지 함께 학습하게 된다.

통계적인 관점에서 보면 DAgger는 학습 데이터의 분포 자체를 변화시키는 알고리즘이다. 일반적인 지도학습에서는 전문가 정책이 생성한 데이터 분포만을 학습한다. 그러나 실제 운용에서는 로봇 자신의 정책이 새로운 데이터 분포를 만든다. 두 분포가 다르면 성능 저하가 발생한다. DAgger는 반복적으로 로봇이 생성한 데이터를 데이터셋에 추가함으로써 학습 분포를 실제 운용 분포와 점차 일치시키며, 결과적으로 분포 불일치를 크게 감소시킨다.

상호작용 감독(Interactive Supervision)은 DAgger의 가장 중요한 특징이다. 전문가는 초기 데이터만 제공하고 끝나는 것이 아니라 학습 과정 전반에 걸쳐 지속적으로 참여한다. 전문가는 실시간으로 모든 상태를 라벨링할 수도 있고, 실행이 끝난 뒤 기록된 궤적(Trajectory)을 검토하면서 오프라인으로 수정할 수도 있다. 실시간 감독은 즉각적인 수정이 가능하지만 지속적인 집중이 필요하며, 오프라인 방식은 작업 부담을 줄일 수 있지만 정책 개선이 다음 학습 단계까지 지연되는 단점이 있다.

로봇 조작(Robot Manipulation)은 DAgger의 장점을 잘 보여주는 대표적인 사례이다. 예를 들어 행동 복제에서는 물체를 항상 이상적인 위치에서 집는 시범만 학습하게 된다. 그러나 실제 운용에서는 작은 위치 오차 때문에 접근 각도가 달라지고 카메라 시야도 변화하게 된다. 이러한 변화는 이후의 관측과 행동을 연속적으로 변화시키며 결국 실패로 이어질 수 있다. DAgger는 이러한 오차 상황에서도 전문가가 올바른 복구 행동을 기록하기 때문에, 반복 학습을 거치면서 정책은 다양한 복구 전략을 자연스럽게 습득하게 된다.

자율주행(Autonomous Driving)에서도 동일한 원리가 적용된다. 인간 운전자는 일반적으로 차선 중앙을 유지하면서 운전하지만, 학습된 정책은 작은 조향 오차로 인해 차선 가장자리로 이동할 수 있다. 행동 복제에서는 이러한 상황을 학습하지 못하지만, DAgger에서는 전문가가 이러한 편향 상태에서 올바른 조향 명령을 제공한다. 결과적으로 정책은 정상적인 주행뿐 아니라 차선 이탈을 스스로 복구하는 능력까지 학습하게 된다.

DAgger의 성능은 전문가 피드백(Expert Feedback)의 품질에 크게 좌우된다. 전문가의 판단이 일관될수록 정책은 안정적으로 향상된다. 반대로 작업자마다 조작 스타일이 다르거나 피로로 인해 판단이 달라지면 서로 충돌하는 학습 신호가 생성될 수 있다. 따라서 산업 현장에서는 표준 작업 절차(Standard Operating Procedure)와 명확한 데이터 수집 기준을 마련하여 여러 작업자가 동일한 기준으로 시범을 제공하도록 관리하는 것이 중요하다.

학습 과정에서는 전문가와 로봇 사이의 제어 비율도 중요한 설계 요소이다. 초기에는 정책 성능이 낮기 때문에 전문가가 대부분의 작업을 수행한다. 학습이 반복될수록 로봇의 자율성이 증가하고 전문가의 개입은 점차 줄어든다. 일부 구현에서는 혼합 계수(Mixing Coefficient)를 사용하여 일정 확률로 전문가 정책과 학습된 정책을 번갈아 실행하기도 한다. 이러한 점진적인 전환은 초기 실패를 방지하면서도 다양한 학습 데이터를 확보하는 데 도움이 된다.

DAgger는 높은 성능을 제공하지만 비용도 증가한다. 모든 반복 과정에서 전문가가 새로운 데이터를 다시 라벨링해야 하므로 데이터 구축 비용이 행동 복제보다 높다. 또한 새로운 데이터가 추가될 때마다 정책을 반복적으로 재학습해야 하므로 계산량도 증가한다. 그럼에도 불구하고 일반적으로 DAgger는 단순히 시범 데이터를 대량으로 수집하는 것보다 훨씬 적은 데이터로 높은 일반화 성능을 달성할 수 있다.

이러한 부담을 줄이기 위해 다양한 개선 기법이 제안되었다. 대표적인 예가 SafeDAgger이다. SafeDAgger는 현재 상태에서 학습된 정책이 안전하게 행동할 수 있는지를 별도의 안전 정책(Safety Policy)이 예측한다. 위험성이 낮은 상태에서는 로봇이 계속 자율적으로 움직이고, 위험이 예상되는 경우에만 전문가가 개입한다. 이를 통해 전문가의 감독 시간을 크게 줄이면서도 높은 성능을 유지할 수 있다.

최근에는 불확실성 추정(Uncertainty Estimation)을 결합한 방법도 많이 사용된다. 베이지안 신경망(Bayesian Neural Network), 앙상블 모델(Ensemble Model), 몬테카를로 드롭아웃(Monte Carlo Dropout) 등은 행동 예측과 함께 신뢰도까지 계산한다. 신뢰도가 낮은 상태만 전문가에게 전달하여 추가 시범을 받는 능동 학습(Active Learning) 방식은 전문가의 시간을 가장 필요한 부분에 집중시켜 데이터 구축 효율을 크게 향상시킨다.

인간 게이트 DAgger(Human-Gated DAgger, HG-DAgger)는 DAgger를 더욱 실용적으로 발전시킨 알고리즘이다. 기존 DAgger에서는 전문가가 모든 상태를 지속적으로 감독해야 했지만, HG-DAgger에서는 사람이 언제 개입할지를 직접 결정한다. 즉, 전문가는 로봇이 정상적으로 동작한다고 판단되면 그대로 자율 실행을 유지하고, 실패가 예상되는 순간에만 직접 제어권을 가져와 로봇을 수정한다. 이러한 구조는 실제 산업 환경에서 매우 현실적인 학습 방식을 제공한다.

HG-DAgger의 핵심은 모든 오류를 즉시 수정할 필요는 없다는 점이다. 작은 오차는 로봇이 스스로 회복할 수도 있지만, 큰 오류는 작업 실패나 안전 문제로 이어질 수 있다. 사람은 이러한 위험 수준을 직관적으로 판단할 수 있기 때문에, 꼭 필요한 순간에만 개입하여 효율적으로 데이터를 생성할 수 있다. 이는 불필요한 전문가 개입을 줄이면서도 높은 안전성을 유지하는 중요한 장점이다.

HG-DAgger에서는 로봇이 자율적으로 작업을 수행하다가 전문가가 위험을 감지하면 즉시 수동 조작으로 전환된다. 전문가는 로봇을 다시 정상적인 경로로 복귀시키며, 이 과정의 모든 센서 데이터와 제어 명령이 기록된다. 이러한 개입 구간은 실패 복구(Recovery) 데이터를 포함하기 때문에 기존의 이상적인 시범보다 훨씬 가치 있는 학습 데이터가 된다.

이러한 방식은 데이터 효율성(Data Efficiency)도 높인다. 이미 로봇이 잘 수행하는 쉬운 상황에서는 추가 시범이 필요 없고, 어려운 상황에서만 전문가가 개입하기 때문에 데이터셋에는 가장 중요한 사례들이 집중적으로 포함된다. 따라서 동일한 시간 동안 더 높은 정보량을 가진 데이터를 구축할 수 있으며, 전문가의 작업 부담도 크게 감소한다.

HG-DAgger는 안전성(Safety)이 중요한 산업용 로봇에서 특히 유용하다. 협동로봇(Collaborative Robot), 산업용 매니퓰레이터, 자율주행차, 의료 로봇 등은 실패 자체가 큰 위험을 초래할 수 있다. 이러한 시스템에서는 무제한 탐험을 허용하기 어렵기 때문에, 사람이 필요할 때만 개입하는 HG-DAgger 방식이 실제 적용에 적합하다.

HG-DAgger의 성능은 사람의 개입 속도와 인터페이스 품질에도 영향을 받는다. 저지연(Low Latency) 원격 조작 시스템, 직관적인 조이스틱, VR 인터페이스, 햅틱 장치, 디지털 트윈(Digital Twin) 기반 시각화 시스템 등은 전문가가 빠르게 상황을 판단하고 안전하게 개입할 수 있도록 지원한다.

상호작용 모방학습에서는 인간 요소(Human Factors)도 중요한 연구 대상이다. 작업자의 피로(Fatigue), 인지 부하(Cognitive Load), 반응 속도(Reaction Time), 상황 인식(Situational Awareness), 사용자 인터페이스(UI)의 편의성 등이 데이터 품질에 직접적인 영향을 준다. 따라서 최신 데이터 수집 시스템은 재생 기능, 자동 기록, 시각화, 보조 도구 등을 제공하여 작업자의 부담을 줄이고 시범 품질을 높이고 있다.

최근에는 파운데이션 모델(Foundation Model)과 Physical AI 구조에서도 DAgger가 적극 활용되고 있다. 대규모 사전학습 모델은 이미 강력한 시각 표현을 학습하고 있으므로, DAgger는 주로 의사결정 정책만 보완하면 된다. 또한 비전-언어-행동 모델(Vision-Language-Action Model)은 사람의 언어 설명과 실제 행동 시범을 동시에 활용하여 더욱 풍부한 상호작용 학습을 수행할 수 있다.

시뮬레이션(Simulation)은 DAgger 학습을 더욱 효율적으로 만든다. 초기 반복 과정은 시뮬레이터에서 안전하게 수행하고, 정책이 충분히 안정화된 이후 실제 하드웨어로 이전한다. 이러한 심투리얼(Sim-to-Real) 학습 전략은 전문가의 부담을 줄이고 초기 정책의 위험성을 최소화한다. 또한 도메인 랜덤화(Domain Randomization)와 디지털 트윈은 실제 환경으로의 일반화 성능을 더욱 향상시킨다.

DAgger는 강화학습(Reinforcement Learning)과도 자연스럽게 결합된다. 행동 복제나 DAgger로 기본 정책을 구축한 후 강화학습으로 성능을 더욱 향상시킬 수 있으며, 반대로 강화학습 과정에서 생성된 데이터를 다시 전문가가 수정하여 DAgger 데이터셋에 추가하는 방식도 가능하다. 이러한 상호 보완적인 구조는 더욱 강건한 정책을 만드는 데 효과적이다.

DAgger의 평가는 단순한 행동 예측 정확도만으로 이루어지지 않는다. 작업 성공률(Task Success Rate), 누적 보상(Cumulative Reward), 전문가 개입 횟수(Intervention Frequency), 복구 성공률(Recovery Success), 충돌 회피(Collision Avoidance), 외란에 대한 강건성(Robustness), 데이터 효율성(Sample Efficiency), 새로운 환경에 대한 일반화(Generalization) 등이 함께 평가된다. 또한 전문가의 작업 시간과 피로도 역시 중요한 평가 요소가 된다.

산업 현장에서는 DAgger를 지속적인 MLOps 파이프라인으로 운영하는 경우가 많다. 데이터 기록 시스템, 시범 관리, 데이터셋 버전 관리, 자동 재학습, 시뮬레이션 검증, 실제 환경 배포, 성능 모니터링 등이 하나의 반복 사이클을 구성한다. 즉, DAgger는 일회성 학습 알고리즘이 아니라 지속적으로 발전하는 데이터 중심(Data-Centric) 개발 프로세스라고 볼 수 있다.

최근 연구에서는 AI가 전문가의 시범을 보조하는 방향도 활발하게 진행되고 있다. 파운데이션 모델은 실패 원인을 분석하고, 개입이 필요한 시점을 추천하며, 수정 행동 후보를 제안하는 등 전문가의 작업을 지원한다. 최종 판단은 사람이 수행하지만, AI의 도움으로 대규모 데이터 구축 비용과 시간을 크게 줄일 수 있다.

DAgger와 HG-DAgger는 모방학습의 개념을 크게 발전시킨 대표적인 알고리즘이다. 초기 시범만으로 학습을 끝내는 것이 아니라, 로봇이 실제로 경험한 새로운 상황과 전문가의 복구 행동을 지속적으로 학습에 반영함으로써 더욱 강건하고 일반화 능력이 높은 정책을 생성한다. 앞으로 자율성이 더욱 높아지는 Physical AI와 차세대 로봇 시스템에서는 DAgger와 HG-DAgger가 안전하고 지속적으로 발전하는 지능형 로봇을 구현하기 위한 핵심 학습 기술로 계속 활용될 것이다.

06.04 Inverse Reinforcement Learning IRL MaxEnt [w/Code]

역강화학습(Inverse Reinforcement Learning, IRL)은 단순히 전문가의 행동을 모방하는 것을 넘어, 전문가가 왜 그러한 행동을 선택했는지를 학습하는 방법이다. 일반적인 모방학습(Imitation Learning)이 상태(State)와 행동(Action)의 관계를 직접 학습하는 반면, IRL은 전문가 행동의 이면에 존재하는 숨겨진 목표(Objective) 또는 보상 함수(Reward Function)를 추론하는 것을 목표로 한다. 사람은 안전, 효율성, 에너지 절약, 편안함 등 여러 기준을 동시에 고려하여 행동하지만 이러한 기준을 수치로 명시하지 않는다. IRL은 이러한 암묵적인 의사결정 기준을 시범(Demonstration)으로부터 역으로 추정한다.

강화학습(Reinforcement Learning, RL)과 역강화학습(IRL)은 서로 반대되는 문제를 해결한다. 일반적인 강화학습에서는 보상 함수가 이미 주어져 있으며, 이를 최대화하는 정책(Policy)을 학습한다. 반면 역강화학습에서는 전문가의 행동은 관찰할 수 있지만 보상 함수는 알려져 있지 않다. 따라서 전문가의 행동이 최적이 되도록 만드는 보상 함수를 먼저 추정하고, 이후 일반적인 강화학습을 수행하여 해당 보상을 최대화하는 정책을 계산하게 된다.

이처럼 보상 학습(Reward Learning)과 정책 최적화(Policy Optimization)를 분리하면 여러 장점이 생긴다. 행동 복제는 시범과 유사한 상황에서만 잘 동작하는 경우가 많지만, IRL은 행동 자체가 아니라 행동의 목적을 학습한다. 따라서 새로운 환경이나 이전에 경험하지 못한 상황에서도 동일한 목표를 유지하면서 적절한 행동을 생성할 수 있다. 이러한 이유로 IRL은 일반화 성능(Generalization)이 행동 복제보다 우수한 경우가 많다.

보상 함수는 IRL의 핵심 요소이다. 보상 함수는 특정 상태(State), 행동(Action), 또는 상태 전이(State Transition)에 대해 얼마나 바람직한지를 수치로 표현한다. 이동 로봇(Mobile Robot)의 경우 이동 시간 최소화, 장애물 회피, 배터리 절약, 승차감 유지, 목표 위치 도달 등이 동시에 고려될 수 있다. 인간 전문가는 이러한 요소들을 자연스럽게 균형 있게 판단하지만, 각각의 가중치를 명시적으로 설정하지 않는다. IRL은 전문가의 행동을 분석하여 이러한 숨겨진 균형 관계를 자동으로 학습한다.

그러나 IRL에는 근본적인 어려움이 존재한다. 동일한 행동을 설명할 수 있는 보상 함수가 여러 개 존재할 수 있기 때문이다. 예를 들어 로봇이 장애물을 크게 우회했다면 이는 안전을 중요하게 생각했기 때문일 수도 있고, 충돌 확률을 줄이기 위한 것일 수도 있으며, 조향 비용을 최소화하기 위한 것일 수도 있다. 또는 여러 요소를 동시에 고려한 결과일 수도 있다. 이러한 보상 모호성(Reward Ambiguity) 때문에 IRL은 본질적으로 해가 하나로 결정되지 않는 역문제(Inverse Problem)에 해당한다.

초기의 IRL 알고리즘은 이러한 문제를 해결하기 위해 환경의 특징(Feature)을 사람이 직접 정의하였다. 장애물과의 거리, 목표까지의 거리, 에너지 소비량, 노면 상태, 물체 안정성 등 다양한 특징을 설계한 후, 보상 함수를 이러한 특징들의 가중합(Weighted Sum)으로 표현하였다. 이후 전문가의 행동을 가장 잘 설명하는 특징 가중치를 찾는 것이 학습의 목표가 되었다.

초기 IRL에서는 특징 공학(Feature Engineering)이 매우 중요하였다. 적절한 특징을 설계하면 계산량이 감소하고 결과를 해석하기도 쉬웠다. 그러나 작업마다 전문가가 직접 특징을 설계해야 했기 때문에 확장성이 제한되었다. 최근에는 딥러닝(Deep Learning)을 이용하여 이미지(Image), 포인트 클라우드(Point Cloud), 힘 센서(Force Sensor), 로봇 상태(Proprioception) 등 원시 데이터(Raw Data)로부터 특징을 자동으로 학습하는 심층 역강화학습(Deep IRL)이 널리 사용되고 있다.

IRL의 학습 과정은 보상 함수 추정과 정책 계산을 반복하는 형태로 이루어진다. 먼저 하나의 보상 함수를 가정한 후 강화학습을 수행하여 최적 정책을 계산한다. 이후 계산된 정책이 전문가의 행동과 얼마나 유사한지를 비교하고, 차이가 크면 보상 함수를 수정한다. 이러한 반복 과정을 통해 전문가 행동을 가장 잘 설명하는 보상 함수를 점진적으로 찾는다. 하지만 매 반복마다 강화학습을 수행해야 하므로 계산량이 매우 크다는 단점이 있다.

최대 엔트로피 역강화학습(Maximum Entropy IRL, MaxEnt IRL)은 기존 IRL의 중요한 한계를 해결하기 위해 제안되었다. 기존 IRL은 전문가가 항상 최적의 행동만 수행한다고 가정하였다. 그러나 실제 사람은 동일한 작업을 여러 번 수행하더라도 매번 조금씩 다른 행동을 보인다. 이는 센서 오차, 개인의 습관, 피로, 환경 변화 등 다양한 요인 때문이며, 기존 IRL은 이러한 자연스러운 변화를 충분히 설명하기 어려웠다.

MaxEnt IRL은 전문가의 행동을 확률적(Probabilistic)으로 해석한다. 즉, 전문가는 항상 하나의 최적 행동만 수행하는 것이 아니라, 보상이 높은 행동일수록 선택할 가능성이 높다고 가정한다. 따라서 여러 개의 경로(Trajectory)가 모두 가능하며, 보상이 높을수록 더 자주 선택된다고 본다. 이러한 접근은 실제 인간의 의사결정 방식을 훨씬 현실적으로 표현할 수 있다.

최대 엔트로피(Maximum Entropy) 원리는 정보이론(Information Theory)에서 유래하였다. 관측된 데이터를 만족하는 여러 확률 분포 중에서 가장 불필요한 가정을 적게 하는 분포를 선택하는 원리이다. IRL에서는 관측되지 않은 행동에 대해 임의의 편향(Bias)을 추가하지 않고, 시범 데이터만으로 설명 가능한 가장 일반적인 보상 함수를 학습하도록 만든다. 결과적으로 특정 경로에 지나치게 의존하는 과적합(Overfitting)을 줄일 수 있다.

엔트로피(Entropy)는 확률 분포의 불확실성(Uncertainty)을 나타낸다. 엔트로피가 높을수록 여러 행동이 모두 가능하며, 엔트로피가 낮을수록 특정 행동만 선택된다. MaxEnt IRL은 전문가 시범이 특정 행동만 강하게 지지하지 않는다면 다양한 행동 가능성을 유지하도록 학습한다. 따라서 보상 함수가 지나치게 특정 시범에만 맞추어지는 현상을 방지하고 일반화 성능을 향상시킨다.

MaxEnt IRL은 시범 데이터에 노이즈(Noise)가 포함되어 있어도 강건하게 동작한다. 사람은 작업 중 실수를 하거나 잠시 망설이거나 수정 동작을 수행하는 경우가 많다. 기존의 결정론적(Deterministic) IRL은 이러한 행동을 이상치(Outlier)로 처리하기 쉽지만, MaxEnt IRL은 동일한 보상 함수에서 발생할 수 있는 확률적으로 낮은 행동으로 자연스럽게 해석한다. 따라서 실제 사람의 다양한 행동을 더욱 잘 설명할 수 있다.

MaxEnt IRL에서는 모든 가능한 경로에 확률이 부여된다. 각 경로의 확률은 누적 보상(Cumulative Reward)의 지수 함수(Exponential Function)에 비례한다. 즉, 보상이 높을수록 선택 확률은 증가하지만 어느 하나의 경로가 반드시 선택되는 것은 아니다. 학습 과정에서는 전문가의 시범 경로가 다른 경로보다 높은 확률을 갖도록 보상 함수를 조정하며, 결국 보상 학습은 우도 최대화(Maximum Likelihood Estimation) 문제로 변환된다.

최대우도추정(Maximum Likelihood Estimation)은 MaxEnt IRL의 핵심 최적화 방법이다. 알고리즘은 전문가의 시범이 현재 보상 함수에서 가장 높은 확률로 생성되도록 보상 파라미터(Parameter)를 반복적으로 수정한다. 이 과정에서는 전문가의 특징 기대값(Feature Expectation)과 현재 정책이 생성하는 특징 기대값을 비교하며, 두 분포가 점차 일치하도록 학습이 진행된다.

또 다른 관점에서 MaxEnt IRL은 기대값 일치(Expected Feature Matching)를 수행한다고 볼 수 있다. 모든 시범을 정확히 그대로 복제하는 것이 아니라 평균 속도, 평균 장애물 거리, 평균 에너지 소비, 평균 경로 길이 등 통계적인 특성이 전문가와 유사하도록 만든다. 이러한 특성 덕분에 새로운 환경에서도 보다 안정적으로 일반화할 수 있다.

로봇 조작(Robot Manipulation)은 MaxEnt IRL의 장점을 잘 보여준다. 예를 들어 핀 삽입(Peg Insertion) 작업에서는 사람마다 손목 각도, 삽입 속도, 힘 조절, 미세한 수정 동작이 조금씩 다르다. 기존 IRL은 이러한 차이를 설명하기 어렵지만, MaxEnt IRL은 모두 동일한 목표를 가진 다양한 실행 사례로 해석한다. 결과적으로 성공적인 삽입, 힘 최소화, 안정성 유지와 같은 본질적인 목표를 학습하게 된다.

자율주행(Autonomous Driving)에서도 동일한 장점이 나타난다. 운전자마다 차선 중앙 위치, 조향 습관, 가속 시점, 제동 시점이 조금씩 다르다. MaxEnt IRL은 이러한 차이를 모두 허용하면서도 안전성(Safety), 승차감(Comfort), 효율성(Efficiency), 교통법규 준수(Legal Compliance)와 같은 핵심 목표를 보상 함수로 학습할 수 있다.

의료 로봇(Medical Robotics) 분야에서도 MaxEnt IRL은 매우 유용하다. 외과의마다 수술 방식과 도구 사용 습관이 다르며 환자의 해부학적 구조도 서로 다르다. MaxEnt IRL은 이러한 다양한 시범을 하나의 공통된 수술 목표로 통합하여 학습함으로써 다양한 상황에서도 안정적으로 동작하는 수술 보조 로봇을 개발할 수 있도록 지원한다.

심층 역강화학습(Deep IRL)은 MaxEnt IRL을 딥러닝과 결합한 형태이다. 사람이 직접 특징을 정의하지 않고 신경망이 보상을 직접 추정한다. CNN은 영상을 처리하고, 그래프 신경망(Graph Neural Network)은 관계 구조를 표현하며, 트랜스포머(Transformer)는 시계열 정보를 학습한다. 또한 멀티모달(Multimodal) 구조를 이용하여 영상, 언어, 촉각, 로봇 상태 정보를 동시에 처리함으로써 더욱 복잡한 Physical AI 작업에도 적용할 수 있다.

최근에는 생성 모델(Generative Model) 기반 접근도 등장하였다. 대표적인 예가 생성적 적대적 모방학습(Generative Adversarial Imitation Learning, GAIL)이다. GAIL은 명시적으로 보상 함수를 계산하지 않지만, 판별기(Discriminator)가 사실상 보상 함수의 역할을 수행한다. 따라서 GAIL은 알고리즘적으로는 다르지만 개념적으로는 IRL과 매우 밀접한 관계를 가진다.

IRL은 계산량이 매우 큰 알고리즘이라는 단점을 가진다. 보상 함수를 한 번 수정할 때마다 다시 강화학습을 수행해야 하기 때문이다. 상태 공간(State Space)이 크고, 연속 제어(Continuous Control)를 수행하며, 장기 계획(Long-Horizon Planning)이 필요한 로봇에서는 계산량이 더욱 증가한다. 이를 해결하기 위해 근사 계획(Approximate Planning), 병렬 시뮬레이션(Parallel Simulation), 미분 가능한 최적화(Differentiable Optimization), 효율적인 정책 학습 등이 함께 연구되고 있다.

IRL의 평가는 일반적인 지도학습과 다르다. 실제 정답 보상 함수(Ground Truth Reward)가 존재하지 않는 경우가 대부분이기 때문이다. 따라서 추정된 보상으로 강화학습을 수행한 후 작업 성공률(Task Success Rate), 누적 보상(Cumulative Reward), 안전성, 에너지 효율, 환경 변화에 대한 강건성, 사람의 선호도(Human Preference) 등을 종합적으로 평가한다.

또 다른 중요한 문제는 보상 식별성(Reward Identifiability)이다. 서로 다른 보상 함수가 동일한 최적 정책을 생성할 수도 있기 때문에 인간의 진짜 의도를 완벽하게 복원하는 것은 이론적으로 불가능한 경우가 많다. 최근 연구에서는 정확한 보상 자체보다는 실제 작업에 유용한 보상 표현(Reward Representation)을 학습하는 방향으로 발전하고 있으며, 베이지안 추론(Bayesian Inference), 선호도 학습(Preference Learning), 언어 지시(Language Supervision) 등을 함께 활용하고 있다.

최근에는 사람의 선호도(Human Preference)를 직접 이용하는 방식도 활발하게 연구되고 있다. 사람은 모든 시범을 직접 보여주는 대신 두 개의 경로를 비교하여 어느 쪽이 더 좋은지만 선택해 줄 수도 있다. 이러한 선호도 기반 역강화학습(Preference-Based IRL)은 시범을 얻기 어려운 환경에서도 사람의 가치(Value)를 효과적으로 학습할 수 있는 장점을 가진다.

파운데이션 모델(Foundation Model)과 대규모 로봇 데이터셋(Large-Scale Robot Dataset)의 발전은 IRL에도 큰 영향을 주고 있다. 사전학습된 멀티모달 표현(Multimodal Representation)을 활용하면 다양한 작업에서 보상 함수를 더욱 쉽게 추론할 수 있다. 또한 비전-언어-행동 모델(Vision-Language-Action Model)은 행동뿐 아니라 자연어 설명까지 함께 활용하여 목표를 더욱 정확하게 이해할 수 있도록 발전하고 있다.

산업용 로봇에서는 복잡한 보상 함수를 사람이 직접 설계하는 것이 매우 어렵다. 조립, 물류, 협업 작업, 검사, 농업, 서비스 로봇 등은 여러 목표를 동시에 만족해야 한다. IRL은 전문가의 시범만으로 이러한 목표를 자동으로 학습할 수 있으므로 개발 비용을 줄이고 환경 변화에도 유연하게 적응할 수 있는 정책을 생성하는 데 매우 효과적이다.

역강화학습(IRL)은 단순히 행동을 따라 하는 것이 아니라 행동의 목적을 이해하도록 만드는 학습 방법이다. 특히 최대 엔트로피 역강화학습(MaxEnt IRL)은 전문가의 행동이 항상 하나의 정답이 아니라 다양한 가능성을 가진다는 사실을 확률적으로 모델링함으로써 더욱 현실적이고 일반화 성능이 높은 보상 함수를 학습한다. 앞으로 Physical AI와 범용 로봇(General-Purpose Robot)이 발전할수록 IRL과 MaxEnt IRL은 로봇이 전문가의 행동을 단순히 모방하는 수준을 넘어, 왜 그러한 행동을 선택하는지까지 이해하도록 만드는 핵심 기술로 더욱 중요한 역할을 수행하게 될 것이다.

06.05 GAIL Generative Adversarial Imitation Learning [w/Code]

생성적 적대적 모방학습(Generative Adversarial Imitation Learning, GAIL)은 현대 모방학습(Imitation Learning)에서 가장 영향력이 큰 알고리즘 가운데 하나이다. GAIL은 강화학습(Reinforcement Learning), 역강화학습(Inverse Reinforcement Learning), 생성적 적대 신경망(Generative Adversarial Network, GAN)의 개념을 하나의 학습 구조로 통합하였다. 행동 복제(Behavior Cloning)가 상태(State)와 행동(Action)의 관계를 직접 학습하고, 역강화학습(IRL)이 보상 함수(Reward Function)를 추정한 뒤 정책(Policy)을 최적화하는 것과 달리, GAIL은 보상 함수를 명시적으로 추정하지 않고 전문가와 구별되지 않는 행동을 생성하도록 정책을 학습한다.

GAIL이 등장한 배경에는 기존 모방학습 기법들의 한계가 존재한다. 행동 복제는 지도학습(Supervised Learning) 기반으로 구현이 쉽지만, 작은 예측 오차가 반복되면 공변량 이동(Covariate Shift)이 발생하여 성능이 급격히 저하된다. 반면 역강화학습은 전문가의 숨겨진 목적을 학습하여 일반화 성능은 높지만, 보상 함수를 추정하기 위해 반복적으로 강화학습을 수행해야 하므로 계산 비용이 매우 크다. GAIL은 이러한 두 방법의 장점을 유지하면서도 명시적인 보상 함수 추정을 생략하여 보다 효율적인 학습을 가능하게 한다.

GAIL의 핵심 아이디어는 생성적 적대 신경망(GAN)에서 가져왔다. GAN에서는 생성기(Generator)가 가짜 데이터를 만들고, 판별기(Discriminator)는 그것이 진짜인지 가짜인지를 구분한다. 생성기는 판별기를 속이도록 학습하고, 판별기는 이를 구분하도록 학습하면서 서로 경쟁한다. 이러한 적대적 학습(Adversarial Learning)을 반복하면 생성된 데이터는 실제 데이터와 거의 구분되지 않을 정도로 현실적인 형태를 갖게 된다.

GAIL은 이러한 구조를 로봇의 행동 생성 문제에 적용한다. 여기서 생성기는 이미지가 아니라 정책(Policy)이며, 정책은 환경과 상호작용하면서 상태-행동(State-Action) 궤적(Trajectory)을 생성한다. 판별기는 전문가 시범과 정책이 생성한 궤적을 동시에 입력받아 어느 것이 전문가 데이터인지 분류한다. 정책은 판별기를 속이는 방향으로 지속적으로 개선되며, 결과적으로 전문가와 매우 유사한 행동을 생성하게 된다.

정책 네트워크(Policy Network)는 GAIL의 생성기 역할을 수행한다. 로봇은 현재 환경을 관측한 뒤 행동을 예측하고 실제 환경에서 실행한다. 초기에는 전문가와 매우 다른 행동을 수행하지만, 판별기로부터 전달받는 학습 신호를 이용하여 점차 전문가와 유사한 행동을 생성하도록 강화학습을 수행한다. 즉, 외부에서 사람이 설계한 보상이 아니라 판별기를 속이는 것이 정책의 새로운 학습 목표가 된다.

판별기(Discriminator)는 GAIL의 또 다른 핵심 구성 요소이다. 판별기는 전문가 시범과 현재 정책이 생성한 상태-행동 데이터를 입력받아 어느 쪽이 전문가인지 확률적으로 예측한다. 초기에는 정책의 품질이 낮기 때문에 구분이 쉽지만, 정책이 발전할수록 판별기의 구분도 어려워진다. 이처럼 두 네트워크는 서로 경쟁하면서 동시에 성능을 향상시키는 구조를 형성한다.

GAIL의 가장 큰 특징 가운데 하나는 판별기가 사실상 보상 함수의 역할을 수행한다는 점이다. GAIL은 보상 함수를 직접 계산하지 않지만, 판별기는 전문가와 비슷한 행동일수록 높은 점수를 부여한다. 이러한 점수는 강화학습에서 사용하는 보상(Surrogate Reward)으로 활용된다. 즉, 사람이 복잡한 보상 함수를 설계하지 않아도 학습 과정에서 자연스럽게 보상이 생성되는 것이다.

GAIL의 학습은 정책과 판별기를 번갈아 최적화하는 방식으로 진행된다. 먼저 정책이 환경과 상호작용하여 새로운 궤적을 생성한다. 이후 생성된 데이터와 전문가 데이터를 함께 판별기에 입력하여 분류 학습을 수행한다. 판별기가 업데이트되면 정책은 강화학습을 이용하여 판별기를 더욱 혼란스럽게 만드는 방향으로 다시 학습된다. 이러한 과정을 반복하면 정책은 점차 전문가와 구별하기 어려운 행동을 생성하게 된다.

행동 복제와 달리 GAIL은 순차적 의사결정(Sequential Decision Making)을 자연스럽게 학습할 수 있다. 정책은 실제 환경과 상호작용하면서 자신의 행동이 이후 상태에 어떤 영향을 미치는지를 직접 경험한다. 따라서 단순히 개별 행동을 모방하는 것이 아니라 긴 작업(Long-Horizon Task)에 필요한 복구 행동(Recovery Behavior), 장기 계획(Long-Term Planning), 환경 적응 능력까지 함께 습득할 수 있다.

GAIL은 점유 분포(Occupancy Measure)를 일치시키는 알고리즘으로도 이해할 수 있다. 즉, 전문가와 학습된 정책이 환경에서 어떤 상태를 얼마나 자주 방문하고 어떤 행동을 얼마나 수행하는지를 통계적으로 일치시키는 것이 목표이다. 모든 궤적을 완전히 동일하게 복제하는 것이 아니라 상태와 행동의 방문 빈도 자체를 맞추기 때문에, 새로운 환경에서도 더 우수한 일반화 성능을 보이는 경우가 많다.

수학적으로 GAIL은 전문가와 정책의 점유 분포 사이의 차이를 최소화하는 방향으로 최적화된다. 기존 IRL처럼 보상 함수를 직접 추정하지 않고, 분포 자체를 맞추는 목적 함수를 사용하기 때문에 보다 간결한 구조를 가진다. 이러한 특성 덕분에 GAIL은 역강화학습, 최적제어(Optimal Control), 확률적 추론(Probabilistic Inference)과도 깊은 이론적 연결성을 가진다.

GAIL의 가장 큰 장점은 보상 설계(Reward Engineering)가 필요 없다는 것이다. 로봇 분야에서는 안전성, 에너지 효율, 충돌 회피, 정밀도, 작업 성공률 등 여러 목표를 동시에 고려해야 한다. 이러한 요소들의 가중치를 사람이 직접 설계하는 것은 매우 어렵다. GAIL은 전문가 시범만 제공하면 이러한 복잡한 목적을 자동으로 학습하므로 개발 시간을 크게 줄일 수 있다.

조립 로봇(Assembly Robot)은 GAIL이 특히 효과적인 분야이다. 기존 강화학습에서는 정렬(Alignment), 삽입(Insertion), 힘 제어(Force Control), 충돌 회피(Collision Avoidance) 등을 모두 보상 함수로 설계해야 한다. 그러나 작은 설계 오류만 있어도 로봇은 보상의 허점을 이용하는 잘못된 행동을 학습할 수 있다. GAIL은 전문가의 조립 시범을 그대로 이용하여 이러한 복잡한 작업을 자연스럽게 학습할 수 있다.

휴머노이드(Humanoid) 로봇에서도 GAIL은 매우 중요한 역할을 한다. 인간의 보행은 균형(Balance), 에너지 효율(Energy Efficiency), 발 위치(Foot Placement), 운동량(Momentum) 등을 동시에 고려하는 매우 복잡한 동작이다. 이를 보상 함수로 직접 설계하기는 매우 어렵지만, GAIL은 사람의 모션 캡처(Motion Capture) 데이터를 학습하여 자연스럽고 안정적인 보행 정책을 생성할 수 있다.

사족보행 로봇(Quadruped Robot) 역시 GAIL의 대표적인 응용 분야이다. 걷기(Walking), 뛰기(Trotting), 계단 오르기(Stair Climbing), 장애물 통과(Obstacle Crossing), 넘어짐 복구(Fall Recovery) 등 다양한 동작을 전문가 데이터로부터 학습할 수 있다. GAIL은 단순히 빠르게 움직이는 것이 아니라 생물과 유사한 자연스러운 움직임을 생성하는 데 강점을 가진다.

자율주행(Autonomous Driving)에서도 GAIL은 높은 활용성을 가진다. 사람의 운전은 안전성, 승차감, 효율성, 교통법규 준수 등 다양한 요소를 동시에 고려한다. 이러한 목표를 모두 수치화하기는 매우 어렵지만, GAIL은 실제 운전자의 시범을 통해 사람과 유사한 운전 스타일을 학습할 수 있다. 따라서 사람이 느끼기에 더욱 자연스러운 자율주행 정책을 생성할 수 있다.

GAIL은 대부분 시뮬레이션(Simulation) 환경에서 학습된다. 강화학습 기반이므로 수백만 번 이상의 환경 상호작용이 필요하기 때문이다. Isaac Sim, MuJoCo, Gazebo, Unity 등의 물리 시뮬레이터를 이용하면 실제 로봇을 손상시키지 않고도 대량의 데이터를 생성할 수 있다. 또한 도메인 랜덤화(Domain Randomization)를 통해 다양한 조명, 센서 노이즈, 마찰 계수, 물체 배치를 경험하게 함으로써 일반화 성능을 향상시킨다.

실제 환경으로 이전하는 심투리얼(Sim-to-Real) 문제는 여전히 중요한 연구 주제이다. 시뮬레이터에서만 학습된 정책은 현실에는 존재하지 않는 특성을 이용하는 경우가 있다. 이를 해결하기 위해 현실적인 물리 모델, 도메인 적응(Domain Adaptation), 시뮬레이션과 실제 데이터를 함께 사용하는 혼합 학습 등이 적극적으로 연구되고 있다.

초기 GAIL에서는 정책 최적화에 신뢰 영역 정책 최적화(Trust Region Policy Optimization, TRPO)가 사용되었다. 이후에는 구현이 간단하고 데이터 효율성이 높은 PPO(Proximal Policy Optimization), SAC(Soft Actor-Critic) 등의 최신 강화학습 알고리즘이 널리 사용되고 있다. 이러한 알고리즘들은 연속 제어(Continuous Control) 문제에서도 안정적인 학습을 지원한다.

GAIL은 GAN과 동일한 학습 안정성 문제를 가진다. 판별기가 지나치게 강하면 정책이 의미 있는 학습 신호를 받지 못하고, 반대로 정책이 너무 빨리 발전하면 판별기가 충분히 학습하지 못한다. 따라서 정책과 판별기의 업데이트 횟수, 학습률(Learning Rate), 정규화(Regularization) 등을 적절히 조정하여 균형을 유지하는 것이 매우 중요하다.

모드 붕괴(Mode Collapse) 역시 GAIL에서 발생할 수 있는 문제이다. 전문가가 다양한 방식으로 작업을 수행했더라도 정책은 그중 일부 행동만 반복적으로 생성할 수 있다. 이러한 현상은 일반화 성능을 저하시킨다. 이를 해결하기 위해 엔트로피 정규화(Entropy Regularization), 다양한 시범 데이터, 확률적 정책(Stochastic Policy) 등이 함께 사용된다.

GAIL에서도 데이터 품질은 매우 중요하다. 전문가 시범이 정책이 따라야 할 목표 자체를 정의하기 때문이다. 시범이 부족하거나 다양한 환경을 포함하지 못하면 정책 역시 새로운 상황에서 쉽게 실패할 수 있다. 따라서 여러 전문가, 다양한 환경, 여러 물체 배치와 작업 조건을 포함하는 대규모 데이터셋이 더욱 강건한 정책을 만드는 데 유리하다.

GAIL은 다양한 형태로 발전하고 있다. 조건부 GAIL(Conditional GAIL)은 작업 종류나 언어 명령을 함께 입력하여 하나의 정책이 여러 작업을 수행하도록 만든다. 다중 에이전트 GAIL(Multi-Agent GAIL)은 여러 로봇이 협력하거나 경쟁하는 상황을 학습한다. 계층형 GAIL(Hierarchical GAIL)은 긴 작업을 여러 단계로 분리하여 복잡한 작업을 효율적으로 학습하도록 지원한다.

최근에는 GAIL이 파운데이션 모델(Foundation Model), 확산 정책(Diffusion Policy), 비전-언어-행동 모델(Vision-Language-Action Model)과 결합되고 있다. 사전학습된 시각 표현을 활용하여 적은 시범만으로도 높은 성능을 달성할 수 있으며, 자연어 명령과 행동 시범을 동시에 이용하여 다양한 작업을 수행하는 범용 정책(Generalist Policy) 개발이 가능해지고 있다.

사람의 피드백(Human Feedback)도 점점 중요한 요소가 되고 있다. 초기 전문가 시범만 사용하는 것이 아니라, 학습 과정에서 사람이 새로운 시범을 추가하거나 잘못된 행동을 수정하면 정책은 이를 지속적으로 반영한다. 이러한 방식은 DAgger와 GAIL의 장점을 결합한 형태로 볼 수 있으며, 실제 환경 변화에도 유연하게 적응할 수 있다.

GAIL의 평가는 단순히 판별기의 정확도만으로 이루어지지 않는다. 작업 성공률(Task Success Rate), 누적 보상(Cumulative Reward), 궤적 유사성(Trajectory Similarity), 복구 능력(Recovery Capability), 에너지 효율(Energy Efficiency), 안전성(Safety), 데이터 효율성(Sample Efficiency), 새로운 환경에서의 일반화 성능 등이 종합적으로 평가된다. 또한 사람이 느끼는 자연스러움(Naturalness)과 현실성(Realism)을 평가하는 인간 선호도(Human Preference)도 중요한 평가 기준이 된다.

산업 현장에서는 실시간 추론(Inference Latency), 센서 오차(Sensor Uncertainty), 통신 지연(Communication Delay), 환경 변화(Environmental Change) 등을 고려해야 한다. 따라서 모델 압축(Model Compression), 안전 감시기(Runtime Safety Monitor), 불확실성 추정(Uncertainty Estimation), 지속적인 재학습(Continuous Retraining), MLOps 기반 데이터 관리 등이 함께 구축되어야 장기적으로 안정적인 성능을 유지할 수 있다.

생성적 적대적 모방학습(GAIL)은 로봇이 전문가 행동을 학습하는 방식을 근본적으로 변화시킨 알고리즘이다. 사람의 행동을 단순히 복제하거나 복잡한 보상 함수를 설계하는 대신, 전문가와 구별되지 않는 행동을 생성하도록 정책을 학습한다. 강화학습, 적대적 학습, 전문가 시범을 하나의 프레임워크로 통합한 GAIL은 현재의 Physical AI와 차세대 범용 로봇(General-Purpose Robot) 개발에서 매우 중요한 핵심 기술로 자리 잡고 있으며, 앞으로도 더욱 다양한 파운데이션 모델과 결합하여 인간과 유사한 지능적 행동을 구현하는 핵심 학습 방법으로 발전할 것으로 기대된다.

06.06 ACT Action Chunking Transformer for Robot IL [w/Code]

액션 청킹 트랜스포머(Action Chunking Transformer, ACT)는 기존 행동 복제(Behavior Cloning)의 가장 큰 한계인 장기 작업(Long-Horizon Task)의 오류 누적 문제를 해결하기 위해 제안된 최신 모방학습(Imitation Learning) 구조이다. 기존 행동 복제는 현재 관측(Observation)만을 이용하여 다음 한 번의 행동(Action)만 예측한다. 하지만 이러한 방식은 작은 예측 오차도 다음 상태에 영향을 주어 시간이 지날수록 오류가 계속 누적된다. ACT는 한 번에 하나의 행동을 예측하는 대신 미래의 여러 행동을 하나의 묶음(Chunk)으로 동시에 예측하여 이러한 문제를 크게 완화한다.

ACT의 기본 아이디어는 인간의 운동 계획(Motor Planning)에서 출발한다. 사람은 물체를 집거나 이동시킬 때 매 순간 독립적으로 행동을 결정하지 않는다. 물체에 손을 뻗고, 잡고, 들어 올리고, 회전시키고, 내려놓는 일련의 동작을 하나의 연속된 계획으로 생성하면서 감각 정보를 이용해 미세하게 수정한다. 즉, 인간의 운동은 시간적으로 계층적(Hierarchical)이며 연속성을 가진다. ACT는 이러한 특성을 로봇 학습에 적용하여 개별 행동이 아니라 연속된 행동 단위(Action Chunk)를 학습하도록 설계되었다.

액션 청크(Action Chunk)는 여러 개의 연속적인 제어 명령(Control Command)을 하나의 단위로 묶은 것이다. 기존 방식에서는 현재 관절 속도(Joint Velocity)나 말단장치 이동(End-Effector Motion)만 예측하지만, ACT는 앞으로 수행할 여러 단계의 제어 명령을 동시에 생성한다. 이러한 청크에는 관절 궤적(Joint Trajectory), 카테시안 이동(Cartesian Motion), 그리퍼 제어(Gripper Control), 이동 로봇의 속도 명령 등이 포함될 수 있으며, 작업 특성에 따라 다양한 형태로 구성된다.

액션 청킹이 제공하는 가장 큰 장점은 시간적 일관성(Temporal Coherence)이다. 여러 행동을 동시에 최적화하기 때문에 서로 인접한 행동들이 자연스럽게 연결된다. 기존 행동 복제에서는 각 행동을 독립적으로 예측하기 때문에 작은 입력 변화에도 출력이 크게 흔들려 진동(Oscillation)이 발생하는 경우가 많다. 반면 ACT에서는 하나의 청크 내부에서 모든 행동이 함께 생성되므로 보다 부드럽고 안정적인 제어가 가능해진다.

ACT의 핵심 계산 구조는 트랜스포머(Transformer)이다. 트랜스포머는 원래 자연어 처리(Natural Language Processing)를 위해 개발되었지만, 긴 시퀀스(Sequence) 사이의 관계를 효과적으로 학습할 수 있기 때문에 로봇 제어에도 매우 적합하다. 특히 자기 주의(Self-Attention) 메커니즘은 과거와 현재의 관측 사이에서 중요한 정보를 선택하여 미래 행동을 생성할 수 있도록 한다. 순환 신경망(Recurrent Neural Network)과 달리 전체 시퀀스를 병렬로 처리할 수 있어 긴 시간 의존성(Long-Term Dependency)을 효과적으로 모델링할 수 있다.

ACT에서는 먼저 입력 데이터를 각각의 인코더(Encoder)를 통해 처리한다. RGB 영상은 CNN이나 비전 트랜스포머(Vision Transformer)를 이용하여 특징 벡터(Feature Vector)로 변환된다. 로봇의 관절 위치(Joint Position), 관절 속도(Joint Velocity), 그리퍼 상태(Gripper State), 힘 센서(Force Sensor), IMU 등의 고유감각(Proprioception)은 다층 퍼셉트론(Multilayer Perceptron, MLP)을 통해 잠재 표현(Latent Representation)으로 변환된다. 언어 명령(Language Instruction)이 존재하는 경우에는 사전학습된 언어 모델(Language Model)을 이용하여 함께 처리한다.

트랜스포머는 순서 정보를 자동으로 알지 못하기 때문에 위치 인코딩(Positional Encoding)이 반드시 필요하다. 위치 인코딩은 각 시점(Time Step)에 고유한 시간 정보를 부여하여 동일한 관측이라도 서로 다른 시점의 데이터임을 구분할 수 있도록 한다. 이를 통해 트랜스포머는 시간의 흐름을 고려한 행동 생성이 가능해진다.

인코더는 다양한 센서 정보를 통합하여 현재 상황을 표현하는 잠재 벡터를 생성한다. 자기 주의(Self-Attention)는 모든 입력이 서로 영향을 주고받을 수 있도록 하여 과거의 관측이 현재 행동 생성에 어떤 영향을 미치는지를 학습한다. 예를 들어 물체를 잡기 전의 시각 정보가 이후 들어 올리는 동작에도 중요한 영향을 줄 수 있으며, ACT는 이러한 장기적인 관계를 효과적으로 모델링한다.

디코더(Decoder)는 인코더의 잠재 표현을 입력받아 미래의 액션 청크를 생성한다. 기존 행동 복제처럼 한 단계씩 순차적으로 행동을 생성하는 것이 아니라 여러 개의 연속된 행동을 동시에 예측한다. 청크의 길이는 몇 단계에서 수십 단계까지 다양하게 설정할 수 있으며, 길이가 길수록 시간적 일관성은 증가하지만 환경 변화에 대한 반응 속도는 다소 감소한다. 따라서 작업 특성에 따라 적절한 청크 길이를 선택하는 것이 중요하다.

ACT는 슬라이딩 실행(Sliding Execution) 방식을 사용하여 환경 변화에도 빠르게 대응한다. 실제 실행에서는 예측된 청크 전체를 모두 실행하는 것이 아니라 앞부분 일부만 수행한 뒤 새로운 센서 정보를 수집한다. 이후 최신 관측을 이용하여 새로운 액션 청크를 다시 예측한다. 이러한 방식은 모델 예측 제어(Model Predictive Control, MPC)와 매우 유사하며, 지속적인 재계획(Replanning)을 가능하게 한다.

연속적으로 생성되는 청크는 서로 일정 부분이 겹친다. 이러한 중첩(Overlap)은 인접한 청크 사이의 급격한 변화가 발생하는 것을 방지한다. 일반적으로 중복 구간에서는 평균(Averaging)이나 가중치 결합(Weighted Blending)을 사용하여 두 청크를 자연스럽게 연결한다. 이로 인해 전체 동작이 더욱 부드럽고 안정적으로 유지된다.

ACT의 가장 중요한 장점은 오류 누적(Error Accumulation)을 크게 줄일 수 있다는 점이다. 기존 행동 복제에서는 하나의 예측 오류가 다음 상태를 변화시키고, 다시 그 상태에서 새로운 오류가 발생하는 악순환이 반복된다. 반면 ACT에서는 미래의 행동을 하나의 계획으로 생성하기 때문에 개별 오차의 영향이 여러 행동에 분산되며, 장기 작업에서도 훨씬 안정적인 실행이 가능하다.

로봇 조작(Robot Manipulation)은 ACT가 특히 뛰어난 성능을 보이는 분야이다. 서랍 열기(Drawer Opening), 커넥터 삽입(Connector Insertion), 천 접기(Cloth Folding), 부품 조립(Mechanical Assembly), 매듭 묶기(Knot Tying), 공구 사용(Tool Manipulation)과 같은 작업은 수 초 이상 지속되는 연속적인 동작으로 구성된다. 이러한 작업에서는 단일 행동 예측보다 연속된 행동 계획이 훨씬 효과적이며, ACT는 이러한 장기 조작 작업에서 기존 행동 복제보다 우수한 성능을 보여준다.

양팔 조작(Bimanual Manipulation)에서도 ACT는 큰 장점을 가진다. 두 개의 로봇 팔은 서로 완벽하게 동기화되어 움직여야 하며, 작은 시간 오차만 있어도 충돌이나 물체 낙하가 발생할 수 있다. ACT는 두 팔의 행동을 하나의 액션 청크 안에서 동시에 예측하므로 훨씬 자연스럽고 안정적인 협조 제어(Coordinated Control)가 가능하다.

휴머노이드(Humanoid) 로봇에서는 더욱 복잡한 전신 제어(Whole-Body Control)가 필요하다. 보행(Walking), 균형 유지(Balance), 물체 집기(Reaching), 몸 숙이기(Bending), 조작(Manipulation) 등은 수십 개 이상의 관절이 동시에 협조해야 한다. ACT는 미래의 전신 움직임을 함께 계획하기 때문에 기존의 단일 행동 예측보다 훨씬 자연스러운 전신 동작을 생성할 수 있다.

이동 로봇(Mobile Robot) 역시 ACT의 장점을 활용할 수 있다. 자율주행에서는 조향각(Steering Angle), 속도(Velocity), 장애물 회피(Avoidance)가 모두 연속적으로 변화해야 한다. 여러 단계의 조향 명령을 동시에 예측하면 기존 반응형 제어(Reactive Control)에서 흔히 발생하는 좌우 흔들림이나 급격한 방향 전환을 줄일 수 있으며, 보다 안정적인 주행 경로를 생성할 수 있다.

ACT의 학습은 기본적으로 지도학습 기반 모방학습을 따른다. 다만 기존 행동 복제가 하나의 행동을 예측하는 것과 달리 ACT는 전체 액션 청크를 출력으로 생성한다. 따라서 손실 함수(Loss Function)는 하나의 행동 오차가 아니라 청크 전체의 예측 오차를 계산한다. 연속 제어에서는 평균제곱오차(Mean Squared Error, MSE)가 많이 사용되며, 여기에 시간적 부드러움(Smoothness)이나 연속성(Temporal Consistency)을 유지하기 위한 추가 손실 함수가 함께 적용되기도 한다.

데이터셋 구축도 기존 행동 복제와 차이가 있다. 시범 데이터는 슬라이딩 윈도우(Sliding Window)를 이용하여 여러 개의 액션 청크로 분할된다. 각 학습 샘플은 현재의 관측 시퀀스와 이에 대응하는 미래 행동 시퀀스로 구성된다. 하나의 긴 시범에서 여러 개의 중첩된 청크를 생성할 수 있기 때문에 데이터 효율성도 크게 향상된다.

ACT는 데이터 다양성(Data Diversity)의 영향을 많이 받는다. 액션 청크는 시간적으로 긴 행동을 표현하기 때문에 다양한 물체 배치, 환경 구조, 작업 방식, 속도, 조명, 복구 행동 등이 충분히 포함되어야 한다. 그렇지 않으면 특정 행동 시퀀스만 암기하고 새로운 환경에서는 일반화에 실패할 가능성이 높다.

현대 ACT는 멀티모달(Multimodal) 정보를 자연스럽게 처리한다. 여러 대의 카메라, 손목 카메라, 깊이 센서(Depth Sensor), 촉각 센서(Tactile Sensor), 힘·토크 센서(Force-Torque Sensor), 로봇 상태, 언어 명령 등을 동시에 입력받는다. 교차 주의(Cross-Attention)를 이용하여 서로 다른 센서 정보가 상호작용하면서 보다 강건한 행동 계획을 생성할 수 있다.

대규모 로봇 데이터셋(Large-Scale Robot Dataset)의 등장은 ACT 발전을 크게 가속화하였다. 수백만 개 이상의 시범 데이터를 이용하면 특정 작업만 수행하는 정책이 아니라 다양한 작업에서 공통적으로 사용할 수 있는 일반적인 행동 표현(Action Representation)을 학습할 수 있다. 이는 자연어 처리에서 파운데이션 모델(Foundation Model)이 등장한 것과 매우 유사한 흐름이다.

ACT는 언어 모델(Language Model)의 시퀀스 생성과도 매우 비슷한 구조를 가진다. 언어 모델은 이전 단어를 바탕으로 다음 단어들을 생성하고, ACT는 현재의 센서 정보를 바탕으로 미래의 행동 시퀀스를 생성한다. 따라서 언어 모델에서 개발된 다양한 트랜스포머 구조와 최적화 기법을 그대로 로봇 행동 생성에도 적용할 수 있다.

최근에는 확산 정책(Diffusion Policy)과 ACT를 결합하는 연구도 활발하다. ACT가 미래 행동을 한 번에 예측하면, 확산 모델(Diffusion Model)은 이를 반복적으로 개선하여 더욱 부드럽고 자연스러운 행동을 생성한다. 이러한 하이브리드 구조는 장기 계획 능력과 행동 품질을 동시에 향상시키는 방향으로 발전하고 있다.

ACT는 비전-언어-행동 모델(Vision-Language-Action Model)과도 매우 잘 결합된다. 단순히 센서 정보만 이용하는 것이 아니라 "빨간 컵을 집어라", "파란 블록을 쌓아라", "커넥터를 조심스럽게 삽입하라"와 같은 자연어 명령을 함께 입력받아 행동 청크를 생성한다. 이를 통해 하나의 모델이 다양한 작업을 수행하는 범용 정책(Generalist Policy)으로 발전할 수 있다.

파운데이션 모델(Foundation Model)은 ACT의 성능을 더욱 향상시킨다. 대규모 이미지와 텍스트로 사전학습된 시각 및 언어 표현을 그대로 활용하면 작은 로봇 데이터셋만으로도 높은 성능을 달성할 수 있다. 따라서 로봇 데이터는 행동 생성만 집중적으로 학습하면 되며, 전체 데이터 구축 비용도 크게 감소한다.

ACT 역시 대규모 데이터가 필요하기 때문에 시뮬레이션(Simulation)이 중요한 역할을 한다. 다양한 환경과 물리 조건을 가진 시뮬레이터에서 수많은 시범을 생성한 뒤, 심투리얼(Sim-to-Real) 기법을 이용하여 실제 로봇으로 이전한다. 실제 데이터와 시뮬레이션 데이터를 함께 사용하는 혼합 학습은 데이터 구축 비용을 줄이면서도 높은 일반화 성능을 제공한다.

트랜스포머는 계산량이 크다는 단점도 가지고 있다. 시퀀스 길이가 길어질수록 메모리 사용량이 빠르게 증가하기 때문이다. 이를 해결하기 위해 희소 어텐션(Sparse Attention), 계층형 트랜스포머(Hierarchical Transformer), 잠재 공간 압축(Latent Compression) 등의 기술이 함께 연구되고 있으며, 긴 시퀀스에서도 효율적인 학습이 가능하도록 발전하고 있다.

ACT의 평가는 단순한 행동 예측 정확도만으로 이루어지지 않는다. 작업 성공률(Task Success Rate), 궤적 부드러움(Trajectory Smoothness), 장기 작업 성공률(Long-Horizon Success), 복구 능력(Recovery Capability), 조작 정밀도(Manipulation Precision), 추론 지연(Inference Latency), 새로운 환경에 대한 일반화 성능 등이 함께 평가된다. 특히 시간적 연속성(Temporal Consistency)은 ACT의 핵심 성능 지표 가운데 하나이다.

산업 현장에서는 트랜스포머의 높은 계산량을 해결하기 위해 양자화(Quantization), 가지치기(Pruning), 지식 증류(Knowledge Distillation), 최적화된 추론 엔진(Inference Engine) 등이 함께 사용된다. 또한 실행 전 안전 감시기(Runtime Safety Monitor)를 이용하여 생성된 액션 청크가 관절 한계, 충돌 위험, 힘 제한 등을 만족하는지 확인한 후 실제 로봇에 적용한다.

최근 ACT는 지속학습(Continual Learning), 강화학습(Reinforcement Learning), 상호작용 모방학습(Interactive Imitation Learning), 확산 정책(Diffusion Policy), 계층형 계획(Hierarchical Planning) 등과 결합되면서 더욱 발전하고 있다. 이제 ACT는 단순한 모방학습 알고리즘이 아니라 인식(Perception), 기억(Memory), 추론(Reasoning), 계획(Planning), 언어(Language), 제어(Control)를 통합하는 차세대 Physical AI의 핵심 구성 요소로 자리 잡고 있다.

액션 청킹 트랜스포머(ACT)는 단일 행동 예측에서 벗어나 시간적으로 일관된 행동 시퀀스를 생성하는 새로운 모방학습 구조이다. 트랜스포머 기반 시퀀스 모델링, 멀티모달 표현 학습, 액션 청킹 전략을 결합함으로써 장기 조작, 협조 제어, 전신 움직임, 자율주행 등 다양한 로봇 작업에서 기존 행동 복제보다 뛰어난 안정성과 일반화 성능을 제공한다. 앞으로 로봇 파운데이션 모델과 비전-언어-행동(VLA) 시스템이 더욱 발전함에 따라 ACT는 인간과 유사한 시간적 계획 능력을 갖춘 차세대 범용 Physical AI를 구현하는 핵심 기술로 계속 발전할 것으로 기대된다.

06.07 Diffusion Policy Score Matching for IL [w/Code]

확산 정책(Diffusion Policy)은 최근 로봇 모방학습(Imitation Learning)에서 가장 주목받는 학습 방식 가운데 하나이다. 이 방법은 확산 생성 모델(Diffusion Generative Model)의 뛰어난 생성 능력과 로봇 제어를 결합한 구조이다. 기존 행동 복제(Behavior Cloning)가 현재 상태에서 하나의 행동(Action)만 예측하는 것과 달리, Diffusion Policy는 가능한 모든 행동의 확률 분포(Probability Distribution)를 학습한다. 즉, "다음 행동이 무엇인가?"를 예측하는 것이 아니라 "현재 상황에서 전문가가 수행할 수 있는 행동들의 분포는 무엇인가?"를 학습하는 것이다. 이를 통해 더욱 자연스럽고 안정적이며 다양한 행동을 생성할 수 있다.

Diffusion Policy가 등장한 이유는 결정론적(Deterministic) 정책의 한계를 해결하기 위해서이다. 실제 로봇 작업은 하나의 정답만 존재하지 않는 경우가 많다. 예를 들어 사람이 컵을 집을 때 왼쪽에서 접근할 수도 있고 오른쪽에서 접근할 수도 있으며, 조금 위를 잡거나 아래를 잡아도 모두 성공할 수 있다. 기존 행동 복제는 이러한 여러 시범을 평균화(Averaging)하는 경향이 있기 때문에 실제로 존재하지 않는 중간 동작을 생성하는 경우가 있다. Diffusion Policy는 평균을 계산하지 않고 다양한 전문가 행동의 분포 자체를 학습하기 때문에 이러한 문제를 해결할 수 있다.

확산 모델(Diffusion Model)은 원래 컴퓨터 비전(Computer Vision)의 이미지 생성(Image Generation)을 위해 개발되었다. 초기에는 완전한 잡음(Random Noise)만 존재하지만, 반복적으로 노이즈를 제거(Denoising)하면서 점차 실제와 같은 이미지를 생성한다. 각 단계에서는 노이즈를 조금씩 줄이면서 데이터 분포에 가까운 방향으로 이동한다. 이러한 반복적인 정제 과정 덕분에 기존 GAN이나 VAE보다 더욱 현실적인 이미지를 생성할 수 있게 되었다.

Diffusion Policy는 이러한 원리를 로봇 행동 생성에 그대로 적용한다. 여기서는 이미지 대신 행동 시퀀스(Action Sequence)를 생성한다. 처음에는 모든 행동이 무작위 노이즈로 시작된다. 이후 현재 로봇의 센서 정보와 환경을 조건(Condition)으로 사용하여 여러 단계에 걸쳐 노이즈를 제거한다. 반복이 진행될수록 무작위 행동은 점차 전문가와 유사한 행동 시퀀스로 변환되며, 최종적으로 생성된 행동을 로봇이 실제로 실행하게 된다.

행동 복제와 Diffusion Policy의 가장 큰 차이는 불확실성(Uncertainty)을 표현하는 방식이다. 행동 복제는 하나의 최적 행동만 존재한다고 가정하지만, Diffusion Policy는 여러 개의 가능한 행동을 모두 하나의 확률 분포로 표현한다. 따라서 전문가들이 서로 다른 방식으로 동일한 작업을 수행했더라도 이를 모두 자연스럽게 학습할 수 있다. 이러한 확률적(Probabilistic) 표현은 환경 변화나 불확실성이 큰 작업에서 더욱 높은 강건성(Robustness)을 제공한다.

확산 과정(Diffusion Process)은 순방향 확산(Forward Diffusion)과 역방향 확산(Reverse Diffusion)의 두 단계로 구성된다. 학습 과정에서는 전문가 행동에 가우시안 노이즈(Gaussian Noise)를 단계적으로 추가한다. 처음에는 원래 행동이 거의 유지되지만 시간이 지날수록 행동은 점차 완전한 무작위 노이즈와 구별되지 않을 정도로 변한다. 이러한 인위적인 오염 과정이 모델이 학습해야 할 목표를 정의한다.

실제 행동 생성은 역방향 확산 과정에서 이루어진다. 현재의 센서 정보와 노이즈가 포함된 행동을 입력하면 신경망은 어느 방향으로 노이즈를 제거해야 하는지를 예측한다. 이러한 과정을 여러 번 반복하면 무작위 행동은 점차 전문가와 유사한 행동 시퀀스로 변환된다. 모든 단계가 현재 환경 정보를 함께 고려하기 때문에 생성된 행동은 환경 변화에도 일관성을 유지할 수 있다.

스코어 매칭(Score Matching)은 Diffusion Policy의 핵심 수학적 원리이다. 여기서 스코어(Score)는 데이터 확률 밀도 함수(Log Probability Density)의 기울기(Gradient)를 의미한다. 쉽게 말하면 현재의 노이즈가 포함된 행동이 전문가 행동에 가까워지기 위해 어느 방향으로 이동해야 하는지를 알려주는 벡터라고 이해할 수 있다. 모델은 이러한 방향 정보를 학습함으로써 노이즈를 점진적으로 제거하고 전문가와 유사한 행동을 생성한다.

스코어 매칭은 원래 통계학(Statistics)에서 제안된 방법이며, 이후 확산 모델의 핵심 학습 기법으로 발전하였다. 복잡한 확률 분포 자체를 직접 계산하는 대신, 각 지점에서 전문가 데이터가 존재하는 방향만 학습하면 된다. 따라서 계산이 상대적으로 효율적이며, 노이즈가 포함된 데이터도 안정적으로 학습할 수 있다.

Diffusion Policy의 신경망은 일반적으로 트랜스포머(Transformer), U-Net, 또는 CNN 기반 구조를 사용한다. RGB 영상은 ResNet이나 비전 트랜스포머(Vision Transformer)를 통해 특징으로 변환된다. 관절 위치(Joint Position), 속도(Joint Velocity), 그리퍼 상태(Gripper State), 힘 센서(Force Sensor), 촉각 센서(Tactile Sensor) 등의 고유감각(Proprioception)은 MLP를 통해 잠재 표현(Latent Representation)으로 변환된다. 이러한 다양한 정보는 모든 노이즈 제거 과정에서 조건 정보로 함께 사용된다.

Diffusion Policy는 시간적 모델링(Temporal Modeling) 능력도 뛰어나다. 단일 행동만 생성하는 것이 아니라 여러 단계의 미래 행동 시퀀스를 함께 생성하기 때문이다. 따라서 연속된 행동 사이의 관계를 자연스럽게 학습할 수 있으며, 결과적으로 기존 행동 복제보다 훨씬 부드럽고 안정적인 제어가 가능하다. 긴 조작 작업(Long-Horizon Manipulation)에서 이러한 장점이 특히 크게 나타난다.

Diffusion Policy는 액션 청킹 트랜스포머(Action Chunking Transformer, ACT)와도 유사한 점이 있다. 두 방법 모두 여러 단계의 행동을 동시에 생성한다는 공통점이 있다. 그러나 ACT는 행동 시퀀스를 한 번에 직접 예측하는 결정론적 모델이고, Diffusion Policy는 무작위 노이즈를 반복적으로 정제하는 확률적 생성 모델이라는 차이가 있다. 최근에는 두 접근법을 결합하여 각각의 장점을 동시에 활용하려는 연구도 활발하게 진행되고 있다.

로봇 조작(Robot Manipulation)은 Diffusion Policy가 가장 뛰어난 성능을 보이는 분야 가운데 하나이다. 서랍 열기(Drawer Opening), 커넥터 삽입(Connector Insertion), 천 접기(Cloth Folding), 부품 조립(Assembly), 액체 붓기(Pouring), 블록 쌓기(Stacking), 공구 사용(Tool Manipulation), 변형 물체(Deformable Object) 조작 등은 모두 여러 가지 성공적인 수행 방법이 존재한다. Diffusion Policy는 이러한 다양한 조작 방식을 모두 학습하여 더욱 자연스럽고 안정적인 행동을 생성한다.

다지 손(多指手)을 사용하는 정교한 조작(Dexterous Manipulation)에서도 큰 장점을 가진다. 여러 개의 손가락은 동일한 작업을 위해 매우 다양한 관절 구성을 사용할 수 있다. 기존 행동 복제는 서로 다른 자세를 평균화하여 비현실적인 손 모양을 생성하는 경우가 있지만, Diffusion Policy는 전문가가 실제 사용한 손 모양들을 확률적으로 유지하기 때문에 훨씬 현실적이고 안정적인 파지(Grasp)를 수행할 수 있다.

변형 물체(Deformable Object)를 다루는 작업도 Diffusion Policy가 강한 분야이다. 수건 접기, 전선 정리, 로프 조작, 천 다루기, 포장 작업 등은 정답이 하나가 아니다. 다양한 성공 경로가 존재하기 때문에 확률 분포를 학습하는 Diffusion Policy가 기존 결정론적 정책보다 훨씬 높은 성능을 보인다.

양팔 조작(Bimanual Manipulation)에서도 Diffusion Policy는 두 팔의 움직임을 하나의 행동 시퀀스로 생성한다. 두 팔 사이의 협조(Coordination), 충돌 회피(Collision Avoidance), 힘 제어(Force Control), 작업 목표를 동시에 고려하면서 연속적인 행동을 생성하기 때문에 매우 자연스러운 협업 동작을 수행할 수 있다.

비전(Vision)은 Diffusion Policy에서 매우 중요한 역할을 한다. 여러 대의 RGB 카메라, 손목 카메라(Wrist Camera), 깊이 센서(Depth Sensor), 포인트 클라우드(Point Cloud), 의미 분할(Semantic Segmentation) 등이 모두 행동 생성 과정에 활용될 수 있다. 교차 주의(Cross-Attention)를 이용하여 다양한 센서 정보를 통합함으로써 부분 가림(Occlusion), 조명 변화, 복잡한 환경에서도 안정적인 행동을 생성할 수 있다.

최근에는 언어 조건(Language Conditioning)도 함께 사용된다. "초록색 병을 집어라", "드라이버를 공구함에 넣어라", "수건을 가지런히 접어라"와 같은 자연어 명령을 입력하면, 모든 노이즈 제거 단계에서 이러한 언어 정보가 행동 생성에 반영된다. 이를 통해 하나의 모델이 다양한 작업을 수행할 수 있는 범용 정책(Generalist Policy)으로 발전하고 있다.

Diffusion Policy의 학습은 기존 지도학습과 다르다. 행동 자체를 직접 예측하는 것이 아니라, 먼저 전문가 행동에 무작위 노이즈를 추가한 후 모델이 그 노이즈를 예측하도록 학습한다. 일반적으로 평균제곱오차(Mean Squared Error, MSE)를 이용하여 실제 노이즈와 예측 노이즈의 차이를 최소화한다. 흥미롭게도 행동 자체를 예측하는 것보다 노이즈를 예측하는 것이 훨씬 안정적으로 학습되는 것으로 알려져 있다.

노이즈 스케줄(Noise Schedule)은 학습 성능에 큰 영향을 준다. 초기 단계에서는 작은 노이즈를 추가하고, 후반부로 갈수록 거의 완전한 무작위 노이즈를 사용한다. 선형 스케줄(Linear Schedule), 코사인 스케줄(Cosine Schedule), 분산 유지(Variance Preserving), 분산 증가(Variance Exploding) 등 다양한 방식이 연구되고 있으며, 각각 학습 속도와 생성 품질에 차이를 보인다.

Diffusion Policy의 가장 큰 단점은 계산량이다. 일반적인 정책은 한 번의 추론만 수행하면 되지만, Diffusion Policy는 수십 번의 노이즈 제거 과정을 반복해야 한다. 따라서 추론 속도(Inference Latency)가 상대적으로 느리다. 이를 해결하기 위해 적은 단계만 사용하는 빠른 확산(Fast Diffusion), 잠재 확산(Latent Diffusion), 일관성 모델(Consistency Model), 지식 증류(Distillation) 등이 활발하게 연구되고 있다.

최근에는 이러한 가속 기술들이 크게 발전하였다. 느린 확산 모델이 학습한 내용을 빠른 학생 모델(Student Model)에 전달하는 지식 증류를 통해 수십 단계의 노이즈 제거를 몇 단계 또는 한 단계로 줄일 수 있게 되었다. 이러한 기술 덕분에 Diffusion Policy도 실시간 로봇 제어에 점점 적용 가능해지고 있다.

Diffusion Policy 역시 시뮬레이션(Simulation)을 적극적으로 활용한다. 다양한 물체, 조명, 환경 구조, 마찰 계수, 센서 노이즈 등을 포함한 대규모 시뮬레이션 데이터를 이용하여 학습을 수행한다. 이후 도메인 랜덤화(Domain Randomization)와 심투리얼(Sim-to-Real) 기법을 적용하여 실제 로봇에서도 높은 성능을 유지하도록 만든다.

파운데이션 모델(Foundation Model)은 Diffusion Policy의 성능을 더욱 향상시키고 있다. 대규모 시각 모델은 이미 강력한 영상 표현을 학습하고 있으며, 언어 모델은 풍부한 의미 정보를 제공한다. 또한 로봇 파운데이션 모델(Robot Foundation Model)은 다양한 작업에서 학습한 운동 표현을 제공하기 때문에 Diffusion Policy는 행동 생성에 더욱 집중할 수 있다.

Diffusion Policy는 강화학습(Reinforcement Learning)과도 자연스럽게 결합된다. 먼저 전문가 시범으로 Diffusion Policy를 학습한 뒤, 강화학습을 통해 성능을 더욱 향상시킬 수 있다. 반대로 강화학습 과정에서 생성된 새로운 데이터를 Diffusion Policy의 학습 데이터에 추가하여 지속적으로 성능을 개선하는 것도 가능하다.

확률적 행동 생성은 안전성(Safety) 문제도 함께 고려해야 한다. 다양한 행동을 생성할 수 있다는 장점이 있지만, 일부 행동은 실제 환경에서 위험할 수도 있다. 따라서 산업 현장에서는 충돌 검사(Collision Checking), 힘 제한(Force Constraint), 관절 한계(Joint Limit), 안전 감시기(Runtime Safety Monitor) 등을 이용하여 생성된 행동을 검증한 뒤 실행한다.

Diffusion Policy의 평가는 기존 모방학습보다 다양하다. 작업 성공률(Task Success Rate), 궤적 부드러움(Trajectory Smoothness), 복구 능력(Recovery Capability), 강건성(Robustness), 조작 정밀도(Manipulation Precision), 실행 안정성(Execution Stability), 추론 속도(Inference Latency), 새로운 환경에서의 일반화 성능 등이 모두 중요한 평가 항목이다. 또한 전문가 데이터가 가진 다양한 행동 패턴을 얼마나 잘 재현하는지도 중요한 평가 기준이 된다.

행동 복제와 비교하면 Diffusion Policy는 여러 가지 가능한 행동을 그대로 유지하면서 자연스럽고 부드러운 동작을 생성한다는 장점이 있다. GAIL과 비교하면 GAIL은 적대적 학습(Adversarial Learning)을 통해 전문가 행동을 학습하는 반면, Diffusion Policy는 전문가 행동의 확률 분포를 직접 생성한다는 차이가 있다. 최근에는 두 방법을 결합하여 각각의 장점을 동시에 활용하는 연구도 활발하게 진행되고 있다.

산업용 로봇에서는 조립, 물류, 창고 자동화, 전자제품 생산, 정밀 삽입, 포장, 식품 처리, 실험실 자동화, 협업 로봇 등 다양한 분야에서 Diffusion Policy가 활용되고 있다. 이러한 작업은 하나의 정답이 아니라 여러 개의 성공적인 수행 방법이 존재하는 경우가 많기 때문에, 다양한 행동 분포를 표현할 수 있는 Diffusion Policy가 매우 적합하다.

현재 연구는 계층형 확산 정책(Hierarchical Diffusion Policy), 세계 모델(World Model), 기억(Memory), 온라인 적응(Online Adaptation), 비전-언어-행동 모델(Vision-Language-Action Model), 지속학습(Continual Learning) 등을 결합하는 방향으로 발전하고 있다. 이러한 기술들은 Diffusion Policy를 차세대 범용 Physical AI의 핵심 행동 생성 엔진으로 발전시키고 있다.

Diffusion Policy는 결정론적 행동 예측에서 확률적 행동 생성으로 패러다임을 전환한 대표적인 모방학습 기술이다. 스코어 매칭(Score Matching)과 확산 생성 모델을 이용하여 전문가 행동의 전체 분포를 학습함으로써, 기존 행동 복제보다 훨씬 자연스럽고 다양한 행동을 생성할 수 있으며 장기 작업에서도 높은 안정성과 일반화 성능을 제공한다. 앞으로 계산 효율성이 더욱 향상되고 로봇 파운데이션 모델과 대규모 멀티모달 데이터셋이 발전함에 따라 Diffusion Policy는 범용 로봇과 차세대 Physical AI 시스템을 위한 핵심 행동 생성 기술로 더욱 중요한 역할을 수행할 것으로 기대된다.

06.08 Teleoperation System for IL Data Collection [w/Code]

원격조작(Teleoperation) 시스템은 현대 모방학습(Imitation Learning)의 가장 중요한 기반 기술 가운데 하나이다. 아무리 뛰어난 행동 복제(Behavior Cloning), DAgger, 확산 정책(Diffusion Policy), 액션 청킹 트랜스포머(Action Chunking Transformer)와 같은 학습 알고리즘을 사용하더라도, 학습 데이터의 품질이 낮으면 우수한 정책(Policy)을 얻을 수 없다. 원격조작 시스템은 인간 전문가의 경험과 기술을 로봇에게 전달하는 인터페이스 역할을 수행하며, 전문가의 조작 과정에서 발생하는 모든 센서 정보와 제어 명령을 기록하여 고품질 모방학습 데이터셋을 구축한다. 최근에는 단순한 원격 제어 장비를 넘어 대규모 로봇 파운데이션 모델(Robot Foundation Model)을 위한 데이터 수집 플랫폼으로 발전하고 있다.

원격조작의 목적은 단순히 멀리 떨어진 로봇을 조종하는 것이 아니다. 더 중요한 목적은 전문가의 의사결정 과정 자체를 데이터로 저장하는 것이다. 전문가가 수행하는 모든 동작에는 환경 인식(Perception), 판단(Reasoning), 계획(Planning), 운동 제어(Motor Control), 환경 적응(Adaptation) 등이 함께 포함되어 있다. 또한 망설임(Hesitation), 미세한 보정(Correction), 힘 조절(Force Modulation), 장애물 회피(Avoidance), 실패 복구(Recovery)와 같은 섬세한 행동도 자연스럽게 기록된다. 이러한 정보는 사람이 규칙으로 직접 작성하기 매우 어렵기 때문에 모방학습에서 매우 높은 가치를 가진다.

모방학습은 전문가 시범(Demonstration)이 올바른 작업 수행 방법을 포함하고 있다고 가정한다. 따라서 원격조작 시스템은 인간의 지능을 기계학습 데이터로 변환하는 핵심 연결고리 역할을 한다. 우수한 원격조작 시스템은 사용자의 의도를 로봇의 실제 움직임에 최대한 정확하게 반영하면서 동시에 모든 센서 데이터와 제어 명령을 완전하게 기록한다. 이러한 직관적인 조작과 데이터 기록 기능이 결합되어야 고품질 학습 데이터셋을 구축할 수 있다.

일반적인 원격조작 시스템은 여러 구성 요소로 이루어진다. 작업자는 조이스틱(Joystick), 햅틱 장치(Haptic Device), 모션 캡처(Motion Capture), 웨어러블 장갑(Wearable Glove), 마스터 매니퓰레이터(Master Manipulator), 가상현실(Virtual Reality, VR) 컨트롤러, 외골격(Exoskeleton) 등을 이용하여 로봇을 조작한다. 입력된 명령은 좌표 변환(Coordinate Transformation), 운동학 변환(Kinematic Mapping), 움직임 스케일링(Motion Scaling), 안전 제한(Safety Constraint)을 거쳐 실제 로봇 제어 명령으로 변환된다. 동시에 카메라 영상, 관절 상태, 힘 센서, 촉각 정보, 환경 정보 등이 모두 동기화되어 저장된다.

시범 데이터의 품질은 조작 인터페이스의 직관성(Intuitiveness)에 크게 영향을 받는다. 사용자가 자신의 몸을 움직이는 것처럼 자연스럽게 로봇을 제어할 수 있을수록 더 높은 품질의 시범을 생성할 수 있다. 대표적인 예가 마스터-슬레이브(Master-Slave) 조작 시스템이다. 사람이 마스터 로봇을 움직이면 실제 슬레이브 로봇이 동일한 비율로 움직인다. 이러한 방식은 작업자의 인지 부담(Cognitive Load)을 줄이고 복잡한 조작도 쉽게 수행할 수 있도록 만든다.

움직임 매핑(Motion Mapping)은 원격조작에서 가장 어려운 기술 가운데 하나이다. 사람과 로봇은 관절 구조, 작업 공간, 자유도(Degree of Freedom), 운동 범위가 서로 다르기 때문에 사람의 움직임을 그대로 사용할 수 없다. 따라서 운동학 변환 알고리즘을 이용하여 사람의 움직임을 로봇의 가능한 움직임으로 변환해야 한다. 또한 움직임 축소(Motion Scaling)를 이용하면 사람이 크게 움직여도 로봇은 매우 정밀한 미세 동작을 수행할 수 있으며, 반대로 작은 손가락 움직임으로 대형 산업용 로봇을 제어하는 것도 가능하다.

좌표계 변환(Coordinate Transformation) 역시 중요한 요소이다. 사람은 자신의 몸을 기준으로 움직임을 생각하지만, 로봇은 베이스 좌표(Base Coordinate), 카메라 좌표(Camera Coordinate), 세계 좌표(World Coordinate) 등을 사용한다. 따라서 작업자의 의도가 정확하게 전달되도록 서로 다른 좌표계를 지속적으로 변환해야 한다. 특히 이동 로봇(Mobile Robot)이나 휴머노이드(Humanoid)는 계속 방향이 바뀌기 때문에 동적인 좌표 변환(Dynamic Frame Alignment)이 매우 중요하다.

통신 지연(Latency)은 원격조작 성능에 큰 영향을 준다. 사람의 조작과 로봇의 반응 사이에 지연이 발생하면 제어 정확도가 감소하고 작업자의 부담도 증가한다. 산업용 정밀 조작은 수십 밀리초(Millisecond) 이하의 지연이 요구되며, 의료용 원격 수술은 그보다 더욱 낮은 지연이 필요하다. 이를 해결하기 위해 엣지 컴퓨팅(Edge Computing), 예측 제어(Predictive Control), 네트워크 최적화(Network Optimization) 등이 함께 사용된다.

시각 피드백(Visual Feedback)은 대부분의 원격조작 시스템에서 가장 중요한 정보 전달 수단이다. 여러 대의 RGB 카메라가 전체 작업 공간을 보여주며, 손목 카메라(Wrist Camera)는 물체를 가까이에서 관찰할 수 있도록 지원한다. 스테레오 비전(Stereo Vision)은 깊이 정보를 제공하여 거리 판단을 쉽게 해주고, 팬-틸트-줌(Pan-Tilt-Zoom, PTZ) 카메라는 다양한 시점을 제공하여 작업자의 상황 인식을 향상시킨다. 고해상도 영상은 더욱 정확한 시범 데이터 생성에 큰 도움이 된다.

정밀 조립이나 삽입 작업에서는 깊이 정보(Depth Information)가 필수적이다. RGB 영상만으로는 거리 판단이 어려운 경우가 많기 때문이다. 깊이 카메라(Depth Camera), 구조광 센서(Structured Light Sensor), 스테레오 카메라, LiDAR 등은 3차원 공간 정보를 제공하여 작업자의 조작 정확도를 향상시키며, 동시에 학습 데이터에도 풍부한 공간 정보를 제공한다.

힘 피드백(Force Feedback)은 고급 원격조작 시스템의 핵심 기능이다. 햅틱 장치(Haptic Device)는 로봇이 물체와 접촉하면서 느끼는 힘을 작업자에게 그대로 전달한다. 작업자는 화면뿐 아니라 손으로도 접촉 상태를 느낄 수 있기 때문에 더욱 섬세한 조작이 가능하다. 이러한 힘 정보는 조립, 의료 로봇, 실험실 자동화, 변형 물체 조작 등에서 특히 중요하며, 힘 제어를 포함한 고품질 시범 데이터를 구축하는 데 큰 역할을 한다.

촉각 센서(Tactile Sensor)는 시범 데이터의 품질을 더욱 향상시킨다. 손가락 끝의 압력 분포, 미끄러짐(Slip Detection), 접촉 시점(Contact Timing), 파지 안정성(Grasp Stability) 등을 함께 기록할 수 있다. 사람은 물체를 잡을 때 촉각을 적극적으로 이용하기 때문에 이러한 정보는 로봇이 더욱 자연스럽고 안정적인 파지를 학습하는 데 중요한 역할을 한다.

마스터 매니퓰레이터(Master Manipulator)는 가장 널리 사용되는 원격조작 장치이다. 사람은 작은 로봇 팔 형태의 입력 장치를 직접 움직이며, 실제 로봇이 동일한 움직임을 수행한다. 일부 장치는 힘 피드백까지 제공한다. 이러한 시스템은 원자력 시설, 심해 작업, 의료 수술, 정밀 조립 등 높은 정밀도가 필요한 분야에서 널리 사용된다.

최근에는 가상현실(Virtual Reality, VR)이 원격조작 환경을 크게 변화시키고 있다. VR 헤드셋은 입체적인 원격 환경을 제공하며, 손 추적 컨트롤러를 이용하여 사람의 손 움직임을 그대로 로봇에 전달할 수 있다. 사용자는 실제로 로봇 내부에 들어가 있는 것처럼 몰입감 있는 조작을 수행할 수 있으며, 이러한 환경은 대규모 모방학습 데이터 구축에도 매우 적합하다.

증강현실(Augmented Reality, AR)은 원격조작을 더욱 효율적으로 만든다. 작업자의 화면 위에 예상 경로(Predicted Trajectory), 충돌 위험(Collision Warning), 물체 정보(Object Label), 추천 파지 위치(Grasp Candidate), 작업 안내(Task Guidance) 등을 실시간으로 표시할 수 있다. 이러한 정보는 작업자의 인지 부담을 줄이고 더욱 일관된 시범 데이터를 생성하도록 도와준다.

모션 캡처(Motion Capture)는 또 다른 중요한 데이터 수집 방식이다. 광학 추적(Optical Tracking), IMU 기반 모션 슈트(Motion Suit), 데이터 글러브(Data Glove), 마커리스 비전(Markerless Vision) 등을 이용하여 사람의 전신 움직임을 기록한 후 이를 로봇의 동작으로 변환한다. 이러한 방식은 휴머노이드 보행, 전신 조작, 협업 작업 등에서 매우 효과적이다.

데이터 동기화(Data Synchronization)는 모방학습 데이터셋 구축에서 가장 중요한 기술 가운데 하나이다. 카메라 영상, 관절 상태, 힘 센서, 촉각 센서, IMU, 오디오, 제어 명령 등은 모두 서로 다른 주기로 동작한다. 따라서 모든 데이터를 동일한 시간축에 정확히 맞추어 저장해야 한다. 이를 위해 정밀 시간 프로토콜(Precision Time Protocol, PTP), 하드웨어 트리거(Hardware Trigger), 공통 타임스탬프(Timestamp) 등이 사용된다.

센서 보정(Sensor Calibration)도 필수적이다. 카메라 내부 파라미터(Intrinsic Parameter), 외부 파라미터(Extrinsic Parameter), 로봇 운동학(Robot Kinematics), 힘 센서 보정, 좌표계 변환 등을 정확하게 수행해야 한다. 작은 보정 오차도 데이터 전체에 영향을 미쳐 학습 성능을 저하시킬 수 있기 때문에 대규모 데이터 수집 전에는 자동 보정 절차를 수행하는 것이 일반적이다.

데이터 품질은 하드웨어뿐 아니라 시범 전략(Demonstration Strategy)에도 크게 좌우된다. 전문가는 자연스럽게 작업을 수행하면서도 다양한 환경을 포함하도록 시범을 구성해야 한다. 다양한 물체 위치, 조명, 시점, 작업 속도, 장애물, 복구 행동 등이 충분히 포함되어야 정책이 새로운 환경에서도 일반화할 수 있다.

최근에는 실패 시범(Failure Demonstration)의 가치도 매우 높게 평가되고 있다. 과거에는 성공 사례만 수집했지만, 현재는 실패한 파지, 삽입 오류, 충돌, 복구 동작 등도 중요한 학습 자료로 사용된다. 이러한 데이터는 로봇이 실패를 인식하고 스스로 복구하는 능력을 학습하는 데 큰 도움이 된다.

상호작용 원격조작(Interactive Teleoperation)은 작업 중 추가적인 의미 정보(Semantic Information)도 함께 기록한다. 음성 메모(Voice Annotation), 버튼 입력, 이벤트 마커(Event Marker), 작업 단계(Task Phase), 작업자의 신뢰도(Confidence) 등을 함께 저장하면 데이터 분석과 계층형 학습(Hierarchical Learning), 언어 기반 학습(Language Grounding)이 더욱 쉬워진다.

작업 분할(Task Segmentation) 역시 중요하다. 긴 시범을 하나의 데이터로 저장하는 대신 접근(Reaching), 파지(Grasping), 들어 올리기(Lifting), 이동(Transporting), 정렬(Aligning), 삽입(Inserting), 놓기(Releasing) 등 여러 단계로 구분하면 계층형 모방학습 알고리즘이 재사용 가능한 행동 단위(Motor Primitive)를 효과적으로 학습할 수 있다.

대규모 데이터셋은 여러 작업자의 시범을 함께 포함하는 경우가 많다. 다양한 작업자는 서로 다른 스타일을 가지고 있기 때문에 일반화 성능은 향상되지만 데이터의 일관성은 감소할 수 있다. 따라서 데이터 정규화(Data Normalization), 작업자 식별(Operator Identification), 숙련도 평가(Skill Assessment), 선호도 모델링(Preference Modeling) 등을 통해 이러한 차이를 적절히 처리한다.

클라우드 로보틱스(Cloud Robotics)는 원격조작 데이터 수집을 더욱 확장시키고 있다. 여러 지역의 로봇이 생성한 시범 데이터를 중앙 서버에 업로드하면 대규모 로봇 파운데이션 모델을 학습할 수 있다. 다양한 환경과 여러 로봇에서 수집된 데이터를 통합함으로써 범용성이 높은 로봇 지능을 구축할 수 있다.

시뮬레이션(Simulation)은 실제 원격조작을 보완하는 중요한 수단이다. 동일한 인터페이스를 이용하여 시뮬레이터에서 대량의 시범을 생성하고, 이후 실제 로봇으로 이전한다. 디지털 트윈(Digital Twin)을 이용하면 실제 작업과 시뮬레이션을 동시에 수행하여 데이터 증강(Data Augmentation)과 검증을 효율적으로 수행할 수 있다.

공유 자율성(Shared Autonomy)은 최근 원격조작의 중요한 발전 방향이다. 작업자가 모든 제어를 직접 수행하는 것이 아니라, 충돌 회피, 경로 보정, 파지 안정화, 힘 제어 등은 로봇이 자동으로 수행한다. 사람은 고수준 의사결정만 담당하고 로봇은 세부 제어를 담당하기 때문에 작업자의 부담이 줄어들고 시범 품질도 향상된다.

최근에는 인공지능(AI)이 원격조작 자체를 지원하기 시작했다. 파운데이션 모델은 물체를 자동으로 인식하고, 파지 후보를 제안하며, 작업자의 의도를 예측하고, 실패 가능성을 사전에 경고한다. AI는 사람을 대체하는 것이 아니라 작업자의 능력을 보조하여 더욱 빠르고 일관성 있는 시범 데이터를 생성하도록 지원한다.

최신 원격조작 데이터셋은 단순한 영상과 제어 명령만 저장하지 않는다. 언어 명령(Language Instruction), 힘 센서, 촉각 센서, 환경 지도(Map), 오디오(Audio), 의미 정보(Semantic Information), 작업 설명(Task Description) 등 다양한 멀티모달(Multimodal) 정보를 함께 저장한다. 이러한 풍부한 데이터는 비전-언어-행동(Vision-Language-Action, VLA) 모델과 로봇 파운데이션 모델의 핵심 학습 자원이 되고 있다.

원격조작 시스템의 평가는 단순한 작업 성공률만으로 이루어지지 않는다. 데이터 품질(Dataset Quality), 작업자의 부담(Operator Workload), 움직임의 부드러움(Motion Smoothness), 힘 제어의 일관성(Force Consistency), 통신 지연(Latency), 데이터 동기화 정확도(Synchronization Accuracy), 주석 품질(Annotation Quality), 그리고 최종적으로 모방학습 정책의 성능까지 모두 함께 평가된다. 결국 가장 우수한 원격조작 시스템은 사람이 가장 빠르게 조종하는 시스템이 아니라, 가장 뛰어난 자율 정책을 학습시킬 수 있는 데이터를 생성하는 시스템이라고 할 수 있다.

산업 현장에서는 원격조작 데이터가 매우 중요한 자산이 되고 있다. 제조 로봇은 숙련 기술자의 조립 방법을 학습하고, 물류 로봇은 효율적인 적재와 운반 방법을 익히며, 수술 로봇은 전문 의사의 섬세한 조작 기술을 배우고, 농업 로봇은 숙련된 수확 기술을 습득한다. 이처럼 원격조작은 인간의 숙련 기술을 기계 지능으로 변환하는 핵심 수단이 된다.

앞으로의 원격조작 시스템은 단순한 데이터 수집 장비를 넘어 지속적으로 학습하는 지능형 플랫폼으로 발전할 것이다. 사람은 점점 고수준의 의사결정만 담당하고, 로봇은 대부분의 작업을 자율적으로 수행하면서 필요한 순간에만 사람의 개입을 요청하게 될 것이다. 이러한 인간-AI 협업(Human-AI Collaboration)은 모든 개입을 새로운 학습 데이터로 활용하여 로봇이 지속적으로 성능을 향상시키도록 만든다. 파운데이션 모델(Foundation Model), 지속학습(Continual Learning), 세계 모델(World Model), 확산 정책(Diffusion Policy), 비전-언어-행동(VLA) 시스템과 결합된 차세대 원격조작 기술은 범용 Physical AI를 위한 가장 중요한 데이터 생성 플랫폼으로 계속 발전해 나갈 것이다.

06.09 IL Data Augmentation and Diversity Strategy [w/Code]

모방학습(Imitation Learning)의 성능은 학습 알고리즘뿐 아니라 시범 데이터(Demonstration Dataset)의 품질과 다양성에 크게 좌우된다. 행동 복제(Behavior Cloning), DAgger, 확산 정책(Diffusion Policy), 액션 청킹 트랜스포머(Action Chunking Transformer), 비전-언어-행동(Vision-Language-Action, VLA) 모델 등 어떤 알고리즘을 사용하더라도 데이터가 가진 정보 이상의 성능을 학습할 수는 없다. 제한적이고 반복적인 데이터만 사용하면 학습된 정책(Policy)은 훈련 환경과 거의 동일한 상황에서만 잘 동작하며, 실제 환경에서는 쉽게 실패한다. 따라서 현대의 모방학습에서는 단순히 데이터의 양을 늘리는 것이 아니라 다양한 환경과 상황을 포함하는 데이터 증강(Data Augmentation)과 다양성 전략(Diversity Strategy)이 핵심 요소가 되고 있다.

데이터 다양성의 가장 중요한 목적은 일반화(Generalization) 능력을 향상시키는 것이다. 실제 환경에서는 조명, 물체 위치, 센서 노이즈, 환경 구조, 사용자 행동 등이 항상 달라진다. 이러한 변화가 데이터셋에 포함되어 있지 않으면 로봇은 새로운 환경에서 적절하게 대응하지 못한다. 따라서 데이터셋은 특정 환경을 반복적으로 기록하는 것이 아니라 실제 운영 환경에서 발생할 수 있는 다양한 조건을 가능한 폭넓게 포함해야 한다. 이렇게 해야 정책은 특정 궤적(Trajectory)을 암기하는 것이 아니라 작업의 본질적인 원리를 학습할 수 있다.

데이터의 양(Data Quantity)과 데이터의 다양성(Data Diversity)은 서로 다른 개념이다. 동일한 물체를 같은 위치에서 수천 번 집는 데이터는 양은 많지만 정보량은 매우 적다. 반대로 물체 위치, 접근 각도, 조명, 속도, 복구 동작 등이 모두 다른 수백 개의 시범은 훨씬 풍부한 정보를 제공한다. 따라서 최근의 데이터셋 설계에서는 단순히 샘플 수를 늘리는 것보다 상태 공간(State Space)을 얼마나 폭넓게 포함하는지가 더욱 중요한 기준이 되고 있다.

데이터 증강(Data Augmentation)은 실제 시범을 추가로 수집하지 않고도 데이터셋을 더욱 다양하게 만드는 기술이다. 원래 컴퓨터 비전(Computer Vision)에서는 이미지 회전(Rotation), 이동(Translation), 크기 변경(Scaling), 자르기(Cropping), 반전(Flipping), 밝기(Brightness) 및 색상(Color) 변화 등을 사용하여 성능을 향상시켰다. 이러한 개념은 현재 로봇 모방학습에도 적용되고 있으며, 중요한 점은 증강 이후에도 관측(Observation)과 행동(Action)의 물리적인 일관성이 유지되어야 한다는 것이다.

영상 증강(Visual Augmentation)은 가장 널리 사용되는 방법이다. RGB 영상에 무작위 자르기, 확대 및 축소, 회전, 블러(Blur), 색상 이동(Color Shift), 밝기와 대비(Contrast) 변화 등을 적용한다. 또한 가우시안 노이즈(Gaussian Noise), 모션 블러(Motion Blur), 렌즈 왜곡(Lens Distortion), JPEG 압축 노이즈, 부분 가림(Random Occlusion) 등을 추가하여 실제 환경과 유사한 다양한 영상 조건을 생성한다. 이러한 증강은 모델이 배경이나 색상보다 작업에 중요한 특징에 집중하도록 만든다.

조명 변화(Lighting Variation)는 특히 중요한 증강 요소이다. 실험실에서 일정한 조명 아래 수집된 데이터만으로 학습하면 실제 공장이나 야외 환경에서는 성능이 크게 저하될 수 있다. 따라서 밝기 변화, 그림자 생성, 반사 효과, 색온도(Color Temperature) 변화 등을 추가하여 다양한 조명 환경을 경험하게 하면 시각 인식의 강건성을 크게 향상시킬 수 있다.

카메라 시점(Viewpoint) 증강도 일반화에 매우 효과적이다. 카메라 위치, 각도, 화각(Field of View), 초점 거리(Focal Length)를 조금씩 변경하여 실제 설치 오차나 진동을 모사한다. 손목 카메라(Wrist Camera), 천장 카메라(Overhead Camera), 이동 로봇 카메라 등은 실제 운용 중 미세한 위치 변화가 자주 발생하므로 이러한 증강은 매우 현실적인 학습 환경을 제공한다.

깊이 센서(Depth Sensor) 데이터 역시 증강 대상이다. 깊이 영상에는 누락된 픽셀(Missing Pixel), 측정 노이즈, 양자화(Quantization), 반사면 오류, 포인트 클라우드(Point Cloud) 왜곡 등을 추가할 수 있다. 실제 RGB-D 센서는 이러한 오차를 항상 포함하고 있으므로, 이러한 증강은 실제 환경에서의 인식 성능을 크게 향상시킨다.

영상뿐 아니라 로봇 내부 상태(Proprioception)도 증강할 수 있다. 관절 위치(Joint Position), 관절 속도(Joint Velocity), 힘 센서(Force Sensor), IMU 등의 데이터에 작은 노이즈나 시간 지연(Temporal Delay), 보정 오차(Calibration Offset), 통신 지연(Latency), 양자화 오차 등을 추가하여 실제 센서 환경을 모사한다. 이러한 학습을 수행하면 센서 오차가 존재하는 환경에서도 더욱 안정적인 정책을 얻을 수 있다.

행동(Action) 증강은 관측 증강보다 훨씬 신중하게 수행해야 한다. 임의로 행동을 수정하면 작업이 실패할 수 있기 때문이다. 따라서 성공 여부를 유지하는 범위 안에서 그리퍼 경로, 접근 각도, 속도, 손목 방향 등을 약간 변경하는 방식이 사용된다. 또한 행동을 부드럽게 만드는 스무딩(Smoothing), 궤적 보간(Trajectory Interpolation) 등을 이용하여 새로운 시범 데이터를 생성하기도 한다.

시간(Time) 축 증강도 효과적인 방법이다. 동일한 작업을 빠르게 수행하거나 느리게 수행하도록 시간을 압축(Time Compression)하거나 확장(Time Expansion)한다. 또한 일부 프레임을 제거하거나(Frame Dropping), 일부 구간만 사용하는 시간 자르기(Temporal Cropping)를 적용하여 다양한 실행 속도를 학습하도록 만든다. 이를 통해 정책은 서로 다른 속도의 작업에도 안정적으로 대응할 수 있다.

궤적 증강(Trajectory Augmentation)은 기존 시범 사이의 새로운 경로를 생성하는 방법이다. 두 개 이상의 유사한 시범을 보간(Interpolation)하여 중간 궤적을 만들거나, 여러 성공 사례를 혼합(Motion Blending)하여 새로운 조작 전략을 생성할 수 있다. 이러한 방법은 물리적인 타당성을 유지하면서도 행동 공간(Action Space)을 더욱 풍부하게 만든다.

환경 랜덤화(Environment Randomization)는 로봇 학습에서 가장 강력한 다양성 전략 가운데 하나이다. 물체 위치, 작업대 높이, 배경, 질감(Texture), 마찰 계수(Friction), 장애물 배치 등을 지속적으로 변경하면서 시범을 수집한다. 이를 통해 정책은 특정 환경을 암기하는 것이 아니라 작업의 핵심 원리를 학습하게 된다.

도메인 랜덤화(Domain Randomization)는 환경뿐 아니라 물리적 특성까지 다양하게 변경한다. 물체 질량(Mass), 관성(Inertia), 탄성(Elasticity), 감쇠(Damping), 센서 노이즈, 카메라 내부 파라미터(Camera Intrinsics), 액추에이터 특성 등을 무작위로 변경하여 학습한다. 원래 심투리얼(Sim-to-Real)을 위해 개발되었지만 현재는 모방학습에서도 매우 중요한 데이터 다양성 기법으로 사용된다.

시뮬레이션(Simulation)은 다양성을 확보하는 가장 효율적인 방법이다. 실제 환경에서는 데이터를 수집하는 데 많은 시간과 비용이 들지만, 시뮬레이션에서는 다양한 물체, 조명, 환경 구조, 물리 파라미터를 자유롭게 변경할 수 있다. Isaac Sim, MuJoCo, Gazebo, Unity, NVIDIA Omniverse 등의 시뮬레이터는 매우 다양한 시범 데이터를 생성할 수 있으며, 실제 데이터와 함께 사용하면 일반화 성능이 크게 향상된다.

디지털 트윈(Digital Twin)은 실제 환경과 동일한 가상 환경을 구축하여 데이터 증강을 수행한다. 이미 기록된 시범을 다양한 조명, 물체 위치, 센서 특성에서 다시 재생함으로써 새로운 데이터를 생성할 수 있다. 이러한 재생 기반 증강은 실제 데이터를 추가로 수집하지 않아도 데이터 다양성을 크게 증가시킨다.

작업 다양성(Task Diversity)도 매우 중요하다. 하나의 작업만 반복하기보다는 여러 종류의 유사한 작업을 함께 학습하는 것이 더욱 효과적이다. 다양한 형태의 물체 잡기, 여러 종류의 서랍 열기, 다양한 커넥터 삽입, 여러 도구 사용 등을 함께 포함하면 정책은 특정 작업이 아니라 재사용 가능한 운동 프리미티브(Motor Primitive)를 학습하게 된다.

물체 다양성(Object Diversity)은 일반화 능력을 결정하는 핵심 요소이다. 크기, 무게, 재질(Material), 색상(Color), 형태(Geometry), 투명도(Transparency), 변형 가능성(Deformability), 마찰 계수 등이 서로 다른 물체를 포함해야 한다. 플라스틱 큐브만 학습한 정책은 병, 수건, 전선, 과일, 금속 공구 등을 제대로 다루기 어렵다. 따라서 최근 데이터셋은 수천 종류 이상의 다양한 물체를 포함하는 방향으로 발전하고 있다.

사람 다양성(Human Diversity)도 매우 중요한 정보이다. 사람마다 움직임 속도, 힘 조절, 파지 방식, 복구 전략이 모두 다르다. 과거에는 이러한 차이를 노이즈로 보았지만, 현재는 다양한 작업자의 시범이 더욱 일반화 성능이 높은 정책을 만든다는 사실이 알려져 있다. 여러 전문가의 데이터를 함께 학습하면 특정 사람의 습관이 아니라 작업의 본질적인 특성을 학습할 수 있다.

숙련도 다양성(Skill Diversity) 역시 유용하다. 숙련자뿐 아니라 초보자의 시범도 함께 포함하면 성공적인 전략과 실패 전략을 동시에 학습할 수 있다. 이러한 데이터는 정책이 오류를 구별하고 적절한 복구 전략을 선택하는 데 도움이 된다.

실패 데이터(Failure Demonstration)는 최근 매우 중요한 학습 자료로 인식되고 있다. 과거에는 성공 사례만 저장했지만, 현재는 실패한 파지, 충돌, 삽입 실패, 불안정한 조작 등을 함께 기록한다. 이러한 데이터는 정책이 위험한 상태를 인식하고 복구 전략을 학습하는 데 매우 큰 도움이 된다.

반사실적 증강(Counterfactual Augmentation)은 실제로 수행되지 않은 상황을 시뮬레이션으로 생성하는 방법이다. 예를 들어 물체 위치나 행동이 조금 달랐다면 어떤 결과가 나왔을지를 계산하여 새로운 시범으로 활용한다. 실제 데이터는 아니지만 충분히 물리적으로 타당한 경우에는 데이터 다양성을 크게 향상시킬 수 있다.

생성형 인공지능(Generative AI)도 데이터 증강에 적극 활용되고 있다. 확산 모델(Diffusion Model), 변분 오토인코더(Variational Autoencoder, VAE), 생성적 적대 신경망(Generative Adversarial Network, GAN) 등을 이용하여 새로운 로봇 행동 시퀀스를 생성할 수 있다. 다만 생성된 궤적이 실제로 수행 가능한지 반드시 검증해야 하며, 안전성과 물리적 타당성이 유지되어야 한다.

언어 증강(Language Augmentation)은 VLA 모델의 발전과 함께 중요성이 증가하고 있다. 동일한 작업을 다양한 표현으로 설명하도록 대규모 언어 모델(Large Language Model)을 이용하여 문장을 재구성하면, 로봇은 서로 다른 표현이 동일한 행동을 의미한다는 것을 학습할 수 있다. 이는 자연어 이해 성능을 크게 향상시킨다.

멀티모달 증강(Multimodal Augmentation)은 영상, 언어, 의미 정보(Semantic Annotation), 지도(Map), 오디오(Audio), 촉각(Tactile) 등을 함께 결합한다. 동일한 행동에 여러 개의 언어 설명이나 의미 정보를 연결하면 인식과 행동을 동시에 학습하는 파운데이션 모델에 매우 유리한 데이터셋을 구축할 수 있다.

데이터 균형(Dataset Balancing)도 매우 중요하다. 실제 데이터셋에서는 쉬운 작업은 많고 어려운 작업은 적은 경우가 많다. 이러한 불균형을 해결하기 위해 희귀 상황을 더 자주 학습하거나, 손실 함수(Loss Function)에 가중치를 부여하는 방법이 사용된다. 이를 통해 드물지만 중요한 상황에서도 안정적인 성능을 유지할 수 있다.

교육과정 학습(Curriculum Learning)은 쉬운 작업부터 어려운 작업까지 단계적으로 학습하는 전략이다. 먼저 단순한 접근과 파지를 학습하고 이후 조립, 변형 물체 조작, 장기 작업(Long-Horizon Task)으로 확장한다. 이러한 점진적 학습은 최적화를 안정적으로 만들고 필요한 데이터 수도 줄여주는 효과가 있다.

지속적 데이터 증강(Continual Data Augmentation)은 로봇이 실제 환경에서 새로운 경험을 계속 수집하는 방식이다. DAgger, 원격조작(Teleoperation), 자율 탐험(Autonomous Exploration), 실패 복구 과정에서 생성되는 새로운 데이터를 지속적으로 데이터셋에 추가하고 정책을 재학습한다. 이를 통해 로봇은 시간이 지날수록 더욱 다양한 상황을 경험하며 지속적으로 성능을 향상시킬 수 있다.

데이터 품질 관리(Data Quality Control)는 반드시 필요하다. 증강 과정에서 비현실적인 데이터가 생성될 수도 있기 때문이다. 따라서 충돌 여부, 동역학(Dynamics), 관절 한계(Joint Limit), 시간 동기화(Synchronization), 의미적 정확성(Semantic Correctness) 등을 자동으로 검증한 후 학습 데이터에 포함시켜야 한다. 안전성이 중요한 분야에서는 전문가의 검토도 함께 수행된다.

데이터 다양성 전략의 평가는 단순히 데이터 개수로 이루어지지 않는다. 상태 공간(State Space), 행동 공간(Action Space), 환경 변화, 물체 종류, 작업 종류, 센서 조건 등을 얼마나 폭넓게 포함하는지가 중요한 평가 기준이다. 최종적으로는 새로운 환경에서의 일반화 성능, 외란에 대한 강건성(Robustness), 복구 능력(Recovery Capability), 다른 로봇으로의 전이 성능(Transfer Performance) 등을 통해 다양성 전략의 효과를 평가한다.

최근 로봇 파운데이션 모델은 여러 기관과 다양한 로봇 플랫폼에서 수집된 대규모 데이터셋을 기반으로 학습되고 있다. 대표적으로 Open X-Embodiment와 같은 데이터셋은 서로 다른 로봇, 환경, 작업자, 센서, 작업을 통합하여 범용적인 로봇 지능을 학습한다. 앞으로는 특정 작업만을 위한 데이터셋보다 다양한 상황을 포함하는 범용 데이터셋이 더욱 중요해질 것으로 예상된다.

산업용 로봇에서도 데이터 다양성은 매우 중요하다. 제조 환경은 새로운 제품, 공정 변경, 작업자 교체, 조명 변화 등이 지속적으로 발생한다. 다양한 데이터를 이용해 학습한 정책은 이러한 변화에도 적응할 수 있어 재학습 비용을 크게 줄이고 장기적인 운영 안정성을 확보할 수 있다.

미래의 모방학습은 알고리즘 중심이 아니라 데이터 중심(Data-Centric AI)으로 발전할 가능성이 매우 크다. 파운데이션 모델(Foundation Model), 확산 모델(Diffusion Model), 원격조작(Teleoperation), 시뮬레이션(Simulation), 세계 모델(World Model), 지속학습(Continual Learning) 등이 결합되어 훨씬 다양한 데이터가 구축될 것이다. 이러한 풍부한 데이터 다양성은 로봇이 단순히 시범을 모방하는 수준을 넘어, 다양한 환경에서도 안정적으로 동작하는 범용 Physical AI를 구현하는 핵심 기반이 될 것이다.

06.10 IL Policy Evaluation and Production Deployment [w/Code]

모방학습(Imitation Learning)에서 정책(Policy)을 학습하는 것은 전체 개발 과정의 시작일 뿐이다. 오프라인 학습이나 연구실 환경에서 높은 성능을 보인 정책이라도 실제 산업 현장에 바로 적용할 수 있는 것은 아니다. 실제 운영을 위해서는 성능 검증(Validation), 정책 평가(Evaluation), 안전성 검증(Safety Verification), 최적화(Optimization), 운영 모니터링(Monitoring), 지속적 개선(Continuous Improvement) 등의 과정이 반드시 필요하다. 정책 평가는 학습된 정책이 실제 환경에서 요구되는 성능과 안전성을 만족하는지를 확인하는 과정이며, 운영 배포는 연구용 모델을 신뢰성 있는 산업용 시스템으로 전환하는 과정이다.

모방학습 정책은 전문가 시범(Demonstration)을 그대로 학습하기 때문에 일반적인 지도학습(Supervised Learning)에서 사용하는 평균제곱오차(Mean Squared Error)나 예측 정확도(Prediction Accuracy)만으로는 실제 성능을 판단하기 어렵다. 행동(Action)을 정확하게 예측하더라도 작은 오차가 반복되면 실제 작업은 실패할 수 있다. 따라서 정책 평가는 단순한 행동 예측이 아니라 실제 작업(Task Execution)이 성공했는지를 중심으로 이루어진다.

가장 기본적인 평가 지표는 작업 성공률(Task Success Rate)이다. 이는 전체 작업 중 성공적으로 완료된 작업의 비율을 의미한다. 조립(Assembly), 커넥터 삽입(Connector Insertion), 물체 운반(Object Transportation), 자율주행(Navigation), 변형 물체 조작(Deformable Manipulation), 복합 작업(Long-Horizon Task) 등에서 각각 성공 기준을 정의하고 이를 만족하는지를 평가한다. 이는 단순한 행동 예측보다 실제 시스템의 가치를 훨씬 잘 반영하는 지표이다.

장기 작업(Long-Horizon Task)은 모방학습에서 특히 중요한 평가 대상이다. 초기에는 전문가와 매우 유사하게 행동하더라도 작은 예측 오차가 계속 누적되면 시간이 지날수록 목표에서 점점 벗어날 수 있다. 조작 로봇은 말단 위치가 조금씩 어긋나고, 이동 로봇은 경로에서 벗어나며, 휴머노이드는 균형을 잃을 수도 있다. 따라서 긴 작업을 얼마나 안정적으로 수행하는지가 매우 중요한 평가 요소가 된다.

궤적 일관성(Trajectory Consistency)도 중요한 평가 기준이다. 최종 결과만 비교하는 것이 아니라 생성된 이동 경로와 전문가의 시범 궤적이 얼마나 유사한지를 평가한다. 이를 위해 동적 시간 왜곡(Dynamic Time Warping), 프레셰 거리(Fréchet Distance), 하우스도르프 거리(Hausdorff Distance), 궤적 중첩(Trajectory Overlap) 등의 다양한 거리 측정 기법이 사용된다.

움직임의 부드러움(Motion Smoothness)은 실제 산업 현장에서 매우 중요한 요소이다. 급격한 가속이나 진동이 발생하면 기계적 마모가 증가하고 에너지 효율도 감소한다. 또한 사람과 협업하는 환경에서는 예측 가능한 움직임이 더욱 중요하다. 따라서 저크(Jerk), 가속도의 연속성(Acceleration Continuity), 관절 속도 변화(Joint Velocity Variation), 말단장치(End-Effector)의 부드러움 등을 함께 평가한다.

강건성(Robustness) 평가는 다양한 외란(Disturbance)에 대한 대응 능력을 측정한다. 실제 환경에서는 센서 노이즈(Sensor Noise), 물체 위치 변화(Object Displacement), 조명 변화(Lighting Change), 통신 지연(Latency), 기계 마모(Mechanical Wear), 보정 오차(Calibration Drift) 등이 항상 발생한다. 우수한 정책은 이러한 변화에도 안정적으로 작업을 수행해야 하며, 특정 실험실 환경에서만 동작해서는 안 된다.

일반화(Generalization)는 현대 모방학습의 가장 중요한 목표 가운데 하나이다. 평가 과정에서는 학습 과정에서 한 번도 보지 못한 새로운 물체 위치, 조명, 배경, 센서 노이즈, 작업 속도, 환경 구조 등을 의도적으로 제공한다. 정책이 이러한 새로운 환경에서도 높은 성능을 유지한다면 단순히 데이터를 암기한 것이 아니라 작업의 본질을 학습한 것으로 판단할 수 있다.

최근에는 분포 외 평가(Out-of-Distribution Evaluation)도 매우 중요해지고 있다. 아무리 대규모 데이터셋으로 학습하더라도 실제 환경에서는 전혀 새로운 상황이 발생할 수 있다. 따라서 정책은 현재 입력이 학습 데이터와 얼마나 다른지를 스스로 판단해야 한다. 이러한 분포 변화(Distribution Shift)를 감지하여 위험한 상황에서는 사람의 개입을 요청하거나 안전 모드(Safe Mode)로 전환하는 기능이 중요해지고 있다.

복구 능력(Recovery Capability)은 실제 산업 환경에서 매우 중요한 평가 항목이다. 물체를 놓치거나, 삽입이 실패하거나, 충돌이 발생하거나, 위치 추정이 틀리는 상황은 언제든 발생할 수 있다. 우수한 정책은 이러한 실패 이후에도 작업을 계속 수행할 수 있어야 한다. 최근 모방학습은 실패 자체를 줄이는 것보다 실패 이후 얼마나 효과적으로 복구하는가에 더욱 큰 관심을 두고 있다.

샘플 효율성(Sample Efficiency)은 얼마나 적은 시범 데이터만으로 높은 성능을 달성하는지를 평가한다. 전문가 시범을 수집하는 비용은 매우 크기 때문에 적은 데이터로도 높은 성능을 얻는 알고리즘이 산업적으로 더욱 가치가 높다. 따라서 동일한 데이터 수를 사용했을 때 성능이 얼마나 빠르게 향상되는지도 중요한 비교 대상이 된다.

추론 지연(Inference Latency)은 실제 운영에서 반드시 고려해야 하는 요소이다. 산업용 로봇은 일반적으로 100Hz 이상의 제어 주기를 요구하며, 드론이나 휴머노이드와 같은 동적 시스템은 더욱 빠른 응답 속도가 필요하다. 따라서 정책의 계산 시간, 메모리 사용량, 통신 지연 등을 함께 측정하여 실시간 제어가 가능한지를 확인한다.

계산 효율성(Computational Efficiency)은 추론 속도뿐 아니라 하드웨어 자원 사용량도 포함한다. 실제 운영 환경에서는 엣지 컴퓨터(Edge Computer), 임베디드 GPU, 산업용 PC 등 제한된 자원을 사용해야 하는 경우가 많다. 따라서 메모리 사용량, 소비 전력(Power Consumption), 발열(Thermal Management), 에너지 효율(Energy Efficiency) 등을 모두 평가하여 목표 플랫폼에서 안정적으로 실행 가능한지를 확인한다.

시뮬레이션(Simulation)은 운영 배포 전 가장 먼저 수행되는 검증 단계이다. 실제 로봇을 사용하지 않고도 다양한 물체 배치, 센서 오류, 환경 변화, 동적 장애물 등을 자유롭게 시험할 수 있다. 이를 통해 실제 장비의 손상 위험 없이 정책의 안정성과 강건성을 충분히 평가할 수 있다.

디지털 트윈(Digital Twin)은 실제 시스템과 동일한 가상 환경을 구축하여 정책을 검증하는 기술이다. 실제 운영 중 기록된 로그를 디지털 트윈에서 다시 재생하면 실패 원인을 분석하거나 새로운 정책을 동일한 조건에서 비교할 수 있다. 이러한 반복 실험은 실제 생산 라인을 중단하지 않고도 다양한 정책을 검증할 수 있게 한다.

하드웨어-인-더-루프(Hardware-in-the-Loop, HIL) 시험은 시뮬레이션과 실제 하드웨어를 결합한 방식이다. 카메라, 센서, 제어기, 통신 장치 등 일부는 실제 장비를 사용하고 나머지는 시뮬레이션으로 대체한다. 이를 통해 실제 통신 지연이나 센서 특성을 고려한 보다 현실적인 검증이 가능하다.

점진적 배포(Progressive Deployment)는 위험을 줄이기 위한 대표적인 전략이다. 초기에는 제한된 작업 공간이나 낮은 속도에서만 자율 동작을 허용하고, 충분한 성능이 확인되면 점차 작업 범위와 자율성을 확대한다. 이러한 단계적 접근은 실제 산업 현장에서 발생할 수 있는 위험을 크게 줄여준다.

섀도 모드(Shadow Mode)는 실제 로봇을 직접 제어하지 않고 정책만 실행하는 방식이다. 새로운 정책은 기존 시스템이나 작업자의 행동을 대신하지 않고, 동일한 입력을 받아 자신만의 행동을 계산한다. 이후 실제 작업자의 행동과 비교하여 차이를 분석한다. 이러한 방식은 생산을 중단하지 않으면서도 새로운 정책의 성능을 안전하게 평가할 수 있다.

초기 운영 단계에서는 인간 참여(Human-in-the-Loop)가 매우 중요하다. 작업자는 로봇을 지속적으로 감시하며 필요할 때 개입하고, 잘못된 행동이 발생하면 새로운 시범 데이터를 제공한다. DAgger와 같은 상호작용 학습 기법은 이러한 인간의 수정 데이터를 지속적으로 정책 개선에 활용한다.

안전성 검증(Safety Verification)은 운영 배포에서 가장 중요한 단계이다. 정책은 충돌 회피(Collision Avoidance), 관절 한계(Joint Limit), 속도 제한(Velocity Limit), 힘 제한(Force Limit), 작업 공간 제한(Workspace Boundary), 비상 정지(Emergency Stop) 등을 반드시 만족해야 한다. 대부분의 산업용 시스템은 별도의 안전 제어기(Safety Controller)가 정책의 출력을 항상 감시하며 위험한 행동을 즉시 차단한다.

운영 모니터링(Runtime Monitoring)은 정책의 신뢰성을 지속적으로 유지하는 역할을 한다. 센서 상태, 통신 품질, 추론 시간, 액추에이터 상태, 배터리, 위치 추정(Localization), 정책 신뢰도 등을 실시간으로 감시한다. 이상이 감지되면 경고를 발생시키거나 안전 모드로 전환하여 시스템의 안정성을 확보한다.

불확실성 추정(Uncertainty Estimation)은 최근 매우 중요한 기술이다. 베이지안 신경망(Bayesian Neural Network), 앙상블(Ensemble), 몬테카를로 드롭아웃(Monte Carlo Dropout), 증거 기반 학습(Evidential Learning) 등을 이용하여 정책이 자신의 예측을 얼마나 신뢰하는지를 함께 계산한다. 신뢰도가 낮은 경우에는 사람의 개입이나 대체 제어기를 사용하는 것이 더욱 안전하다.

폴백(Fallback) 전략은 예기치 않은 상황에서 안전하게 동작하기 위한 필수 기능이다. 정책이 위험하거나 불확실한 행동을 생성하면 기존의 규칙 기반 제어기(Rule-Based Controller), 고전적인 경로 계획기(Motion Planner), 원격조작(Teleoperation), 또는 비상 정지로 자동 전환한다. 이러한 하이브리드(Hybrid) 구조는 AI의 유연성과 기존 제어기의 안정성을 동시에 확보할 수 있다.

연구용 모델은 일반적으로 매우 크기 때문에 실제 운영 전에 모델 압축(Model Compression)이 필요하다. 양자화(Quantization), 가지치기(Pruning), 지식 증류(Knowledge Distillation) 등을 이용하여 메모리 사용량과 계산량을 줄이면서도 성능은 최대한 유지한다.

엣지 배포(Edge Deployment)는 실제 산업 현장에서 매우 중요하다. 클라우드와 항상 연결할 수 없는 환경에서는 NVIDIA Jetson, 산업용 PC, AI 가속기 등에서 정책이 직접 실행되어야 한다. 따라서 하드웨어에 최적화된 모델 변환과 추론 엔진 최적화가 필수적이다.

운영 과정에서는 모델 버전 관리(Model Version Management)도 중요하다. 학습 데이터, 하이퍼파라미터(Hyperparameter), 소프트웨어 버전, 보정 정보 등을 모두 기록하여 언제든 이전 버전으로 복원할 수 있도록 한다. 이러한 MLOps(Machine Learning Operations)는 장기적인 시스템 유지보수에 반드시 필요하다.

최근에는 지속적 통합 및 배포(Continuous Integration & Continuous Deployment, CI/CD)가 정책 관리에도 적용되고 있다. 새로운 데이터가 수집되면 자동으로 재학습을 수행하고, 시뮬레이션, HIL 시험, 안전성 검증을 통과한 경우에만 새로운 정책을 실제 시스템에 배포한다.

운영 중 데이터 로깅(Data Logging)은 매우 중요한 역할을 한다. 모든 센서 데이터, 행동, 정책 신뢰도, 환경 정보, 경고 메시지 등을 지속적으로 저장하여 실패 원인 분석, 분포 변화 탐지, 데이터셋 확장, 정책 재학습 등에 활용한다.

지속학습(Continual Learning)은 운영 자체를 학습 과정으로 만든다. 초기 정책을 그대로 유지하는 것이 아니라 운영 중 발생하는 새로운 시범, 작업자의 수정, 실패 사례 등을 지속적으로 반영하여 정책을 개선한다. 이때 기존 능력을 잊어버리는 재앙적 망각(Catastrophic Forgetting)을 방지하는 것이 중요한 연구 주제이다.

플릿 학습(Fleet Learning)은 여러 대의 로봇이 동시에 학습하는 방식이다. 한 대의 로봇이 경험한 새로운 사례를 중앙 서버에서 통합하여 새로운 정책을 학습한 후 다시 모든 로봇에 배포한다. 이를 통해 전체 로봇 시스템이 집단적으로 학습하면서 매우 빠른 성능 향상이 가능해진다.

벤치마크(Benchmark)는 서로 다른 모방학습 알고리즘을 객관적으로 비교하기 위한 표준 평가 환경이다. 조작(Manipulation), 자율주행(Navigation), 보행(Locomotion), 조립(Assembly), 언어 기반 작업(Language Grounding), 장기 작업(Long-Horizon Task) 등에 대해 성공률, 일반화 성능, 추론 속도, 샘플 효율성 등을 동일한 조건에서 평가한다.

실제 산업에서는 규제(Regulatory Compliance)도 중요한 요소이다. 의료 로봇, 자율주행차, 항공, 협동 로봇(Collaborative Robot) 등은 기능 안전(Functional Safety), 설명 가능성(Explainability), 사이버 보안(Cybersecurity), 개인정보 보호(Data Privacy) 등의 규정을 만족해야 한다. 따라서 정책 평가는 기술적인 성능뿐 아니라 이러한 규제 요건도 함께 고려한다.

유지보수성(Maintainability) 역시 운영 시스템에서 중요하다. 정책은 쉽게 업데이트할 수 있어야 하며, 새로운 하드웨어나 센서에도 쉽게 적용될 수 있어야 한다. 이를 위해 인식(Perception), 계획(Planning), 제어(Control), 안전(Safety), 모니터링(Monitoring)을 모듈화(Modularization)하는 구조가 많이 사용된다.

최근에는 거대 로봇 파운데이션 모델(Robot Foundation Model)이 운영 방식도 변화시키고 있다. 작업마다 별도의 정책을 학습하는 대신 하나의 대규모 사전학습 모델을 미세조정(Fine-Tuning), 프롬프팅(Prompting), 검색 증강(Retrieval Augmentation) 등을 통해 다양한 작업에 적용한다. 이러한 방식은 새로운 작업을 매우 빠르게 추가할 수 있다는 장점이 있다.

미래의 운영 시스템은 세계 모델(World Model), 멀티모달 추론(Multimodal Reasoning), 지속학습(Continual Learning), 원격조작(Teleoperation), 확산 정책(Diffusion Policy), 비전-언어-행동(VLA) 모델 등을 통합한 형태로 발전할 것이다. 운영은 더 이상 개발의 마지막 단계가 아니라, 관찰(Observation), 평가(Evaluation), 적응(Adaptation), 재학습(Retraining), 재배포(Redeployment)가 반복되는 지속적인 순환 과정이 될 것이다.

결국 정책 평가와 운영 배포는 단순히 학습이 끝난 후 수행하는 절차가 아니다. 이는 학습된 정책을 실제 산업 환경에서 안전하고 신뢰성 있게 활용하기 위한 핵심 과정이다. 체계적인 평가, 지속적인 모니터링, 안전성 검증, 지속학습, 플릿 학습이 함께 이루어질 때 비로소 모방학습은 연구 수준을 넘어 실제 산업에서 활용 가능한 Physical AI 시스템으로 발전할 수 있으며, 앞으로 범용 로봇 지능(General-Purpose Robotic Intelligence)의 핵심 기반 기술로 자리매김할 것이다.


저자: Richard Minsoo Go

LinkedIn: Richard Minsoo Go

Top comments (0)