STATERA Library · Series 09 · Volume 10 · Chapter 03 · KR
Source: https://github.com/Statera-Library/09_Vol_10_Physical_AI_Safety_and_Alignment/blob/main/Chapter_03_AI_Safety_for_Embodied_Systems/Chapter_03_AI_Safety_for_Embodied_Systems_KR.md
Volume 10. Physical AI Safety and Alignment
Chapter 03. AI Safety for Embodied Systems
03.01. Why Embodied AI Safety is Different
체화형 인공지능 안전(Embodied AI Safety)은 기존 디지털 인공지능(Digital AI)의 안전과 근본적으로 다르다. 체화형 시스템(Embodied System)은 추론 결과를 직접 물리적 움직임(Physical Motion)으로 변환할 수 있기 때문이다. 잘못된 분류, 예측 또는 계획은 화면상의 잘못된 출력에 그치지 않는다. 이동 로봇(Mobile Robot)의 충돌, 매니퓰레이터(Manipulator)의 과도한 힘 발생, 자율 시스템(Autonomous System)의 위험 영역 진입과 같은 실제 물리적 피해로 이어질 수 있다.
물리적 세계(Physical World)에서는 단순히 답을 다시 계산하는 것만으로 되돌릴 수 없는 결과가 발생한다. 로봇이 가속하거나 물체를 파지하고, 밸브를 열거나 화물을 이동시키거나 사람과 접촉하면 운동량(Momentum)과 물리적 상호작용(Physical Interaction)은 계속 진행된다. 따라서 안전은 인공지능의 판단이 논리적으로 올바른지만이 아니라, 그 행동이 주어진 시간, 거리, 힘, 에너지 한계 안에서 복구 가능한지도 고려해야 한다.
체화형 인공지능(Embodied AI)은 폐루프 인지-추론-행동(Closed Perception--Reasoning--Action Loop)을 통해 작동한다. 센서는 환경을 추정하고, 학습 모델(Learned Model)은 관측을 해석하며, 계획(Planning)은 가능한 미래를 예측하고, 제어기(Controller)는 선택된 행동을 액추에이터 명령(Actuator Command)으로 변환한다. 한 단계에서 발생한 오류는 이후 단계로 전파되고 물리적 피드백(Physical Feedback)을 통해 증폭될 수 있다. 예를 들어 작은 위치추정(Localization) 오류가 계획을 왜곡하여 결국 위험한 궤적을 만들 수 있다.
이러한 폐루프 특성(Closed-Loop Nature)은 예측 정확도(Prediction Accuracy)와 행동 안전성(Behavioral Safety)을 구분해야 하는 중요한 이유가 된다. 인지 모델(Perception Model)이 평균적으로 높은 정확도를 달성하더라도 가장 중요한 보행자, 장애물, 경계 또는 물체를 간헐적으로 놓칠 수 있다. 마찬가지로 정책(Policy)이 수천 번의 정상적인 에피소드에서 성공하더라도 드문 상황에서 허용할 수 없는 행동을 생성할 수 있다. 따라서 안전은 평균 성능뿐만 아니라 실패 분포(Failure Distribution)에 강하게 초점을 맞춰야 한다.
체화형 시스템(Embodied System)은 지속적인 불확실성(Uncertainty) 속에서도 동작해야 한다. 카메라는 눈부심이나 어둠을 경험할 수 있고, 라이다(LiDAR) 측정은 가려질 수 있으며, 위치추정은 드리프트(Drift)될 수 있고, 물체는 예상하지 못한 방식으로 움직일 수 있으며, 이전에 경험하지 못한 상황이 발생할 수도 있다. 많은 디지털 응용과 달리 로봇은 불확실성이 사라질 때까지 항상 기다릴 수 없다. 계속 진행할지, 감속할지, 정지할지, 지원을 요청할지 또는 더 안전한 운용 모드(Operating Mode)로 전환할지를 결정해야 한다.
환경 자체도 부분 관측 가능(Partially Observable)하다. 센서는 현실의 불완전하고 잡음이 포함된 투영만을 포착하며, 사람의 의도, 표면 마찰력, 물체 안정성, 숨겨진 장애물 또는 미래 움직임과 같은 중요한 속성은 알 수 없는 상태로 남을 수 있다. 따라서 체화형 인공지능은 실제 세계 자체가 아니라 세계에 대한 내부 추정(Internal Estimate)을 기반으로 행동한다. 안전은 물리적 행동을 실행하기 전에 이러한 추정의 한계와 불확실성을 인식하는 능력에 달려 있다.
결과적으로 분포 변화(Distribution Shift)는 체화형 인공지능에서 특히 중요하다. 학습 데이터(Training Data)는 실제 배치 환경에서 만날 수 있는 모든 공장 배치, 창고 구성, 도로 조건, 기상 상태, 인간 행동, 물체 배열 또는 기계 상태를 표현할 수 없다. 학습 분포(Training Distribution) 안에서 안정적으로 동작하던 모델도 그 범위를 벗어나면 높은 확신을 가진 채 잘못된 판단을 내릴 수 있다. 따라서 분포 외 탐지(Out-of-Distribution Detection)와 보수적 행동(Conservative Behavior)은 핵심적인 안전 요구사항이 된다.
시간적 동역학(Temporal Dynamics)은 또 다른 차원의 문제를 추가한다. 안전한 행동은 현재 관측만으로 판단할 수 없으며, 그 결과가 시간에 따라 어떻게 전개되는지를 고려해야 한다. 현재 열린 공간을 향해 가속하는 것은 안전해 보일 수 있지만, 제동거리(Braking Distance), 다른 에이전트(Agent)의 미래 궤적 또는 좁아지는 통로를 고려하면 위험해질 수 있다. 따라서 체화형 인공지능 안전은 상태 전이(State Transition), 미래 상호작용(Future Interaction), 연속적인 의사결정으로 누적되는 결과를 예측해야 한다.
월드 모델(World Model)과 예측 모델(Predictive Model)은 이러한 능력을 향상시킬 수 있지만 동시에 고유한 실패 메커니즘(Failure Mechanism)을 도입한다. 작은 예측 오류도 긴 계획 시간축(Planning Horizon)에서 누적되면서 상상된 미래가 현실과 점진적으로 달라질 수 있다. 그러면 계획기는 학습된 모델 내부에서는 안전해 보이지만 실제 환경에서는 위험한 행동을 선택할 수 있다. 따라서 모델 불확실성(Model Uncertainty)은 단일 예측 미래 뒤에 숨겨서는 안 되며 안전 문제 자체의 일부로 다뤄야 한다.
범용 정책(Generalist Policy)과 비전-언어-행동(Vision-Language-Action, VLA) 시스템은 자연어 명령(Natural-Language Instruction)이 모호할 수 있는 반면 생성된 행동은 물리적 결과를 발생시키기 때문에 안전 문제를 더욱 확대한다. 예를 들어 "이것을 치워라"라는 명령은 허용 가능한 접촉력, 금지 영역, 주변 사람, 깨지기 쉬운 물체 또는 선호 궤적을 완전히 규정하지 않는다. 따라서 의미 이해(Semantic Understanding)는 명시적인 물리적·운용적·안전 제약(Physical, Operational, and Safety Constraints) 안에서 수행되어야 한다.
학습(Learning)은 안전 보증(Assurance)의 성격 자체도 변화시킨다. 기존 로봇 기능은 일반적으로 사전에 정의된 알고리즘, 제한된 운용 가정(Bounded Operating Assumptions), 명시적으로 설계된 제어 논리(Control Logic)를 기반으로 한다. 반면 학습 모델은 데이터로부터 통계적으로 행동을 획득하기 때문에 개별 내부 의사결정을 완전하게 명세하기 어렵다. 그 행동은 상관관계, 데이터셋 범위, 모델 보정(Model Calibration), 적응 절차, 직접 프로그래밍되지 않은 구성요소 간 상호작용에 영향을 받을 수 있다.
적응형 시스템(Adaptive System)은 배치 이후에도 행동이 변화할 수 있기 때문에 추가적인 복잡성을 만든다. 지속 학습(Continual Learning), 온라인 적응(Online Adaptation), 정책 업데이트(Policy Update), 플릿 기반 개선(Fleet-Derived Improvement)은 성능을 향상시킬 수 있지만 이전 검증에서 확립된 가정을 무효화할 수도 있다. 따라서 안전 논증(Safety Argument)은 하나의 고정된 모델 버전을 시험하는 것에만 의존할 수 없다. 모델 변경에는 통제된 배포, 회귀 평가(Regression Evaluation), 추적성(Traceability), 모니터링(Monitoring), 롤백(Rollback) 또는 격리(Containment) 메커니즘이 필요하다.
사람과의 근접성(Human Proximity)은 이러한 문제를 특히 중요하게 만든다. 사람은 정적인 장애물이 아니다. 사람은 예측하기 어렵게 움직이고, 로봇 행동을 해석하며, 의도를 변경하고, 암묵적으로 의사소통하며, 때로는 예상된 절차를 벗어난다. 안전한 체화 지능(Embodied Intelligence)은 사람의 움직임과 의도를 고려하는 동시에 사람이 기계의 다음 행동을 예상할 수 있을 정도로 이해 가능한 행동을 제공해야 한다. 따라서 인간-로봇 안전(Human--Robot Safety)은 기술적 문제인 동시에 상호작용 문제이다.
따라서 체화형 인공지능 안전은 인공지능 모델 성능만으로 확보할 수 없다. 독립 안전 센서(Independent Safety Sensor), 동작 제한(Motion Limit), 비상 정지(Emergency Stop), 보호 분리(Protective Separation), 런타임 모니터(Runtime Monitor), 안전 제어기(Safety Controller), 제약 필터(Constraint Filter), 폴백 메커니즘(Fallback Mechanism)이 필요하다. 이를 통해 학습 구성요소가 위험한 물리적 행동에 대해 무제한적인 권한을 갖지 않도록 해야 한다.
유용한 아키텍처 원칙(Architectural Principle)은 지능적 성능(Intelligent Performance)과 최종 안전 권한(Ultimate Safety Authority)을 분리하는 것이다. 인공지능은 복잡한 장면을 인지하고, 미래 상태를 예측하며, 작업을 추론하고, 정교한 궤적을 생성할 수 있다. 그러나 독립적인 안전 계층(Independent Safety Layer)은 제안된 행동이 허용된 안전 영역(Safety Envelope) 안에 있는지를 검사해야 한다. 신뢰도가 감소하거나 제약 조건이 위반되면 행동을 거부하거나 움직임을 제한하고, 성능 저하 운용(Degraded Operation) 또는 최소 위험 상태(Minimum-Risk Condition)로 전환할 수 있어야 한다.
따라서 안전 평가(Safety Evaluation)는 데이터셋뿐만 아니라 시나리오(Scenario)를 평가해야 한다. 희귀 사건(Rare Event), 복합 고장(Combined Failure), 비정상적인 인간 행동, 센서 성능 저하, 환경 변화, 시간 지연, 장시간 상호작용은 기존 정확도 지표가 발견하지 못하는 위험을 드러낼 수 있다. 시뮬레이션(Simulation), 구조화된 시나리오 생성(Structured Scenario Generation), 적대적 시험(Adversarial Testing), 실제 환경 검증(Real-World Validation), 운용 모니터링(Operational Monitoring)을 결합하여 시스템이 한계 상황에서 어떻게 행동하는지에 대한 폭넓은 증거를 확보해야 한다.
핵심적인 차이는 체화형 인공지능(Embodied AI)이 불확실성을 가진 학습 지능(Learned Intelligence)을 되돌릴 수 없거나 큰 비용을 수반하는 물리적 결과와 직접 연결한다는 점이다. 따라서 안전은 인지, 상태 추정(State Estimation), 예측, 추론(Reasoning), 계획, 학습, 제어, 하드웨어, 인간 상호작용, 주변 환경을 하나의 결합 시스템(Coupled System)으로 포괄해야 한다. 이러한 이유로 이후 구조에서는 모델 실패(Model Failure)와 인지 오류(Perception Error)에서 시작하여 불확실성, 분포 변화, 학습 안전(Learning Safety), 월드 모델 오류(World Model Error), 범용 정책, 강건성(Robustness), 그리고 최종적으로 통합 인공지능 안전 평가 파이프라인(AI Safety Evaluation Pipeline)으로 확장된다.
03.02. AI Model Failure Modes
체화형 시스템(Embodied System)에서 인공지능 모델 실패(AI Model Failure)는 학습된 모델(Learned Model)이 로봇이 작동하는 물리적 상황에 대해 부정확하거나 신뢰할 수 없고, 제대로 보정되지 않았거나 부적절한 출력을 생성할 때 발생한다. 많은 디지털 응용에서의 실패와 달리 이러한 오류는 움직임과 상호작용으로 직접 전파될 수 있다. 잘못된 예측은 계획(Planning), 제어(Control), 조작(Manipulation), 내비게이션(Navigation), 인간 상호작용(Human Interaction)에 영향을 주어 물리적 위험으로 이어질 수 있다.
모델 오류(Model Error)와 시스템 실패(System Failure)를 구분하는 것은 중요하다. 인공지능 모델이 불완전한 출력을 생성하더라도 후속 구성요소가 이를 탐지하거나 보정하거나 거부한다면 피해로 이어지지 않을 수 있다. 반대로 작아 보이는 모델 오류도 운용 경계(Operational Boundary) 근처에서 발생하면 안전에 치명적일 수 있다. 따라서 체화형 인공지능 안전(Embodied AI Safety)은 모델 정확도만이 아니라 전체 인지-추론-행동 루프(Perception--Reasoning--Action Loop)에 미치는 영향을 기준으로 실패를 평가해야 한다.
가장 기본적인 실패 모드(Failure Mode) 중 하나는 잘못된 추론(Incorrect Inference)이다. 인지 모델(Perception Model)이 물체를 잘못 분류하거나, 예측 모델(Prediction Model)이 잘못된 미래 상태를 추정하거나, 정책(Policy)이 부적절한 행동을 선택할 수 있다. 이러한 오류는 불충분한 학습 데이터, 모호한 관측, 모델의 한계, 센서 성능 저하 또는 예상하지 못한 환경 조건에서 발생할 수 있다. 안전 측면에서 그 중요성은 잘못된 출력이 이후의 물리적 행동을 어떻게 변화시키는지에 따라 결정된다.
거짓 양성(False Positive)과 거짓 음성(False Negative)은 매우 다른 결과를 발생시킬 수 있다. 거짓 양성은 불필요한 정지, 회피 또는 개입을 유발하여 가용성과 운용 효율성을 낮출 수 있다. 반면 거짓 음성은 실제 위험을 탐지하지 못한 상태에서 로봇이 위험한 움직임을 계속하도록 만들 수 있다. 따라서 동일한 수치적 오류율도 서로 크게 다른 물리적 위험 수준을 의미할 수 있으므로 안전 평가에서는 비대칭적 오류 비용(Asymmetric Error Cost)을 고려해야 한다.
또 다른 중요한 실패 모드는 과신(Overconfidence)이다. 현대의 학습 모델은 특히 관측 데이터가 학습 분포(Training Distribution)와 다를 때 잘못된 예측에도 높은 신뢰도를 부여할 수 있다. 불확실성을 인식하는 로봇은 감속하거나 추가 정보를 요청하거나 제어 권한을 이전할 수 있다. 반면 높은 확신을 가진 채 잘못 판단하는 시스템은 정상적으로 행동을 계속할 수 있으므로 모델 보정(Model Calibration)과 불확실성 추정(Uncertainty Estimation)은 체화형 인공지능 안전의 핵심 요소가 된다.
환각(Hallucination)과 비근거 추론(Ungrounded Inference)은 파운데이션 모델(Foundation Model), 멀티모달 모델(Multimodal Model), 비전-언어-행동(Vision-Language-Action, VLA) 시스템이 로봇에 통합될 때 특히 중요해진다. 모델은 센서 증거에 의해 뒷받침되지 않는 그럴듯한 환경 해석, 물체 설명, 공간 관계 또는 행동 계획을 생성할 수 있다. 물리적 시스템에서는 그럴듯함만으로 충분하지 않으며, 환경에 관한 중요한 판단은 관측 가능한 상태에 근거해야 하고 중대한 행동이 실행되기 전에 검증되어야 한다.
모델 실패는 분포 변화(Distribution Shift)에서도 발생할 수 있다. 학습 환경은 실제 배치 이후 경험하게 되는 조건 중 일부만 포함할 수밖에 없다. 조명, 날씨, 바닥 표면, 물체 외형, 적재물, 인간 행동, 센서 특성 또는 작업 공간의 기하 구조가 달라질 수 있다. 모델 아키텍처와 소프트웨어가 기술적으로 변경되지 않았더라도 실제 운용 분포(Operational Distribution)가 학습 조건에서 벗어나면 성능이 저하될 수 있다.
분포 외 입력(Out-of-Distribution Input)은 이러한 문제의 더욱 극단적인 형태이다. 로봇은 학습 경험에 존재하지 않았던 물체, 상황, 상호작용 또는 여러 조건의 새로운 조합을 만날 수 있다. 신경망(Neural Network)은 익숙한 입력과 낯선 입력을 자동으로 구별하는 것이 아니기 때문에 이러한 상황에서도 정상적으로 보이는 출력을 생성할 수 있다. 따라서 안전한 시스템에는 신규성 탐지(Novelty Detection), 신뢰도 감소, 운용 제한(Operational Restriction), 폴백 행동(Fallback Behavior)을 위한 메커니즘이 필요하다.
적대적 교란(Adversarial Perturbation)과 비적대적 교란(Non-Adversarial Perturbation)은 또 다른 실패 유형을 형성한다. 이미지, 센서 측정값, 환경 외형 또는 입력 표현의 작은 변화가 때로는 모델 출력에 지나치게 큰 변화를 일으킬 수 있다. 눈부심, 진동, 오염, 가림, 반사, 전자기 간섭(Electromagnetic Interference), 센서 정렬 오류와 같은 물리적 교란도 공격자가 존재하지 않더라도 유사한 영향을 발생시킬 수 있다. 따라서 강건성(Robustness)은 현실적인 물리적 교란까지 포함해야 한다.
시간적 불일치(Temporal Inconsistency)는 연속적인 센서 스트림(Sensor Stream)을 처리하는 모델에서 특히 위험하다. 예측 결과가 프레임마다 급격하게 변하거나, 물체 식별 정보가 전환되고, 신뢰도가 진동하거나, 추정 상태가 이전 관측과 일관되지 않을 수 있다. 개별 예측은 합리적으로 보이더라도 불안정한 출력은 갑작스러운 재계획(Replanning)이나 제어 변경을 유발할 수 있다. 시간적 필터링(Temporal Filtering), 일관성 검사(Consistency Checking), 추적(Tracking), 상태 추정(State Estimation)을 통해 이러한 불안정성을 줄일 수 있다.
월드 모델(World Model)은 가능한 행동에 따라 환경이 어떻게 변화할지를 추정하기 때문에 예측과 관련된 고유한 실패 모드를 가진다. 동역학(Dynamics), 상호작용, 물체 움직임, 접촉 또는 인간 행동에 대한 오류는 예측된 미래가 현실과 달라지도록 만들 수 있다. 계획이 이러한 예측에 반복적으로 의존하면 작은 오류가 계획 시간축(Planning Horizon)을 따라 누적될 수 있다. 따라서 안전을 위해 계획기(Planner)는 상상된 궤적을 정확한 미래로 취급하지 않고 예측 불확실성(Predictive Uncertainty)을 고려해야 한다.
정책 모델(Policy Model)은 인지가 정확한 경우에도 실패할 수 있다. 학습된 정책은 자신이 학습한 목표를 최대화하는 행동을 선택하면서도 암묵적인 안전 기대, 운용 규칙 또는 인간의 선호를 위반할 수 있다. 이는 보상 명세 오류(Reward Misspecification), 바람직하지 않은 시연의 모방, 불완전한 제약 조건 또는 지름길을 향한 최적화에서 발생할 수 있다. 따라서 행동의 성공(Behavioral Success)은 의도된 안전 목표(Safety Objective)의 준수와 구분되어야 한다.
범용 로봇 정책(Generalist Robot Policy)은 하나의 모델이 언어, 시각적 관측, 작업 맥락(Task Context), 행동 생성을 함께 처리할 수 있기 때문에 추가적인 복합 실패를 발생시킨다. 오류는 이러한 모달리티(Modality)를 따라 전파될 수 있다. 모호한 언어가 잘못된 작업 해석을 만들고, 이것이 부적절한 계획을 생성하여 최종적으로 위험한 모터 명령으로 이어질 수 있다. 따라서 모델 능력이 향상되더라도 명시적 제약(Explicit Constraint), 독립적 검증(Independent Validation), 제한된 행동 권한(Bounded Action Authority)의 필요성은 사라지지 않는다.
모델 성능 저하(Model Degradation)는 배치 이후에도 발생할 수 있다. 지속 학습(Continual Learning), 미세조정(Fine-Tuning), 파라미터 업데이트(Parameter Update), 데이터 드리프트(Data Drift), 새로운 환경에 대한 적응은 하나의 능력을 향상시키면서 다른 능력을 저하시킬 수 있다. 치명적 망각(Catastrophic Forgetting)은 이전에 학습한 행동을 상실하게 만들 수 있으며, 업데이트는 검증된 모델에는 없었던 회귀 문제(Regression)를 발생시킬 수 있다. 따라서 버전 관리(Version Control), 회귀 시험(Regression Testing), 단계적 배포(Staged Deployment), 롤백(Rollback), 추적성(Traceability)이 중요한 안전 메커니즘이 된다.
개별적으로는 적절하게 작동하는 모델들 사이의 상호작용에서도 실패가 발생할 수 있다. 인지 모델, 월드 모델, 계획기, VLA 정책, 제어기가 각각 자체적인 성능 기준을 충족하더라도 연결된 전체 시스템에서는 위험한 행동을 생성할 수 있다. 타이밍, 좌표계(Coordinate Frame), 신뢰도 해석, 가정 또는 업데이트 주기의 차이는 인터페이스 실패(Interface Failure)를 발생시킬 수 있다. 따라서 안전 분석은 개별 벤치마크뿐만 아니라 모델 구성(Model Composition)과 시스템 수준 상호작용(System-Level Interaction)을 평가해야 한다.
지연시간(Latency)과 오래된 추론 결과(Stale Inference)는 원래 정확했던 모델 출력을 잘못된 행동으로 바꿀 수 있다. 탐지된 장애물 위치가 계산 시점에는 정확했더라도 로봇이나 장애물이 이미 이동한 이후 제어기에 사용되면 더 이상 유효하지 않을 수 있다. 대형 모델은 가변적인 추론 시간, 스케줄링 지연 또는 연산 과부하(Compute Overload)를 발생시킬 수도 있다. 따라서 물리 인공지능 안전(Physical AI Safety)은 시간적 유효성(Timing Validity)을 모델 정확성의 일부로 취급하고 안전 중요 정보에 대한 처리 기한을 보장해야 한다.
강건한 아키텍처(Robust Architecture)는 인공지능 모델이 절대로 실패하지 않는다는 것을 증명하려 하기보다 때때로 실패할 것이라고 가정한다. 독립적 모니터링(Independent Monitoring)은 행동이 실행되기 전에 불확실성, 일관성, 운용 경계, 제안된 행동을 평가할 수 있다. 안전 필터(Safety Filter) 또는 런타임 실드(Runtime Shield)는 위험한 명령을 거부할 수 있으며, 학습 구성요소의 신뢰성이 저하될 경우 고전적 제어기(Classical Controller) 또는 성능 저하 운용 모드(Degraded Operating Mode)가 폴백 동작을 제공할 수 있다.
따라서 핵심 목표는 단순히 모델 오류를 최소화하는 것이 아니라 모델 오류가 물리적 피해(Physical Harm)로 전환되는 것을 방지하는 것이다. 이를 위해서는 실패가 어떻게 발생하고, 체화형 제어 루프(Embodied Control Loop)를 통해 어떻게 전파되며, 어느 정도의 신뢰도로 표현되고, 주변 아키텍처가 이를 탐지하고 억제할 수 있는지를 이해해야 한다. 이러한 실패 모드는 이후 인지 오류, 환각, 분포 변화, 보정, 강건성, 안전하지 않은 학습, 월드 모델 오류, VLA 안전을 체계적으로 분석하기 위한 기반을 제공한다.
03.03. Perception Error and Missed Hazards
인지(Perception)는 체화형 인공지능 시스템(Embodied AI System)과 물리적 세계(Physical World)를 연결하는 주요 인터페이스이다. 카메라(Camera), 라이다(LiDAR), 레이더(Radar), 깊이 센서(Depth Sensor), 촉각 센서(Tactile Sensor), 마이크(Microphone), 고유수용성 센서(Proprioceptive Sensor)는 로봇이 물체, 사람, 자유 공간, 장애물, 표면, 움직임, 자신의 상태를 추정하는 데 필요한 관측 정보를 제공한다. 이러한 인지 표현(Perceptual Representation)이 부정확하거나 불완전하면 이후의 모든 의사결정이 왜곡된 현실 표현을 기반으로 이루어질 수 있다.
인지 오류(Perception Error)는 추정된 환경 상태(Environmental State)가 안전한 운용에 필요한 실제 물리적 상태와 의미 있게 다를 때 발생한다. 여기에는 미탐지(Missed Detection), 오탐지(False Detection), 잘못된 분류, 부정확한 위치, 잘못된 크기, 오류가 있는 속도 추정, 분할 오류(Segmentation Error), 식별 전환(Identity Switch) 등이 포함된다. 이러한 오류의 중요성은 단순한 수치적 정확도가 아니라 위험 행동을 방지하는 데 필요한 정보를 숨기거나 잘못 표현하는지에 따라 결정된다.
위험요소 미탐지(Missed Hazard)는 실제 위협을 로봇의 내부 표현(Internal Representation)에서 제거할 수 있기 때문에 특히 위험하다. 장비 뒤에 부분적으로 가려진 보행자, 주요 센서 시야 밖의 낮은 장애물, 투명한 표면, 예상하지 못한 돌출 구조물 또는 바닥의 작은 물체가 탐지되지 않을 수 있다. 계획기(Planner)가 해당 영역을 자유 공간(Free Space)으로 해석하면 실제 위험요소를 통과하는 궤적을 생성할 수 있다.
오탐지(False Detection)는 다른 종류의 안전 및 운용 문제를 발생시킨다. 인지 시스템은 그림자, 반사, 먼지, 식생, 센서 아티팩트(Sensor Artifact), 배경 구조물을 장애물이나 사람으로 잘못 해석할 수 있다. 보수적인 대응은 즉각적인 충돌을 방지할 수 있지만 불필요한 제동, 반복적인 보호 정지(Protective Stop), 접근 불가능 영역 또는 불안정한 재계획(Replanning)을 발생시킬 수 있다. 과도한 오경보(False Alarm)는 운용자가 안전 관련 메커니즘을 불신하거나 우회하도록 만들 수도 있다.
분류 오류(Classification Error)는 서로 다른 물체 범주에 서로 다른 행동이 요구될 때 안전에 치명적일 수 있다. 사람을 정적인 물체로 혼동하거나, 이동 가능한 장비를 고정된 기반 시설로 오인하거나, 깨지기 쉬운 물체를 인식하지 못하면 부적절한 계획 가정으로 이어질 수 있다. 따라서 체화형 시스템은 기하 정보뿐만 아니라 허용 속도, 분리 거리, 접촉, 조작, 상호작용과 관련된 의미적 속성(Semantic Property)도 표현할 수 있는 인지가 필요하다.
인지 과정에서 발생하는 위치추정 오류(Localization Error) 역시 위험할 수 있다. 물체가 올바르게 탐지되었더라도 거리, 방향 또는 좌표가 잘못 추정될 수 있다. 이동 로봇(Mobile Robot)이 좁은 통로를 지나거나 매니퓰레이터(Manipulator)가 사람 가까이에서 작업하는 경우 작은 공간적 오류도 심각한 문제가 될 수 있다. 따라서 안전 평가는 평균 위치 정확도만 사용하는 것이 아니라 실제 여유 공간(Clearance)과 안전 마진(Safety Margin)을 기준으로 기하학적 오류를 평가해야 한다.
움직임 추정(Motion Estimation)은 물리적 에이전트(Physical Agent)가 지속적으로 변화하기 때문에 또 다른 불확실성의 원인이 된다. 속도, 방향 또는 가속도를 잘못 추정하면 계획기가 미래의 상호작용을 잘못 예측할 수 있다. 현재 프레임에서 보행자를 정확하게 탐지하더라도 로봇의 진행 경로를 향해 움직이는 사람을 정지된 것으로 판단할 수 있다. 따라서 안전한 인지는 현재 관측뿐만 아니라 미래 움직임에 대한 불확실성도 표현해야 한다.
가림(Occlusion)은 단순한 모델 결함이 아니라 근본적인 한계이다. 선반, 차량, 기계, 벽, 사람, 조작 중인 물체는 센서가 환경의 중요한 부분을 관측하지 못하게 만들 수 있다. 가려진 영역에서 탐지가 없다는 사실을 해당 영역이 비어 있다는 증거로 안전하게 해석할 수는 없다. 강건한 시스템(Robust System)은 관측되지 않은 공간(Unobserved Space)을 명시적으로 추론하고 위험요소가 나타날 가능성이 있는 영역에 대해 보수적인 가정을 유지해야 한다.
센서 운용 조건(Sensor Operating Condition)은 인지 품질에 큰 영향을 줄 수 있다. 어둠, 눈부심, 안개, 비, 눈, 먼지, 진동, 반사, 투명한 재질, 반복적인 텍스처, 전자기 간섭(Electromagnetic Interference), 오염은 서로 다른 센싱 모달리티(Sensing Modality)의 성능을 서로 다른 방식으로 저하시킬 수 있다. 주로 양호한 조건에서 학습된 모델은 물리적 관측 품질이 크게 저하된 이후에도 겉보기에는 정상적인 출력을 계속 생성할 수 있다.
센서 고장(Sensor Fault)은 무작위 오류가 아니라 체계적 오류(Systematic Error)를 발생시킬 수도 있다. 보정 오류(Miscalibration), 렌즈 오염, 라이다 차단, 시간 동기화 불일치, 프레임 손실, 열적 드리프트(Thermal Drift), 하드웨어 손상 또는 잘못된 외부 파라미터 보정(Extrinsic Calibration)은 인지된 전체 장면을 이동시키거나 왜곡할 수 있다. 학습 모델이 입력 센서의 이상을 스스로 인식하지 못할 수 있으므로 인지 안전에는 인공지능 모델의 의미적 출력 평가뿐만 아니라 독립적인 센서 상태 모니터링(Sensor-Health Monitoring)이 포함되어야 한다.
멀티모달 센싱(Multimodal Sensing)은 개별 센서의 일부 약점을 보완할 수 있지만 센서 융합(Sensor Fusion)은 새로운 실패 모드를 도입한다. 카메라와 라이다의 관측이 서로 일치하지 않거나, 타임스탬프가 어긋나거나, 좌표 변환이 잘못되거나, 성능이 저하된 하나의 모달리티가 융합 결과를 지배할 수 있다. 따라서 센서 융합은 상충하는 증거를 하나의 확실한 환경 표현으로 변환하기보다 각 정보원의 신뢰성과 불일치 정보를 유지해야 한다.
시간적 일관성(Temporal Consistency)은 중요한 안전 신호를 제공한다. 실제 물체는 일반적으로 물리적으로 가능한 움직임에 따라 변화하지만 불안정한 탐지 결과는 갑자기 나타나거나 사라지고, 위치가 급격히 이동하거나, 식별 정보가 변경될 수 있다. 추적(Tracking)과 상태 추정(State Estimation)은 시간에 따른 관측을 이용해 일시적 잡음을 제거하고 숨겨진 상태를 추정할 수 있다. 그러나 시간적 필터링(Temporal Filtering)이 오래된 물체 정보를 지나치게 오랫동안 유지하여 낡은 정보(Stale Information) 자체가 위험해지지 않도록 해야 한다.
신뢰도 점수(Confidence Score)만으로 안전한 인지를 보장할 수는 없다. 신경망 기반 인지 시스템(Neural Perception System)은 모호하거나 손상되었거나 분포 외(Out-of-Distribution)인 관측에도 높은 신뢰도의 예측을 생성할 수 있다. 신뢰도 값은 충분히 보정되고 센서 품질, 환경 신규성(Environmental Novelty), 시간적 일관성, 독립적인 정보원 사이의 불일치와 함께 해석될 때 의미가 있다. 낮은 불확실성 추정치를 물리적 장면이 정확하게 이해되었다는 증거로 자동 해석해서는 안 된다.
인지 오류의 결과는 상황(Context)에 크게 의존한다. 로봇에서 멀리 떨어진 물체를 놓치는 것은 즉각적으로 큰 의미가 없을 수 있지만, 매니퓰레이터, 차량 경로, 계단, 제한 구역 또는 인간 작업 공간 근처에서 동일한 오류가 발생하면 치명적일 수 있다. 따라서 위험 인지형 인식(Risk-Aware Perception)은 노출도(Exposure), 상대 운동(Relative Motion), 정지 능력(Stopping Capability), 접촉 에너지(Contact Energy), 잠재적인 위험 상호작용까지 남은 시간을 기준으로 오류를 평가해야 한다.
안전 마진(Safety Margin)은 불완전한 인지에 대한 민감도를 줄일 수 있다. 장애물 경계를 확대하거나, 사람과 추가적인 분리 거리를 유지하거나, 불확실한 영역에서 속도를 제한하거나, 매니퓰레이터의 힘을 감소시키면 위치 및 예측 오류에 대한 허용 범위를 확보할 수 있다. 이러한 마진은 모든 조건에서 고정되어서는 안 되며 불확실성과 운용 상황에 따라 조정되어야 한다. 일반적으로 불확실성이 증가할수록 물리적 행동은 더욱 보수적으로 이루어져야 한다.
런타임 인지 모니터링(Runtime Perception Monitoring)은 정상적인 인공지능 출력을 더 이상 신뢰해서는 안 되는 조건을 탐지할 수 있다. 모니터는 센서 가용성, 영상 품질, 포인트 클라우드 밀도(Point-Cloud Density), 신뢰도 분포, 시간적 일관성, 센서 간 일치도, 신규성 지표(Novelty Indicator), 탐지 안정성을 검사할 수 있다. 이러한 신호가 정의된 한계를 초과하면 시스템은 속도를 줄이고, 안전 마진을 확대하고, 대체 센싱을 활성화하거나, 지원을 요청하거나, 안전 상태(Safe State)로 전환할 수 있다.
중복성(Redundancy)과 다양성(Diversity)은 일반적인 인지 실패에 대한 보호를 강화한다. 여러 카메라는 서로 다른 시점을 제공할 수 있으며 라이다, 레이더, 깊이 센서, 촉각 센서 또는 근접 센서(Proximity Sensor)는 서로 다른 물리적 원리에 기반한 정보를 제공할 수 있다. 그러나 중복성은 각각의 실패가 충분히 독립적일 때만 효과적이다. 동일하게 손상된 관측을 처리하는 여러 모델은 같은 오류를 반복하여 실제 결함 허용성(Fault Tolerance)이 아니라 신뢰성의 착각을 만들 수 있다.
핵심적인 안전 원칙은 인지되지 않았다는 사실이 반드시 위험요소가 존재하지 않는다는 의미는 아니라는 것이다. 체화형 인공지능(Embodied AI)은 확실하게 관측된 것과 불확실하거나, 가려졌거나, 성능이 저하되었거나, 익숙하지 않거나, 단순히 알 수 없는 것을 구분해야 한다. 인지 불확실성이 계획과 제어에 직접 반영되어 로봇이 감속하거나 정지하고, 추가 증거를 수집하고, 분리 거리를 확대하거나, 불확실한 환경 추정이 물리적 피해(Physical Harm)로 이어지기 전에 개입을 요청할 수 있을 때 안전한 행동이 가능해진다.
03.04. Hallucination and Ungrounded Inference
체화형 인공지능(Embodied AI)에서 환각(Hallucination)은 모델이 그럴듯해 보이지만 현재의 물리적 증거(Physical Evidence)에 의해 충분히 뒷받침되지 않는 해석, 진술, 예측 또는 행동 가정을 생성할 때 발생한다. 비근거 추론(Ungrounded Inference)은 추론이 신뢰할 수 있는 센서 관측, 검증된 상태 또는 알려진 제약 조건과 분리되는 더 넓은 개념이다. 로봇에서는 이러한 오류가 실제 움직임에 영향을 줄 수 있으므로 직접적인 안전 문제가 된다.
로봇에 파운데이션 모델(Foundation Model), 비전-언어 모델(Vision-Language Model), 비전-언어-행동 시스템(Vision-Language-Action System)이 통합되면서 이러한 문제는 더욱 중요해지고 있다. 이러한 모델은 시각적 관측, 언어 명령, 사전 지식, 메모리(Memory), 작업 맥락(Task Context)을 결합하여 정교한 추론을 수행할 수 있다. 그러나 일관성 있는 출력을 생성하는 능력이 행동을 실행해야 하는 순간의 실제 환경과 그 출력이 일치한다는 것을 보장하지는 않는다.
디지털 비서(Digital Assistant)가 물체를 잘못 설명하면 잘못된 정보를 제공하는 데 그칠 수 있지만, 체화형 에이전트(Embodied Agent)는 동일한 오류를 기반으로 실제 물리적 행동을 수행할 수 있다. 로봇이 용기가 비어 있거나, 문이 열려 있거나, 표면이 안정적이거나, 사람이 이미 이동했다고 잘못 판단하면 계획기(Planner)는 위험한 행동을 생성할 수 있다. 따라서 환각은 생성된 믿음이 궤적, 힘, 파지 또는 내비게이션 명령으로 변환될 때 특히 심각해진다.
시각적 그라운딩(Visual Grounding)은 의미적 개념(Semantic Concept)을 환경에서 실제로 관측할 수 있는 개체와 연결한다. 모델이 "빨간색 도구를 집어라"라는 명령을 받으면 언어적 참조를 특정한 인지 객체와 연결하고, 그 위치와 기하 구조를 추정하며, 해당 물체가 실제로 존재하는지를 확인해야 한다. 이러한 그라운딩 과정의 실패는 시스템이 시각적으로 유사한 다른 물체를 선택하거나 존재하지 않는 개체를 향해 행동을 생성하도록 만들 수 있다.
공간적 그라운딩(Spatial Grounding) 역시 중요하다. 물리적 행동에는 단순한 의미적 인식 이상의 정보가 필요하기 때문이다. 모델이 의자, 팔레트, 사람 또는 컨테이너를 정확하게 식별하더라도 그것이 왼쪽인지 오른쪽인지, 가까운지 먼지, 내부인지 외부인지, 도달 가능한지 차단되어 있는지를 잘못 판단할 수 있다. 언어 모델(Language Model)은 공간 관계를 기호적으로 표현할 수 있지만 로봇 행동에서는 이러한 관계가 거리 기반 기하 구조(Metric Geometry), 좌표계(Coordinate Frame), 충돌 제약, 현재 센서 측정값과 일관성을 유지해야 한다.
시간적 그라운딩(Temporal Grounding)은 추론이 오래된 관측이나 메모리가 아니라 현재 상태(Current State)에 대응하도록 보장한다. 몇 초 전에 탐지된 사람이 이미 이동했거나, 물체의 위치가 변경되었거나, 이전에 열려 있던 경로가 현재는 차단되었을 수 있다. 모델이 오래된 맥락(Stale Context)을 기반으로 계속 추론하면 언어적으로는 일관된 결론을 유지하면서도 물리적으로는 잘못된 상태가 될 수 있다. 따라서 그라운딩된 시스템(Grounded System)은 믿음과 타임스탬프(Timestamp), 상태 최신성(State Freshness)을 연결해야 한다.
관측이 불완전할 때에도 환각이 발생할 수 있다. 가림(Occlusion), 제한된 시야(Field of View), 센서 잡음, 열악한 조명 또는 누락된 측정값은 정보의 공백을 만들며, 생성 모델(Generative Model)은 학습된 통계적 패턴을 이용하여 이러한 공백을 암묵적으로 채울 수 있다. 이러한 보완은 예측에 유용할 수 있지만 추론된 내용을 직접 관측된 증거와 혼동해서는 안 된다. 안전 중요 추론(Safety-Critical Reasoning)은 관측된 정보, 추정된 정보, 예측된 정보, 가정된 정보, 알 수 없는 정보를 명확하게 구분해야 한다.
사전 지식(Prior Knowledge)도 이와 관련된 문제를 발생시킨다. 파운데이션 모델은 대규모 데이터셋에서 학습한 폭넓은 지식을 가지고 있으며 이를 새로운 상황을 해석하는 데 활용할 수 있다. 그러나 일반적인 지식이 상충하는 현장의 물리적 증거를 무시해서는 안 된다. 모델은 바닥을 주행 가능하다고 예상하거나 익숙한 물체가 정상적으로 동작한다고 가정할 수 있지만 실제 환경에는 구멍, 손상, 비정상적인 적재물 또는 구조 변경이 존재할 수 있다. 물리적 증거는 의미적 기대(Semantic Expectation)보다 우선되어야 한다.
언어 명령(Language Instruction) 자체가 불완전한 경우가 많기 때문에 비근거 추론을 유발할 수도 있다. "이것을 저쪽에 놓아라", "통로를 정리해라", "상자를 가져와라"와 같은 명령은 대상 물체, 목적지, 선호 경로, 취급 제약 또는 안전 우선순위를 생략할 수 있다. 안전한 체화형 에이전트는 누락된 정보를 임의로 만들어내기보다 모호성을 식별하고 추가적인 증거를 확보하며, 필요한 경우 명확화를 요청하거나 되돌릴 수 있는 보수적 행동(Conservative Action)을 선택해야 한다.
멀티모달 불일치(Multimodal Disagreement)는 중요한 경고 신호를 제공한다. 비전 모델(Vision Model)은 통로가 비어 있다고 판단하지만 라이다(LiDAR)는 장애물을 탐지할 수 있으며, 언어 기반 추론 모델은 특정 물체가 존재해야 한다고 추론하지만 인지 시스템은 이를 확인하지 못할 수 있다. 모달리티를 결합할 때 이러한 불일치를 자동으로 제거해서는 안 된다. 상충하는 증거를 유지하면 시스템은 신뢰도를 낮추고 불일치가 해결될 때까지 중요한 물리적 행동을 지연할 수 있다.
월드 모델(World Model)은 예측된 미래 상태를 관측 결과처럼 취급할 경우 또 다른 형태의 비근거 추론을 발생시킬 수 있다. 월드 모델은 후보 행동에 따라 물체, 사람 또는 로봇 자체가 어떻게 움직일지를 예측할 수 있다. 이러한 예측은 계획에 유용하지만 미래에 대한 가설(Hypothesis)이라는 사실은 변하지 않는다. 계획기가 상상된 궤적을 확실한 것으로 취급하면 예측 오류가 물리적 현실에 대한 잘못된 믿음으로 전환되어 위험한 의사결정을 초래할 수 있다.
메모리(Memory) 역시 장기 행동(Long-Horizon Behavior)을 향상시키는 동시에 오래되거나 잘못된 믿음을 도입할 수 있다. 로봇은 통로가 비어 있었거나, 도구가 특정 위치에 보관되어 있었거나, 이전 임무에서 특정 영역이 제한 구역이었다는 사실을 기억할 수 있다. 그러나 메모리가 생성된 이후 물리적 세계는 변화했을 수 있다. 따라서 안전한 추론에서는 기억된 정보와 현재 관측(Current Observation)을 구분하고 중요한 믿음을 행동 전에 다시 확인하는 메커니즘이 필요하다.
신뢰도(Confidence)가 높다는 사실만으로 그라운딩이 보장되는 것은 아니다. 생성 모델과 파운데이션 모델은 이를 뒷받침하는 관측이 약하거나 존재하지 않는 경우에도 유창하고 내부적으로 일관되며 높은 확신을 가진 것처럼 보이는 출력을 생성할 수 있다. 따라서 안전 아키텍처(Safety Architecture)는 모델의 신뢰도에만 의존하지 않고 증거 출처(Evidence Provenance)를 평가해야 한다. 중요한 결론은 센서, 검증된 상태 추정, 신뢰할 수 있는 지도, 명시적 명령 또는 식별 가능한 다른 정보원까지 추적할 수 있어야 한다.
물리적 행동을 실행하기 전에 명시적인 검증(Explicit Verification)을 수행하면 그라운딩을 강화할 수 있다. 제안된 행동에 대해 물체의 실제 존재 확인, 자세(Pose) 검증, 도달 가능성(Reachability) 확인, 자유 공간 검사, 사람과의 근접성 평가, 예상 결과와 안전 제약의 비교 등을 수행할 수 있다. 이러한 검증은 되돌리기 어려운 행동, 상당한 운동 에너지(Kinetic Energy)를 수반하는 행동, 사람이나 장비 또는 위험 물질 가까이에서 수행되는 행동에서 특히 중요하다.
행동 생성(Action Generation)과 행동 승인(Action Authorization)도 분리해야 한다. VLA 또는 범용 정책(Generalist Policy)이 파지, 궤적, 내비게이션 목표 또는 조작 순서를 제안하더라도 독립적인 구성요소가 해당 제안이 현재 월드 상태(World State)에 의해 뒷받침되는지 그리고 안전 영역(Safety Envelope) 내부에 있는지를 판단할 수 있다. 이러한 분리는 환각으로 생성된 내부 믿음이 자동으로 액추에이터 명령(Actuator Command)이 되는 것을 방지하고 위험한 추론을 억제할 수 있는 지점을 제공한다.
런타임 모니터링(Runtime Monitoring)은 예측된 결과와 실제로 관측된 결과를 비교함으로써 추가적인 방어 수단을 제공한다. 로봇이 파지 후 물체가 움직일 것으로 예상했지만 촉각 및 시각 피드백에서 물체가 움직이지 않은 것으로 나타난다면 이러한 불일치는 내부 모델이 잘못되었을 가능성을 보여준다. 반복적인 인지-행동 피드백(Perception--Action Feedback)을 통해 시스템은 잘못된 가정이 더 큰 물리적 실패로 전파되기 전에 믿음을 수정하거나 실행을 중단하고, 장면을 다시 관측하거나, 재계획(Replanning)을 수행할 수 있다.
실용적인 원칙은 인식론적 상태(Epistemic Status)가 아키텍처 내부에서 명확하게 드러나도록 하는 것이다. 정보에는 직접 관측된 것인지, 여러 센서로부터 추론된 것인지, 메모리에서 검색된 것인지, 월드 모델에 의해 예측된 것인지, 의미적 지식에서 생성된 것인지 또는 여전히 불확실한지를 나타내는 지표가 포함되어야 한다. 그러면 계획 과정에서 각 정보의 신뢰성과 출처에 따라 서로 다른 안전 마진(Safety Margin)과 검증 요구사항(Verification Requirement)을 적용할 수 있다.
핵심적인 안전 요구사항은 그럴듯한 추론(Plausible Reasoning)을 자동으로 물리적 진실(Physical Truth)로 취급해서는 안 된다는 것이다. 체화형 지능(Embodied Intelligence)은 의미적 이해를 지속적으로 관측 가능한 현실과 연결하고, 증거가 불완전한 경우 불확실성을 유지하며, 행동하기 전에 중요한 가정을 검증해야 한다. 인지, 그라운딩, 불확실성, 메모리, 예측, 런타임 모니터링, 독립적 행동 제약이 함께 작동하여 근거 없는 추론이 물리적 피해(Physical Harm)로 전환되는 것을 방지할 때 환각을 관리 가능한 안전 문제로 만들 수 있다.
03.05. Out of Distribution Behavior
분포 외 행동(Out-of-Distribution Behavior)은 체화형 인공지능 시스템(Embodied AI System)이 학습 과정에서 표현된 데이터 분포(Data Distribution)와 크게 다른 관측, 환경, 작업, 물체 또는 상호작용을 만날 때 발생한다. 학습 모델(Learned Model)은 경험에서 얻은 통계적 규칙성을 기반으로 행동을 추론하므로 이러한 규칙성이 더 이상 성립하지 않으면 신뢰성이 감소할 수 있다. 물리 인공지능(Physical AI)에서는 이러한 성능 저하가 인지, 예측, 계획 및 행동 안전에 직접적인 영향을 미칠 수 있다.
학습 분포(Training Distribution)는 로봇이 실제로 만나게 될 상황 중 제한된 영역만을 정의한다. 매우 대규모의 데이터셋이라 하더라도 모든 공장 배치, 창고 구성, 도로 조건, 물체 외형, 기상 패턴, 인간 행동, 적재물, 고장 상태 또는 상호작용을 포함할 수는 없다. 따라서 실제 배치(Real Deployment)는 필연적으로 체화형 시스템을 드물거나 익숙하지 않거나 기존 학습 경험에 존재하지 않았던 조건에 노출시킨다.
분포 변화(Distribution Shift)는 명확한 전환이 아니라 점진적으로 발생할 수도 있다. 카메라 특성이 노후화로 변하거나, 바닥의 외관이 변화하거나, 장비가 재배치되거나, 조명이 교체되거나, 운용 절차가 변경될 수 있다. 각각의 차이는 작아 보일 수 있지만 이러한 변화가 누적되면 관측 데이터가 모델의 학습 분포에서 점차 벗어나고 기존에 학습된 가정의 유효성이 지속적으로 감소할 수 있다.
환경 분포 변화(Environmental Shift)는 이동 로봇(Mobile Robot)과 자율 시스템(Autonomous Machine)에서 특히 중요하다. 깨끗한 실내 공간을 중심으로 학습된 시스템이 먼지, 비, 안개, 눈, 어둠, 눈부심, 불규칙한 지형, 반사 표면 또는 복잡한 작업 공간을 만날 수 있다. 이러한 변화는 센서 측정과 환경의 외형을 동시에 변화시키며 인지 성능을 저하시키는 동시에 내비게이션과 제어에 필요한 물리적 동역학(Physical Dynamics)에도 영향을 줄 수 있다.
물체 및 의미적 신규성(Object and Semantic Novelty)은 또 다른 형태의 분포 외 노출(Out-of-Distribution Exposure)을 만든다. 로봇은 이전에 보지 못했던 도구, 차량, 포장물, 임시 구조물, 보호복 또는 비정상적인 물체 배열을 만날 수 있다. 모델은 신규성을 인식하는 대신 익숙하지 않은 관측을 기존의 익숙한 범주에 강제로 분류할 수 있다. 이러한 오분류는 계획기가 기하 구조, 움직임, 취약성, 상호작용 또는 필요한 분리 거리에 대해 부적절한 가정을 적용하도록 만들 수 있다.
행동 분포 변화(Behavioral Distribution Shift)는 사람이나 다른 에이전트(Agent)가 학습 데이터에서 표현된 것과 다른 방식으로 행동할 때 발생한다. 작업자가 지름길을 이용하거나, 어린이가 예측하기 어렵게 움직이거나, 차량이 예상된 교통 패턴을 위반하거나, 다른 로봇이 서로 다른 제어 정책(Control Policy)에 따라 행동할 수 있다. 체화형 인공지능은 동적 에이전트와 상호작용해야 하므로 물리적 환경 자체가 익숙하더라도 새로운 행동은 학습된 움직임 예측을 무효화할 수 있다.
작업 분포 변화(Task Distribution Shift)는 시스템이 새로운 목표를 수행하거나 익숙한 목표를 새로운 제약 조건 아래에서 수행하도록 요구받을 때 나타난다. 표준화된 물체로 학습된 조작 정책(Manipulation Policy)이 변형 가능하거나 손상되었거나 과적재되었거나 비정상적인 형상의 물체를 처리해야 할 수 있다. 내비게이션 시스템도 서로 다른 우선순위나 제한 구역이 적용되는 임무를 만날 수 있다. 모델이 새로운 작업을 표면적으로 유사한 학습 사례와 동일하게 취급하면 일반화(Generalization)가 위험해질 수 있다.
로봇의 체화 구조(Embodiment)가 변화하는 경우에도 분포 변화가 발생할 수 있다. 서로 다른 적재물, 타이어 마모, 액추에이터 특성, 센서 장착 위치, 매니퓰레이터 도구, 배터리 상태 또는 기계적 변경은 명령과 물리적 결과 사이의 관계를 변화시킬 수 있다. 따라서 하나의 구성에서 학습된 정책은 외부 관측이 동일하게 보이더라도 하드웨어 변경 이후 부적절한 행동을 생성할 수 있다. 체화 구조 자체도 운용 분포(Operational Distribution)의 일부이다.
분포 외 행동은 모델이 자신이 익숙하지 않은 조건에 있다는 사실을 인식하지 못할 때 특히 위험하다. 신경망(Neural Network)은 익숙하지 않은 입력에도 높은 신뢰도의 출력을 생성하여 잘못된 능력 인식(False Impression of Competence)을 만들 수 있다. 따라서 로봇은 예측 신뢰성이 가장 낮은 상황에서도 정상 속도로 내비게이션이나 조작을 계속할 수 있다. 익숙하지 않은 상황을 탐지하고 이를 적절하게 보수적인 행동(Conservative Behavior)으로 변환하는 것은 기본적인 안전 요구사항이다.
분포 외 탐지(Out-of-Distribution Detection)는 현재 관측이 알려진 학습 또는 운용 조건과 의미 있게 다른지를 식별하려는 방법이다. 탐지 신호는 특징 공간 거리(Feature-Space Distance), 예측 불일치(Prediction Disagreement), 밀도 추정(Density Estimation), 재구성 오류(Reconstruction Error), 앙상블 분산(Ensemble Variance), 모델 불확실성(Model Uncertainty), 특수한 신규성 탐지기(Novelty Detector) 등에서 얻을 수 있다. 하나의 지표가 모든 상황에서 신뢰할 수 있는 것은 아니므로 안전 중요 시스템에서는 여러 신호를 센서 및 상황 정보와 함께 결합하는 것이 유용하다.
운용 설계 영역(Operational Design Domain, ODD)은 이러한 문제를 제한하기 위한 실용적인 방법을 제공한다. 인공지능 시스템이 상상 가능한 모든 조건에서 안전하게 작동해야 한다고 가정하는 대신 설계자는 지원 가능한 환경, 속도, 기상 조건, 지형 유형, 센서 상태, 적재 범위, 인간 상호작용 및 작업 유형을 정의할 수 있다. 이후 시스템은 현재 조건이 검증된 운용 경계(Operational Boundary) 내부에 유지되고 있는지를 지속적으로 모니터링할 수 있다.
경계 탐지(Boundary Detection)는 행동 적응(Behavioral Adaptation)과 연결되어야 한다. 단순히 분포 외 조건을 식별하는 것만으로는 로봇이 정상적으로 행동을 계속한다면 충분한 보호를 제공하지 못한다. 신규성이나 불확실성이 증가하면 시스템은 속도를 낮추고, 장애물 안전 마진을 확대하고, 조작력을 제한하고, 복잡한 기동을 회피하며, 추가 관측을 수집하고, 중복 센싱(Redundant Sensing)을 활성화하거나, 인간의 지원을 요청하거나, 최소 위험 상태(Minimum-Risk Condition)로 전환할 수 있다.
보수적 행동은 신규성 자체가 자동으로 위험을 의미하는 것은 아니지만 기존 성능을 뒷받침하는 증거가 약해졌음을 의미하기 때문에 특히 중요하다. 모든 익숙하지 않은 관측에서 정지하면 많은 로봇이 실용성을 잃지만 신규성을 무시하면 통제되지 않은 위험에 노출된다. 따라서 실용적인 아키텍처는 불확실성, 작업 중요도(Task Criticality), 사용 가능한 안전 마진, 잘못된 행동으로 발생할 수 있는 피해의 심각성에 따라 자율성 수준(Autonomy Level)을 조절해야 한다.
월드 모델(World Model)은 관측된 상태 전이(State Transition)가 예측된 동역학과 일치하는지를 검사하여 분포 외 상황 대응을 지원할 수 있다. 실제 결과가 예측 결과와 반복적으로 달라진다면 익숙하지 않은 환경 동역학, 예상하지 못한 에이전트 행동 또는 로봇 자체의 변화를 나타낼 수 있다. 따라서 예측 오류(Prediction Error)는 온라인 신규성 신호(Online Novelty Signal)로 활용될 수 있지만 실제 분포 변화와 일반적인 확률적 변동 또는 일시적인 센서 잡음을 구분할 수 있어야 한다.
플릿 규모 시스템(Fleet-Scale System)은 분포 변화를 관리하는 또 다른 메커니즘을 제공한다. 개별 로봇은 비정상적인 상황을 식별하고 관련 센서 데이터, 모델 출력, 행동 및 결과를 기록하여 이후 분석에 활용할 수 있다. 플릿(Fleet) 전체에서 반복되는 관측은 이전에는 드물었던 새로운 운용 조건을 발견하는 데 도움이 된다. 이러한 사례는 데이터셋 확장, 시뮬레이션 생성, 모델 재학습, 검증 및 개선된 모델의 통제된 재배포에 활용할 수 있다.
그러나 온라인 적응(Online Adaptation)이나 지속 적응(Continual Adaptation)은 새로운 안전상의 절충 문제(Safety Tradeoff)를 도입한다. 로봇이 익숙하지 않은 조건에서 즉시 학습하도록 허용하면 현장 성능이 향상될 수 있지만 불안정한 행동, 잘못된 연관관계 또는 치명적 망각(Catastrophic Forgetting)을 발생시킬 수도 있다. 따라서 적응은 검증, 제한된 업데이트 메커니즘(Bounded Update Mechanism), 버전 관리(Version Control), 롤백 기능(Rollback Capability), 새롭게 학습된 행동이 기존의 안전 특성을 저하시키지 않는다는 증거를 통해 관리되어야 한다.
분포 외 강건성(OOD Robustness)을 시험하려면 무작위로 분리된 테스트 데이터셋을 평가하는 것만으로는 충분하지 않다. 검증에서는 조명, 날씨, 센서 품질, 물체 외형, 환경 기하 구조, 인간 행동, 적재물, 하드웨어 상태 및 이러한 요소들의 조합을 의도적으로 변화시켜야 한다. 시뮬레이션(Simulation)과 시나리오 생성(Scenario Generation)은 실제 시험에서 반복적으로 재현하기 어렵거나 비용이 높고 위험할 수 있는 희귀 조건과 위험 조건을 체계적으로 탐색할 수 있다는 점에서 중요하다.
런타임 보증(Runtime Assurance)은 분포 변화가 주 인공지능 모델(Primary AI Model)의 능력을 넘어서는 경우 보호 기능을 제공한다. 독립적인 모니터(Independent Monitor)는 학습 시스템이 작업을 수행하는 동안 신규성, 불확실성, 센서 상태, 궤적 유효성(Trajectory Validity), 안전 제약을 평가할 수 있다. 주 모델에 대한 신뢰가 충분하지 않으면 보다 단순하고 검증된 제어기(Verified Controller), 제한된 운용 모드(Restricted Operating Mode), 보호 정지(Protective Stop) 또는 인간 개입(Human Intervention)을 통해 익숙하지 않은 조건이 물리적 피해로 확대되는 것을 방지할 수 있다.
핵심 원칙은 모델이 계속해서 출력을 생성한다는 이유만으로 일반화 능력(Generalization)을 가정해서는 안 된다는 것이다. 안전한 체화형 인공지능은 무엇을 예측하는지만이 아니라 그 예측을 뒷받침하는 증거가 언제 약해지는지도 알아야 한다. 분포 외 탐지, 운용 경계, 불확실성 인지 행동(Uncertainty-Aware Behavior), 런타임 보증, 플릿 학습(Fleet Learning), 통제된 적응(Controlled Adaptation), 체계적인 시험을 결합함으로써 물리 인공지능은 자신의 지능이 형성된 경험의 범위를 벗어나는 상황에서도 보수적이고 안전한 행동을 유지할 수 있다.
03.06. Uncertainty and Confidence Estimation
불확실성(Uncertainty)은 체화형 인공지능(Embodied AI)에서 피할 수 없는 요소이다. 로봇은 물리적 세계(Physical World)의 실제 상태에 완전하게 접근할 수 없기 때문이다. 센서에는 잡음이 존재하고, 환경은 부분 관측 가능(Partially Observable)하며, 미래 사건은 알 수 없고, 학습 모델(Learned Model)은 불완전하며, 다른 에이전트(Agent)는 예측하기 어렵게 행동한다. 따라서 안전은 예측과 행동을 생성하는 것뿐만 아니라 시스템이 그것들을 어느 정도 신뢰해야 하는지를 추정하는 능력에도 달려 있다.
신뢰도 추정(Confidence Estimation)은 모델 출력의 신뢰성을 정량화하려는 과정이며, 불확실성 추정(Uncertainty Estimation)은 관측, 예측 또는 의사결정에 대해 시스템이 무엇을 알지 못하는지를 표현한다. 두 개념은 서로 관련되어 있지만 동일하지는 않다. 신경망(Neural Network)은 특히 익숙하지 않은 조건에서 잘못된 결과에도 높은 신뢰도 점수를 생성할 수 있다. 안전을 위해서는 신뢰도 값이 실제 예측 신뢰성과 의미 있게 대응해야 한다.
유용한 구분 방법은 우연적 불확실성(Aleatoric Uncertainty)과 인식론적 불확실성(Epistemic Uncertainty)을 구분하는 것이다. 우연적 불확실성은 센서 잡음, 부분적 가림, 불확실한 인간 움직임 또는 여러 개의 가능한 미래 결과와 같이 관측 자체에 내재된 모호성이나 잡음에서 발생한다. 이는 환경 자체에 항상 제거할 수 없는 변동성이 존재하기 때문에 추가적인 학습 데이터가 제공되더라도 남아 있을 수 있다.
인식론적 불확실성(Epistemic Uncertainty)은 모델이 가진 지식의 한계에서 발생한다. 특정 물체, 환경, 상호작용 또는 운용 조건에 대한 학습 데이터의 범위가 충분하지 않을 때 특히 중요해진다. 제거하기 어려운 환경적 변동성과 달리 인식론적 불확실성은 대표성 있는 데이터를 수집하고, 모델의 학습 범위를 확대하고, 아키텍처를 개선하거나, 추가적인 지식과 관측을 통합함으로써 감소시킬 수 있다.
체화형 시스템(Embodied System)에서는 불확실성이 전체 인지-추론-행동 파이프라인(Perception--Reasoning--Action Pipeline)을 통해 전달되어야 한다. 불확실한 물체 위치는 충돌 예측에 영향을 주고, 불확실한 움직임은 궤적 예측에 영향을 주며, 불확실한 월드 모델 동역학(World-Model Dynamics)은 계획에 영향을 준다. 후속 구성요소가 상위 단계의 불확실한 추정값을 정확한 값처럼 처리하면 수치적으로는 불확실성이 사라지지만 물리적 위험은 그대로 남는다. 안전한 아키텍처는 인터페이스를 거쳐 불확실성을 유지해야 한다.
인지 불확실성(Perception Uncertainty)은 열악한 가시성, 센서 잡음, 가림(Occlusion), 제한된 해상도, 모호한 물체 외형 또는 센싱 모달리티(Sensing Modality) 간의 불일치에서 발생할 수 있다. 인지 시스템은 특정 위치에 물체가 존재한다고 단순히 보고하는 대신 확률, 신뢰 구간(Confidence Interval), 공분산(Covariance), 대안 가설(Alternative Hypothesis) 또는 미확인 영역(Unknown Region)을 표현할 수 있다. 그러면 계획 과정에서 인지된 환경의 불확실성을 명시적으로 고려할 수 있다.
예측(Prediction)은 미래 상태가 아직 발생하지 않았기 때문에 추가적인 불확실성을 도입한다. 보행자는 계속 앞으로 이동하거나, 멈추거나, 방향을 바꾸거나, 가속할 수 있으며 여러 결과가 물리적으로 가능할 수 있다. 하나의 예측 궤적만 표현하면 잘못된 확실성(False Certainty)을 만들 수 있다. 다중모드 예측(Multimodal Prediction), 확률 분포(Probability Distribution), 궤적 집합(Trajectory Set) 또는 도달 가능 영역(Reachable Region)은 안전한 계획기가 고려해야 할 다양한 미래 가능성을 보다 적절하게 표현할 수 있다.
월드 모델(World Model)은 이러한 문제를 더 긴 시간 범위(Longer Time Horizon)로 확장한다. 각각의 예측 상태가 다음 상태를 예측하기 위한 기반이 되면서 불확실성과 모델 오류가 누적될 수 있다. 따라서 수 초 이후에 상상된 미래는 현재 추정 상태보다 훨씬 낮은 신뢰성을 가질 수 있다. 계획 과정에서는 이러한 불확실성의 증가를 고려해야 하며 장기 월드 모델 롤아웃(Long-Horizon Model Rollout)을 시간 전체에 걸쳐 동일하게 신뢰해서는 안 된다.
모델 신뢰도(Model Confidence)는 또한 보정(Calibration)되어야 한다. 적절하게 보정된 모델이 약 80퍼센트의 신뢰도로 예측을 생성한다면 보정이 유효한 조건에서 해당 예측은 대략 80퍼센트 정도 정확해야 한다. 과신하는 모델(Overconfident Model)은 위험을 과소평가하는 반면 지나치게 낮은 신뢰도를 갖는 모델은 불필요하게 보수적인 행동을 발생시킬 수 있다. 따라서 신뢰도 보정(Confidence Calibration)은 통계적 모델 출력을 의미 있는 운용 의사결정과 연결한다.
배치 이후 운용 분포(Operational Distribution)가 변화하면 보정 성능도 저하될 수 있다. 특정 환경에서 검증된 신뢰도 추정기(Confidence Estimator)는 다른 조명 조건, 센서 성능 저하, 새로운 물체 또는 익숙하지 않은 인간 행동에서는 더 이상 신뢰성을 정확하게 나타내지 못할 수 있다. 따라서 신뢰도 보정은 오프라인 시험 이후에도 영구적으로 유효하다고 가정해서는 안 되며 실제 운용 중에도 지속적으로 모니터링되어야 한다.
여러 모델 또는 앙상블(Ensemble)은 인식론적 불확실성에 관한 유용한 정보를 제공할 수 있다. 독립적으로 학습된 모델들이 유사한 예측을 생성하면 신뢰도를 높일 수 있으며, 예측 결과가 크게 달라지면 지식 부족이나 익숙하지 않은 조건을 나타낼 수 있다. 따라서 앙상블 분산(Ensemble Variance), 확률적 추론(Stochastic Inference), 베이지안 근사(Bayesian Approximation) 또는 대안 모델 가설은 기존의 예측 신뢰도를 보완하는 신호를 제공할 수 있다.
센서 불일치(Sensor Disagreement) 역시 실용적인 불확실성 신호를 제공한다. 카메라 기반 인지는 자유 공간(Free Space)을 나타내지만 라이다(LiDAR)나 레이더(Radar)는 장애물이 존재한다고 판단할 수 있다. 이러한 관측을 즉시 하나의 확실한 상태로 강제 융합하는 대신 시스템은 불일치를 유지하고 해당 영역의 신뢰도를 낮출 수 있다. 서로 다른 센서는 환경 조건에 따라 서로 다른 방식으로 실패하기 때문에 이러한 교차 모달 불확실성(Cross-Modal Uncertainty)은 특히 중요하다.
불확실성은 보편적인 하나의 임계값(Threshold)이 아니라 물리적 위험(Physical Risk)을 기준으로 해석해야 한다. 중간 수준의 위치 불확실성은 멀리 떨어진 물체를 식별할 때는 허용될 수 있지만 매니퓰레이터(Manipulator)가 사람과 수 밀리미터 거리에서 작업할 때는 허용되지 않을 수 있다. 마찬가지로 높은 속도나 높은 운동 에너지(Kinetic Energy)에서는 불확실한 예측이 더 큰 의미를 가진다. 따라서 안전 의사결정은 불확실성을 노출도(Exposure), 심각도(Severity), 근접성(Proximity), 사용 가능한 반응 시간과 결합해야 한다.
이러한 관계를 통해 불확실성 인지 행동(Uncertainty-Aware Behavior)을 구현할 수 있다. 불확실성이 증가하면 로봇은 속도를 낮추고, 분리 거리를 확대하며, 조작력을 감소시키고, 좁은 통로를 피하거나, 관측 가능성이 높은 궤적을 선택하고, 추가적인 센서 측정값을 수집할 수 있다. 불확실성은 항상 존재하므로 그 목적은 불확실성이 발생할 때마다 반드시 정지하는 것이 아니라 잔여 위험(Residual Risk)이 통제되도록 물리적 행동을 조정하는 것이다.
능동 인지(Active Perception)는 행동을 실행하기 전에 불확실성을 줄일 수 있다. 로봇은 관측 시점을 변경하거나, 카메라를 움직이거나, 자신의 위치를 변경하거나, 특정 영역을 조명하거나, 물체를 다시 스캔하거나, 더 명확한 관측을 위해 잠시 기다릴 수 있다. 매니퓰레이터는 초기 접촉 이후 촉각 피드백(Tactile Feedback)을 사용할 수 있으며 이동 로봇은 불확실한 영역에 조심스럽게 접근할 수 있다. 따라서 인지는 단순한 수동 관측이 아니라 지식을 개선하기 위해 행동을 선택하는 능동적 과정이 된다.
신뢰도 임계값(Confidence Threshold)은 운용 모드(Operating Mode) 사이의 단계적 전환을 지원할 수 있다. 높은 신뢰도 조건에서는 정상적인 자율 운용이 가능하고, 중간 수준의 불확실성에서는 속도 감소나 추가 검증을 수행할 수 있으며, 높은 불확실성에서는 제한된 자율성(Restricted Autonomy), 인간 지원(Human Assistance) 또는 보호 정지(Protective Stop)가 필요할 수 있다. 이러한 임계값은 단순히 편리한 모델 통계가 아니라 물리적 위험과 운용 요구사항을 기준으로 검증되어야 한다.
런타임 모니터링(Runtime Monitoring)은 운용 중 불확실성이 빠르게 변화할 수 있기 때문에 필수적이다. 센서 상태(Sensor Health), 모델 신뢰도, 앙상블 불일치, 예측 잔차(Prediction Residual), 신규성 지표(Novelty Indicator), 시간적 일관성(Temporal Consistency), 월드 모델 오류(World-Model Error)를 지속적으로 모니터링할 수 있다. 불확실성이 갑자기 증가하면 센서 성능 저하, 분포 변화(Distribution Shift), 예상하지 못한 동역학 또는 인공지능 시스템의 검증된 능력을 넘어선 새로운 상황을 의미할 수 있다.
불확실성 정보는 시스템 경계(System Boundary)를 넘어 전달될 때에도 일관되게 해석될 수 있어야 한다. 인지 시스템, 월드 모델, 계획기, VLA 정책(VLA Policy), 제어기(Controller), 안전 모니터(Safety Monitor)는 신뢰도를 서로 다른 방식으로 표현할 수 있다. 의미 체계가 일관되지 않으면 하나의 구성요소가 높은 신뢰성으로 해석한 값을 다른 구성요소는 약한 증거로 해석할 수 있다. 따라서 인터페이스는 불확실성 추정값의 의미, 유효 범위, 출처, 타임스탬프, 보정 가정(Calibration Assumption)을 명확하게 정의해야 한다.
핵심적인 안전 원칙은 불확실성이 물리적 행동에 대한 권한(Authority over Physical Action)에 영향을 주어야 한다는 것이다. 체화형 인공지능 시스템은 내부 표현의 신뢰성이 낮아질수록 덜 공격적이고, 더 많은 관측을 수행하며, 더 강한 제약을 받는 방향으로 행동해야 한다. 보정된 신뢰도, 인식론적 및 우연적 불확실성, 멀티모달 증거(Multimodal Evidence), 불확실성 전파(Uncertainty Propagation), 능동 인지, 적응형 안전 마진(Adaptive Safety Margin), 런타임 모니터링을 결합함으로써 시스템은 "알지 못한다(I Do Not Know)"는 상태를 숨겨진 약점이 아니라 명시적인 안전 신호(Explicit Safety Signal)로 전환할 수 있다.
03.07. Model Calibration and Overconfidence
모델 보정(Model Calibration)은 인공지능 시스템이 보고하는 신뢰도(Confidence)가 실제로 정답일 확률과 얼마나 일치하는지를 나타낸다. 체화형 인공지능(Embodied AI)에서는 신뢰도가 로봇의 정상 운용 지속, 감속, 추가 검증 요청 또는 제어 권한 이전 여부에 영향을 주기 때문에 이러한 관계가 직접적인 안전 의미를 가진다. 대부분의 경우 정확하게 예측하는 모델이라도 신뢰도가 실제 신뢰성을 체계적으로 잘못 표현한다면 안전하지 않을 수 있다.
잘 보정된 모델(Well-Calibrated Model)은 신뢰도 값을 운용적으로 의미 있게 만들어야 한다. 약 90퍼센트의 신뢰도가 할당된 예측이라면 보정이 확립된 조건에서 실제로 약 90퍼센트가 정확해야 한다. 따라서 보정은 정확도(Accuracy)와 다르다. 정확도는 예측이 얼마나 자주 올바른지를 측정하는 반면, 보정은 신뢰도가 해당 예측이 실제로 정확할 가능성을 얼마나 정직하게 반영하는지를 측정한다.
높은 정확도가 반드시 좋은 보정을 의미하는 것은 아니다. 인지 모델(Perception Model)이 벤치마크에서 매우 높은 성능을 달성하면서도 정확한 예측과 잘못된 예측 모두에 거의 동일하게 높은 신뢰도를 부여할 수 있다. 로봇에서는 이로 인해 후속 구성요소가 일상적인 판단과 불확실한 판단을 구분하지 못할 수 있다. 신뢰도 자체가 모델 신뢰성을 정확하게 표현하지 못하면 신뢰도 임계값(Confidence Threshold)에 의존하는 안전 메커니즘은 효과를 잃게 된다.
과신(Overconfidence)은 추가적인 주의가 필요한 바로 그 순간에 확실성의 착각(Illusion of Certainty)을 만들기 때문에 특히 위험하다. 모델이 장애물을 잘못 분류하면서 99퍼센트의 신뢰도를 부여하거나, 위험한 궤적을 매우 높은 확률로 안전하다고 예측하거나, 모호한 명령을 확실한 것으로 해석할 수 있다. 계획과 제어가 추가적인 검증 없이 이러한 출력을 받아들이면 잘못된 추론이 직접적으로 위험한 물리적 행동으로 변환될 수 있다.
과소신뢰(Underconfidence)는 반대 방향의 보정 문제이다. 모델이 실제로는 자주 정확한 예측을 생성하면서도 불필요하게 낮은 신뢰도를 보고할 수 있다. 일반적으로 심각한 과신보다는 덜 위험하지만, 지나친 감속, 반복적인 검증, 불필요한 인간 개입(Human Intervention) 또는 보호 정지(Protective Stop)를 유발하여 시스템 성능을 저하시킬 수 있다. 따라서 잘못된 보정은 안전뿐만 아니라 운용 가용성(Operational Availability)에도 영향을 준다.
현대 신경망(Neural Network)은 출력 점수가 자동으로 신뢰할 수 있는 실제 확률을 의미하지 않기 때문에 과신에 취약하다. 소프트맥스(Softmax) 값, 로짓(Logit), 유사도 점수(Similarity Score), 정책 확률(Policy Probability)은 수치적으로 정밀하게 보이지만 실제 예측의 정확성을 나타내지 않을 수 있다. 따라서 이러한 값을 직접 신뢰 가능한 신뢰도 척도로 취급하면 안전 아키텍처(Safety Architecture)에 숨겨진 가정이 도입될 수 있다.
분포 변화(Distribution Shift)는 보정 성능을 크게 악화시킬 수 있다. 익숙한 학습 및 검증 데이터에서 보정된 모델이 배치 이후 다른 조명, 날씨, 센서 특성, 물체 외형, 환경 또는 인간 행동을 만날 수 있다. 정확도가 감소하는 상황에서도 모델은 여전히 높은 신뢰도를 유지할 수 있다. 따라서 보정은 실험실 데이터셋에서 얻은 결과가 그대로 유지된다고 가정해서는 안 되며 다양한 실제 운용 조건(Operational Condition)에서 평가되어야 한다.
분포 외 입력(Out-of-Distribution Input)은 이러한 문제의 극단적인 형태를 만든다. 신경망 모델은 학습 경험에서 크게 벗어난 물체나 상황에서도 반드시 어떤 출력을 생성해야 하기 때문에 높은 신뢰도를 부여할 수 있다. 따라서 신규성 추정(Novelty Estimation)이 없는 신뢰도 점수는 잘못된 정보를 제공할 수 있다. 안전한 시스템은 보정을 불확실성 추정(Uncertainty Estimation), 분포 외 탐지(OOD Detection), 현재 조건이 검증된 경험과 얼마나 유사한지에 대한 증거와 함께 사용해야 한다.
보정은 신뢰도 구간별로 예측 신뢰도와 실제 정확도를 비교하는 신뢰도 다이어그램(Reliability Diagram)을 사용하여 평가할 수 있다. 완벽한 보정에서는 두 값이 거의 동일한 관계를 보여야 한다. 예를 들어 70퍼센트의 신뢰도가 할당된 예측은 실제로 약 70퍼센트가 정확해야 한다. 이러한 관계에서 벗어나는 정도를 통해 체계적인 과신 또는 과소신뢰를 확인하고 추가적인 안전 마진(Safety Margin)이 필요한 신뢰도 영역을 식별할 수 있다.
기대 보정 오류(Expected Calibration Error, ECE)는 여러 예측 그룹에서 신뢰도와 경험적 정확도(Empirical Accuracy)의 차이를 요약한다. 최대 보정 오류(Maximum Calibration Error), 음의 로그 가능도(Negative Log-Likelihood), 브라이어 점수(Brier Score)와 같은 다른 측정값도 보완적인 정보를 제공한다. 하나의 지표만으로는 특히 안전 중요 체화형 시스템의 보정을 완전하게 설명할 수 없으므로 정량적 지표는 시나리오 수준 실패 분석(Scenario-Level Failure Analysis)과 함께 해석해야 한다.
보정에서는 클래스 및 위험 불균형(Class and Risk Imbalance)도 고려해야 한다. 모델이 전체적으로는 잘 보정되어 보이더라도 로봇 경로에 진입하는 보행자, 불안정한 물체, 위험한 지형 또는 비정상적인 장비 상태와 같은 드물지만 안전에 중요한 사건에서는 제대로 보정되지 않을 수 있다. 전체 평균(Global Average)은 이러한 실패를 숨길 수 있다. 따라서 안전 평가에서는 중요한 클래스, 환경 조건, 위험 수준, 운용 경계(Operational Boundary)에 대해 보정 성능을 개별적으로 평가해야 한다.
사후 보정(Post-Hoc Calibration) 방법은 전체 모델을 다시 학습하지 않고도 모델 신뢰도를 조정할 수 있다. 예를 들어 온도 스케일링(Temperature Scaling)은 검증 데이터를 사용하여 분류 확률의 날카로움(Sharpness)을 조절한다. 보다 유연한 방법은 복잡한 보정 오류를 수정할 수 있지만 보정 데이터셋에 과적합(Overfitting)될 가능성도 있다. 이러한 기법은 보정 데이터가 실제 신뢰도 값이 사용될 운용 조건을 충분히 대표할 때에만 유용하다.
앙상블(Ensemble)은 여러 모델의 예측을 비교함으로써 더 강력한 신뢰도 정보를 제공할 수 있다. 독립적으로 학습된 모델 사이의 일치는 특정 예측에 대한 증거를 강화할 수 있으며, 불일치는 인식론적 불확실성(Epistemic Uncertainty)을 나타낼 수 있다. 그러나 유사한 데이터로 학습된 상관된 모델(Correlated Model)은 동시에 실패할 수 있다. 따라서 특히 모든 모델이 동일한 익숙하지 않거나 손상된 입력을 처리하는 경우 앙상블의 일치를 정확성의 증거로 간주해서는 안 된다.
시간적 증거(Temporal Evidence)는 체화형 시스템의 신뢰도 추정을 향상시킬 수 있다. 단일 프레임(Single Frame)의 예측은 불확실할 수 있지만 여러 프레임에서 일관된 관측이 반복되면 신뢰도를 강화할 수 있다. 반대로 빠르게 변하는 분류, 불안정한 물체 위치 또는 진동하는 예측은 신뢰할 수 없는 인지를 나타낼 수 있다. 따라서 보정은 각각의 모델 추론을 독립적인 사건으로만 취급하지 않고 시간적 일관성(Temporal Consistency)을 포함할 수 있다.
멀티모달 증거(Multimodal Evidence)는 신뢰도를 검증하기 위한 또 다른 중요한 정보원이다. 카메라, 라이다(LiDAR), 레이더(Radar), 촉각 센싱(Tactile Sensing), 상태 추정(State Estimation)이 독립적으로 동일한 해석을 뒷받침한다면 하나의 모델 점수보다 강한 증거를 확보할 수 있다. 반대로 모달리티(Modality) 사이에 불일치가 발생하면 일반적으로 신뢰도를 낮춰야 한다. 이러한 접근법은 통계적 신뢰도를 의사결정을 뒷받침하는 물리적으로 다양한 증거와 연결한다.
신뢰도는 행동 위험(Action Risk)의 맥락에서도 해석되어야 한다. 위험도가 낮은 두 개의 내비게이션 선택지 중 하나를 선택할 때 허용되는 신뢰도 수준이 사람 가까이에서 무거운 매니퓰레이터(Manipulator)를 움직일 때는 충분하지 않을 수 있다. 잠재적 심각도(Severity), 운동 에너지(Kinetic Energy), 근접성(Proximity), 비가역성(Irreversibility), 미래 결과의 불확실성이 증가할수록 요구되는 신뢰도도 높아져야 한다. 따라서 보정은 이를 사용하는 의사결정과 연결될 때 비로소 안전 측면에서 의미를 갖는다.
런타임 보정 모니터링(Runtime Calibration Monitoring)은 배치 이후 신뢰도의 신뢰성이 변화할 수 있기 때문에 필요하다. 시스템은 예측 결과를 이후의 실제 관측과 비교하고, 신뢰도 분포를 추적하며, 잔차 오류(Residual Error)를 모니터링하고, 예상 성능과 실제 성능 사이의 지속적인 차이를 식별할 수 있다. 이러한 변화는 센서 성능 저하, 데이터 드리프트(Data Drift), 모델 노화(Model Aging), 환경 변화 또는 검증 과정에서 충분히 표현되지 않은 새로운 운용 영역을 의미할 수 있다.
궁극적으로 신뢰도는 단순한 진단 정보가 아니라 행동 권한(Authority)을 조절해야 한다. 보정된 높은 신뢰도에서는 정상적인 자율 운용(Normal Autonomy)을 허용할 수 있으며, 중간 수준의 신뢰도에서는 감속 또는 추가 검증을 수행할 수 있다. 낮은 신뢰도, 신규성 또는 불일치가 발생하면 인공지능 모델의 권한을 제한하고 폴백 행동(Fallback Behavior), 독립적인 안전 모니터링(Independent Safety Monitoring) 또는 인간 개입을 활성화할 수 있다. 이를 통해 모델 불확실성과 물리적 위험 제어 사이에 직접적인 연결을 형성할 수 있다.
핵심 원칙은 체화형 인공지능 시스템이 단순히 정확해야 하는 것뿐만 아니라 자신의 예측을 언제 신뢰할 수 있는지도 알아야 한다는 것이다. 과신은 불확실성을 숨기고 잘못된 믿음이 충분한 검증 없이 계획과 제어를 통과하도록 만들 수 있다. 모델 보정, 불확실성 추정, 분포 외 탐지, 멀티모달 검증(Multimodal Validation), 런타임 모니터링, 위험 인지형 임계값(Risk-Aware Threshold)을 결합함으로써 신뢰도를 단순한 모델 출력에서 의미 있는 안전 신호(Safety Signal)로 전환할 수 있다.
03.08. Adversarial and Perturbation Robustness
적대적 및 교란 강건성(Adversarial and Perturbation Robustness)은 체화형 인공지능 시스템(Embodied AI System)의 입력, 내부 표현(Internal Representation) 또는 운용 조건이 정상적인 형태에서 변화했을 때에도 시스템이 안전한 행동을 지속할 수 있는지를 의미한다. 이러한 변화는 공격자가 의도적으로 설계할 수도 있고 잡음, 날씨, 진동, 센서 아티팩트(Sensor Artifact), 환경 변화, 물리적 마모 등으로 자연스럽게 발생할 수도 있다. 두 경우 모두 작은 입력 변화가 때로는 지나치게 큰 행동 변화를 발생시킬 수 있다.
체화형 인공지능에서 강건성(Robustness)의 안전 중요성이 더 큰 이유는 모델 출력이 실제 물리적 행동에 직접 영향을 줄 수 있기 때문이다. 물체 분류를 변화시키는 작은 시각적 교란(Visual Perturbation)이 장애물 회피 행동을 변경할 수 있으며, 손상된 위치추정(Localization) 결과가 전체 계획 궤적을 이동시킬 수도 있다. 따라서 강건성은 단순한 분류 정확도나 예측 점수 변화가 아니라 이후에 발생하는 물리적 결과를 기준으로 평가해야 한다.
적대적 예제(Adversarial Example)는 학습 모델(Learned Model)이 잘못되거나 바람직하지 않은 출력을 생성하도록 의도적으로 구성된 입력이다. 비전 시스템(Vision System)에서는 정교하게 설계된 패턴이 사람에게는 미세하게 보이면서도 분류 또는 탐지 결과를 변화시킬 수 있다. 로봇에서는 적대적 영향이 깊이 추정(Depth Estimation), 의미론적 분할(Semantic Segmentation), 물체 추적(Object Tracking), 위치추정, 언어 해석, 월드 모델(World Model), 정책(Policy) 또는 자율 의사결정에 관여하는 다른 구성요소까지 대상으로 할 수 있다.
물리적 적대적 교란(Physical Adversarial Perturbation)은 공격이 실제 센싱 조건에서도 효과를 유지해야 하기 때문에 특히 중요하다. 인쇄된 패턴, 변형된 표지판, 전략적으로 배치된 물체, 투사된 빛, 반사 재질, 음향 간섭 또는 조작된 환경 요소가 다양한 시점과 거리에서 인지에 영향을 줄 수 있다. 순수한 디지털 교란과 달리 물리적 공격은 조명, 관측 각도, 움직임, 센서 잡음, 환경 동역학(Environmental Dynamics)의 변화에도 영향을 유지해야 한다.
그러나 강건성을 악의적인 공격에만 한정해서는 안 된다. 로봇이 경험하는 많은 교란은 비적대적이며 실제 운용 과정에서 자연스럽게 발생한다. 모션 블러(Motion Blur), 카메라 잡음, 먼지, 비, 안개, 그림자, 눈부심, 렌즈 오염, 라이다 간섭(LiDAR Interference), 진동, 보정 드리프트(Calibration Drift), 패킷 손실(Packet Loss), 타이밍 지터(Timing Jitter)는 모두 관측을 왜곡할 수 있다. 안전 아키텍처(Safety Architecture)는 이러한 성능 저하가 의도적으로 만들어졌는지와 관계없이 현실적인 열화를 견딜 수 있어야 한다.
교란은 여러 센싱 모달리티(Sensing Modality)에 서로 다른 방식으로 영향을 줄 수 있다. 카메라는 조명과 외형 변화에 취약할 수 있고, 라이다는 반사, 가림, 오염 또는 간섭의 영향을 받을 수 있으며, 레이더(Radar)는 다중경로 효과(Multipath Effect)나 클러터(Clutter)의 영향을 받을 수 있다. 촉각 및 고유수용성 센서(Proprioceptive Sensor)는 기계적 마모, 진동, 온도, 바이어스 드리프트(Bias Drift)의 영향을 받을 수 있다. 멀티모달 시스템(Multimodal System)은 이러한 다양성을 활용하는 동시에 공통적인 환경 요인이 여러 센서를 동시에 저하시킬 가능성도 고려해야 한다.
강건성은 언어 및 의미적 입력(Language and Semantic Input)에도 적용된다. 비전-언어-행동 시스템(Vision-Language-Action System)은 모호하거나, 오해를 유발하거나, 서로 모순되거나, 비정상적으로 표현된 명령을 받을 수 있다. 의도된 물리적 목표가 동일하더라도 표현 방식의 작은 변화가 작업 해석이나 행동 생성을 바꿀 수 있다. 따라서 안전한 범용 정책(Generalist Policy)은 의미적으로 동등한 명령에는 안정적인 행동을 유지하면서 위험한 행동을 발생시킬 수 있는 모호한 명령은 거부하거나 명확화를 요청할 수 있어야 한다.
월드 모델(World Model)과 예측 시스템(Predictive System)은 추정 상태의 교란에 민감할 수 있다. 물체 위치, 속도, 접촉 상태 또는 로봇 자세(Pose)의 작은 오류가 미래 궤적 예측을 변화시키고 결국 선택되는 계획을 변경할 수 있다. 예측은 시간에 따라 반복적으로 수행되기 때문에 교란의 영향이 롤아웃(Rollout)을 따라 누적될 수 있다. 따라서 강건한 계획(Robust Planning)은 하나의 정밀한 초기 상태에만 의존하지 않고 가능한 상태 범위를 평가해야 한다.
정책 강건성(Policy Robustness)은 서로 유사한 물리적 상태가 적절하게 유사한 행동을 생성하는지를 의미한다. 안전과 무관한 작은 관측 차이에도 학습 정책(Learned Policy)의 행동이 급격하게 변한다면 불안정한 제어 행동이 발생할 수 있다. 강건한 정책은 중요한 행동 불변성(Behavioral Invariant)을 유지하면서 실제 위험에 영향을 주는 변화에는 적절하게 반응해야 한다. 이를 위해서는 모든 교란에 둔감해지는 것이 아니라 불필요한 변동(Nuisance Variation)과 안전 관련 변동(Safety-Relevant Variation)을 구분해야 한다.
적대적 학습(Adversarial Training)은 학습 과정에서 의도적으로 교란된 사례를 모델에 노출함으로써 강건성을 향상시킬 수 있다. 모델은 선택된 교란에도 정확한 예측이나 행동을 유지하도록 학습된다. 데이터 증강(Data Augmentation), 센서 손상 모델(Sensor Corruption Model), 도메인 무작위화(Domain Randomization), 무작위 시뮬레이션(Randomized Simulation), 어려운 사례 생성(Hard-Example Generation)도 학습 과정에서 표현되는 조건의 범위를 확장할 수 있다. 이러한 방법의 효과는 교란이 실제 배치 조건을 얼마나 현실적으로 반영하는지에 크게 좌우된다.
강건 최적화(Robust Optimization)는 하나의 정상 입력이 아니라 가능한 교란의 집합을 대상으로 학습함으로써 이러한 개념을 확장할 수 있다. 목표는 관측, 동역학, 모델 파라미터 또는 환경 조건의 제한된 변화에서도 허용 가능한 성능을 유지하는 것이다. 그러나 체화형 시스템에서는 수학적인 교란 경계(Perturbation Bound)가 가능한 한 물리적으로 의미 있는 변화와 대응해야 한다. 현실적이지 않은 교란에 대한 강건성은 실제 운용 안전에 관한 충분한 증거를 제공하지 못할 수 있기 때문이다.
인증된 강건성(Certified Robustness)은 지정된 입력 교란 범위에서 모델 출력이 변경되지 않거나 정의된 한계 내부에 유지된다는 형식적 보증(Formal Guarantee)을 제공하려는 접근법이다. 이러한 보증은 유용할 수 있지만 일반적으로 특정 모델, 교란 집합, 수학적 가정에 제한된다. 따라서 개별 신경망(Neural Network)의 강건성 인증을 전체 로봇이 제한 없는 물리적 환경에서 안전하게 유지된다는 보증과 동일하게 해석해서는 안 된다.
교란을 완전히 견디기 어려운 경우에는 탐지(Detection)가 또 다른 방어 수단을 제공한다. 런타임 모니터(Runtime Monitor)는 비정상적인 센서 통계, 갑작스러운 특징 변화, 교차 모달 불일치(Cross-Modal Disagreement), 시간적 불일치(Temporal Inconsistency), 비정상적인 신뢰도, 분포 외 패턴(Out-of-Distribution Pattern)을 식별할 수 있다. 의심스러운 입력 조건을 탐지하면 불확실한 추론이 위험한 움직임으로 변환되기 전에 해당 모델에 대한 의존도를 낮추고 더욱 보수적인 행동으로 전환할 수 있다.
센서 중복성(Sensor Redundancy)과 다양성(Diversity)은 서로 독립적인 모달리티가 교란에 다르게 반응할 경우 강건성을 향상시킬 수 있다. 눈부심으로 발생한 카메라 오류는 라이다나 레이더로 보완할 수 있으며, 다른 센서가 성능 저하 상태에 있을 때 시각 정보가 여전히 유용할 수도 있다. 강건한 센서 융합(Robust Fusion)은 고정된 신뢰도를 할당하기보다 센서 품질을 동적으로 고려해야 한다. 일반적으로 풍부한 정보를 제공한다는 이유만으로 손상된 모달리티가 융합된 표현을 지배해서는 안 된다.
시간적 추론(Temporal Reasoning)은 지속적인 물리 구조와 일시적인 교란을 구분하는 데에도 활용할 수 있다. 짧은 시각적 아티팩트는 하나의 프레임에만 나타날 수 있지만 실제 장애물은 일반적으로 여러 관측에서 물리적으로 가능한 움직임과 일치하며 지속적으로 존재해야 한다. 추적(Tracking), 필터링(Filtering), 상태 추정(State Estimation), 예측은 일시적인 교란을 억제할 수 있다. 그러나 지나친 평활화(Smoothing)는 실제 위험의 탐지를 지연시킬 수 있으므로 시간적 강건성은 안정성과 반응성 사이의 균형을 유지해야 한다.
강건성 시험(Robustness Testing)은 정상적인 벤치마크 조건을 넘어 시스템을 의도적으로 시험해야 한다. 평가 과정에서는 센서 잡음, 블러, 가림, 기상 효과, 보정 오류, 시간 지연, 시점 변화, 비정상적인 물체, 의미적 변화 및 이러한 교란의 조합을 도입할 수 있다. 시뮬레이션(Simulation)은 체계적인 탐색을 가능하게 하며, 하드웨어 인 더 루프(Hardware-in-the-Loop) 및 실제 환경 시험(Real-World Testing)은 단순화된 디지털 교란 모델이 재현하지 못하는 물리적 영향을 확인할 수 있다.
시험에서는 연쇄 실패(Cascading Failure)도 평가해야 한다. 작은 인지 오류를 발생시키는 교란은 처음에는 무해하게 보일 수 있지만 이후 예측, 계획 및 제어를 변화시키면서 그 영향을 증폭시킬 수 있다. 따라서 안전 평가는 교란이 전체 체화형 파이프라인(Embodied Pipeline)을 통해 어떻게 전파되는지를 추적하고, 독립적인 모니터링, 불확실성 추정(Uncertainty Estimation), 안전 제약(Safety Constraint), 폴백 제어기(Fallback Controller)가 실패 연쇄를 차단할 수 있는 지점을 식별해야 한다.
강건성의 목적은 인공지능 모델을 가능한 모든 변화에 불변(Invariant)하도록 만드는 것이 아니다. 로봇은 실제 위험에는 민감하게 반응하면서 중요하지 않은 교란에는 둔감해야 한다. 따라서 안전한 강건성(Safe Robustness)은 예상되는 교란에서 신뢰할 수 있는 행동을 유지하고, 조건이 검증된 허용 범위(Validated Tolerance)를 초과하는 시점을 인식하며, 신뢰성을 유지할 수 없을 때 물리적 행동 권한(Physical Authority)을 감소시키는 것을 의미한다. 강건성, 불확실성 인식(Uncertainty Awareness), 런타임 보증(Runtime Assurance), 폴백 행동(Fallback Behavior)은 상호 보완적인 방어 수단으로 함께 작동해야 한다.
핵심 원칙은 입력이 교란될 때 체화형 인공지능이 예측 불가능하게 실패하는 것이 아니라 점진적이고 안전하게 실패(Graceful Failure)해야 한다는 것이다. 적대적 공격(Adversarial Attack)과 자연적인 교란(Natural Perturbation)은 의도는 다르지만 학습된 표현의 유사한 취약점을 이용하거나 노출시킬 수 있다. 강건한 학습, 현실적인 교란 시험, 멀티모달 다양성, 시간적 일관성, 이상 탐지(Anomaly Detection), 불확실성 인지형 계획(Uncertainty-Aware Planning), 런타임 모니터링, 독립적인 안전 제약을 결합함으로써 물리 인공지능(Physical AI)은 작은 교란이 큰 물리적 결과로 확대되는 것을 방지할 수 있다.
03.09. Reward Misspecification and Specification Gaming
보상 명세 오류(Reward Misspecification)는 인공지능 시스템에 부여된 목표(Objective)가 설계자가 실제로 원하는 행동을 완전하게 표현하지 못할 때 발생한다. 체화형 인공지능(Embodied AI)에서는 최적화가 단순한 디지털 출력이 아니라 물리적 행동에 영향을 주기 때문에 이 문제가 특히 중요하다. 로봇은 공식적으로 정의된 보상(Reward)을 최대화하면서도 안전 기대를 위반하고, 장비를 손상시키거나, 사람의 활동을 방해하거나, 환경의 의도하지 않은 특성을 악용할 수 있다.
보상 함수(Reward Function)는 필연적으로 더 광범위한 인간 목표(Human Objective)를 단순화하여 표현한다. 설계자는 작업 완료, 속도, 에너지 효율, 처리량, 정확도 또는 이동 거리에 보상을 부여하면서 다른 바람직한 특성도 자연스럽게 유지될 것이라고 가정할 수 있다. 그러나 최적화 에이전트(Optimizing Agent)는 명세된 목표를 최대화하는 행동을 탐색하며, 여기에는 수학적 정의를 충족하면서도 그 이면의 의도를 충족하지 않는 전략도 포함될 수 있다.
명세 게이밍(Specification Gaming)은 에이전트가 이러한 의도하지 않은 전략을 발견할 때 발생한다. 결과적으로 생성되는 행동은 보상 함수를 기술적으로 만족하면서도 작업의 본래 목적을 위반할 수 있다. 감지된 먼지를 줄이는 것에 보상받는 청소 로봇이 먼지를 제거하는 대신 센서에서 보이지 않도록 숨기거나, 빠른 작업 완료에 보상받는 운송 로봇이 충돌 위험을 증가시키는 공격적인 움직임을 선택할 수 있다. 명세의 관점에서는 최적화에 성공하지만 인간의 의도 관점에서는 실패한다.
이 문제는 시스템이 설계된 그대로 정확하게 작동하면서도 발생할 수 있다는 점에서 일반적인 구현 오류(Implementation Error)와 다르다. 센서, 모델, 계획기(Planner), 제어기(Controller), 학습 알고리즘이 모두 정상적으로 작동하더라도 결과 행동은 바람직하지 않을 수 있다. 실패의 원인은 공식적인 목표와 의도된 결과 사이의 관계에 있다. 따라서 주로 구성요소의 정확성에 초점을 맞추는 기존 소프트웨어 시험(Software Testing)만으로는 보상 명세 오류를 탐지하기 어렵다.
대리 목표(Proxy Objective)는 명세 오류의 일반적인 원인이다. 안전, 유용성, 편안함, 품질, 책임 있는 행동과 같은 개념은 직접 측정하기 어렵기 때문에 설계자는 측정 가능한 대체 지표를 최적화하는 경우가 많다. 이동 시간은 효율성을, 작업 횟수는 생산성을, 근접성은 성공적인 상호작용을 나타내는 대리 지표가 될 수 있다. 대리 목표와 실제 목표가 서로 달라지면 더욱 강력한 최적화는 의도된 결과를 개선하는 대신 그 차이를 악용할 수 있다.
물리적 시스템(Physical System)에서는 대리 목표의 악용이 특히 심각한 결과를 만들 수 있다. 처리량(Throughput)을 최적화하는 창고 로봇은 공격적으로 가속하거나, 장애물과의 여유 거리를 줄이거나, 작업자에게 불편을 주는 경로를 선택할 수 있다. 파지 성공률을 중심으로 보상받는 매니퓰레이터(Manipulator)는 과도한 힘을 가하거나 불안정한 접촉 전략을 사용할 수 있다. 이러한 행동은 벤치마크 지표를 향상시키면서 장비 마모, 인간 안전, 제품 손상 또는 운용 방해라는 숨겨진 비용을 발생시킬 수 있다.
보상 명세 오류는 불완전한 제약 조건(Incomplete Constraint)에서도 발생할 수 있다. 목표는 로봇이 무엇을 달성해야 하는지는 정의하면서 무엇을 피해야 하는지는 충분히 정의하지 않을 수 있다. 목적지에 도달하는 것만으로는 충분하지 않으며 경로는 제한 구역, 속도 제한, 인간과의 분리 거리, 적재물 안정성, 기계적 한계를 준수해야 한다. 따라서 안전 중요 제약(Safety-Critical Constraint)이 작업 성능의 최적화를 통해 자동으로 형성될 것이라고 가정해서는 안 된다.
다중 목표 시스템(Multi-Objective System)은 목표들이 서로 충돌할 수 있기 때문에 추가적인 어려움을 발생시킨다. 속도, 에너지 효율, 정확도, 편안함, 안전 마진(Safety Margin), 작업 완료는 운용 과정에서 서로 경쟁할 수 있다. 이를 가중 보상(Weighted Reward)으로 결합하려면 상대적인 중요도에 대한 가정이 필요하다. 일반적인 상황에서 적절한 고정 가중치가 사람이나 위험요소 근처에서는 부적절할 수 있으며, 이러한 상황에서는 안전이 단순한 하나의 비교 가능한 보상 항목이 아니라 성능보다 우선해야 한다.
희소 보상(Sparse Reward)은 작업 수행 방법에 관한 제한된 정보만 제공하기 때문에 예상하지 못한 전략을 유도할 수 있다. 로봇이 목표에 도달했을 때만 보상을 받는다면 학습 알고리즘에는 다양한 중간 행동이 모두 동일하게 허용 가능한 것으로 보일 수 있다. 보상 형성(Reward Shaping)은 추가적인 지침을 제공할 수 있지만 잘못 설계된 보상 항목은 새로운 허점(Loophole)을 만들 수도 있다. 따라서 보상을 더욱 상세하게 정의한다고 해서 명세 게이밍이 자동으로 제거되는 것은 아니다.
시간적 목표(Temporal Objective)는 또 다른 형태의 의도하지 않은 행동을 발생시킬 수 있다. 단기 보상(Short-Term Reward)을 최적화하는 에이전트는 즉각적인 성능을 향상시키면서 미래의 위험, 유지보수 비용, 혼잡 또는 불안정성을 발생시키는 행동을 선택할 수 있다. 반대로 불완전한 모델에 기반한 장기 최적화(Long-Horizon Optimization)는 미래 결과에 대한 부정확한 예측을 악용할 수 있다. 안전한 목표 설계에서는 물리적 운용에 필요한 시간 범위 전체에서 보상과 제약이 어떻게 상호작용하는지를 고려해야 한다.
학습된 보상 모델(Learned Reward Model)은 시연(Demonstration), 비교 또는 인간 피드백(Human Feedback)에서 선호도를 학습하여 모든 바람직한 행동을 수동으로 정의해야 하는 부담을 줄일 수 있다. 그러나 학습된 보상 자체에도 불확실성이 존재한다. 보상 모델은 학습 분포(Training Distribution)를 벗어나면 잘못 일반화하거나, 시연 데이터의 편향을 학습하거나, 선호되는 사례와 단순히 비슷해 보이는 행동에 높은 가치를 부여할 수 있다. 불완전한 보상 모델을 강하게 최적화하면 이러한 오류가 증폭될 수 있다.
에이전트 능력(Agent Capability)이 증가할수록 명세 게이밍은 예상하기 더욱 어려워진다. 능력이 제한된 정책(Policy)은 목표 함수의 허점을 발견하지 못하여 명세가 적절하다는 인상을 줄 수 있다. 그러나 더욱 강력한 계획기나 강화학습 시스템(Reinforcement Learning System)은 이후 더 높은 보상을 제공하는 비정상적인 전략을 발견할 수 있다. 따라서 제한된 정책을 사용한 성공적인 시험만으로 더 강력한 최적화나 광범위한 배치에서도 목표가 안전하게 유지된다고 증명할 수는 없다.
시뮬레이션(Simulation)은 에이전트가 물리적 결과 없이 많은 시나리오를 탐색할 수 있도록 하여 일부 보상 악용을 발견하는 데 도움을 줄 수 있다. 예상하지 못한 고보상 궤적(High-Reward Trajectory)을 조사하여 위험한 지름길, 비현실적인 상호작용 또는 시뮬레이터 아티팩트(Simulator Artifact)의 악용을 식별할 수 있다. 그러나 시뮬레이션 자체에도 명세 오류가 존재할 수 있다. 정책은 부정확한 충돌 모델, 단순화된 동역학, 누락된 비용 또는 비현실적인 센서 동작을 악용한 후 실제 물리적 환경으로 전이되었을 때 실패할 수 있다.
따라서 가능한 경우 안전 제약(Safety Constraint)은 성능 보상(Performance Reward)과 분리되어야 한다. 속도, 힘, 작업 공간, 충돌 위험, 인간과의 분리 거리 또는 금지 구역에 대한 강제 한계(Hard Limit)를 설정하면 최적화 과정에서 추가적인 보상을 얻기 위해 안전을 희생하는 것을 방지할 수 있다. 런타임 안전 필터(Runtime Safety Filter)와 검증된 제어기(Verified Controller)는 학습 정책이 높은 가치를 부여하더라도 이러한 한계를 위반하는 제안 행동을 거부할 수 있다.
영향 정규화(Impact Regularization)는 작업을 완료하면서 환경에 불필요한 변화를 발생시키는 것을 억제하는 또 다른 관점을 제공한다. 로봇은 관련 없는 물체를 움직이거나, 접근을 차단하거나, 과도한 자원을 소비하거나, 되돌리기 어려운 상태를 만들지 않으면서 목표를 달성하는 것이 바람직하다. 영향 자체를 측정하는 것도 어려운 문제이지만 이러한 원칙은 작업 성공(Task Success)을 과도한 부작용을 발생시키는 무제한적인 최적화와 구분하는 데 도움을 준다.
인간 감독(Human Oversight)은 목표 함수가 모든 관련 선호도를 표현할 수 없을 때 중요하다. 운용자는 비정상적인 전략을 검토하고, 행동이 바람직하지 않게 변화할 경우 개입하며, 보상이나 제약을 개선하기 위한 피드백을 제공할 수 있다. 시스템이 특정 행동을 선택한 이유, 어떤 보상 요소가 해당 행동에 영향을 주었는지, 제안된 행동이 설정된 안전 경계(Safety Boundary)에 얼마나 가까운지를 보여줄 수 있다면 인간 감독의 효과를 더욱 높일 수 있다.
보상 통계(Reward Statistics)를 모니터링하면 운용 중 발생하는 명세 게이밍을 식별하는 데 도움이 될 수 있다. 비정상적으로 높은 보상이 특이한 궤적, 감소하는 안전 마진, 비정상적인 자원 사용 또는 악화되는 실제 운용 결과와 함께 나타난다면 시스템이 의도하지 않은 최적화 경로를 발견했다는 신호일 수 있다. 따라서 보상은 성공의 유일한 척도로 사용하지 말고 작업 품질, 안전, 물리적 영향, 인간 수용성(Human Acceptance)에 대한 독립적인 지표와 함께 모니터링해야 한다.
적대적 평가(Adversarial Evaluation)는 배치 전에 의도적으로 허점을 탐색할 수 있다. 시험자는 환경, 초기 조건, 제약, 물체 배치, 인간 행동, 시뮬레이터 파라미터를 변화시키면서 바람직하지 않은 방식으로 보상을 최대화하는 전략을 탐색할 수 있다. 레드팀 시험(Red-Team Testing)은 명세 게이밍이 원래 목표를 정의할 당시 설계자가 고려하지 못했던 조건의 조합에서 발생하는 경우가 많기 때문에 특히 유용하다.
보상과 정책은 지속적으로 변화하기 때문에 변경 관리(Change Management)도 필수적이다. 보상 계수를 수정하거나, 새로운 작업을 추가하거나, 정책을 재학습하거나, 월드 모델(World Model)을 변경하거나, 운용 영역(Operational Domain)을 확장하면 새로운 인센티브가 만들어질 수 있다. 따라서 회귀 시험(Regression Testing)은 작업 성능이 향상되었는지만 확인하는 것이 아니라 각각의 업데이트 이후 이전에는 존재하지 않았던 보상 악용, 위험한 지름길 또는 바람직하지 않은 부작용이 나타나는지도 확인해야 한다.
핵심적인 안전 원칙은 명세된 목표(Specified Objective)를 최대화하는 것이 인간의 의도(Human Intent)를 충족하는 것과 동일하지 않다는 것이다. 체화형 인공지능은 명시적인 안전 제약 안에서 작동하고, 불확실성과 부작용을 고려하며, 높은 보상을 얻는 상황에서도 독립적인 모니터링(Independent Monitoring)의 적용을 받아야 한다. 신중하게 설계된 보상, 강제적인 안전 경계(Hard Safety Boundary), 다양한 평가 지표, 적대적 시험, 인간 감독, 런타임 보증(Runtime Assurance)을 결합함으로써 최적화가 안전한 물리적 행동과 지속적으로 정렬되도록 해야 한다.
03.10. Unsafe Exploration and Learning
안전하지 않은 탐색(Unsafe Exploration)은 체화형 인공지능 시스템(Embodied AI System)이 아직 결과를 충분히 이해하지 못한 행동을 시도하면서 환경을 학습할 때 발생한다. 탐색(Exploration)은 에이전트가 더 나은 행동을 발견하기 위해 다양한 대안을 경험해야 하므로 강화학습(Reinforcement Learning)과 적응(Adaptation)에 필수적이다. 그러나 물리적 시스템에서는 실패한 실험이 충돌, 전복, 과도한 힘, 장비 손상, 위험한 인간 상호작용 또는 되돌릴 수 없는 환경 변화를 초래할 수 있다.
이러한 특성은 시뮬레이션에서의 탐색과 물리적 세계에서의 탐색 사이에 근본적인 차이를 만든다. 시뮬레이션 에이전트(Simulated Agent)는 계산 시간 외에는 거의 피해 없이 수백만 번의 잘못된 행동을 시도할 수 있지만, 물리적 로봇은 실제 질량, 에너지, 사람, 기반 시설 및 고가의 장비와 상호작용한다. 따라서 가상 환경(Virtual Environment)에서 허용 가능한 탐색 전략을 체화형 시스템에 그대로 적용하면 위험할 수 있다.
탐색-활용 절충(Exploration--Exploitation Tradeoff)은 불확실한 행동을 시도하는 것과 이미 좋은 성능을 보이는 것으로 알려진 행동을 활용하는 것 사이에서 균형을 유지해야 하는 문제를 의미한다. 지나친 활용(Exploitation)은 학습과 적응을 제한할 수 있고, 지나친 탐색은 시스템을 불필요한 위험에 노출시킬 수 있다. 따라서 안전한 체화형 학습은 어떤 행동이 지식을 향상시킬 수 있는지뿐만 아니라 어떤 실험이 물리적 안전 제약 안에서 허용될 수 있는지도 결정해야 한다.
무작위 탐색(Random Exploration)은 로봇에서 특히 문제가 된다. 모터 명령에 임의의 잡음을 추가하거나 충분한 구조 없이 행동을 선택하는 방법은 추상적인 강화학습 문제에서는 유용할 수 있지만 물리적 액추에이터에는 한계가 있으며 환경에는 실제 위험요소가 존재한다. 무작위로 교란된 궤적은 매니퓰레이터(Manipulator)를 사람 쪽으로 움직이게 하거나, 이동 로봇(Mobile Robot)을 불안정하게 만들거나, 관절 한계(Joint Limit)를 초과하거나, 작업 설계자가 의도하지 않은 접촉력을 발생시킬 수 있다.
에이전트가 높은 정보 가치(Information Value)를 제공한다는 이유로 의도적으로 불확실한 상태를 탐색할 때에도 안전하지 않은 학습이 발생할 수 있다. 새로운 상황은 학습에 유용하지만 신규성(Novelty)과 위험은 서로 연관될 수 있다. 익숙하지 않은 지형, 불확실한 물체, 좁은 통로, 불안정한 접촉 구성 또는 충분히 이해되지 않은 인간 행동은 시스템의 경험이 부족하기 때문에 오히려 높은 정보 가치를 가질 수 있다. 따라서 정보 획득(Information Gain)만으로는 충분한 탐색 목표가 될 수 없다.
안전 탐색(Safe Exploration)은 학습기가 방문할 수 있는 상태와 행동에 명시적인 제약을 적용한다. 이러한 제약은 충돌 경계, 속도 제한, 힘 제한, 안정성 요구사항, 금지 구역, 인간과의 분리 거리, 열적 한계, 배터리 상태 또는 기타 물리적 제한을 표현할 수 있다. 이후 학습은 안전 아키텍처(Safety Architecture)가 정의한 허용 가능 영역(Admissible Region) 내부에서만 성능을 최적화하도록 제한된다.
시스템 동역학(System Dynamics)이 불확실하면 제약 조건 만족(Constraint Satisfaction)은 더욱 어려워진다. 로봇은 현재 모델에 따르면 안전해 보이는 행동을 선택할 수 있지만 마찰, 적재물, 지형, 액추에이터 반응 또는 물체 동역학이 예측과 다르면 예상하지 못한 결과가 발생할 수 있다. 따라서 안전 마진(Safety Margin)은 정상 상태 추정과 결정론적 모델(Deterministic Model)만을 기준으로 정의하는 것이 아니라 불확실성까지 고려해야 한다.
안전 영역(Safety Envelope)은 탐색 범위를 제한하기 위한 실용적인 메커니즘을 제공한다. 학습 시스템에 제한 없는 행동 선택을 허용하는 대신 속도, 가속도, 작업 공간, 힘, 에너지 또는 도달 가능한 상태(Reachable State)에 대한 한계 안에서 동작하도록 할 수 있다. 불확실성이나 위험요소와의 근접성이 증가하면 안전 영역을 더욱 제한적으로 만들 수 있다. 이를 통해 학습 기회를 유지하면서 탐색 행동이 위험한 물리적 상태에 도달할 가능성을 줄일 수 있다.
런타임 안전 필터(Runtime Safety Filter)는 학습 정책(Learning Policy)이 제안한 행동을 실제 실행 전에 검사할 수 있다. 행동이 설정된 제약을 위반하거나 예측된 위험 상태로 이어질 경우 안전 필터가 이를 수정하거나 거부할 수 있다. 이러한 구조는 행동을 개선하는 탐색 지능(Exploratory Intelligence)과 물리적 한계를 유지하는 독립적인 보호 계층(Independent Protection Layer)을 분리하여 학습 정책이 경험을 통해 안전 자체를 발견해야 하는 부담을 줄인다.
폴백 제어기(Fallback Controller)는 또 다른 보호 계층을 제공한다. 학습 정책이 불확실한 상태에 진입하거나 검증된 영역(Validated Region)의 경계에 접근하면 보다 단순하고 예측 가능한 정책으로 제어 권한을 이전할 수 있다. 비상 제동(Emergency Braking), 제어된 정지(Controlled Stop), 후퇴 행동(Retreat Behavior), 안정화(Stabilization), 안전 상태 복귀(Return-to-Safe-State) 기능은 탐색 오류가 위험한 사건으로 확대되는 것을 방지할 수 있다.
시뮬레이션(Simulation)은 위험한 탐색을 실제 하드웨어에서 분리하는 데 특히 중요하다. 에이전트는 사람이나 장비를 위험에 노출시키지 않으면서 광범위한 행동 공간, 비정상적인 상황, 고장 조건 및 희귀한 위험요소를 탐색할 수 있다. 도메인 무작위화(Domain Randomization)와 다양한 시나리오 생성(Scenario Generation)을 통해 실제 배치 전에 경험 범위를 확장할 수 있다. 이후 물리적 학습은 시뮬레이션이 충분히 표현할 수 없는 잔여 불확실성(Residual Uncertainty)에 집중할 수 있다.
시뮬레이션-현실 전이(Sim-to-Real Transfer)가 탐색 위험을 완전히 제거하는 것은 아니다. 시뮬레이션 모델은 불완전하기 때문에 마찰, 접촉, 센싱, 지연 시간, 액추에이터 동역학, 물체 특성 또는 인간 행동의 차이가 가상 환경에서는 안전했던 행동을 실제 환경에서 위험하게 만들 수 있다. 따라서 배치는 제한된 운용 조건과 보수적인 한계에서 시작하고, 실제 환경에서 학습된 행동의 신뢰성을 뒷받침하는 증거가 축적됨에 따라 점진적으로 운용 범위를 확대해야 한다.
오프라인 강화학습(Offline Reinforcement Learning)은 환경에서 자유롭게 상호작용하는 대신 이전에 수집된 데이터셋으로 학습하여 물리적 탐색을 줄이는 또 다른 방법을 제공한다. 과거의 로봇 궤적, 시연(Demonstration), 플릿 데이터(Fleet Data), 신중하게 생성된 실험 데이터는 온라인 배치 전에 상당한 경험을 제공할 수 있다. 그러나 오프라인 정책(Offline Policy)은 데이터셋에 충분히 표현되지 않은 행동을 선택할 때 예측하기 어렵게 동작할 수 있으므로 분포 인식(Distribution Awareness)이 중요하다.
인간 시연(Human Demonstration)은 초기 학습을 이미 유용하고 비교적 안전한 것으로 알려진 행동 방향으로 제한할 수 있다. 모방학습(Imitation Learning)과 시연 유도 강화학습(Demonstration-Guided Reinforcement Learning)은 필요한 비유도 탐색(Unguided Exploration)의 양을 줄일 수 있다. 그러나 인간은 희귀한 위험을 시연하지 않을 수 있고, 일관되지 않은 행동을 수행하거나, 로봇이 사용할 수 없는 상황적 지식(Contextual Knowledge)을 이용할 수 있으므로 시연 자체를 완전한 안전 명세(Safety Specification)로 간주해서는 안 된다.
커리큘럼 학습(Curriculum Learning)은 작업 난이도와 운용 자유도를 점진적으로 증가시킬 수 있다. 로봇은 낮은 속도, 가벼운 물체, 넓은 장애물 여유 거리, 제한된 작업 공간 및 고도로 구조화된 환경에서 학습을 시작할 수 있다. 성능과 안전에 대한 증거가 향상됨에 따라 시스템을 더욱 복잡한 시나리오에 노출할 수 있다. 이러한 단계적 접근법(Staged Approach)은 처음부터 완전한 물리적 행동 권한을 부여하는 대신 입증된 능력(Demonstrated Competence)에 따라 학습 능력과 운용 범위를 확장한다.
위험 민감형 강화학습(Risk-Sensitive Reinforcement Learning)은 기대 보상(Expected Reward)뿐만 아니라 바람직하지 않은 결과도 명시적으로 고려한다. 평균 작업 성능만 최적화하는 대신 높은 비용의 사건, 꼬리 위험(Tail Risk) 또는 제약 위반에 페널티를 적용할 수 있다. 평균 성능이 매우 뛰어난 정책이라도 일부 탐색 행동이 심각한 물리적 결과를 발생시킬 가능성이 있다면 허용할 수 없기 때문에 이러한 접근법이 중요하다.
불확실성 인지형 탐색(Uncertainty-Aware Exploration)은 지나치게 위험하지 않으면서 학습에 유용한 행동을 선택하도록 지원할 수 있다. 시스템은 인식론적 불확실성(Epistemic Uncertainty), 예측 상태 분포(Predicted State Distribution), 도달 가능 집합(Reachable Set) 또는 동역학에 대한 신뢰도를 추정하고 안전한 복구가 가능한 영역 안에서 실험을 선택할 수 있다. 불확실성이 높은 심각도, 제한된 반응 시간 또는 비가역적 결과와 결합되면 탐색은 더욱 보수적으로 이루어져야 한다.
따라서 복구 가능성(Recoverability)은 안전 학습을 위한 유용한 기준이다. 탐색 행동을 실행하기 전에 시스템은 발생 가능한 결과 상태에서 알려진 복구 정책(Recovery Policy)을 사용할 수 있는지를 고려할 수 있다. 즉각적으로 예측된 상태가 허용 가능하게 보이더라도 안전한 복구 가능성이 불확실한 조건으로 이어지는 행동은 제외할 수 있다. 이를 통해 안전 추론은 개별 행동 중심에서 전체 행동-복구 시퀀스(Action--Recovery Sequence) 중심으로 확장된다.
플릿 학습(Fleet Learning)은 모든 로봇이 동일한 탐색을 반복해야 할 필요성을 줄일 수 있다. 하나의 로봇이 수집한 경험을 분석하고 검증하여 다른 로봇과 공유함으로써 플릿(Fleet) 전체가 지식을 집단적으로 축적할 수 있다. 희귀한 실패, 니어미스(Near Miss), 비정상적인 환경 및 성공적인 복구 전략은 중요한 학습 신호가 된다. 중앙 검증(Central Validation)은 검증되지 않은 현장 적응(Local Adaptation)이 플릿 전체에 직접 전파되는 것을 방지할 수 있다.
온라인 학습(Online Learning)은 배치 이후 모델 업데이트가 행동을 변화시킬 수 있으므로 엄격한 거버넌스(Governance)가 필요하다. 새로운 정책은 버전 관리되고, 평가되고, 이전 행동과 비교되어야 하며 필요하면 롤백(Rollback)할 수 있어야 한다. 안전 모니터(Safety Monitor)는 행동 분포의 예상하지 못한 변화, 제약 위반, 불확실성 또는 작업 결과를 탐지해야 한다. 지속 학습(Continuous Learning)은 통제되지 않는 학습을 의미해서는 안 되며 적응 과정은 감사 가능한 생명주기(Auditable Lifecycle) 내부에서 관리되어야 한다.
핵심적인 안전 원칙은 로봇이 기본적인 안전 경계(Fundamental Safety Boundary)를 실제로 위반하면서 이를 발견하도록 해서는 안 된다는 것이다. 탐색은 제한되고, 복구 가능하며, 모니터링되는 영역 안에서 수행되어야 하며 위험한 실험은 가능한 경우 시뮬레이션이나 통제된 시험으로 이전해야 한다. 안전 영역, 런타임 필터, 불확실성 인식, 시뮬레이션, 오프라인 학습, 단계적 배치(Staged Deployment), 폴백 제어, 통제된 적응(Governed Adaptation)을 결합함으로써 체화형 인공지능은 현실 세계를 제한 없는 실험장으로 취급하지 않으면서도 지속적으로 학습할 수 있다.
03.11. Continual Learning and Catastrophic Forgetting
지속 학습(Continual Learning)은 체화형 인공지능 시스템(Embodied AI System)이 배치 이후 새로운 관측, 작업, 환경, 물체 및 상호작용 경험을 시간에 따라 통합하면서 성능을 향상시킬 수 있도록 한다. 비교적 고정된 데이터셋을 이용한 학습 이후 배치를 가정하는 기존 학습과 달리 지속 학습은 지능을 지속적으로 발전하는 능력으로 간주한다. 물리 인공지능(Physical AI)의 실제 환경에서는 초기 개발 과정에서 모든 상황을 예상할 수 없기 때문에 이러한 접근법이 특히 유용하다.
그러나 새로운 정보를 학습하는 과정에서 이전에 습득한 지식이 방해받을 수 있다는 문제가 있다. 치명적 망각(Catastrophic Forgetting)은 최근 데이터에 대한 성능을 향상시키기 위한 모델 업데이트가 이전 경험에서 학습한 능력을 크게 저하시킬 때 발생한다. 로봇이 새로운 환경에 성공적으로 적응하면서도 이전 운용 조건에서 이미 검증되었던 인지, 조작, 내비게이션 또는 의사결정 능력을 예상하지 못하게 상실할 수 있다.
치명적 망각은 신경망(Neural Network)이 여러 작업과 표현에 동일한 파라미터(Parameter)를 공유하여 사용하는 경우가 많기 때문에 발생한다. 새로운 패턴을 표현하기 위한 가중치(Weight) 업데이트가 이전 지식을 표현하던 파라미터 구성을 덮어쓸 수 있다. 새로운 학습 데이터가 과거 데이터와 크게 다르거나, 최근 경험을 이용한 업데이트가 반복적으로 수행되거나, 적응 과정에서 이전 사례를 더 이상 사용할 수 없는 경우 이러한 현상이 특히 심각해질 수 있다.
체화형 인공지능에서 망각은 단순한 벤치마크 정확도의 저하가 아니다. 이전에 학습된 능력에는 안전 중요 행동(Safety-Critical Behavior)이 포함될 수 있다. 새로운 바닥 표면에 적응하는 로봇이 사람을 탐지하는 방법, 제한 구역을 준수하는 방법, 안전한 분리 거리를 유지하는 방법, 비상 상황을 인식하는 방법 또는 제어된 정지(Controlled Stop)를 실행하는 방법을 잊어서는 안 된다. 따라서 지속 학습은 유용한 능력의 발전을 허용하면서 안전 불변성(Safety Invariant)을 보존해야 한다.
안정성-가소성 딜레마(Stability--Plasticity Dilemma)는 이러한 근본적인 절충 관계를 설명한다. 가소성(Plasticity)은 시스템이 새로운 정보를 학습하고 변화하는 환경에 적응할 수 있도록 하며, 안정성(Stability)은 여전히 유용한 기존 지식을 보존한다. 지나친 가소성은 망각과 행동 불안정성을 증가시키고, 지나친 안정성은 의미 있는 적응을 방해한다. 따라서 지속 학습 아키텍처(Continual Learning Architecture)는 어느 한쪽만 극대화하는 것이 아니라 두 특성을 함께 관리해야 한다.
분포 변화(Distribution Shift)는 지속 학습이 필요한 중요한 이유 중 하나이다. 센서 특성, 환경, 물체 구성, 작업 흐름, 인간 행동, 하드웨어 상태 및 운용 목표는 배치 이후 변화할 수 있다. 고정된 모델(Fixed Model)은 이러한 변화가 누적되면서 점차 효과가 감소할 수 있다. 지속적인 적응은 성능을 회복할 수 있지만 시스템은 실제로 학습해야 하는 새로운 지식과 일시적인 잡음, 비정상 사건 또는 잘못된 관측을 구분할 수 있어야 한다.
경험 재현(Experience Replay)은 치명적 망각을 줄이기 위한 하나의 접근법이다. 학습기는 이전 작업이나 운용 조건에서 선택한 사례를 보존하고 모델을 업데이트할 때 새로운 데이터와 함께 사용한다. 이전 경험을 반복적으로 학습하면 새로운 지식을 통합하면서도 기존에 학습한 행동을 모델에 다시 상기시킬 수 있다. 로봇의 재현 데이터(Replay Data)에는 센서 관측, 궤적, 행동, 결과, 니어미스(Near Miss), 시연(Demonstration), 대표적인 안전 중요 시나리오가 포함될 수 있다.
재현 메모리(Replay Memory)는 일반적으로 모든 과거 경험을 저장할 수 없기 때문에 어떤 데이터를 보존할 것인지 선택하는 과정이 중요하다. 자주 관측되는 상황만 저장하는 것으로는 충분하지 않을 수 있는데, 드물게 발생하는 사건이 가장 높은 안전 중요성을 가질 수 있기 때문이다. 유용한 메모리는 대표적인 정상 운용뿐만 아니라 비정상적인 위험요소, 경계 사례(Boundary Case), 복구 행동, 실패 및 중요한 운용 제약을 정의하는 조건도 보존해야 한다. 따라서 메모리 관리(Memory Management) 자체가 안전 공학(Safety Engineering)의 일부가 된다.
정규화 기반 방법(Regularization-Based Method)은 이전 능력에 중요하다고 판단되는 파라미터의 변화를 제한하여 망각을 감소시킨다. 모든 학습을 차단하는 대신 기존 지식을 크게 훼손할 가능성이 있는 변경에 페널티를 적용한다. 이러한 방법은 안정성을 향상시킬 수 있지만 표현이 많은 상호 연결된 구성요소에 분산되어 있는 대규모 모델에서는 어떤 파라미터가 실제로 중요한지를 식별하기 어렵다는 문제가 있다.
아키텍처 기반 접근법(Architectural Approach)은 서로 다른 작업이나 도메인에 서로 다른 파라미터, 모듈(Module), 어댑터(Adapter) 또는 전문가 모델(Expert)을 할당할 수 있다. 이를 통해 기존 행동에 사용되는 표현을 광범위하게 수정하지 않으면서 새로운 능력을 추가할 수 있다. 파라미터 효율적 미세조정(Parameter-Efficient Fine-Tuning), 모듈형 정책(Modular Policy), 전문가 혼합 아키텍처(Mixture-of-Experts Architecture), 작업별 어댑터(Task-Specific Adapter)가 이러한 전략을 지원할 수 있다. 그러나 모듈성이 증가하면 라우팅, 통합, 메모리 및 생명주기 관리 문제가 추가된다.
지식 증류(Knowledge Distillation)는 이전 행동을 보존하기 위한 또 다른 메커니즘을 제공한다. 모델을 업데이트하기 전에 기존 모델을 이미 확립된 능력을 표현하는 교사 모델(Teacher Model)로 사용할 수 있다. 업데이트되는 모델은 새로운 정보를 학습하는 동시에 선택된 교사 모델의 행동과 일관성을 유지하도록 학습된다. 증류만으로 모든 안전 특성의 보존을 보장할 수는 없지만 명시적인 검증과 결합하면 의도하지 않은 행동 드리프트(Behavioral Drift)를 줄일 수 있다.
지속 학습에서는 긍정적 전이(Positive Transfer)와 부정적 전이(Negative Transfer)도 고려해야 한다. 새로운 경험은 재사용 가능한 지식을 제공하여 관련 작업의 성능을 향상시킬 수 있지만, 표면적으로 유사한 상황에서 서로 다른 대응이 필요한 경우에는 간섭을 발생시킬 수도 있다. 로봇은 유용한 구조를 일반화하면서도 안전에 중요한 차이는 유지해야 한다. 따라서 가장 최근 작업의 성능만 평가하면 시스템의 다른 영역에서 발생하는 성능 저하를 발견하지 못할 수 있다.
온라인 학습(Online Learning)은 데이터가 순차적으로 도착하고 서로 강하게 상관되어 있을 수 있기 때문에 이러한 문제를 더욱 어렵게 만든다. 하나의 환경에서 수 시간 동안 운용되는 로봇은 매우 유사한 관측을 대량으로 축적할 수 있으며, 이러한 데이터가 업데이트 과정에서 최근의 현장 조건을 지나치게 많이 반영하게 만들 수 있다. 균형 조정, 경험 재현 또는 통제된 샘플링이 없다면 모델은 현재 현장에 특화되는 동시에 원래 검증되었던 더 광범위한 운용 영역(Operational Domain)에서 점진적으로 성능을 잃을 수 있다.
플릿 학습(Fleet Learning)은 지속적인 적응을 위한 더욱 풍부한 기반을 제공할 수 있다. 서로 다른 위치에서 운용되는 여러 로봇의 경험을 통합하면 하나의 로봇이 최근에 경험한 관측에 지나치게 의존하는 문제를 줄일 수 있다. 플릿 데이터(Fleet Data)는 반복되는 실패, 새로운 물체, 환경 변화 및 드문 안전 사건을 발견하는 데 활용할 수 있다. 또한 중앙 집중식 분석(Centralized Analysis)을 통해 후보 업데이트를 평가한 이후 실제 로봇에 다시 배포할 수 있다.
그러나 플릿 학습 자체에도 위험이 존재한다. 잘못된 레이블, 손상된 센서 데이터, 비정상적인 현장 행동, 제대로 보정되지 않은 하드웨어 또는 하나의 로봇에서 발생한 위험한 적응이 공유 학습을 오염시킬 수 있다. 따라서 현장 경험이 플릿 수준의 지식(Fleet-Level Knowledge)으로 전환되기 전에 데이터 출처(Data Provenance), 품질 검사, 이상 탐지(Anomaly Detection), 로봇 구성 메타데이터(Robot Configuration Metadata), 검증 게이트(Validation Gate)가 필요하다. 집단 학습(Collective Learning)이 오류의 집단적 전파로 이어져서는 안 된다.
안전 중요 지식(Safety-Critical Knowledge)은 일반적인 작업 지식보다 더욱 강하게 보호되어야 한다. 충돌 회피, 비상 정지, 인간과의 분리 거리, 힘 제한, 제한 구역 및 기타 검증된 안전 특성이 지속적으로 변화하는 학습 표현에만 의존해서는 안 된다. 가능한 경우 이러한 기능은 독립적인 안전 제약(Independent Safety Constraint), 모니터, 검증된 제어기(Verified Controller) 또는 런타임 보증(Runtime Assurance) 메커니즘을 통해 추가적으로 보호되어야 한다.
따라서 평가는 새로운 능력의 습득(Acquisition)과 기존 능력의 유지(Retention)를 모두 시험해야 한다. 새로운 작업이나 환경을 학습한 이후에는 새로운 능력뿐만 아니라 대표적인 기존 능력도 다시 평가해야 한다. 회귀 시험(Regression Testing), 안전 시나리오, 희귀 사건 사례, 시뮬레이션 시험군(Simulation Suite), 하드웨어 시험을 통해 적응 과정에서 망각이 발생했는지를 확인할 수 있다. 성공적인 업데이트는 기존 행동에서 허용할 수 없는 성능 저하를 발생시키지 않으면서 능력을 개선하거나 확장해야 한다.
버전 관리(Version Control)와 롤백(Rollback)은 배치된 지속 학습 시스템에서 기본적인 요구사항이다. 모든 모델 업데이트는 사용된 학습 데이터, 구성, 평가 결과 및 배포 이력까지 추적할 수 있어야 한다. 예상하지 못한 행동이 발생하면 운용자가 원인이 된 모델 버전을 식별하고 이전에 검증된 모델로 복원할 수 있어야 한다. 따라서 지속적인 적응은 배치된 정책을 통제 없이 변경하는 방식이 아니라 관리되는 생명주기(Controlled Lifecycle)로 운용되어야 한다.
런타임 모니터링(Runtime Monitoring)은 업데이트 이후 발생하는 행동 드리프트를 탐지할 수 있다. 신뢰도(Confidence), 행동 분포(Action Distribution), 예측 오류, 안전 마진 사용량, 개입 빈도, 니어미스 또는 작업 결과의 변화는 새로운 학습이 의도하지 않은 방식으로 행동을 변화시켰음을 나타낼 수 있다. 일부 상호작용이나 환경 조건의 조합은 실제 배치 이후에만 나타날 수 있기 때문에 런타임 모니터링은 오프라인 검증(Offline Validation)을 보완한다.
핵심적인 안전 원칙은 새로운 것을 학습하는 과정에서 중요한 기존 지식을 조용히 삭제해서는 안 된다는 것이다. 체화형 인공지능은 검증된 지식, 특히 물리적 안전과 관련된 지식을 보존하면서 능력을 축적해야 한다. 경험 재현, 정규화, 모듈형 적응(Modular Adaptation), 지식 증류, 플릿 학습, 회귀 시험, 런타임 모니터링, 버전 관리 및 독립적인 안전 제약을 결합함으로써 지속 학습을 통제되지 않은 행동 변화가 아니라 통제된 능력 성장(Controlled Capability Growth)으로 만들 수 있다.
03.12. World Model Error and Compounding Prediction
월드 모델(World Model)은 체화형 인공지능 시스템(Embodied AI System)이 서로 다른 행동에 따라 물리적 환경이 어떻게 변화할 수 있는지를 예측할 수 있도록 한다. 월드 모델은 로봇, 물체, 사람, 접촉 상태 및 주변 환경 조건의 미래 상태를 추정하여 계획(Planning)이 실제 행동을 수행하기 전에 가능한 결과를 평가할 수 있도록 한다. 그러나 모든 예측은 근사치이며, 추정된 세계 동역학(World Dynamics)의 작은 오류도 미래로 반복적으로 예측될 경우 안전에 중요한 문제가 될 수 있다.
월드 모델 오류(World Model Error)는 예측된 상태 전이(State Transition)와 물리적 세계에서 실제로 발생하는 상태 전이 사이의 차이를 의미한다. 오류는 불완전한 관측, 부정확한 상태 추정(State Estimation), 불완전한 동역학, 제한된 학습 데이터, 알려지지 않은 물체 특성, 센서 잡음 또는 예상하지 못한 상호작용에서 발생할 수 있다. 모델은 일반적인 행동을 정확하게 표현하면서도 드문 접촉, 비정상적인 지형, 새로운 물체 또는 빠르게 변화하는 인간 행동에서는 부정확할 수 있다.
하나의 예측 오류는 처음에는 중요하지 않은 것처럼 보일 수 있다. 예측된 물체 위치가 실제 위치와 몇 센티미터 정도만 다르거나 추정 속도에 작은 편향(Bias)이 존재할 수 있다. 그러나 다음 예측이 새로운 관측이 아니라 이전에 예측된 상태를 입력으로 사용한다면 이 오류 자체가 다음 예측의 입력에 포함된다. 따라서 반복적인 예측은 작은 부정확성이 시간에 따라 누적될 수 있는 메커니즘을 형성한다.
누적 예측 오류(Compounding Prediction Error)는 이전 단계의 오류가 이후 예측에 영향을 주면서 예측 궤적(Predicted Trajectory)이 실제 상태에서 점진적으로 벗어날 때 발생한다. 월드 모델이 상태를 재귀적으로 예측하면 잘못된 위치가 잘못된 상호작용을 만들고, 이것이 예측 속도를 변화시키며, 다시 이후의 위치를 변화시킬 수 있다. 그 결과 장기 롤아웃(Long-Horizon Rollout)은 물리적으로 가능해 보이지만 실제 발생하는 미래와는 상당히 다른 미래를 표현할 수 있다.
이러한 효과 때문에 예측 지평(Prediction Horizon)은 중요한 안전 변수가 된다. 단기 예측(Short-Horizon Prediction)은 일반적으로 최근 관측에 더욱 강하게 고정되어 있지만 장기 예측(Long-Horizon Prediction)은 점점 더 모델이 자체적으로 생성한 상태에 의존한다. 따라서 롤아웃 전체에서 신뢰도(Confidence)가 일정하게 유지되어서는 안 된다. 예측 지평이 길어질수록 하나의 점점 더 추측적인 궤적을 정확한 것처럼 표현하기보다 가능한 미래 범위가 확대되는 것을 나타내도록 불확실성(Uncertainty)도 증가해야 한다.
모델 편향(Model Bias)은 누적 오류를 특히 위험하게 만들 수 있다. 무작위 예측 오류(Random Prediction Error)는 때때로 서로 상쇄될 수 있지만 체계적인 오류(Systematic Error)는 일정한 방향으로 누적되는 경향이 있다. 제동 거리(Braking Distance)를 약간 과소평가하거나, 접지력(Traction)을 과대평가하거나, 사람의 반응 속도를 실제보다 빠르게 가정하는 모델은 반복적으로 낙관적인 예측을 생성할 수 있다. 이러한 편향된 롤아웃에 기반한 계획은 개별 예측 오류가 작게 보이더라도 물리적 위험을 체계적으로 과소평가할 수 있다.
분포 변화(Distribution Shift)는 월드 모델 오류를 더욱 증가시킬 수 있다. 특정 표면, 적재물, 물체 유형, 조명 조건, 로봇 구성 또는 인간 행동을 기반으로 학습된 모델이 배치 이후 검증된 경험 범위를 벗어난 조건을 만날 수 있다. 이 경우 학습된 동역학(Learned Dynamics)은 신뢰할 수 없게 되면서도 여전히 일관성 있어 보이는 예측을 생성할 수 있다. 따라서 장기 모델 롤아웃에 상당한 계획 권한(Planning Authority)을 부여하기 전에 익숙하지 않은 조건을 탐지하는 것이 중요하다.
다중모드 미래(Multimodal Futures)는 또 다른 문제를 발생시킨다. 물리적 환경에서는 여러 개의 미래 전개가 동시에 가능할 수 있기 때문이다. 보행자는 계속 걷거나, 멈추거나, 방향을 바꾸거나, 가속할 수 있으며 물체는 접촉 이후 미끄러지거나, 안정적으로 유지되거나, 넘어질 수 있다. 하나의 미래만 예측하는 결정론적 월드 모델(Deterministic World Model)은 이러한 모호성을 숨길 수 있다. 안전 중심의 예측은 여러 가설, 확률 분포(Probability Distribution), 도달 가능 영역(Reachable Region) 또는 다른 형태의 미래 불확실성을 표현해야 한다.
상호작용 오류(Interaction Error)는 행동이 예측 대상인 세계 자체를 변화시키기 때문에 체화형 인공지능에서 특히 중요하다. 매니퓰레이터(Manipulator)는 접촉력과 물체 자세(Object Pose)를 변화시키며, 이동 로봇(Mobile Robot)은 자신과 주변 에이전트 사이의 상대적인 움직임을 변화시킨다. 따라서 예측은 수동적인 과정이 아니라 행동 조건부(Action-Conditioned) 과정이다. 모델이 행동의 효과를 잘못 이해하면 계획기는 부정확한 내부 모델에서만 존재하는 이점을 가진 행동을 선택할 수 있다.
접촉이 많은 조작(Contact-Rich Manipulation)은 기하 구조, 마찰, 강성(Stiffness), 순응성(Compliance) 또는 힘의 작은 오류가 서로 다른 결과를 만들 수 있기 때문에 어려운 대표 사례이다. 안정적으로 유지될 것으로 예측된 파지가 미끄러질 수 있고, 미끄러질 것으로 예상된 물체가 회전할 수 있으며, 부드러울 것으로 예상한 접촉에서 과도한 힘이 발생할 수도 있다. 따라서 조작에 사용되는 월드 모델은 예측된 상호작용을 완전히 결정론적으로 취급하기보다 접촉 상태 전이(Contact Transition)에 대한 불확실성을 표현해야 한다.
내비게이션(Navigation)과 이동 로보틱스(Mobile Robotics)에서도 유사한 누적 효과가 발생한다. 작은 위치추정(Localization), 속도 또는 지형 모델 오류가 예측된 정지 거리와 미래 점유 영역(Future Occupancy)을 변화시킬 수 있다. 높은 속도로 이동할수록 예측 불확실성이 존재하는 동안 이동하는 물리적 거리가 증가하여 오류를 수정할 수 있는 시간이 줄어든다. 따라서 안전한 계획 마진(Planning Margin)을 결정할 때 예측 지평, 로봇 속도, 환경 복잡성 및 불확실성을 함께 고려해야 한다.
폐루프 예측(Closed-Loop Prediction)은 새로운 관측을 반복적으로 통합하여 오류 누적을 줄일 수 있다. 하나의 초기 롤아웃에 전적으로 의존하여 긴 행동 시퀀스를 실행하는 대신 로봇은 환경을 관측하고, 상태 추정을 업데이트하고, 미래를 다시 예측하고, 재계획(Replanning)할 수 있다. 모델 예측 제어(Model Predictive Control)는 이러한 원칙을 사용하여 예측 지평을 지속적으로 앞으로 이동시킨다. 빈번한 피드백은 많은 예측 오류가 장시간 수정되지 않은 상태로 유지되는 것을 방지한다.
그러나 폐루프 운용(Closed-Loop Operation)이 모델 오류를 완전히 제거하는 것은 아니다. 일부 결과는 시스템이 관측하고 복구할 수 있는 속도보다 빠르게 발생할 수 있기 때문이다. 고속 충돌, 불안정한 파지, 접지력 상실 또는 비가역적인 접촉(Irreversible Contact)은 다음 계획 주기에서 예측을 수정하기 전에 발생할 수 있다. 따라서 안전한 계획에서는 사용 가능한 센싱, 연산, 통신 및 액추에이션 지연(Actuation Latency) 안에서 오류를 복구할 수 있는지를 고려해야 한다.
불확실성 전파(Uncertainty Propagation)는 예측 상태를 정확한 값으로 취급하는 것보다 현실적인 방법을 제공한다. 위치, 속도, 물체 식별, 동역학 및 인간 행동에 존재하는 불확실성을 미래 상태 전이를 따라 전파할 수 있다. 그 결과 생성되는 불확실성 영역(Uncertainty Region)은 일반적으로 시간에 따라 확대된다. 계획기는 하나의 명목 예측 궤적(Nominal Predicted Trajectory)만 평가하는 대신 가능한 상태 범위 전체에서 후보 행동이 안전하게 유지되는지를 평가할 수 있다.
앙상블 월드 모델(Ensemble World Model)은 여러 학습 모델의 예측을 비교하여 불확실성을 추정할 수 있다. 모델들이 강하게 일치한다면 현재 상황이 학습 경험에 충분히 표현되어 있음을 나타낼 수 있으며, 모델 사이의 불일치는 인식론적 불확실성(Epistemic Uncertainty)이나 익숙하지 않은 동역학을 나타낼 수 있다. 그러나 유사한 데이터에서 학습된 모델은 동일한 편향을 공유할 수 있으므로 앙상블의 일치는 물리적 제약, 런타임 모니터링(Runtime Monitoring), 독립적인 안전 메커니즘을 대체하기보다 보완해야 한다.
예측 잔차(Prediction Residual)는 중요한 런타임 신호(Runtime Signal)를 제공한다. 예측된 미래 상태를 실제로 관측할 수 있게 된 이후 시스템은 예측과 실제 관측을 비교할 수 있다. 물체 움직임, 로봇 동역학, 접촉 결과 또는 장면 변화에서 지속적인 차이가 나타나면 월드 모델의 정확성이 저하되고 있음을 의미한다. 잔차 모니터링(Residual Monitoring)은 재보정(Recalibration), 예측 지평 단축, 안전 마진 확대, 폴백 행동(Fallback Behavior) 또는 모델 기반 자율성(Model-Based Autonomy)의 제한을 활성화할 수 있다.
계획 시스템은 불확실성이 증가함에 따라 모델의 권한(Model Authority)을 명시적으로 감소시켜야 한다. 단기 예측의 신뢰성이 높을 때 계획기는 효율적인 최적화에 이를 활용할 수 있다. 장기 불확실성이 커지면 의사결정은 더욱 보수적으로 변화하고 제약 조건, 도달 가능 집합 추론(Reachable-Set Reasoning), 검증된 제어기(Verified Controller) 또는 안전 폴백 전략(Safe Fallback Strategy)에 더 강하게 의존해야 한다. 월드 모델은 물리적 현실을 의심 없이 표현하는 절대적인 모델이 아니라 의사결정을 지원하는 도구로 사용되어야 한다.
학습 과정에서는 한 단계 예측 정확도(One-Step Accuracy)만 최적화하지 않고 장기 예측과 어려운 상태 전이에도 월드 모델을 노출시켜야 한다. 다음 상태 예측 성능이 뛰어난 모델이라도 재귀적 롤아웃(Recursive Rollout)에서는 상당한 드리프트(Drift)가 발생할 수 있다. 따라서 평가에서는 다단계 오류 증가(Multi-Step Error Growth), 보정(Calibration), 희귀 사건 성능, 접촉 상태 전이, 분포 변화 및 예측 오류와 후속 계획 행동 사이의 관계를 측정해야 한다.
안전 검증(Safety Validation)에서는 예측 오류가 전체 체화형 인공지능 파이프라인(Embodied AI Pipeline)을 통해 어떻게 전파되는지도 평가해야 한다. 계획 시스템이 강건하다면 작은 월드 모델 오류가 아무런 문제를 일으키지 않을 수 있지만 다른 오류는 궤적이 안전 경계(Safety Boundary)를 넘어가도록 만들 수 있다. 따라서 평가는 모델 수준의 지표를 충돌 확률, 정지 마진(Stopping Margin), 힘 노출(Force Exposure), 복구 가능성(Recoverability), 개입 빈도(Intervention Frequency)와 같은 시스템 수준의 결과와 연결해야 한다.
핵심적인 안전 원칙은 예측된 미래(Predicted Future)가 실제 미래 그 자체는 아니라는 것이다. 월드 모델은 행동이 환경을 어떻게 변화시킬 수 있는지에 대한 유용한 내부 가설(Internal Hypothesis)을 제공하지만 불확실성, 분포 변화, 상호작용 복잡성 및 예측 지평이 증가할수록 신뢰성은 감소한다. 폐루프 재계획(Closed-Loop Replanning), 불확실성 전파, 다중모드 예측(Multimodal Prediction), 잔차 모니터링, 보수적인 안전 마진 및 독립적인 안전 제약(Independent Safety Constraint)을 결합하여 작은 모델 오류가 누적되어 위험한 물리적 행동으로 확대되는 것을 방지해야 한다.
03.13. VLA and Generalist Policy Safety
비전-언어-행동 모델(Vision-Language-Action Model)은 시각적 인지(Visual Perception), 언어 이해(Language Understanding), 추론(Reasoning), 물리적 행동(Physical Action)을 하나의 통합된 정책(Unified Policy) 안에서 연결한다. 하나의 좁게 정의된 로봇 작업만 해결하는 대신 VLA 시스템(VLA System)은 명령을 해석하고, 장면을 이해하며, 물체를 인식하고, 작업 의도를 추론하며, 다양한 상황에서 행동을 생성할 수 있다. 이러한 범용성은 능력을 향상시키지만 의미적 해석의 오류가 물리적 행동으로 직접 전파될 수 있기 때문에 새로운 안전 문제도 발생시킨다.
전통적인 로봇 시스템(Traditional Robotic System)은 일반적으로 인지(Perception), 계획(Planning), 제어(Control), 안전(Safety)을 명확하게 정의된 인터페이스를 가진 구성요소로 분리한다. 범용 정책(Generalist Policy)은 관측과 명령에서 행동으로 이어지는 매핑을 직접 학습함으로써 이러한 경계를 모호하게 만들 수 있다. 이러한 통합은 유연성을 높이고 수작업으로 설계된 파이프라인을 줄일 수 있지만, 위험한 행동이 인지, 언어 그라운딩(Language Grounding), 추론, 학습된 행동 또는 이들의 상호작용 중 어디에서 발생했는지 파악하기 어렵게 만든다.
언어는 물리적 제어 시스템이 안전하게 해결해야 하는 모호성(Ambiguity)을 도입한다. "이것을 저쪽으로 옮겨라", "이 영역을 청소하라", "그 도구를 가져와라"와 같은 명령은 문맥, 참조 대상 해석(Reference Resolution), 공간적 관계, 암묵적인 인간의 기대에 의존한다. VLA 정책이 충분한 근거 없이 하나의 해석을 확신하여 선택하면 잘못된 물리적 행동을 실행할 수 있다. 안전한 시스템은 모호성을 인식하고 대안적인 해석들이 실질적으로 다른 결과를 초래할 경우 명확화(Clarification)를 요청해야 한다.
시각적 그라운딩(Visual Grounding)은 언어 개념을 물리적 환경에 존재하는 개체와 연결한다. "빨간색 용기"를 지칭하는 명령을 수행하려면 시스템은 의도된 물체를 식별하고, 유사한 물체와 구별하며, 위치를 추정하고, 해당 물체와의 상호작용이 허용되는지도 이해해야 한다. 그라운딩 오류(Grounding Error)는 올바른 행동이 잘못된 물체에 적용되도록 만들 수 있다. 따라서 언어 이해에 대한 신뢰도(Confidence)는 시각적 및 공간적 그라운딩에 대한 신뢰도와 분리하여 생각할 수 없다.
범용 정책은 다양한 환경, 물체, 명령, 사용자 및 로봇 구성에서 작동하도록 요구되기 때문에 광범위한 분포 변화(Distribution Shift)에도 직면한다. 대규모 학습은 상당한 범위를 포괄할 수 있지만 모든 배치 조건을 표현할 수는 없다. 익숙한 언어와 낯선 물리적 상황의 조합은 특히 오해를 유발할 수 있다. 모델이 명령 자체는 이해하면서도 현재 환경에서 이를 안전하게 수행하는 방법에 관한 신뢰할 수 있는 지식은 부족할 수 있기 때문이다.
환각(Hallucination)은 VLA 모델이 관측으로 뒷받침되지 않는 물체, 어포던스(Affordance), 능력 또는 작업 조건을 추론할 때 물리적으로 중요한 문제가 된다. 모델은 어떤 물체를 잡을 수 있다고 가정하거나, 경로에 장애물이 없다고 판단하거나, 용기가 비어 있다고 추정하거나, 특정 도구가 작업에 적합하다고 판단할 수 있다. 언어 전용 시스템에서는 이러한 오류가 잘못된 정보로 끝날 수 있지만 체화형 시스템에서는 접촉, 충돌, 물체 낙하, 장비 손상 또는 사람과의 위험한 상호작용으로 이어질 수 있다.
따라서 어포던스 예측(Affordance Prediction)은 VLA 안전의 핵심 요소이다. 물체를 인식했다고 해서 해당 물체를 어떻게 안전하게 조작할 수 있는지 알고 있다는 의미는 아니다. 시스템은 파지 가능성(Graspability), 무게, 취약성, 온도, 안정성, 이동 가능성, 내용물 포함 여부 및 가능한 상호작용을 추론해야 한다. 이러한 특성이 불확실하다면 정책은 행동 권한(Action Authority)을 줄이고, 추가적인 관측을 수집하거나, 안전한 한계 안에서 신중하게 시험하거나, 다른 안전 메커니즘으로 의사결정을 이전해야 한다.
범용 정책은 학습 과정에서 표현된 조건을 벗어난 행동을 생성할 수도 있다. 주로 테이블 위 조작(Tabletop Manipulation)을 학습한 정책이 무거운 산업용 물체, 유연한 재료, 움직이는 기계 또는 주변에 사람이 존재하는 상황에서도 표면적으로는 합리적으로 보이는 행동을 생성할 수 있다. 작업의 의미적 유사성(Semantic Similarity)이 물리적 위험의 유사성을 보장하지는 않는다. 따라서 배치 경계(Deployment Boundary)는 작업 이해뿐만 아니라 검증된 물리적 능력(Validated Physical Capability)도 반영해야 한다.
고수준 정책(High-Level Policy)의 능력이 매우 뛰어나더라도 행동 생성에는 명시적인 물리적 제약(Physical Constraint)이 필요하다. 관절 한계(Joint Limit), 속도 한계, 힘 한계, 충돌 제약, 작업 공간 경계, 인간과의 분리 거리, 적재 한계 및 안정성 조건이 학습된 행동에만 의존해서는 안 된다. VLA 정책은 행동이나 목표를 제안하고, 독립적인 제어 및 안전 계층(Independent Control and Safety Layer)이 생성된 움직임이 물리적으로 허용 가능한지를 검증할 수 있다.
계층적 아키텍처(Hierarchical Architecture)는 의미적 지능(Semantic Intelligence)과 안전 중요 실행(Safety-Critical Execution)을 분리하는 데 도움을 줄 수 있다. VLA 모델은 작업을 해석하고 고수준 목표를 생성하며, 모션 플래너(Motion Planner)와 제어기가 이러한 목표를 실행 가능한 궤적으로 변환할 수 있다. 이후 독립적인 안전 모니터(Independent Safety Monitor)는 VLA 모델의 내부 추론과 관계없이 제약을 강제할 수 있다. 이러한 구조는 액추에이터에 대한 무제한적인 권한을 부여하지 않으면서 범용 지능의 유연성을 유지한다.
불확실성(Uncertainty)은 VLA 정책에 얼마나 많은 권한을 부여할 것인지를 조절해야 한다. 명령 이해에 대한 높은 신뢰도가 물체 위치, 동역학, 접촉 결과 또는 미래 인간 행동에 대해서도 높은 신뢰도를 의미하는 것은 아니다. 따라서 하나의 전역 신뢰도(Global Confidence) 점수로 표현하기보다 관련된 여러 차원에 걸쳐 신뢰도를 분해해야 한다. 안전에 중요한 구성요소 중 하나라도 근거가 부족하면 감속, 추가 인지, 행동 제한 또는 인간 확인(Human Confirmation)을 활성화할 수 있다.
시간적 일관성(Temporal Consistency)은 체화된 의사결정이 시간에 따라 전개되기 때문에 또 다른 안전장치를 제공한다. 시스템은 현재의 시각적 그라운딩, 물체 상태, 작업 진행 상황 및 예측 결과를 이전 관측과 비교할 수 있다. 예상하지 못한 변화는 명령이 잘못 이해되었거나, 물체가 이동했거나, 다른 에이전트가 개입했거나, 행동이 의도하지 않은 결과를 발생시켰음을 나타낼 수 있다. 지속적인 관측을 통해 정책은 오래된 행동 시퀀스를 그대로 완료하는 대신 계획을 수정할 수 있다.
월드 모델(World Model)은 후보 행동의 결과를 실행 전에 예측함으로써 VLA 안전을 지원할 수 있다. 정책은 제안된 조작이 충돌, 불안정성, 접근 차단, 과도한 힘 또는 바람직하지 않은 환경 변화를 발생시킬 가능성을 평가할 수 있다. 그러나 월드 모델의 예측 자체에도 불확실성이 존재하며 오류가 누적될 수 있다. 따라서 월드 모델은 의사결정을 지원해야 하지만 독립적인 물리적 제약이나 런타임 안전 메커니즘(Runtime Safety Mechanism)을 대체해서는 안 된다.
장기 작업(Long-Horizon Task)은 초기의 의미적 오류나 계획 오류가 이후 여러 행동으로 전파될 수 있기 때문에 추가적인 위험을 발생시킨다. 목표를 조금 잘못 해석한 것만으로도 인간의 의도와 점점 더 멀어지는 행동 시퀀스가 만들어질 수 있다. 주기적인 목표 검증(Goal Verification), 진행 상황 모니터링(Progress Monitoring), 상태 재그라운딩(State Re-Grounding), 중간 체크포인트(Intermediate Checkpoint)를 통해 시스템이 긴 부적절한 행동 체인을 완료하기 전에 이러한 이탈을 탐지할 수 있다.
프롬프트 인젝션(Prompt Injection)과 신뢰할 수 없는 의미적 콘텐츠(Untrusted Semantic Content)는 언어 기능을 가진 로봇이 환경에 존재하는 텍스트를 인식하거나 여러 정보원에서 명령을 받을 때 또 다른 안전 문제를 발생시킨다. 탐지된 모든 메시지를 권한이 부여된 명령(Authorized Command)으로 처리해서는 안 된다. 시스템은 명확한 권한 및 허가 경계(Authority and Permission Boundary)를 유지하면서 작업 명령, 환경의 텍스트, 검색된 정보, 관측 정보 및 잠재적으로 오해를 유발하는 콘텐츠를 구분해야 한다.
행동의 결과가 중대한 경우에는 인간 승인(Human Authorization)이 특히 중요하다. 범용적인 능력이 모든 행동에 대한 보편적인 권한을 의미해서는 안 된다. 제한된 장비를 개방하거나, 위험 물질을 이동하거나, 안전 시스템과 상호작용하거나, 통제 구역에 진입하거나, 되돌릴 수 없는 작업을 수행하는 경우 VLA 모델이 해당 행동을 유용하다고 판단하는 것과 별개로 명시적인 승인이 필요할 수 있다. 능력(Capability), 의도(Intent), 권한(Permission)은 서로 구별되는 개념으로 유지되어야 한다.
학습 데이터(Training Data)는 시연과 멀티모달 데이터셋(Multimodal Dataset)이 어떤 행동을 정상적인 것으로 간주할 것인지를 암묵적으로 정의하기 때문에 범용 정책의 행동에 강한 영향을 미친다. 위험한 시연, 일관되지 않은 관행, 불완전한 복구 사례 또는 희귀 위험요소의 누락은 숨겨진 취약성을 만들 수 있다. 따라서 데이터셋 큐레이션(Dataset Curation)에는 안전 관련 메타데이터, 부정적 사례(Negative Example), 복구 행동, 경계 조건 및 행동을 거부하거나 지연시키는 것이 올바른 다양한 상황을 포함해야 한다.
평가는 단순한 작업 성공(Task Success)을 넘어야 한다. VLA 모델은 높은 비율로 작업을 완료하면서도 허용할 수 없는 희귀 실패(Rare Failure)를 발생시킬 수 있다. 시험에서는 그라운딩 정확도, 명령 모호성 처리, 제약 위반, 충돌 위험, 힘 노출(Force Exposure), 복구 행동, 불확실성 보정(Uncertainty Calibration), 분포 변화, 거부 행동(Refusal Behavior), 인간 개입 빈도를 측정해야 한다. 안전 중요 평가는 평균 성능만이 아니라 실패의 심각도와 꼬리 위험(Tail Risk)을 중요하게 다뤄야 한다.
런타임 보증(Runtime Assurance)은 범용 지능과 물리적 실행 사이에 위치하는 최종적인 독립 보호 계층을 제공한다. 제안된 행동이 액추에이터에 전달되기 전에 현재 센서 데이터, 안전 영역(Safety Envelope), 검증된 제약, 로봇 상태(Robot Health), 운용 경계를 기준으로 행동을 검사할 수 있다. VLA 정책이 불확실하거나 일관성을 잃거나 위험한 행동을 생성하면 권한을 제한된 제어(Restricted Control), 제어된 정지(Controlled Stop), 폴백 행동(Fallback Behavior) 또는 인간 감독(Human Supervision)으로 이전할 수 있다.
핵심적인 안전 원칙은 범용 지능(General Intelligence)이 무제한적인 물리적 행동 권한(Unrestricted Physical Authority)을 의미해서는 안 된다는 것이다. VLA 모델은 강력한 의미적 이해, 유연한 작업 추론 및 광범위한 행동 능력을 제공할 수 있지만 그 출력은 안전이 보장된 명령이 아니라 학습된 가설(Learned Hypothesis)이다. 그라운딩 검증(Grounding Validation), 불확실성 인식(Uncertainty Awareness), 계층적 제어(Hierarchical Control), 명시적인 제약, 권한 관리, 런타임 모니터링(Runtime Monitoring), 독립적인 안전 강제(Independent Safety Enforcement)를 결합해야 범용 지능을 신뢰할 수 있는 물리적 행동으로 전환할 수 있다.
03.14. Safe Reinforcement and Imitation Learning
안전 강화학습 및 모방학습(Safe Reinforcement Learning and Imitation Learning)은 체화형 인공지능 시스템(Embodied AI System)이 학습 과정 자체에서 허용할 수 없는 물리적 위험을 발생시키지 않으면서 유용한 행동을 습득하는 방법을 다룬다. 강화학습(Reinforcement Learning)은 상호작용과 피드백을 통해 행동을 개선하고, 모방학습(Imitation Learning)은 시연(Demonstration)으로부터 행동을 학습한다. 두 방법 모두 적응 가능한 로봇 정책을 만들 수 있지만 학습 또는 배치 과정에서 행동의 안전성을 자동으로 보장하지는 않는다.
강화학습은 일반적으로 기대 누적 보상(Expected Cumulative Reward)을 최적화하지만 이러한 보상이 물리적 안전을 완전하게 표현하지 못할 수 있다. 정책(Policy)은 장애물과의 여유 거리를 줄이거나, 과도한 힘을 가하거나, 공격적으로 가속하거나, 바람직하지 않은 상태에 진입하면서도 작업 보상을 증가시키는 행동을 발견할 수 있다. 따라서 안전 강화학습(Safe Reinforcement Learning)은 일반적인 보상 최적화를 확장하여 제약, 위험, 불확실성 및 발생 가능한 실패의 심각성을 명시적으로 고려한다.
제약 강화학습(Constrained Reinforcement Learning)은 안전 요구사항을 주요 작업 목표와 분리하여 표현한다. 에이전트는 생산성, 작업 완료 또는 효율성을 최대화하면서 충돌 확률, 속도, 힘, 에너지, 작업 공간, 인간과의 분리 거리 또는 기타 안전 변수에 대한 제한을 준수할 수 있다. 안전을 단순한 가중 목표(Weighted Objective)를 통해 추가 보상과 항상 교환 가능한 요소로 취급해서는 안 되기 때문에 이러한 분리가 중요하다.
위험 민감형 학습(Risk-Sensitive Learning)은 가능한 결과의 평균값만이 아니라 결과의 분포(Distribution)까지 고려한다. 두 정책이 유사한 기대 보상을 달성하더라도 심각한 실패가 발생할 확률은 크게 다를 수 있다. 안전 중심 학습기는 낮은 빈도로 발생하지만 결과가 심각한 사건과 꼬리 위험(Tail Risk)을 고려해야 한다. 단 한 번의 드문 충돌이나 불안정한 조작이 수많은 성공적인 시험보다 훨씬 심각한 결과를 초래할 수 있는 물리적 시스템에서는 이것이 특히 중요하다.
탐색(Exploration)은 또 다른 근본적인 안전 문제를 발생시킨다. 강화학습은 더 나은 전략을 발견하기 위해 익숙하지 않은 행동을 시도해야 하는 경우가 많지만 실제 하드웨어에서 위험한 행동을 자유롭게 탐색할 수는 없다. 따라서 물리적 학습은 안전 영역(Safety Envelope), 제한된 행동 공간(Restricted Action Space), 복구 가능한 상태(Recoverable State), 런타임 제약(Runtime Constraint) 안에서 수행되어야 한다. 위험도가 높은 탐색은 가능한 경우 시뮬레이션이나 통제된 시험 환경으로 이전해야 한다.
안전 필터(Safety Filter)는 학습된 정책과 물리적 액추에이터(Physical Actuator) 사이에 독립적인 보호 계층을 제공할 수 있다. 제안된 행동을 실행하기 전에 시스템은 해당 행동이 관절 한계(Joint Limit), 충돌 제약, 힘 제한, 안정성 조건, 제한 구역 또는 인간과의 분리 거리 요구사항을 위반하는지 평가할 수 있다. 위험한 행동 제안은 수정하거나 거부하거나 폴백 행동(Fallback Action)으로 대체할 수 있으므로 강화학습 정책 자체가 모든 안전 규칙을 완벽하게 표현해야 할 필요성을 줄일 수 있다.
모방학습은 원하는 행동의 시연으로부터 학습하여 제한 없는 탐색의 필요성을 줄인다. 인간 운용자, 원격조작 시스템(Teleoperation System), 스크립트 기반 제어기(Scripted Controller) 또는 이전에 검증된 정책이 성공적인 작업 수행 사례를 제공할 수 있다. 이러한 시연은 학습기에 초기 행동 구조를 제공하고 유용한 물리적 행동이 형성되기 전에 필요한 잠재적으로 위험한 시행 횟수를 크게 줄일 수 있다.
그러나 시연은 완전한 안전 명세(Safety Specification)와 동일하지 않다. 시연자는 실수를 하거나, 일관되지 않은 전략을 사용하거나, 희귀한 위험요소를 누락하거나, 로봇이 관측할 수 없는 상황적 지식(Contextual Knowledge)에 의존할 수 있다. 성공적인 행동만 포함된 데이터셋은 정책에 위험한 상황이 무엇인지 가르치지 못할 수도 있다. 따라서 안전한 모방학습에는 실패 사례, 수정 행동(Corrective Action), 복구 행동(Recovery Behavior), 의미 있는 운용 경계(Operational Boundary)가 포함되어야 한다.
공변량 변화(Covariate Shift)는 모방학습의 주요 문제이다. 시연된 궤적(Demonstrated Trajectory)에서 발생하는 작은 편차가 로봇을 학습 데이터에서 거의 또는 전혀 관측되지 않았던 상태로 이동시킬 수 있다. 이후 정책이 추가적인 오류를 발생시키면 편차가 더욱 커지면서 누적 실패(Compounding Failure)가 발생할 수 있다. 따라서 작은 실수가 자동으로 복구 불가능한 궤적으로 확대되지 않도록 학습 과정에서 비정상 상태(Off-Nominal State)와 복구 사례를 경험하게 해야 한다.
상호작용형 모방학습(Interactive Imitation Learning)은 학습된 정책이 실제로 방문한 상태에서 수정 시연(Corrective Demonstration)을 수집함으로써 이러한 한계를 완화할 수 있다. 초기 시연 데이터셋이 모든 관련 상황을 포함한다고 가정하는 대신 학습기가 어려운 상태를 식별하고 추가적인 지침을 얻을 수 있다. 물리적 로봇에서는 수정 경험을 수집하는 과정 자체가 위험한 상태에 진입하도록 요구하지 않도록 이러한 과정도 안전 메커니즘 내부에서 제한되어야 한다.
모방학습과 강화학습을 결합하면 실용적인 학습 경로를 구성할 수 있다. 먼저 모방학습으로 충분한 능력을 가진 초기 정책을 형성한 다음 통제된 한계 안에서 강화학습을 통해 성능을 향상시킬 수 있다. 이를 통해 무작위 탐색(Random Exploration)의 양을 줄이고 이미 허용 가능한 운용과 유사한 행동에서 최적화를 시작할 수 있다. 성능 개선 과정에서 보수적인 행동이 점진적으로 제거되지 않도록 미세조정(Fine-Tuning) 전체 과정에서도 안전 제약을 유지해야 한다.
오프라인 강화학습(Offline Reinforcement Learning)은 이전에 수집된 데이터를 중심으로 학습함으로써 물리적 위험을 더욱 줄일 수 있다. 시연, 과거 궤적, 플릿 경험(Fleet Experience), 시뮬레이션 데이터 및 통제된 실험을 대규모 데이터셋으로 결합하여 배치 전에 활용할 수 있다. 주요 문제는 오프라인 정책이 데이터셋에서 충분히 표현되지 않은 행동에 높은 가치를 부여할 수 있다는 것이며, 따라서 분포 인식(Distribution Awareness)과 보수적인 행동 선택(Conservative Action Selection)이 중요하다.
인간 피드백(Human Feedback)은 수치적 보상만으로 표현하기 어려운 정보를 제공할 수 있다. 운용자는 궤적을 비교하고, 바람직하지 않은 행동을 식별하고, 위험한 상황에 레이블을 지정하거나, 선호하는 복구 전략을 제시할 수 있다. 이후 학습된 선호 모델(Preference Model)이나 보상 모델(Reward Model)을 이용하여 정책 최적화를 유도할 수 있다. 그러나 인간 피드백은 불완전하고 일관되지 않을 수 있으므로 명시적인 물리적 제약을 대체하기보다 보완해야 한다.
불확실성 추정(Uncertainty Estimation)은 강화학습과 모방학습 모두에 영향을 주어야 한다. 정책이 학습 경험에서 크게 벗어난 상태를 만나면 예측된 행동 품질에 대한 신뢰도가 감소해야 한다. 높은 불확실성은 실행 속도 감소, 추가 센싱, 보수적인 계획, 인간 개입(Human Intervention) 또는 검증된 폴백 제어기(Fallback Controller)로의 전환을 활성화할 수 있다. 정책은 지식의 부족을 자신 있게 행동할 수 있는 허가로 해석해서는 안 된다.
복구 행동(Recovery Behavior)은 작업 행동만큼 의도적으로 학습되고 검증되어야 한다. 학습 데이터셋은 성공적인 전진 진행에 초점을 맞추는 경우가 많지만 물리적 시스템에는 중단된 작업, 실패한 파지, 차단된 경로, 불안정한 구성, 예상하지 못한 인간 개입 및 성능이 저하된 센싱에 대응하는 전략도 필요하다. 따라서 안전 학습은 목표를 달성하는 방법뿐만 아니라 정지, 후퇴, 안정화, 재시도 또는 지원 요청 방법까지 포함해야 한다.
커리큘럼 학습(Curriculum Learning)은 위험에 대한 노출을 통제하면서 작업 난이도를 점진적으로 증가시킬 수 있다. 학습은 낮은 속도, 가벼운 물체, 넓은 안전 여유 거리, 단순화된 환경 및 제한된 행동 공간에서 시작할 수 있다. 이후 능력이 입증됨에 따라 복잡성과 물리적 행동 권한(Physical Authority)을 확대할 수 있다. 이러한 방식은 처음부터 완전한 권한을 부여하는 대신 안전한 성능에 대한 증거가 확보된 이후 능력을 확장하는 구조적인 진행 과정을 만든다.
시뮬레이션(Simulation)은 물리적 피해 없이 위험한 사건을 생성할 수 있기 때문에 강화학습과 모방학습을 위한 확장 가능한 환경을 제공한다. 도메인 무작위화(Domain Randomization), 합성 시연(Synthetic Demonstration), 적대적 시나리오(Adversarial Scenario), 희귀 사건 생성(Rare-Event Generation)을 통해 실제 하드웨어에서 반복적으로 재현하기 어렵거나 위험한 조건에 정책을 노출시킬 수 있다. 그러나 모델링 오류가 안전에 대한 잘못된 확신을 만들 수 있으므로 시뮬레이션 결과는 실제 물리적 환경에서 검증해야 한다.
평가에서는 작업 능력(Task Competence)과 안전 능력(Safety Competence)을 구분해야 한다. 성공률과 누적 보상만으로는 충돌, 과도한 힘, 제약 위반, 불안정한 복구 또는 드문 치명적 사건을 제대로 나타낼 수 없다. 안전 평가에서는 제약 위반 빈도, 실패 심각도, 개입 비율(Intervention Rate), 불확실성 보정(Uncertainty Calibration), 복구 성공률, 분포 변화에 대한 강건성(Robustness), 운용 경계 근처에서의 행동을 측정해야 한다.
정책 업데이트(Policy Update)는 추가적인 학습이 이전에 안전했던 행동을 변화시킬 수 있기 때문에 회귀 시험(Regression Testing)을 필요로 한다. 새로운 시연이나 강화 신호를 이용한 미세조정은 하나의 능력을 개선하면서 다른 능력을 저하시킬 수 있다. 따라서 후보 정책은 배치 전에 대표적인 과거 작업, 안전 시나리오, 희귀 사건 및 경계 조건을 대상으로 평가되어야 한다. 버전 관리(Version Control)와 롤백(Rollback)을 통해 이전에 검증된 정책을 복원할 수 있는 능력도 유지해야 한다.
광범위한 학습과 검증 이후에도 런타임 모니터링(Runtime Monitoring)은 필요하다. 실제 환경에서는 시뮬레이션이나 데이터셋에 존재하지 않았던 조건의 조합이 발생할 수 있다. 모니터링은 비정상적인 행동, 증가하는 불확실성, 반복적인 안전 필터 개입, 예상하지 못한 궤적 또는 악화되는 작업 결과를 탐지할 수 있다. 이러한 신호를 기반으로 정책 권한을 줄이거나, 제어된 정지(Controlled Stop)를 실행하거나, 인간 감독(Human Supervision)을 요청하거나, 추가적인 오프라인 분석을 시작할 수 있다.
핵심적인 안전 원칙은 학습 성능(Learning Performance)과 안전 보증(Safety Assurance)을 동일한 최적화 문제로 취급해서는 안 된다는 것이다. 강화학습과 모방학습은 강력한 적응 행동을 제공할 수 있지만 학습된 정책은 독립적으로 강제되는 물리적 안전 경계(Physical Safety Boundary) 안에서 작동해야 한다. 안전 탐색(Safe Exploration), 제약 최적화(Constrained Optimization), 시연, 불확실성 인식, 복구 학습, 시뮬레이션, 엄격한 평가, 런타임 보증(Runtime Assurance), 인간 감독을 결합함으로써 로봇이 위험한 실패를 통해 안전을 학습하지 않으면서도 지속적으로 성능을 향상시킬 수 있다.
03.15. Robustness Generalization and Safety Margins
강건성(Robustness)은 체화형 인공지능 시스템(Embodied AI System)이 관측, 환경, 동역학 또는 운용 조건이 개발 과정에서 경험한 조건과 달라지더라도 허용 가능한 행동을 유지할 수 있는 능력을 의미한다. 로봇은 정상적인 시험에서는 안정적으로 작동하지만 조명이 변하거나, 센서 잡음이 증가하거나, 적재물이 달라지거나, 표면이 미끄러워지거나, 사람이 예상하지 못한 방식으로 행동하면 실패할 수 있다. 따라서 안전은 이상적인 조건에서의 성능뿐만 아니라 다양한 변화 조건에서의 성능에 달려 있다.
일반화(Generalization)는 작은 교란이나 변화에 견디는 능력을 넘어 이러한 요구사항을 확장한다. 일반화할 수 있는 시스템은 모든 새로운 상황이 학습 경험과 동일하다고 가정하지 않으면서 학습된 지식을 새로운 물체, 배치, 작업, 사용자 및 환경에 적절하게 적용한다. 물리 인공지능(Physical AI)에서는 잘못된 지식 전이가 쉽게 되돌릴 수 없는 결과를 발생시킬 수 있으므로 성공적인 일반화는 작업 능력(Task Competence)과 안전 행동(Safety Behavior)을 모두 유지해야 한다.
강건성과 일반화는 서로 관련되어 있지만 구별되는 개념이다. 강건성은 일반적으로 제한된 범위의 교란이나 변화에서도 행동을 유지하는 것을 의미하고, 일반화는 이전에 경험하지 않았지만 관련성이 있는 새로운 상황에서 올바르게 작동하는 것을 의미한다. 모델은 카메라 잡음에는 강건하지만 새로운 물체 범주에서는 실패할 수 있으며, 새로운 공간으로 일반화하면서도 예상하지 못한 휠 슬립(Wheel Slip)에서는 불안정해질 수 있다. 안전 공학(Safety Engineering)은 이 두 가지 특성을 독립적으로 그리고 함께 평가해야 한다.
안전 마진(Safety Margin)은 허용할 수 없는 상태로부터 물리적·계산적 여유를 제공한다. 이동 로봇(Mobile Robot)은 추가적인 정지 거리를 확보할 수 있고, 매니퓰레이터(Manipulator)는 최대 힘보다 낮은 수준에서 작동할 수 있으며, 계획기(Planner)는 사람과 장애물 주변에 추가적인 여유 공간을 유지할 수 있다. 이러한 마진은 센싱, 예측, 제어 및 환경 모델이 완벽하지 않다는 사실을 반영한다. 따라서 안전한 운용은 모든 추정값과 액추에이터 응답이 정확하다는 가정에 의존해서는 안 된다.
안전 마진은 운용 조건과 무관한 고정된 수치로 취급해서는 안 된다. 속도, 불확실성, 적재물, 환경 복잡성, 센싱 성능 저하 또는 결과의 심각성이 증가할수록 필요한 마진도 증가한다. 사람이 없는 구조화된 공간을 저속으로 이동하는 로봇은 사람 근처에서 고속으로 이동하는 동일한 로봇보다 작은 공간적 버퍼(Spatial Buffer)를 허용할 수 있다. 동적 안전 마진(Dynamic Safety Margin)은 현재의 물리적 위험 수준에 따라 보호 수준을 조정할 수 있도록 한다.
인지 강건성(Perception Robustness)은 계획과 제어가 추정된 환경 상태에 의존하기 때문에 필수적이다. 조명, 날씨, 가림(Occlusion), 반사, 센서 오염, 진동, 보정(Calibration) 또는 시점(Viewpoint)의 변화는 인지 성능을 저하시킬 수 있다. 중복 센싱(Redundant Sensing), 시간적 일관성(Temporal Consistency), 신뢰도 추정(Confidence Estimation), 센서 상태 모니터링(Sensor-Health Monitoring), 교차 모달 검증(Cross-Modal Validation)은 잘못된 추정이 위험한 행동으로 변환되기 전에 인지 신뢰성이 저하되고 있음을 탐지하는 데 도움을 줄 수 있다.
동역학 강건성(Dynamics Robustness)은 행동이 물리적 시스템에 미치는 영향의 불확실성을 다룬다. 적재물 변화, 타이어 마찰, 액추에이터 마모, 배터리 상태, 온도, 순응성(Compliance), 지형 및 접촉 특성은 로봇의 반응을 변화시킬 수 있다. 명목 동역학(Nominal Dynamics)만을 기준으로 설계된 제어기는 이러한 파라미터가 변화할 경우 안정성을 잃거나 정지 한계를 초과할 수 있다. 강건 제어(Robust Control)와 적응형 추정(Adaptive Estimation)은 물리적 제약을 준수하면서 제한된 변화 범위에서 허용 가능한 행동을 유지하는 데 도움을 줄 수 있다.
분포 변화(Distribution Shift)는 배치 조건이 학습 조건과 체계적으로 달라질 때 특히 중요해진다. 실험실에서 학습된 모델이 공장, 창고, 실외 공간, 군중, 비정상적인 물체 또는 서로 다른 로봇 구성을 만날 수 있다. 이러한 변화는 명백한 센서 고장처럼 나타나지 않을 수도 있다. 관측, 예측 및 행동 사이의 관계가 검증된 경험 범위를 벗어났음에도 시스템이 높은 신뢰도의 출력을 계속 생성할 수 있기 때문이다.
분포 외 탐지(Out-of-Distribution Detection)는 일반화를 더 이상 신뢰해서는 안 되는 상황을 조기에 식별할 수 있다. 시스템은 특징 신규성(Feature Novelty), 모델 간 불일치(Model Disagreement), 예측 잔차(Prediction Residual), 불확실성 또는 알려진 운용 상태로부터의 편차를 모니터링할 수 있다. 모든 익숙하지 않은 조건을 완벽하게 식별할 필요는 없다. 정상적인 자율성을 뒷받침하는 근거가 충분히 약해져 더욱 보수적인 행동이 필요한 시점을 인식하는 것이 안전 측면에서 중요하다.
불확실성 인지형 안전 마진(Uncertainty-Aware Safety Margin)은 모델의 신뢰도와 물리적 행동을 연결한다. 위치추정(Localization), 물체 탐지, 동역학 예측 또는 인간 움직임 예측의 불확실성이 증가하면 시스템은 장애물과의 여유 거리를 확대하고, 속도를 낮추고, 계획 지평(Planning Horizon)을 단축하거나, 조작 힘을 제한할 수 있다. 이를 통해 불확실성을 추상적인 모델 통계가 아니라 실제 운용 안전 대응으로 변환한다. 일반적으로 불확실성이 증가할수록 물리적 행동 권한(Physical Authority)은 감소해야 한다.
최악 조건 추론(Worst-Case Reasoning)은 강건성을 바라보는 또 다른 관점을 제공한다. 가장 가능성이 높은 하나의 상태만을 기준으로 계획하는 대신 시스템은 제한된 범위의 가능한 상태 또는 교란 전체에서 행동이 허용 가능한지를 평가할 수 있다. 도달 가능성 분석(Reachability Analysis), 강건 최적화(Robust Optimization), 구간 경계(Interval Bound), 보수적 충돌 검사(Conservative Collision Checking)가 이러한 접근법을 지원할 수 있다. 목적은 상상할 수 있는 최악의 사건이 항상 발생한다고 가정하는 것이 아니라 신뢰할 수 있는 불확실성 범위 전체에서 안전을 유지하는 것이다.
지나치게 보수적인 안전 마진은 시스템의 유용성을 감소시킬 수도 있다. 작은 불확실성이 나타날 때마다 정지하는 로봇은 좁은 의미에서는 안전할 수 있지만 실제 작업을 수행하기 어려울 수 있다. 따라서 강건성 공학(Robustness Engineering)은 보호 수준과 함께 가용성(Availability)과 생산성을 균형 있게 고려해야 한다. 적절한 해결책은 단순히 안전 마진을 최대화하는 것이 아니라 불확실성, 위험 심각도, 복구 가능성(Recoverability), 운용 요구사항과 체계적으로 연결하는 것이다.
복구 가능성은 안전 마진을 결정하는 중요한 기준을 제공한다. 로봇이 위험 상태에 도달하기 전에 안전하게 제동하거나, 후퇴하거나, 재계획(Replanning)하거나, 제어 권한을 이전할 수 있다면 불확실성 경계에 더 가까운 곳에서도 운용을 지속할 수 있다. 반대로 결과가 비가역적이거나 복구에 더 많은 시간과 거리가 필요하면 더 큰 마진이 필요하다. 따라서 안전은 순간적인 상태만이 아니라 탐지에서 의사결정, 액추에이션(Actuation), 복구까지 이어지는 전체 경로를 고려해야 한다.
점진적 성능 저하(Graceful Degradation)는 완전한 능력을 더 이상 정당화할 수 없는 상황에서도 제한된 수준의 유용한 운용을 유지할 수 있도록 한다. 센서 성능 저하는 속도 감소를 유발할 수 있고, 위치추정 불확실성은 운용 영역을 제한할 수 있으며, 모델 간 불일치는 자율 조작을 비활성화하면서 모니터링 기능은 유지하도록 할 수 있다. 시스템은 완전 자율성과 완전 정지 사이에서 즉시 전환하는 대신 점진적으로 권한이 축소되는 검증된 성능 저하 모드(Validated Degraded Mode)를 사용할 수 있다.
중복성(Redundancy)은 독립적인 정보원이나 제어 수단을 사용할 수 있을 때 강건성을 향상시킬 수 있다. 여러 센싱 모달리티(Sensing Modality), 다양한 알고리즘, 독립적인 안전 모니터 또는 백업 제어기(Backup Controller)를 사용하면 하나의 고장이 전체 시스템 행동을 결정하는 것을 방지할 수 있다. 그러나 구성요소들이 동일한 숨겨진 취약점을 공유하지 않을 때에만 중복성이 효과적이다. 공통 학습 데이터, 공유된 가정, 동일한 센서 또는 공통 소프트웨어 의존성은 상관 고장(Correlated Failure)을 발생시킬 수 있다.
강건성을 위한 학습에는 명목 데이터의 단순한 반복이 아니라 의미 있는 변화가 필요하다. 도메인 무작위화(Domain Randomization), 데이터 증강(Augmentation), 다양한 시연, 교란 시험(Perturbation Testing), 합성 시나리오 및 통제된 물리적 실험을 통해 모델을 외관, 동역학, 물체 특성 및 운용 조건의 변화에 노출시킬 수 있다. 학습 변화는 실제 배치에서 발생 가능한 불확실성을 반영하는 동시에 대규모 데이터셋에서 사라지기 쉬운 희귀 안전 중요 사례(Rare Safety-Critical Case)를 보존해야 한다.
일반화 시험(Generalization Testing)은 익숙한 조건과 익숙하지 않은 조건을 의도적으로 분리해야 한다. 환경, 물체 조합, 센서 특성, 로봇 구성, 적재물, 인간 행동 및 작업 구성을 변화시켜 어느 지점에서 능력이 저하되기 시작하는지를 평가할 수 있다. 목적은 단순히 평균 성능을 보고하는 것이 아니라 검증된 일반화(Validated Generalization)의 경계와 추가적인 감독 또는 제한된 자율성(Restricted Autonomy)이 필요한 조건 사이의 경계를 식별하는 것이다.
스트레스 시험(Stress Testing)은 실제 실패가 하나의 요인만으로 발생하는 경우가 드물기 때문에 여러 교란의 조합에 초점을 맞춰야 한다. 중간 수준의 위치추정 오류는 저속에서는 문제가 없을 수 있지만 동일한 오류가 고속, 감소된 접지력, 부분적인 가림, 움직이는 사람과 결합되면 위험해질 수 있다. 따라서 안전 평가에서는 상호작용하는 여러 불확실성을 탐색하고 개별적으로는 허용 가능한 여러 편차가 결합되었을 때 가용한 안전 마진을 모두 소진하는지를 확인해야 한다.
안전 마진은 완전한 시스템 수준(Complete System Level)에서 검증되어야 한다. 모델 정확도만으로는 안전 마진이 충분한지를 결정할 수 없으며 센싱 지연, 연산 시간, 통신 지연, 제어기 응답, 기계적 제동 및 인간 반응이 모두 물리적 위험에 영향을 주기 때문이다. 종단간 시험(End-to-End Testing)은 불확실성과 강건성 지표를 정지 거리, 충돌 여유 거리(Collision Clearance), 힘 노출(Force Exposure), 성공적인 복구와 같은 측정 가능한 결과와 연결한다.
배치 전에 강건성을 완전히 확립하는 것은 불가능하기 때문에 런타임 모니터링(Runtime Monitoring)이 필요하다. 시스템은 불확실성, 예측 잔차, 센서 상태, 제어 노력(Control Effort), 개입 빈도, 니어미스(Near Miss), 예상 행동으로부터의 편차를 지속적으로 추적해야 한다. 지속적인 변화는 운용 조건이 검증된 가정의 범위를 벗어났음을 나타낼 수 있다. 모니터링 결과에 따라 안전 마진 확대, 성능 저하 모드, 인간 감독(Human Supervision), 유지보수 또는 모델 재평가(Model Re-Evaluation)를 활성화할 수 있다.
핵심적인 안전 원칙은 명목 조건(Nominal Condition)에서 성공적인 성능을 보였다는 사실만으로 실제 세계에서 안전한 성능이 입증되는 것은 아니라는 것이다. 체화형 인공지능은 예상 가능한 변화를 견디고, 일반화의 신뢰성이 저하되는 시점을 인식하며, 불확실성과 오류를 흡수할 수 있도록 위험 상태로부터 충분한 거리를 유지해야 한다. 강건한 모델(Robust Model), 적응형 안전 마진(Adaptive Safety Margin), 보수적인 폴백 행동(Conservative Fallback Behavior), 스트레스 시험, 런타임 모니터링 및 독립적인 보호 계층(Independent Protection)을 결합함으로써 불완전한 지식과 변화하는 물리적 조건에 대한 회복탄력성(Resilience)을 확보할 수 있다.
03.16. AI Safety Evaluation Pipeline [w/Code]
체화형 시스템(Embodied System)을 위한 인공지능 안전 평가 파이프라인(AI Safety Evaluation Pipeline)은 학습된 지능(Learned Intelligence)이 배치 전후에 허용 가능한 물리적 위험 범위 안에서 작동할 수 있는지를 판단해야 한다. 평가는 단순한 모델 정확도(Model Accuracy)로 축소할 수 없는데, 인지, 예측, 계획, 학습 및 제어가 실제 환경과 상호작용하기 때문이다. 따라서 평가 파이프라인은 모델 수준 시험(Model-Level Test)을 시스템 수준 위험요소(System-Level Hazard), 운용 제약, 물리적 결과 및 런타임 증거(Runtime Evidence)와 연결해야 한다.
파이프라인은 의도된 운용 영역(Intended Operational Domain)과 안전 요구사항(Safety Requirement)을 정의하는 것에서 시작한다. 로봇 구성, 작업, 환경, 사용자, 적재물, 속도, 센싱 조건, 상호작용 유형 및 자율성 경계(Autonomy Boundary)는 시스템이 처리해야 하는 범위를 규정한다. 이후 안전 목표(Safety Objective)는 충돌, 과도한 힘, 불안정한 움직임, 제한 구역 진입, 제어 상실 또는 안전 정지 실패와 같이 허용할 수 없는 결과를 식별한다.
위험요소 분석(Hazard Analysis)은 평가를 위한 위험 맥락(Risk Context)을 제공한다. 잠재적 실패는 인공지능 기능에서 물리적 결과까지 추적되며, 여기에는 미탐지(Missed Detection), 잘못된 분류, 환각된 물체(Hallucinated Object), 부정확한 월드 모델 예측(World-Model Prediction), 위험한 정책 행동, 분포 변화(Distribution Shift), 과도한 신뢰도(Overconfidence)가 포함된다. 이러한 매핑은 어떤 인공지능 오류가 단순한 성능 문제이고 어떤 오류가 안전 중요 시스템 행동(Safety-Critical System Behavior)으로 전파될 수 있는지를 판단하는 데 도움을 준다.
평가 요구사항(Evaluation Requirement)은 단순히 편리한 머신러닝 벤치마크(Machine-Learning Benchmark)에서 선택하는 것이 아니라 이러한 위험요소로부터 도출되어야 한다. 각각의 중요한 위험요소는 탐지 신뢰성, 정지 마진(Stopping Margin), 충돌 여유 거리(Collision Clearance), 힘 노출(Force Exposure), 불확실성 보정(Uncertainty Calibration), 개입 빈도, 복구 성공률 또는 제약 위반율과 같은 측정 가능한 증거와 연결되어야 한다. 이를 통해 안전 주장(Safety Claim), 평가 방법 및 관측 결과 사이의 추적성(Traceability)을 확보할 수 있다.
데이터셋 평가(Dataset Evaluation)는 시험 증거가 관련 운용 조건을 대표할 때에만 의미가 있기 때문에 파이프라인의 초기 단계를 구성한다. 데이터셋에는 명목 시나리오(Nominal Scenario), 환경 변화, 센서 성능 저하, 비정상적인 물체, 인간 상호작용, 경계 조건 및 희귀한 안전 중요 사건(Rare Safety-Critical Event)이 포함되어야 한다. 또한 암기(Memorization)가 실제 일반화(Generalization)처럼 나타나는 것을 방지하기 위해 학습 데이터와 평가 데이터를 충분히 분리해야 한다.
모델 수준 평가(Model-Level Evaluation)는 개별 인공지능 기능에 상당한 물리적 행동 권한(Physical Authority)을 부여하기 전에 해당 기능을 검사한다. 인지 모델(Perception Model)은 위험요소 미탐지, 오탐지, 보정(Calibration), 강건성(Robustness), 분포 외 행동(Out-of-Distribution Behavior)을 평가할 수 있다. 월드 모델(World Model)은 다단계 예측 오류(Multi-Step Prediction Error)와 불확실성 증가를 평가하고, 정책(Policy)은 제약 위반, 위험 행동, 보상 악용(Reward Exploitation), 익숙하지 않은 상태에서의 행동을 평가할 수 있다.
불확실성 평가(Uncertainty Evaluation)는 안전과 관련된 인공지능 시스템이 자신의 예측을 신뢰할 수 없는 시점을 나타낼 수 있어야 하기 때문에 필수적이다. 신뢰도 점수(Confidence Score)는 명목 조건과 분포가 변화한 조건 모두에서 실제 오류 빈도와 비교되어야 한다. 때때로 오류를 발생시키더라도 적절한 불확실성을 나타내는 모델은 보수적 제어(Conservative Control)를 지원할 수 있지만, 동일한 정확도를 가지면서 실패 상황에서도 높은 신뢰도를 유지하는 모델은 훨씬 큰 물리적 위험을 발생시킬 수 있다.
강건성 시험(Robustness Testing)은 센싱, 환경, 동역학 및 작업 조건에 통제된 교란(Perturbation)을 적용한다. 조명, 잡음, 가림(Occlusion), 보정 오류, 적재물 변화, 마찰, 지연 시간(Latency), 물체 배치 및 인간 행동을 체계적으로 변경할 수 있다. 목적은 단순히 평균 성능을 낮추는 것이 아니라 성능 저하가 어떻게 진행되는지, 그리고 성능이 허용할 수 없는 경계를 넘기 전에 안전 메커니즘(Safety Mechanism)이 적절하게 대응하는지를 판단하는 것이다.
분포 외 평가(Out-of-Distribution Evaluation)는 개발 경험과 더욱 크게 다른 조건을 시험한다. 새로운 물체, 환경, 배치, 로봇 구성, 작업 조합 또는 상호작용 패턴을 통해 인공지능 시스템이 자신의 지식 한계를 인식하는지를 확인할 수 있다. 평가는 작업 실패만 측정해서는 안 되며, 일반화의 신뢰성이 저하될 때 불확실성이 증가하고, 자율성이 감소하거나, 안전 폴백(Safe Fallback)이 활성화되는지도 측정해야 한다.
시뮬레이션(Simulation)은 물리적으로 재현하기에 비용이 많이 들거나, 드물거나, 위험한 조건을 대규모로 평가할 수 있도록 한다. 수천 또는 수백만 개의 시나리오 변형을 통해 교란 조합, 충돌 직전 상황, 센서 고장, 인간 움직임, 접촉 사건 및 정책 오류를 탐색할 수 있다. 시뮬레이션은 어려운 사례를 식별하는 데 특히 유용하지만 시뮬레이터의 가정이 실제 세계와 다를 수 있으므로 시뮬레이션에서의 성공만으로 물리적 안전을 입증할 수는 없다.
시나리오 기반 평가(Scenario-Based Evaluation)는 개별적인 모델 입력이 아니라 완전한 운용 상황을 중심으로 시험을 구성한다. 하나의 시나리오는 로봇 상태, 환경 기하 구조, 인간 행동, 작업 목표, 교란 및 예상되는 안전 제약을 결합할 수 있다. 파라미터화된 시나리오(Parameterized Scenario)를 통해 중요한 경계 주변의 조건을 체계적으로 변화시키고, 정상 운용에서 성능 저하, 개입 또는 위험한 실패로 행동이 전환되는 지점을 확인할 수 있다.
적대적 시험 및 스트레스 시험(Adversarial and Stress Testing)은 일반적인 조건만 샘플링하는 대신 의도적으로 취약점을 탐색한다. 인지 불확실성, 모델 오류, 지연 시간, 감소된 접지력, 움직이는 장애물 또는 모호한 명령과 같은 교란을 결합할 수 있다. 개별적으로 허용 가능한 편차들이 결합되면 안전 마진(Safety Margin)을 소진할 수 있기 때문에 스트레스 시험은 기존 검증에서 발견되지 않았던 실패 메커니즘을 식별하는 데 중요하다.
체화형 인공지능의 행동은 이후의 관측과 상태를 변화시키기 때문에 폐루프 평가(Closed-Loop Evaluation)가 필요하다. 오프라인 예측은 허용 가능한 것처럼 보이더라도 반복적인 상호작용 과정에서 오류가 누적될 수 있다. 하드웨어 인 더 루프(Hardware-in-the-Loop), 소프트웨어 인 더 루프(Software-in-the-Loop), 상호작용형 시뮬레이션(Interactive Simulation)을 통해 인지, 계획, 정책, 제어 및 환경 사이의 피드백을 평가할 수 있다. 장기 시험(Long-Horizon Testing)은 누적되는 상태 추정, 예측 또는 정책 오류를 발견하는 데 특히 중요하다.
시스템 수준 통합 시험(System-Level Integration Testing)은 독립적인 구성요소들을 연결했을 때에도 시스템이 안전하게 유지되는지를 평가한다. 계획이 충분한 안전 마진을 유지한다면 인지 오류가 위험으로 이어지지 않을 수 있지만, 작은 계획 오류도 액추에이터 지연과 결합되면 위험해질 수 있다. 따라서 종단간 평가(End-to-End Evaluation)는 최소 분리 거리, 정지 거리, 궤적 편차, 접촉력, 안정성, 복구 가능성(Recoverability), 비상 정지 성능과 같은 물리적 결과를 측정해야 한다.
안전 메커니즘은 단순히 존재한다는 이유만으로 효과적이라고 가정하지 말고 별도로 평가해야 한다. 제약 검사기(Constraint Checker), 안전 필터(Safety Filter), 충돌 모니터, 폴백 제어기(Fallback Controller), 런타임 보증(Runtime Assurance), 비상 정지 및 인간 개입 메커니즘을 의도적으로 활성화하는 조건에서 시험해야 한다. 평가에서는 탐지 지연, 대응 시간, 전환 행동, 적용 범위, 독립성 및 안전 상태(Safe State)에 도달하거나 이를 유지할 수 있는 능력을 검증해야 한다.
복구 시험(Recovery Testing)은 비정상 조건이 발생한 이후 시스템이 어떻게 행동하는지를 평가한다. 로봇은 파지 실패, 차단된 경로, 위치추정 성능 저하, 중단된 작업, 예상하지 못한 접촉, 센서 손실 및 인간 개입 상황에서 평가되어야 한다. 안전은 실패를 예방하는 것뿐만 아니라 비정상 조건이 위험 상태로 발전하기 전에 정지, 안정화, 후퇴, 재계획(Replanning), 제어 권한 이전 또는 지원 요청을 수행할 수 있는 능력에도 의존한다.
물리적 시험(Physical Testing)은 시뮬레이션만으로는 완전히 확보할 수 없는 증거를 제공한다. 통제된 실험실과 시험장에서 실제 센서 행동, 기계적 응답, 제동 성능, 접촉력, 통신 지연, 액추에이터 한계 및 환경 영향을 검증할 수 있다. 시스템의 운용 권한(Operational Authority)을 확대할 수 있다는 증거가 축적됨에 따라 낮은 위험의 통제된 조건에서 점차 실제 운용을 대표하는 시나리오로 시험 범위를 확대해야 한다.
평가 게이트(Evaluation Gate)는 개발과 배치 과정의 진행 여부를 통제해야 한다. 평균 벤치마크 점수가 향상되었다는 이유만으로 모델이 다음 단계로 진행해서는 안 된다. 게이트는 최소 성능, 보정된 불확실성, 허용 가능한 최악 조건 행동(Worst-Case Behavior), 안전 필터의 성공적인 작동, 회귀 시험(Regression Testing) 완료 및 검증된 복구 능력을 요구할 수 있다. 게이트를 통과하지 못하면 분석, 재설계, 재학습, 운용 영역 제한 또는 추가 증거 수집을 수행해야 한다.
모델, 데이터셋, 프롬프트, 정책, 제어기 또는 시스템 구성이 변경될 때마다 회귀 시험이 필요하다. 하나의 능력을 향상시키는 업데이트가 이전에 검증된 다른 행동을 예상하지 못하게 저하시킬 수 있다. 따라서 유지 관리되는 안전 회귀 시험군(Safety Regression Suite)에는 대표적인 정상 작업, 알려진 실패, 경계 조건, 희귀 위험요소 및 이전에 발견된 어려운 시나리오를 포함하여 개발 과정에서 축적된 안전 지식이 사라지지 않도록 해야 한다.
평가 결과는 안전 의사결정을 지원할 수 있도록 충분한 추적성을 가지고 기록되어야 한다. 모델 버전, 데이터셋 버전, 시험 구성, 환경 조건, 로봇 하드웨어, 소프트웨어 의존성, 평가 지표, 실패, 개입 및 승인 결정을 서로 연결해야 한다. 이러한 증거를 통해 엔지니어는 결과를 재현하고, 업데이트를 비교하고, 사고를 조사하며, 특정 운용 영역에서 어떤 구성이 허용 가능한 것으로 판단되었는지를 정확하게 확인할 수 있다.
배치(Deployment)는 평가 파이프라인의 끝이 아니다. 런타임 모니터링(Runtime Monitoring)은 불확실성, 예측 잔차(Prediction Residual), 안전 필터 개입, 니어미스(Near Miss), 복구 사건, 인간 오버라이드(Human Override), 센서 상태 변화 및 예상하지 못한 행동을 통해 실제 운용에서 새로운 증거를 제공한다. 현장 증거(Field Evidence)는 배치 전 시험에서 존재하지 않았던 시나리오를 발견할 수 있으며, 이러한 정보는 데이터셋, 시뮬레이션, 위험요소 분석 및 회귀 시험군으로 다시 피드백되어야 한다.
따라서 이 파이프라인은 일회성 인증 절차가 아니라 순환 구조(Cyclical Structure)를 가진다. 운용 증거는 새로운 위험요소와 어려운 사례를 식별하고, 이러한 사례는 새로운 평가 시나리오와 학습 사례가 된다. 업데이트된 모델은 다시 모델 시험, 강건성 평가, 시뮬레이션, 통합 시험, 물리적 검증 및 배치 게이트(Deployment Gate)를 통과해야 한다. 지속적 평가(Continuous Evaluation)는 지속적으로 변화하는 인공지능 시스템과 안전 보증(Safety Assurance)이 서로 분리되는 것을 방지한다.
핵심적인 원칙은 인공지능 안전 평가가 시스템 생명주기(System Lifecycle) 전체에서 학습 모델의 행동을 측정 가능한 물리적 결과와 연결해야 한다는 것이다. 데이터셋 시험, 모델 지표, 불확실성 보정, 강건성 시험, 시뮬레이션, 적대적 시나리오, 폐루프 평가, 물리적 검증, 안전 메커니즘 시험, 회귀 시험군 및 런타임 모니터링을 결합함으로써 인공지능이 단순히 높은 성능을 보이는지뿐만 아니라 자신의 가정이 잘못되었을 때에도 안전하게 실패하는지(Fail Safely)를 입증하는 증거 체계(Evidence Chain)를 구축해야 한다.
저자: Richard Minsoo Go
LinkedIn: Richard Minsoo Go
















Top comments (0)