DEV Community

Richard Minsoo Go
Richard Minsoo Go

Posted on

Robot Cybersecurity — Ch.05: Edge AI Security [KR]

STATERA Library · Series 08 · Volume 24 · Chapter 05 · KR
Source: https://github.com/Statera-Library/08_Vol_24_Robot_Cybersecurity/blob/main/Chapter_05_Edge_AI_Security/Chapter_05_Edge_AI_Security_KR.md

Volume 24. Robot Cybersecurity

Chapter 05. Edge AI Security

05.01. Edge AI Security Threat Model Model Theft Poison

엣지 인공지능(Edge AI)은 학습된 모델(Trained Model), 런타임 소프트웨어(Runtime Software), 센서 입력(Sensor Input), 가속기 하드웨어(Accelerator Hardware)가 엄격하게 통제되는 데이터센터(Data Center) 외부에서 동작하는 로봇에 직접 배포되기 때문에 독특한 사이버보안(Cybersecurity) 문제를 발생시킨다. 첨부된 구조에서는 이 주제를 엣지 인공지능 보안(Edge AI Security)에 배치하고, 초기 위협 모델(Threat Model)을 모델 암호화(Model Encryption), 보안 로딩(Secure Loading), 적대적 입력 탐지(Adversarial Input Detection), 신뢰 실행 환경(Trusted Execution Environment), 추론 모니터링(Inference Monitoring), 포이즈닝 방어(Poisoning Defense)와 같은 후속 보안 통제로 구분한다.

엣지 인공지능 위협 모델(Edge AI Threat Model)은 침해될 경우 지식재산(Intellectual Property) 또는 물리적 동작(Physical Behavior)에 영향을 줄 수 있는 자산을 식별하는 것에서 시작한다. 이러한 자산에는 학습된 모델 가중치(Model Weights), 네트워크 아키텍처(Network Architecture), 추론 바이너리(Inference Binary), 보정 파라미터(Calibration Parameter), 전처리 로직(Preprocessing Logic), 특징 표현(Feature Representation), 학습 메타데이터(Training Metadata), 로컬 적응 데이터(Local Adaptation Data), 자격 증명(Credential), 런타임 구성(Runtime Configuration) 등이 포함된다. 일반적인 애플리케이션 데이터와 달리 인공지능 모델(AI Model)은 가치 있는 독점 지식과 인지·계획·자율 행동을 제어하는 실행 가능한 의사결정 로직을 동시에 포함할 수 있다.

공격 표면(Attack Surface)은 추론 엔드포인트(Inference Endpoint)에만 한정되지 않고 전체 모델 수명주기(Model Lifecycle)에 걸쳐 존재한다. 모델은 클라우드(Cloud) 또는 온프레미스(On-Premise) 학습 환경에서 생성되어 모델 레지스트리(Model Registry)와 배포 파이프라인(Deployment Pipeline)을 거치고, 무선 업데이트(OTA) 또는 플릿 배포 채널(Fleet Distribution Channel)을 통해 전송된 후 엣지 저장장치(Edge Storage)에 저장되어 최종적으로 CPU, GPU, NPU 또는 기타 가속기(Accelerator)에서 실행될 수 있다. 각각의 전환 과정은 공격자가 모델을 복사, 대체, 수정, 다운그레이드, 관찰 또는 조작할 수 있는 신뢰 경계(Trust Boundary)를 형성한다.

모델 탈취(Model Theft)는 대표적인 기밀성(Confidentiality) 위협이다. 파일시스템(Filesystem), 펌웨어(Firmware), 디버깅(Debugging), 유지보수(Maintenance) 또는 권한이 높은 런타임 접근(Privileged Runtime Access)을 확보한 공격자는 엣지 장치(Edge Device)에서 모델 파일을 직접 추출하려 할 수 있다. 원본 모델 파일에 접근할 수 없더라도 추론 인터페이스(Inference Interface)와 반복적으로 상호작용함으로써 의사결정 경계(Decision Boundary)와 모델 동작에 관한 정보를 획득할 수 있다. 탈취된 모델은 독점 기술을 노출하고 복제에 필요한 경제적 비용을 낮추며, 공격자가 취약점과 적대적 입력(Adversarial Input)을 오프라인에서 연구할 수 있는 표적을 제공한다.

물리적 접근(Physical Access)이 가능한 로봇 시스템에서는 모델 탈취 위험이 특히 중요하다. 엣지 컴퓨터(Edge Computer)는 자율이동로봇(AMR), 무인항공기(UAV), 휴머노이드(Humanoid), 사족보행로봇(Quadruped), 검사 로봇(Inspection Robot), 산업용 기계(Industrial Machine) 등에 설치되어 창고, 공장, 야외 환경, 고객 시설에서 운용될 수 있다. 따라서 공격자는 이동식 저장장치(Removable Storage), 유지보수 포트(Maintenance Port), 부트 인터페이스(Boot Interface), 진단 서비스(Diagnostic Service), 메모리 덤프(Memory Dump), 적절하게 보호되지 않은 가속기 버퍼(Accelerator Buffer)를 공격할 수 있다. 물리적으로 보호되는 서버에 적합한 보안 가정을 현장 배치 로봇(Field-Deployed Robot)에 그대로 적용해서는 안 된다.

모델 포이즈닝(Model Poisoning)은 기밀성보다 무결성(Integrity)을 주요 대상으로 한다. 공격자가 학습 데이터(Training Data), 어노테이션 파이프라인(Annotation Pipeline), 합성 데이터셋(Synthetic Dataset), 미세조정 샘플(Fine-Tuning Sample), 강화학습 경험(Reinforcement Learning Experience), 연합학습 업데이트(Federated Update), 온라인 적응 데이터(Online Adaptation Data)에 영향을 줄 수 있을 때 포이즈닝이 발생할 수 있다. 그 결과 생성된 모델은 전체적인 정확도를 정상 수준으로 유지하면서도 숨겨진 취약점이나 공격자가 통제하는 동작을 포함할 수 있다. 이러한 특성으로 인해 일반적인 검증 지표(Validation Metric)만으로는 의도적으로 국소화된 조작을 발견하지 못할 수 있다는 점에서 포이즈닝은 특히 위험하다.

예를 들어 포이즈닝된 인지 모델(Poisoned Perception Model)은 다른 상황에서는 정상적으로 동작하면서 특정 객체, 환경 패턴 또는 운용 조건을 지속적으로 잘못 분류하도록 조작될 수 있다. 손상된 내비게이션 모델(Navigation Model)이나 정책 모델(Policy Model)은 드문 트리거(Trigger)가 발생했을 때만 위험한 행동을 선택하도록 구성될 수 있다. 로봇에서는 이러한 조작이 사이버보안과 물리적 안전(Physical Safety)의 경계를 넘어선다. 인공지능 산출물(AI Artifact)의 손상은 궁극적으로 속도, 궤적, 조작력, 장애물 회피, 임무 수행, 사람 및 장비와의 상호작용에 영향을 줄 수 있기 때문이다.

백도어 공격(Backdoor Attack)은 학습 과정의 조작을 통해 숨겨진 트리거(Hidden Trigger)를 공격자가 선택한 출력 또는 행동과 연결하는 특수한 포이즈닝 시나리오(Poisoning Scenario)이다. 트리거는 시각적(Visual), 의미적(Semantic), 상황적(Contextual), 시간적(Temporal) 형태이거나 다른 센서 모달리티(Sensor Modality)에 포함될 수 있다. 트리거가 존재하지 않을 때 모델이 정상적으로 동작할 수 있기 때문에 일반적인 벤치마크 테스트(Benchmark Testing)는 잘못된 신뢰를 제공할 수 있다. 따라서 위협 모델링(Threat Modeling)은 평균적인 모델 성능뿐 아니라 의도적으로 구성된 입력과 운용 상황에서 나타나는 조건부 동작(Conditional Behavior)도 고려해야 한다.

공급망 침해(Supply-Chain Compromise)는 로봇을 배포하는 조직의 경계를 넘어 위협 범위를 확장한다. 엣지 인공지능 시스템(Edge AI System)은 일반적으로 사전학습 모델(Pretrained Model), 오픈소스 프레임워크(Open-Source Framework), 최적화된 추론 엔진(Optimized Inference Engine), 가속기 라이브러리(Accelerator Library), 컨테이너(Container), 서드파티 데이터셋(Third-Party Dataset), 변환 도구(Conversion Tool), 공급업체 펌웨어(Vendor Firmware)에 의존한다. 악의적이거나 손상된 산출물이 상류 공급망(Upstream Supply Chain)에 삽입되면 다수의 배포된 로봇으로 확산될 수 있다. 따라서 출처 추적성(Provenance), 산출물 식별성(Artifact Identity), 의존성 무결성(Dependency Integrity), 모델 변환 권한(Model Transformation Authorization)은 단순한 머신러닝 운영(MLOps) 편의 기능이 아니라 인공지능 수명주기(AI Lifecycle)의 보안 속성이 된다.

모델 대체(Model Substitution) 역시 중요한 무결성 위협이다. 배포 메커니즘(Deployment Mechanism)이 악성 모델로 교체되는 것을 허용한다면 공격자는 반드시 정상 모델을 이해하거나 포이즈닝할 필요가 없다. 대체된 모델은 표면적인 시험에서는 정상적인 동작을 모방하면서 특정 상황에서 공격자가 지정한 의사결정을 생성할 수 있다. 따라서 암호학적 식별(Cryptographic Identity), 신뢰할 수 있는 모델 레지스트리(Trusted Model Registry), 보안 로딩(Secure Loading), 배포 권한 부여(Deployment Authorization)는 초기 위협 모델 이후 발전시켜야 할 자연스러운 보안 통제가 된다.

런타임 조작(Runtime Manipulation)은 저장된 모델 자체를 수정하는 공격과 별도로 구분해야 한다. 공격자는 모델이 메모리에 로드된 이후 모델 파라미터(Model Parameter)를 변경하거나, 전처리 및 후처리 함수(Preprocessing and Postprocessing Function)를 수정하거나, 추론 라이브러리(Inference Library)를 변조하거나, 공유 메모리(Shared Memory)에 데이터를 삽입하거나, 가속기 실행(Accelerator Execution)을 방해하거나, 정상 모델을 둘러싼 임계값(Threshold)을 변경할 수 있다. 따라서 모델 파일에 전자서명(Digital Signature)을 적용하는 것만으로는 충분하지 않으며, 모델 출력을 해석하고 사용하는 런타임 환경(Runtime Environment)까지 신뢰 컴퓨팅 경계(Trusted Computing Boundary)에 포함해야 한다.

적대적 입력(Adversarial Input)은 모델 자체를 변경하지 않고 추론 과정(Inference Process)을 공격한다. 정교하게 구성된 카메라 영상, 물리적 패턴(Physical Pattern), 라이다 관측(LiDAR Observation), 오디오 신호(Audio Signal), 텍스트 명령(Textual Instruction), 멀티모달 조합(Multimodal Combination)은 모델이 잘못된 예측을 생성하도록 유도할 수 있다. 이러한 공격의 보안 중요성은 모델에 부여된 후속 제어 권한에 따라 달라진다. 단순 기록에 사용되는 분류 오류는 영향이 제한적이지만, 동일한 오류가 자율 이동이나 조작에 입력되면 안전에 중요한 물리적 행동으로 전파될 수 있다.

가용성(Availability)은 기밀성 및 무결성과 함께 반드시 위협 모델에 포함되어야 한다. 공격자는 엣지 컴퓨팅 자원(Edge Computing Resource)을 고갈시키거나, 과도한 메모리 또는 가속기 시간을 소비하는 추론 워크로드(Inference Workload)를 생성하거나, 비정상 입력(Malformed Input)을 이용하거나, 높은 계산 비용이 필요한 처리 경로를 반복적으로 활성화할 수 있다. 로봇 워크로드(Robotic Workload)는 실시간 마감시간(Real-Time Deadline)에 의존하는 경우가 많기 때문에 인공지능 서브시스템(AI Subsystem)을 완전히 중단시키지 않더라도 충분히 위험한 성능 저하를 유발할 수 있다. 추론 지연(Inference Latency) 증가, 제어 마감시간 누락, 오래된 인지 정보(Stale Perception), 자원 고갈(Resource Starvation)만으로도 운용 안전성이 저하될 수 있다.

따라서 위협 분석(Threat Analysis)은 각 공격을 사이버 영향(Cyber Impact)뿐 아니라 로봇의 물리적 결과(Robotic Consequence)와 연결해야 한다. 모델 탈취는 주로 기밀성과 지식재산을 위협하고, 포이즈닝과 모델 대체는 의사결정 무결성을 훼손하며, 자원 공격(Resource Attack)은 가용성을 저하시킨다. 그러나 이러한 범주는 서로 상호작용한다. 탈취된 모델은 오프라인 적대적 공격 연구를 가능하게 하고, 포이즈닝된 모델은 지속적인 물리적 취약점을 만들며, 손상된 런타임 소프트웨어는 모델 가중치와 의사결정 모두를 노출할 수 있다. 따라서 엣지 인공지능 보안은 개별 모델 보호 문제가 아니라 시스템 수준 속성(System-Level Property)으로 이해해야 한다.

신뢰 경계(Trust Boundary)는 이러한 위험을 체계적으로 구성하는 실용적인 방법을 제공한다. 중요한 경계는 클라우드 학습(Cloud Training)과 엣지 배포(Edge Deployment), 모델 레지스트리와 무선 업데이트 인프라(OTA Infrastructure), 영구 저장장치(Persistent Storage)와 추론 메모리(Inference Memory), 센서 인터페이스(Sensor Interface)와 전처리 과정, 인공지능 추론(AI Inference)과 결정론적 제어(Deterministic Control), 개별 로봇과 플릿 서비스(Fleet Service), 권한이 높은 유지보수 도구(Privileged Maintenance Tool)와 운영 실행 환경(Production Execution) 사이에 존재한다. 각각의 경계에서는 인증된 신원, 허가된 작업, 무결성 요구사항, 보호 대상 자산, 텔레메트리(Telemetry) 요구사항, 검증 실패 시의 동작을 명확하게 정의해야 한다.

더 넓은 로보틱스 소프트웨어(Robotics Software) 구조 역시 이러한 계층 간 관점(Cross-Layer Perspective)을 강화한다. 엣지 컴퓨팅(Edge Computing), 인공지능 데이터 아키텍처(AI Data Architecture), 머신러닝 운영(MLOps)의 모델 배포(Model Deployment)와 모델 모니터링(Model Monitoring), 인공지능 추론 최적화(AI Inference Optimization), 인공지능 안전(AI Safety)이 서로 연관된 영역으로 구성되어 있다. 따라서 엣지 인공지능 보안은 독립적으로 존재하는 영역이 아니라 임베디드 컴퓨팅(Embedded Computing), 데이터 파이프라인(Data Pipeline), 배포 운영(Deployment Operations), 로봇 학습(Robot Learning)과 교차하는 보안 영역이다.

성숙한 위협 모델은 예방 조치가 때때로 실패할 수 있다는 사실까지 전제로 해야 한다. 시스템은 의심스러운 동작을 탐지하고 조사할 수 있도록 모델 식별정보(Model Identity), 버전(Version), 출처 추적성, 배포 이벤트(Deployment Event), 런타임 구성, 추론 이상(Inference Anomaly), 보안 관련 변경 사항에 대한 증거를 보존해야 한다. 이를 최소 권한(Least Privilege), 하드웨어 기반 신뢰(Hardware-Rooted Trust), 서명된 산출물(Signed Artifact), 저장 및 전송 데이터 암호화(Encryption at Rest and in Transit), 보호된 실행(Protected Execution), 이상 모니터링(Anomaly Monitoring), 통제된 롤백(Controlled Rollback)과 결합하면 전체 엣지 인공지능 수명주기를 방어하는 심층 방어(Defense in Depth)를 구축할 수 있다.

따라서 핵심 보안 목표는 단순히 모델 가중치를 숨기는 것이 아니다. 의도된 모델이 신뢰할 수 있는 입력으로부터 생성되고, 승인된 채널을 통해 전송되며, 대체 없이 안전하게 로드되고, 침해되지 않은 실행 환경에서 동작하며, 신뢰할 수 있는 관측 데이터를 입력받고, 비정상적인 인공지능 동작이 위험한 물리적 행동으로 직접 변환되지 않도록 보장하는 것이 핵심이다. 이러한 종단간 관점(End-to-End Perspective)은 이후 엣지 인공지능 보안 주제에서 다루는 암호화(Encryption), 검증(Verification), 적대적 공격 방어(Adversarial Defense), 신뢰 실행 환경(TEE), 모니터링(Monitoring), 포이즈닝 대응책(Poisoning Countermeasure)의 기반을 형성한다.

05.02. AI Model Encryption at Rest and in Transit [w/Code]

저장 상태의 인공지능 모델 암호화(AI Model Encryption at Rest)는 모델 산출물(Model Artifact)을 일반적인 애플리케이션 파일이 아니라 중요한 보안 자산(Security Asset)으로 인식하는 것에서 시작한다. 엣지 로봇(Edge Robot)은 신경망 가중치(Neural-Network Weights), 최적화된 추론 엔진(Optimized Inference Engine), 토크나이저 데이터(Tokenizer Data), 보정 파라미터(Calibration Parameter), 정책 네트워크(Policy Network), 구성 파일(Configuration File), 독점 전처리 로직(Proprietary Preprocessing Logic)을 로컬 SSD, eMMC 장치, 이동식 미디어(Removable Media), 영구 가속기 저장장치(Persistent Accelerator Storage)에 저장할 수 있다. 암호화는 저장장치가 복제되거나 제거되거나 비인가 접근을 받았을 때 모델이 직접 추출되는 것을 방지한다.

저장 데이터 암호화(Encryption at Rest)는 기본 가중치 파일(Weight File)뿐 아니라 전체 모델 산출물 집합(Model Artifact Set)을 보호해야 한다. 배포 패키지(Deployment Package)에는 ONNX 그래프(ONNX Graph), TensorRT 엔진(TensorRT Engine), PyTorch 체크포인트(PyTorch Checkpoint), 양자화 테이블(Quantization Table), 메타데이터(Metadata), 런타임 구성(Runtime Configuration), 인증서(Certificate), 모델 아키텍처나 운용 동작을 노출할 수 있는 지원 산출물이 포함될 수 있다. 보조 파일을 보호하지 않으면 중요한 지식재산(Intellectual Property)이 노출되거나 공격자가 보호된 모델을 재구성·분석·조작하는 데 필요한 정보를 획득할 수 있다.

일반적인 아키텍처에서는 로봇에 저장되는 모델 패키지(Model Package)를 보호하기 위해 AES-256과 같은 강력한 대칭키 암호화(Symmetric Encryption)를 사용한다. 모델은 영구 저장장치(Persistent Storage)에 기록되기 전에 암호화되고, 승인된 추론 환경(Authorized Inference Environment)이 필요로 할 때만 복호화된다. 암호화 키(Encryption Key)는 암호화된 모델 파일과 논리적으로 분리되어야 한다. 암호문(Ciphertext)과 같은 위치에 키를 저장하거나, 애플리케이션 바이너리(Application Binary)에 직접 삽입하거나, 읽을 수 있는 구성 파일에 저장하면 저장 데이터 암호화의 목적이 크게 약화된다.

하드웨어 기반 키 보호(Hardware-Backed Key Protection)는 이러한 설계를 강화한다. 신뢰 플랫폼 모듈(Trusted Platform Module, TPM), 하드웨어 보안 모듈(Hardware Security Module, HSM), 보안 요소(Secure Element), 플랫폼별 하드웨어 신뢰 루트(Hardware Root of Trust)는 키 자료(Key Material)를 보호하고 장치 신원(Device Identity)과 플랫폼 상태(Platform State)에 따라 키 사용을 제한할 수 있다. 장기간 유지되는 모델 키를 애플리케이션 소프트웨어에 직접 노출하는 대신, 시스템은 하드웨어로 보호된 비밀정보를 이용하여 필요한 부트(Boot), 신원, 권한 조건이 충족된 이후에만 단기 데이터 암호화 키(Data-Encryption Key)를 언랩(Unwrap)할 수 있다.

봉투 암호화(Envelope Encryption)는 다수의 모델과 로봇에 대한 암호화를 확장성 있게 관리하는 방법을 제공한다. 각 모델 패키지는 전용 데이터 암호화 키(Data-Encryption Key)로 암호화할 수 있으며, 이 키 자체는 상위 수준의 키 암호화 키(Key-Encryption Key)를 사용하여 다시 암호화된다. 암호화된 모델과 래핑된 데이터 키(Wrapped Data Key)는 평문 비밀정보(Plaintext Secret)를 노출하지 않고 함께 전송될 수 있다. 이러한 구조는 키 순환(Key Rotation), 플릿 프로비저닝(Fleet Provisioning), 접근 권한 취소(Access Revocation), 모델 배포 인프라와 암호화 키 관리 시스템 간의 역할 분리를 단순화한다.

저장 데이터 암호화는 모델이 평문(Plaintext)으로 변환되는 순간까지 고려해야 한다. 전체 디스크 암호화(Full-Disk Encryption)는 저장장치가 오프라인 상태일 때 데이터를 보호하지만, 로봇이 부팅되고 파일시스템(Filesystem)이 잠금 해제된 이후에는 보호 효과가 제한될 수 있다. 애플리케이션 수준 모델 암호화(Application-Level Model Encryption)는 승인된 로딩 직전까지 모델 산출물을 암호화된 상태로 유지하여 이러한 노출을 줄일 수 있다. 평문 임시 파일(Plaintext Temporary File), 스왑 공간(Swap Space), 크래시 덤프(Crash Dump), 디버깅 인터페이스(Debugging Interface), 메모리 스냅샷(Memory Snapshot) 역시 강력한 저장 보호를 우회할 수 있으므로 함께 고려해야 한다.

전송 중 암호화(Encryption in Transit)는 서로 다른 신뢰 경계(Trust Boundary)를 보호한다. 모델은 일반적으로 학습 환경(Training Environment)에서 모델 레지스트리(Model Registry)로 이동하고, 레지스트리에서 배포 서비스(Deployment Service)로 전달된 후 클라우드 또는 온프레미스 플릿 인프라(Fleet Infrastructure)를 거쳐 개별 엣지 로봇에 도달한다. 공격자는 이 경로의 어느 지점에서든 가로채기(Interception), 수정(Modification), 재전송(Replay), 대체(Substitution), 리디렉션(Redirection)을 시도할 수 있다. 따라서 보안 전송(Secure Transport)은 기밀성(Confidentiality), 무결성(Integrity), 상대방 인증(Peer Authentication), 비인가 전달에 대한 저항성을 제공해야 한다.

전송 계층 보안(Transport Layer Security, TLS)은 IP 네트워크를 통한 모델 전송을 보호하는 표준적인 기반이다. 최신 TLS 구성은 인증된 엔드포인트(Authenticated Endpoint) 사이의 통신을 암호화하고, 전송되는 모델 패키지가 수동적 도청(Passive Observation)이나 탐지되지 않은 변경으로부터 보호되도록 한다. 로봇 플릿(Robot Fleet)에서는 상호 TLS(Mutual TLS, mTLS)를 사용하여 배포 서버와 수신 로봇 양쪽을 모두 인증함으로써 보안을 강화할 수 있다. 로봇은 네트워크 연결이 암호화되었다는 이유만으로 모델을 수락해서는 안 되며, 원격 엔드포인트가 승인된 배포 주체(Authorized Deployment Authority)인지 검증해야 한다.

대규모 플릿에 모델을 배포할 때는 장치 신원(Device Identity)이 특히 중요하다. 각각의 로봇은 플릿 전체가 공유하는 하나의 자격 증명(Shared Credential)에 의존하기보다 개별 암호학적 신원(Individual Cryptographic Identity)을 보유하는 것이 바람직하다. 고유 인증서(Unique Certificate)와 개인 키(Private Key)를 사용하면 배포 서비스가 특정 장치를 인증하고, 모델 접근 정책(Model-Access Policy)을 적용하고, 침해된 로봇의 권한을 취소하며, 어떤 산출물이 어떤 플랫폼에 전달되었는지 감사 가능한 기록(Auditable Record)을 유지할 수 있다. 이를 통해 하나의 로봇이 침해되더라도 전체 플릿에서 사용할 수 있는 자격 증명이 자동으로 노출되는 것을 방지할 수 있다.

전송 암호화(Transport Encryption)와 산출물 암호화(Artifact Encryption)는 서로 보완적인 목적을 가진다. TLS는 통신 세션을 통해 이동하는 동안 모델을 보호하고, 산출물 수준 암호화(Artifact-Level Encryption)는 전송이 시작되기 전과 종료된 이후에도 기밀성을 유지할 수 있다. 두 방식을 결합하면 중간 저장장치(Intermediate Storage), 캐싱 계층(Caching Layer), 메시지 브로커(Message Broker), 업데이트 서버(Update Server), 실수로 노출된 파일이 자동으로 모델의 평문 내용을 획득하는 것을 방지할 수 있다. 따라서 민감한 배포 환경에서는 대부분의 배포 수명주기 동안 모델 패키지를 암호화된 상태로 유지할 수 있다.

기밀성만으로는 충분하지 않다. 암호화된 데이터도 대체되거나 재전송될 수 있기 때문이다. 따라서 모델 패키지는 암호학적 무결성(Cryptographic Integrity)과 진본성(Authenticity) 정보를 함께 포함해야 한다. 전자서명(Digital Signature)을 사용하면 로봇은 산출물이 승인된 모델 게시자(Authorized Model Publisher)로부터 생성되었으며 서명 이후 변경되지 않았음을 검증할 수 있다. 해시(Hash)는 정확한 산출물 내용을 식별할 수 있으며, 서명된 메타데이터(Signed Metadata)는 모델 식별자(Model Identifier), 버전(Version), 대상 하드웨어(Target Hardware), 보안 정책(Security Policy), 호환성 요구사항(Compatibility Requirement), 기타 배포 속성을 승인된 패키지에 결합할 수 있다.

암호화(Encryption)와 서명(Signing)은 서로 다른 보안 목표를 해결하므로 상호 대체 관계로 간주해서는 안 된다. 암호화는 비인가 사용자가 모델을 읽을 수 있는지에 대한 문제를 해결하는 반면, 전자서명은 수신 시스템이 모델의 출처와 무결성을 신뢰할 수 있는지를 확인한다. 기밀성이 보장되더라도 서명되지 않은 모델은 배포 과정에 접근한 공격자에 의해 대체될 수 있다. 반대로 올바르게 서명되었지만 암호화되지 않은 모델은 진본성을 유지하면서도 해당 산출물을 획득할 수 있는 사람에게 중요한 지식재산을 노출할 수 있다.

따라서 키 관리(Key Management)는 암호화 알고리즘 자체의 선택보다 더 중요할 수 있다. 보안 수준은 키가 어떻게 생성(Generation), 프로비저닝(Provisioning), 저장(Storage), 권한 부여(Authorization), 순환(Rotation), 취소(Revocation), 백업(Backup), 폐기(Destruction)되는지에 따라 결정된다. 운영 환경의 모델 키(Production Model Key)를 개발 컴퓨터 사이에서 수동으로 복사하거나 배포 스크립트(Deployment Script)에 삽입해서는 안 된다. 접근은 최소 권한 원칙(Least-Privilege Principle)을 따라야 하며, 가치가 높은 마스터 키(Master Key)를 사용하는 암호 연산은 통제된 키 관리 시스템(Key-Management System) 또는 하드웨어 기반 환경에서 수행하는 것이 바람직하다.

키 순환(Key Rotation)은 대규모 플릿 배포 이전부터 모델 수명주기(Model Lifecycle)에 포함하여 설계해야 한다. 정기적인 보안 정책, 담당자 변경, 장치 폐기(Device Retirement), 노출 의심, 암호 알고리즘 마이그레이션(Algorithm Migration), 로봇 또는 배포 서버와 관련된 보안 사고로 인해 암호화 키를 교체해야 할 수 있다. 봉투 암호화는 상위 수준 키를 변경하거나 래핑된 키를 교체할 수 있으므로 원래 학습 결과에서 모든 모델 산출물을 다시 생성하지 않고도 키 순환에 필요한 운영 비용을 줄일 수 있다.

모델 전달(Model Delivery)은 재전송 공격(Replay Attack)과 다운그레이드 공격(Downgrade Attack)에도 대응해야 한다. 공격자는 과거에 합법적으로 사용되었던 암호화 패키지를 확보한 뒤 취약점이 발견되거나 보안 통제가 개선된 이후 다시 설치하려 할 수 있다. 버전 카운터(Version Counter), 서명된 배포 메타데이터, 단조 증가형 롤백 방지 상태(Monotonic Anti-Rollback State), 만료 정책(Expiration Policy), 호환성 규칙(Compatibility Rule)을 이용하면 로봇이 승인된 업데이트와 과거에는 유효했지만 현재는 오래된 패키지를 구분할 수 있다. 암호화만으로는 이러한 롤백 동작을 방지할 수 없다.

운영 가시성(Operational Observability)은 이러한 보호 아키텍처를 완성한다. 보안 로그(Security Log)는 민감한 키 자료를 노출하지 않으면서 모델 식별자, 암호학적 검증 결과(Cryptographic Verification Result), 키 사용 이벤트(Key-Use Event), 배포 출처(Deployment Source), 대상 장치 신원, 버전 변경(Version Transition), 복호화 실패(Decryption Failure), 인증서 오류(Certificate Error), 거부된 패키지(Rejected Package)를 기록해야 한다. 플릿 모니터링(Fleet Monitoring)은 이러한 이벤트를 연계하여 비정상적인 다운로드 패턴, 반복적인 인증 실패, 예상하지 못한 모델 버전, 비인가 장치의 산출물 접근 시도를 식별할 수 있다.

이러한 설계는 모델 수명주기 전반에 걸쳐 계층화된 보호(Layered Protection)를 구축한다. 모델은 저장되는 동안 암호화된 상태를 유지하고, 전송 과정에서는 인증된 암호화(Authenticated Encryption)로 보호되며, 수락되기 전에 검증되고, 승인된 실행 컨텍스트(Authorized Execution Context)에서만 복호화된다. 하드웨어 기반 키(Hardware-Backed Key), 장치별 신원(Per-Device Identity), 인증서 수명주기 관리(Certificate Lifecycle Management), 산출물 서명(Artifact Signature), 롤백 방지 통제(Anti-Rollback Control), 보안 텔레메트리(Security Telemetry)는 이러한 보호를 강화하여 하나의 보안 메커니즘이 침해되더라도 전체 인공지능 배포 체인(AI Deployment Chain)이 즉시 노출되지 않도록 한다.

엣지 인공지능 로보틱스(Edge AI Robotics)에서 궁극적인 목표는 모델 평문(Model Plaintext)의 노출을 통제하는 것이다. 암호화는 독점적인 인공지능 산출물이 승인된 장치에서 승인된 목적으로 실행에 필요한 최소 시간 동안만 읽을 수 있도록 보장해야 한다. 이를 보안 모델 로딩(Secure Model Loading), 신뢰 실행(Trusted Execution), 모델 서명(Model Signing), 접근 제어(Access Control), 런타임 모니터링(Runtime Monitoring)과 결합하면 저장 및 전송 중 암호화는 지능형 로봇 시스템(Intelligent Robotic System)의 전체 배포 및 운영 과정에서 모델을 보호하는 핵심 기밀성 경계(Confidentiality Boundary)를 형성한다.

05.03. Secure AI Model Loading and Verification [w/Code]

안전한 인공지능 모델 로딩(Secure AI Model Loading)은 승인된 모델 산출물(Model Artifact)을 보호된 저장장치(Protected Storage)에서 추론 런타임(Inference Runtime)으로 이동시키면서 비인가 대체(Substitution), 수정(Modification), 다운그레이드(Downgrade), 실행(Execution)을 허용하지 않는 통제된 과정이다. 엣지 로봇(Edge Robot)에서는 부팅(Boot), 애플리케이션 시작(Application Startup), 임무 초기화(Mission Initialization), 모델 전환(Model Switching), 무선 업데이트(OTA Update) 과정에서 모델 로딩이 수행될 수 있다. 보안 목표는 실행 환경에 진입하는 모델이 해당 로봇과 운용 상황에 정확하게 승인된 산출물임을 확립하는 것이다.

모델 로딩 과정은 파일명, 디렉터리 위치 또는 애플리케이션 구성(Application Configuration)만을 신뢰하는 것이 아니라 명시적인 신뢰 앵커(Trust Anchor)에서 시작해야 한다. 하드웨어 신뢰 루트(Hardware Root of Trust), 보호된 공개 키(Protected Public Key), 신뢰할 수 있는 인증서 체인(Trusted Certificate Chain), 안전하게 프로비저닝된 검증 키(Securely Provisioned Verification Key)를 통해 모델을 승인할 수 있는 권한 주체를 설정할 수 있다. 이를 통해 모델 게시자(Model Publisher)와 엣지 장치 사이에 암호학적 관계를 형성하고, 로봇이 승인된 산출물과 단순히 구조적으로 정상처럼 보이는 파일을 구분할 수 있다.

로딩하기 전에 시스템은 암호학적 해시(Cryptographic Hash)와 전자서명(Digital Signature)을 사용하여 모델 패키지(Model Package)를 검증해야 한다. SHA-256과 같은 안전한 해시(Secure Hash)는 정확한 산출물에 대한 식별값을 생성하며, 전자서명은 해당 다이제스트(Digest)가 승인된 서명자(Authorized Signer)에 의해 승인되었음을 증명한다. 가중치(Weights), 그래프 정의(Graph Definition), 메타데이터(Metadata), 구성(Configuration), 패키지에 포함된 런타임 구성요소(Runtime Component)가 변경되었다면 해당 산출물이 추론 환경에 진입하기 전에 검증에 실패해야 한다.

검증은 기본 모델 파일(Primary Model File)을 넘어 전체 구성요소로 확장되어야 한다. 최신 추론 배포(Inference Deployment)에는 ONNX 그래프(ONNX Graph), TensorRT 엔진(TensorRT Engine), 토크나이저 파일(Tokenizer File), 양자화 파라미터(Quantization Parameter), 보정 테이블(Calibration Table), 전처리 정의(Preprocessing Definition), 플러그인(Plugin), 공유 라이브러리(Shared Library), 런타임 구성(Runtime Configuration)이 포함될 수 있다. 매니페스트(Manifest)는 예상되는 구성요소와 각각의 해시를 정의하여 로더(Loader)가 로컬 파일시스템에서 개별적으로 발견된 파일을 신뢰하는 대신 전체 배포 패키지를 하나의 일관된 보안 단위(Security Unit)로 검증하도록 할 수 있다.

서명된 메타데이터(Signed Metadata)는 또 하나의 중요한 보호 계층을 제공한다. 암호학적 무결성(Cryptographic Integrity)만으로는 유효한 모델이 특정 로봇에 적합한지 판단할 수 없기 때문이다. 메타데이터는 모델 식별자(Model Identifier)와 버전을 대상 하드웨어(Target Hardware), 가속기 아키텍처(Accelerator Architecture), 추론 런타임, 로봇 유형(Robot Class), 요구 소프트웨어 버전(Required Software Version), 보안 정책(Security Policy), 배포 채널(Deployment Channel)과 연결할 수 있다. 따라서 로더는 올바르게 서명된 모델이라도 승인된 실행 조건이 현재 플랫폼과 일치하지 않으면 거부할 수 있다.

안전한 로딩(Secure Loading)은 롤백(Rollback) 문제도 처리해야 한다. 오래된 모델은 과거의 유효한 서명(Historical Signature)을 여전히 가지고 있으면서 알려진 취약점(Known Vulnerability), 안전하지 않은 동작 또는 오래된 보안 통제를 포함할 수 있다. 따라서 로봇은 수신된 모델 버전을 신뢰할 수 있는 롤백 방지 상태(Anti-Rollback State), 배포 정책(Deployment Policy), 단조 증가형 버전 카운터(Monotonic Version Counter)와 비교해야 한다. 암호학적으로 진본인 산출물이라도 정책에서 더 새로운 승인 버전을 요구한다면 자동으로 운용에 적합한 것으로 간주해서는 안 된다.

암호화된 모델(Encrypted Model)은 검증과 복호화(Decryption)의 순서를 신중하게 구성해야 한다. 배포 시스템은 복호화 키(Decryption Key)를 제공하기 전에 암호화된 패키지 메타데이터의 진본성을 검증하고, 이후 승인된 실행 환경(Authorized Execution Environment) 내부에서만 모델을 복호화할 수 있다. 패키징 설계(Packaging Design)에 따라 복호화 이후에도 무결성을 확인하여 정확한 평문 산출물(Plaintext Artifact)을 검증할 수 있다. 중요한 원칙은 단순히 복호화에 성공했다는 이유만으로 신뢰되지 않은 모델 내용이 활성 추론 런타임(Active Inference Runtime)에 진입해서는 안 된다는 것이다.

키 및 인증서 검증(Key and Certificate Validation)은 모델 검증 자체의 일부이다. 로더는 서명 인증서(Signing Certificate)가 신뢰할 수 있는지, 의도된 목적에 적합한지, 유효기간(Validity Period) 내에 있는지, 배포 정책에 따라 폐기(Revocation)되지 않았는지를 확인해야 한다. 신뢰 체계를 관리되지 않는 하나의 서명 키에 영구적으로 의존해서는 안 된다. 정의된 인증서 및 키 수명주기(Certificate and Key Lifecycle)를 통해 서명 권한(Signing Authority)을 순환하고, 침해된 자격 증명(Credential)을 폐기하며, 서로 다른 모델 게시자에게 적절한 범위의 권한을 부여할 수 있다.

보안 로더(Secure Loader)는 최소 권한(Minimal Privilege)으로 동작하고 가능한 한 작은 공격 표면(Attack Surface)을 노출해야 한다. 진본성 검증 이전에 복잡한 모델 형식을 파싱(Parsing)하는 것은 위험할 수 있다. 비정상적으로 구성된 산출물(Malformed Artifact)이 파서(Parser), 변환기(Converter), 플러그인, 추론 엔진의 취약점을 악용할 수 있기 때문이다. 가능한 경우 복잡한 처리 이전에 계산 비용이 낮은 패키지 수준 인증(Package-Level Authentication)을 수행해야 한다. 모델 변환(Model Conversion), 최적화(Optimization), 동적 플러그인 로딩(Dynamic Plugin Loading), 그래프 컴파일(Graph Compilation)은 산출물이 필수 검증 경계를 통과한 이후에만 수행해야 한다.

임시 저장장치(Temporary Storage) 역시 중요한 보안 고려사항이다. 모델이 디스크에서는 올바르게 암호화되어 있더라도 로더가 실행 전에 임시 디렉터리(Temporary Directory)에 모델을 복호화하면 내용이 노출될 수 있다. 안전한 설계는 평문 지속성(Plaintext Persistence)을 최소화하고, 파일 권한(File Permission)을 제한하며, 불필요한 복사본을 방지하고, 임시 산출물을 안정적으로 제거해야 한다. 더욱 발전된 플랫폼에서는 모델을 보호된 메모리(Protected Memory) 또는 신뢰 실행 환경(Trusted Execution Environment, TEE)으로 직접 복호화하여 다른 프로세스, 디버깅 도구 또는 로컬 공격자가 모델 내용을 획득할 가능성을 줄일 수 있다.

성공적으로 로딩된 이후에도 메모리 보호(Memory Protection)는 필요하다. 가중치와 추론 구조(Inference Structure)가 RAM, GPU 메모리 또는 가속기 버퍼(Accelerator Buffer)에 적재되면 파일시스템 암호화(Filesystem Encryption)는 더 이상 이를 보호하지 못한다. 프로세스 격리(Process Isolation), 메모리 접근 제어(Memory Access Control), 입출력 메모리 관리 장치 보호(IOMMU Protection), 제한된 디버깅(Restricted Debugging), 장치 접근 정책(Device Access Policy), 신뢰 실행 메커니즘(Trusted Execution Mechanism)을 통해 노출을 줄일 수 있다. 따라서 안전한 모델 로딩은 보호된 저장장치에서 명시적으로 보호되는 또 다른 런타임 보안 영역(Runtime Security Domain)으로 이동하는 과정으로 이해해야 한다.

검증을 완료할 수 없는 경우 로더는 안전하게 실패(Fail Securely)해야 한다. 누락된 서명(Missing Signature), 해시 불일치(Hash Mismatch), 알 수 없는 인증서(Unknown Certificate), 호환되지 않는 메타데이터(Incompatible Metadata), 만료된 권한(Expired Authorization), 롤백 위반(Rollback Violation), 손상된 패키지(Corrupted Package), 복호화 실패(Decryption Failure)가 발생했을 때 검증되지 않은 모델로 조용히 전환해서는 안 된다. 로봇의 안전 아키텍처(Safety Architecture)에 따라 이전에 승인된 모델을 유지하거나, 제한된 운용 상태(Restricted Operational State)로 전환하거나, 인공지능 의존 기능(AI-Dependent Function)을 비활성화하거나, 불확실한 소프트웨어로 계속 운용하는 대신 유지보수를 요청할 수 있다.

원자적 모델 활성화(Atomic Model Activation)는 부분적이거나 일관되지 않은 배포를 방지한다. 로봇은 추론이 실행되는 동안 활성 모델의 구성요소를 하나씩 교체하는 방식을 피해야 한다. 새로운 패키지는 먼저 스테이징 영역(Staging Area)에 다운로드한 후 인증하고, 필요한 경우 복호화하며, 호환성을 확인하고, 실행 준비를 완료할 수 있다. 모든 필수 검증이 성공한 이후에만 시스템이 활성 모델 참조(Active Model Reference)를 전환해야 하며, 통제된 롤백이 허용되는 경우 이전의 신뢰된 버전을 보존해야 한다.

런타임 신원(Runtime Identity)은 활성화 이후에도 검증된 산출물과 연결된 상태를 유지해야 한다. 추론 서비스(Inference Service)는 로딩된 인스턴스(Loaded Instance)와 관련된 암호학적 다이제스트(Cryptographic Digest), 모델 식별자, 버전, 서명자(Signer), 배포 트랜잭션(Deployment Transaction), 검증 결과(Verification Result)를 기록할 수 있다. 이를 통해 다른 로봇 구성요소는 단순히 구성 라벨(Configuration Label)에 의존하지 않고 실제로 어떤 모델이 의사결정을 생성하고 있는지 확인할 수 있다. 이러한 연결은 비정상적인 인지(Perception), 계획(Planning), 정책 동작(Policy Behavior)을 조사할 때 중요한 정보를 제공한다.

원격 증명(Remote Attestation)은 개별 로봇에서 플릿 인프라(Fleet Infrastructure)까지 보증 범위를 확장할 수 있다. 기능을 지원하는 엣지 플랫폼(Edge Platform)은 부트 상태(Boot State), 보안 구성(Security Configuration), 신뢰 실행 환경, 로딩된 소프트웨어의 측정값(Measurement)을 설명하는 증거를 제공할 수 있다. 플릿 서비스는 민감한 모델 키를 제공하거나 가치가 높은 모델의 사용을 승인하기 전에 이러한 증거를 활용할 수 있다. 이에 따라 모델 배포는 로봇 신원뿐 아니라 대상 플랫폼이 허용 가능한 보안 상태를 유지하고 있다는 증거를 기반으로 조건부로 수행될 수 있다.

안전한 모델 로딩은 안전 아키텍처(Safety Architecture)와도 상호작용해야 한다. 검증은 모델의 진본성(Authenticity)과 무결성을 증명하지만 모델이 항상 안전하게 동작한다는 것을 증명하지는 않는다. 유효한 모델에도 설계 결함(Design Defect), 학습상의 약점(Training Weakness), 예상하지 못한 동작이 존재할 수 있다. 따라서 암호학적 검증은 모델 적격성 평가(Model Qualification), 런타임 이상 모니터링(Runtime Anomaly Monitoring), 안전 제약조건(Safety Constraint), 결정론적 제어 경계(Deterministic Control Boundary), 페일세이프 메커니즘(Fail-Safe Mechanism)과 결합하여 잘못된 인공지능 의사결정이 초래하는 물리적 결과를 제한해야 한다.

감사 가능성(Auditability)은 마지막 운영 보호 계층을 제공한다. 모델 로딩 이벤트(Model Loading Event)는 장치(Device), 산출물 식별자, 버전, 검증 결과, 서명자 신원(Signer Identity), 인증서 상태(Certificate Status), 활성화 시간(Activation Time), 롤백 결정(Rollback Decision), 관련 정책 결과(Policy Result)를 포함하는 보안 기록을 생성해야 한다. 특히 검증 실패 시도는 중요하다. 반복적인 서명 오류, 예상하지 못한 버전, 비인가 모델 패키지는 데이터 손상, 배포 오류 또는 로봇을 침해하려는 적극적인 공격을 나타낼 수 있기 때문이다.

이러한 안전한 로딩 체인(Secure-Loading Chain)은 모델 게시에서 추론 실행까지 신뢰의 연속성(Continuity of Trust)을 구축한다. 승인된 게시자는 정의된 산출물에 서명하고, 보호된 배포 시스템은 이를 로봇으로 전달하며, 엣지 장치는 신원과 무결성을 검증하고, 정책은 호환성과 버전을 확인하며, 보호된 메커니즘은 필요한 경우 모델을 복호화한다. 이후 런타임은 모든 필수 검사가 성공한 경우에만 모델을 활성화하고, 보안 증거(Security Evidence)를 통해 운용 전체 과정에서 모델의 신원을 지속적으로 보존한다.

따라서 엣지 인공지능 시스템(Edge AI System)에서 안전한 로딩 및 검증(Secure Loading and Verification)은 모델 파일을 단순히 보유하는 것과 실제 실행 권한(Permission to Execute)을 갖는 것 사이의 강제 보안 경계(Enforcement Boundary)를 형성한다. 로봇은 새롭게 수신하거나 로컬에 저장된 모든 인공지능 산출물을 암호학적 신원(Cryptographic Identity), 권한(Authorization), 무결성, 호환성(Compatibility), 최신성(Freshness), 배포 정책이 확인될 때까지 신뢰되지 않은 상태로 취급해야 한다. 이러한 접근법은 모델 대체와 비인가 롤백을 방지하고, 신뢰 실행(Trusted Execution), 이상 모니터링(Anomaly Monitoring), 보다 광범위한 피지컬 인공지능 보안(Physical AI Security)을 위한 기반을 제공한다.

05.04. Adversarial Input Detection for Robot AI [w/Code]

적대적 입력 공격(Adversarial Input Attack)은 배포된 모델을 반드시 수정하지 않고도 로봇 인공지능의 추론 경계(Inference Boundary)를 공격하기 위해 센서 관측값을 조작한다. 카메라(Camera), 라이다(LiDAR), 레이더(Radar), 마이크(Microphone), 촉각 센서(Tactile Sensor), 언어 인터페이스(Language Interface), 멀티모달 인지 파이프라인(Multimodal Perception Pipeline)은 모두 의도적으로 구성된 입력을 받을 수 있다. 공격의 목적은 오분류(Misclassification)를 유도하거나, 객체 탐지를 억제하거나, 가짜 객체를 생성하거나, 위치 추정을 왜곡하거나, 자율 의사결정에 영향을 주는 것이며, 이 과정에서 기본 모델 자체는 암호학적으로 진본인 상태를 유지할 수 있다.

로봇에서는 추론 결과가 물리적 행동에 직접 영향을 줄 수 있기 때문에 적대적 입력의 보안 중요성이 더욱 커진다. 조작된 인지 결과는 장애물 회피(Obstacle Avoidance), 내비게이션(Navigation), 조작(Manipulation), 보행(Locomotion), 임무 계획(Mission Planning), 안전 의사결정(Safety Decision)으로 전파될 수 있다. 따라서 공격자가 모션 컨트롤러(Motion Controller) 자체를 침해할 필요는 없으며, AI 서브시스템이 오해를 일으키는 정보를 제공하도록 만들어 하위 구성요소가 이를 신뢰할 수 있는 환경 정보로 받아들이게 하는 것만으로도 충분할 수 있다.

적대적 입력은 디지털 또는 물리적 형태로 존재할 수 있다. 디지털 공격은 데이터가 획득된 이후 모델에 전달되기 전에 이미지(Image), 포인트 클라우드(Point Cloud), 특징 텐서(Feature Tensor), 메시지(Message) 등을 변경한다. 물리적 공격은 패턴(Pattern), 객체(Object), 조명(Lighting), 음향 신호(Acoustic Signal), 반사 물질(Reflective Material), 환경 배치(Environmental Arrangement) 등을 조작하여 센서가 관측하는 내용을 변경한다. 물리적 공격은 공격자가 로봇 플랫폼에 대한 높은 권한의 소프트웨어 접근 권한을 확보하지 않고도 환경을 변경할 수 있기 때문에 로봇에서 특히 중요하다.

탐지는 각 센서와 운용 영역에서 정상적인 입력이 무엇인지 정의하는 것에서 시작한다. 창고, 공장, 도로 환경, 야외 검사 현장에서 운용되는 로봇은 서로 다른 객체 분포, 기하 구조, 조명, 움직임, 센서 잡음을 관측한다. 따라서 탐지 메커니즘은 보편적인 하나의 이상 임계값(Anomaly Threshold)에 의존하기보다 입력 관측값이 해당 인지 시스템에서 예상되는 조건과 통계적(Statistical), 기하학적(Geometric), 시간적(Temporal), 의미론적(Semantic)으로 일관되는지를 평가해야 한다.

신뢰도 기반 탐지(Confidence-Based Detection)는 예측 확률(Prediction Probability), 엔트로피(Entropy), 경쟁 클래스 간 차이(Margin), 반복 관측에 따른 불안정성(Instability)을 모니터링하여 의심스러운 추론 동작을 식별할 수 있다. 예상보다 불확실한 출력은 모델이 비정상적이거나 조작된 입력을 접했다는 신호일 수 있다. 그러나 신뢰도만으로는 충분하지 않다. 신경망은 적대적 입력이나 분포 외 입력(Out-of-Distribution Input)에 대해서도 매우 높은 확신을 가진 예측을 생성할 수 있기 때문이다. 따라서 신뢰도는 여러 보안 신호 중 하나로 취급해야 한다.

입력 전처리(Input Preprocessing)는 또 다른 방어 계층을 제공한다. 이미지 정규화(Image Normalization), 크기 조정(Resizing), 노이즈 제거(Denoising), 압축(Compression), 무작위 변환(Randomized Transformation), 포인트 클라우드 필터링(Point-Cloud Filtering), 신호 검증(Signal Validation)은 추론 이전에 특정 교란(Perturbation)의 효과를 약화시킬 수 있다. 그러나 과도한 전처리는 인지에 필요한 정상적인 정보까지 제거할 수 있으므로 신중하게 설계해야 한다. 따라서 전처리는 공격 저항성뿐 아니라 로봇 워크로드의 정확도, 지연시간, 안전 요구사항을 함께 기준으로 평가해야 한다.

분포 외 탐지(Out-of-Distribution Detection)는 관측값이 학습 또는 검증 과정에서 표현된 데이터 영역을 벗어났는지를 판단하려고 한다. 특징 공간 거리(Feature-Space Distance), 임베딩 통계(Embedding Statistics), 재구성 오류(Reconstruction Error), 밀도 추정(Density Estimation), 전용 탐지 모델(Detection Model)은 입력이 익숙하지 않다는 증거를 제공할 수 있다. 익숙하지 않은 관측값이 반드시 악성이라는 의미는 아니지만, 분포 변화를 식별하면 지원되지 않는 모델 예측을 충분히 검증된 운용 조건과 동일한 수준의 권한으로 처리하는 것을 방지할 수 있다.

시간적 일관성(Temporal Consistency)은 센서가 지속적으로 변화하는 물리적 세계를 관측하는 로봇 시스템에서 특히 유용하다. 객체는 일반적으로 인접한 프레임 사이에서 갑자기 나타나거나 사라지거나, 정체성을 변경하거나, 임의의 방식으로 움직일 수 없다. 탐지기는 현재 예측값을 추적 이력(Tracking History), 예상 움직임(Expected Motion), 이전 장면 구조(Previous Scene Structure), 상태 추정(State Estimate)과 비교할 수 있다. 단일 프레임에서는 기본 AI 모델이 그럴듯하다고 판단하더라도 시간적 제약을 위반하는 급격한 변화가 발생하면 추가 검증을 요청할 수 있다.

다중 센서 일관성(Cross-Sensor Consistency)은 여러 감지 모달리티(Sensing Modality)가 존재할 때 더욱 강력한 증거를 제공한다. 시각적으로 탐지된 장애물은 라이다 기하정보(LiDAR Geometry), 레이더 반사값(Radar Return), 깊이 측정값(Depth Measurement), 기타 독립적인 관측값과 비교할 수 있다. 하나의 모달리티가 중요한 객체를 보고하는 반면 다른 센서들이 상충되는 정보를 제공한다면 시스템은 신뢰도를 낮추거나 추가 검증을 요청할 수 있다. 이 방법은 공격자가 하나의 센서 모달리티를 조작할 수 있더라도 모든 센서에 대해 물리적으로 일관된 공격을 재현하지 못할 수 있기 때문에 특히 유용하다.

기하학적 및 물리적 제약조건(Geometric and Physical Constraints)은 정상적인 관측과 조작된 관측을 더욱 효과적으로 구분할 수 있다. 탐지된 객체는 합리적인 크기, 위치, 속도, 방향, 환경과의 관계를 가져야 한다. 깊이와 영상 좌표(Image Coordinate)는 센서 보정(Sensor Calibration)에 따라 서로 대응해야 하며, 추정된 움직임은 로봇 동역학(Robot Dynamics) 및 장면 기하 구조(Scene Geometry)와 호환되어야 한다. 이러한 검사는 물리 세계에 관한 지식을 학습된 인지 시스템 주변의 독립적인 보안 제약조건으로 변환한다.

앙상블(Ensemble) 및 모델 다양성(Model Diversity) 기법은 하나의 취약한 의사결정 경계(Decision Boundary)에 대한 의존성을 줄일 수 있다. 여러 모델, 서로 다른 방식으로 학습된 네트워크, 또는 이기종 인지 알고리즘(Heterogeneous Perception Algorithm)이 동일한 중요한 관측값을 평가할 수 있다. 모델 간의 큰 불일치는 조용히 하나의 결과로 통합하기보다 이상 신호(Anomaly Signal)로 처리할 수 있다. 동일한 데이터와 동일한 아키텍처로 학습된 모델은 취약점을 공유할 수 있으므로 단순한 복제보다 다양성이 중요하다.

적대적 입력 탐지는 실시간 제약(Real-Time Constraint) 안에서 동작해야 한다. 로봇은 보안 분석을 위해 무한정 인지 처리를 지연할 수 없다. 따라서 탐지 파이프라인은 빠른 경로(Fast Path) 검사와 심층 분석(Deep Analysis)을 구분해야 한다. 경량 검증(Lightweight Validation)은 모든 관측값에 대해 실행할 수 있고, 고비용의 보조 모델(Secondary Model)이나 포렌식 처리(Forensic Processing)는 위험 신호가 정의된 임계값을 초과할 때만 활성화할 수 있다. 이를 통해 결정론적 응답 요구사항을 유지하면서도 의심스러운 입력에 대해서는 더욱 강력한 검사를 수행할 수 있다.

모든 이상 현상을 공격의 증거로 취급하기보다는 위험 기반 대응(Risk-Based Response)이 바람직하다. 센서 고장(Sensor Fault), 환경 변화(Environmental Change), 비정상적인 객체(Unusual Object), 기상 조건(Weather), 가림(Occlusion), 보정 드리프트(Calibration Drift), 정상적인 분포 변화는 적대적 행동과 유사하게 나타날 수 있다. 따라서 탐지기는 여러 신호를 결합하여 보안 또는 신뢰 평가(Security or Trust Assessment)를 생성하고 이를 하위 시스템이 해석할 수 있도록 해야 한다. 이후 대응 수준은 신뢰도, 임무 중요도, 로봇 속도, 사람과의 거리, 잠재적인 물리적 결과에 따라 조정할 수 있다.

적대적 입력이 의심될 때 로봇은 단순히 데이터를 폐기하는 것이 아니라 더 안전한 동작 상태로 전환해야 한다. 애플리케이션에 따라 속도를 낮추거나, 장애물 안전 여유(Obstacle Margin)를 확대하거나, 중복 센싱(Redundant Sensing)을 요청하거나, 다른 인지 모델로 전환하거나, 자율 조작을 중지하거나, 성능 저하 운용 모드(Degraded Operating Mode)에 진입하거나, 사람의 감독(Human Supervision)을 요청할 수 있다. 목표는 불확실한 AI 인지가 통제되지 않은 상태로 높은 권한의 물리적 행동으로 전파되는 것을 방지하면서 가능한 범위에서 통제된 운용을 유지하는 것이다.

따라서 AI 인지와 결정론적 안전 제어(Deterministic Safety Control) 사이의 경계는 매우 중요하다. AI 모델은 객체 분류, 궤적 해석(Trajectory Interpretation), 의미론적 평가(Semantic Assessment)를 제안할 수 있지만, 독립적인 안전 메커니즘은 학습된 예측만으로 변경할 수 없는 제약조건을 강제해야 한다. 비상 정지(Emergency Stop), 충돌 제한(Collision Limit), 작업공간 경계(Workspace Boundary), 액추에이터 제약(Actuator Constraint), 기타 안전 기능은 적대적 입력 탐지가 실패하거나 불확실한 결과를 생성할 때 최종 보호 계층으로 작동할 수 있다.

모니터링(Monitoring)은 민감한 운용 데이터를 불필요하게 수집하지 않으면서 의심스러운 관측에 대한 증거를 보존해야 한다. 유용한 텔레메트리(Telemetry)에는 모델 버전, 센서 식별자(Sensor Identity), 이상 점수(Anomaly Score), 신뢰도 지표(Confidence Metric), 센서 간 불일치(Cross-Sensor Disagreement), 시간 정보(Timing Information), 탐지기 결정(Detector Decision), 이에 따른 안전 대응(Safety Response)이 포함될 수 있다. 특정 위치, 장치, 임무 또는 입력 패턴에서 반복적으로 이상이 발생하면 개별 추론 이벤트에서는 명확하지 않았던 조직적인 공격이나 체계적인 취약점을 발견할 수 있다.

탐지 성능 자체도 지속적으로 평가해야 한다. 보안 테스트(Security Testing)에는 대표적인 정상 입력, 자연스럽게 어려운 조건, 합성 교란(Synthetic Perturbation), 물리적 공격 시나리오, 센서 고장, 이전에 관찰된 이상 현상이 포함되어야 한다. 공격이 탐지되지 않는 상황에서는 오탐보다 미탐(False Negative)이 더 중요할 수 있지만, 과도한 오탐(False Positive)은 로봇을 불필요하게 정지시키거나 서비스 성능을 저하시킬 수 있다. 따라서 임계값은 일반적인 머신러닝 정확도만을 기준으로 최적화하지 않고 운용 위험에 따라 보정해야 한다.

어떤 단일 탐지기도 완전한 적대적 강건성(Adversarial Robustness)을 제공하지 않는다. 신뢰도 분석(Confidence Analysis), 전처리, 분포 외 탐지, 시간적 검증, 센서 융합(Sensor Fusion), 기하학적 일관성, 모델 다양성, 런타임 모니터링(Runtime Monitoring), 독립적인 안전 제어는 공격 표면의 서로 다른 부분을 담당한다. 심층 방어(Defense in Depth) 아키텍처는 개별 보안 메커니즘이 실패할 수 있음을 전제로 하며, 불확실한 인지가 결과적으로 중요한 로봇 행동에 영향을 주기 전에 여러 부분적으로 독립적인 신호를 활용한다.

엣지 인공지능 로보틱스(Edge AI Robotics)에서 적대적 입력 탐지는 궁극적으로 물리적 센싱(Physical Sensing)과 자율 행동(Autonomous Action) 사이의 신뢰 관리 계층(Trust-Management Layer)으로 기능한다. 시스템은 AI가 무엇을 예측하는지만 평가해서는 안 되며, 현재의 물리적 상황에서 관측값과 그에 따른 예측이 여전히 신뢰할 수 있는지를 지속적으로 평가해야 한다. 이상 탐지를 다중 모달 검증(Multimodal Verification), 실시간 모니터링, 통제된 성능 저하(Controlled Degradation), 결정론적 안전 경계와 결합하면 로봇 AI는 조작되었거나 그 밖의 이유로 신뢰할 수 없는 입력이 초래하는 물리적 결과를 제한할 수 있다.

05.05. Model Watermarking and IP Protection [w/Code]

모델 워터마킹(Model Watermarking)은 인공지능 모델에 식별 가능한 정보를 삽입하여 소유권(Ownership), 출처(Provenance), 승인된 배포(Authorized Distribution)를 이후에 입증할 수 있도록 하는 메커니즘이다. 엣지 인공지능 로보틱스(Edge AI Robotics)에서는 학습된 모델이 물리적으로 접근 가능한 장치에 배포될 수 있으므로, 워터마킹은 모델이 복사되거나 추출된 이후에도 증거를 제공함으로써 암호화(Encryption)와 안전한 로딩(Secure Loading)을 보완한다. 따라서 워터마킹은 접근 차단에만 의존하지 않고 지식재산 보호(Intellectual-Property Protection)를 지원한다.

워터마크(Watermark)는 모델 파라미터(Model Parameter), 내부 표현(Internal Representation), 관찰 가능한 추론 동작(Observable Inference Behavior)에 정보를 인코딩하는 방식으로 설계할 수 있다. 삽입된 정보는 모델 소유자(Model Owner), 제품군(Product Family), 배포 캠페인(Deployment Campaign), 고객(Customer), 개별 배포 인스턴스(Distributed Instance)를 식별할 수 있다. 유용한 워터마크는 비인가 사용자가 발견하거나 제거하기 어렵고, 모델의 정상적인 정확도, 지연시간, 운용 동작을 크게 저하시키지 않으면서 합법적인 소유자가 신뢰성 있게 검증할 수 있어야 한다.

화이트박스 워터마킹(White-Box Watermarking)은 검증자가 내부 모델 파라미터 또는 표현을 검사할 수 있다고 가정한다. 정보는 선택된 가중치(Weight), 활성화 분포(Activation Distribution), 기타 내부 구조에 통계적으로 삽입될 수 있으며, 이후 비밀 검증 절차(Secret Verification Procedure)를 통해 추출할 수 있다. 이 방식은 많은 정보를 포함하는 소유권 증거를 제공할 수 있지만 일반적으로 의심되는 모델 자체에 접근해야 검증할 수 있다. 따라서 회수된 산출물(Recovered Artifact)을 포렌식(Forensic) 또는 법적 조사 과정에서 직접 분석할 수 있을 때 특히 유용하다.

블랙박스 워터마킹(Black-Box Watermarking)은 내부 가중치에 접근하지 않고 모델의 입력과 출력을 이용하여 소유권을 검증한다. 워터마크를 구성하는 과정에서 비밀리에 선택된 입력 집합에 대해 미리 정의된 응답을 생성하도록 모델을 학습할 수 있다. 의심되는 서비스나 복제된 모델이 이러한 응답을 충분히 일관되게 재현하면 소유자는 해당 모델이 원본으로부터 파생되었다는 증거를 확보할 수 있다. 이러한 방법은 추출된 모델이 추론 API(Inference API) 또는 배포된 제품을 통해서만 접근 가능한 경우에도 활용할 수 있다.

워터마크 트리거(Watermark Trigger)는 잘못 설계될 경우 악성 백도어(Malicious Backdoor)와 유사해질 수 있으므로 신중하게 설계해야 한다. 보안 워터마크(Security Watermark)는 안전에 중요한 로봇 동작을 제어할 수 있는 위험한 경로를 만들지 않으면서 소유권 증거를 제공해야 한다. 따라서 가능한 경우 트리거 응답(Trigger Response)을 물리적 구동(Physical Actuation)으로부터 격리하고, 안전 제약조건(Safety Constraint) 아래에서 평가하며, 워터마크에 관한 지식이 위험한 인지, 내비게이션, 조작을 유발하는 메커니즘으로 변환되지 않도록 설계해야 한다.

핑거프린팅(Fingerprinting)은 서로 다른 모델 배포본에 개별적인 식별자를 부여함으로써 워터마킹 개념을 확장한다. 모든 로봇에 동일한 소유권 표시를 삽입하는 대신 제조 배치(Manufacturing Batch), 고객, 플릿 그룹(Fleet Group), 배포 패키지(Deployment Package)에 따라 서로 다른 핑거프린트(Fingerprint)를 연결할 수 있다. 이후 비인가 모델이 원래 의도된 환경 외부에서 발견되면 회수된 핑거프린트를 통해 어떤 배포 경로나 승인된 수신자가 유출된 산출물과 연관되어 있는지 추적할 수 있다.

핑거프린트 고유성(Fingerprint Uniqueness)은 운영 및 개인정보 보호(Privacy) 측면의 고려사항을 발생시킨다. 식별자는 불필요한 고객 또는 장치 정보를 모델 동작에 직접 삽입하기보다 통제된 기록을 통해 관리해야 한다. 핑거프린트에는 보호된 배포 기록(Protected Deployment Record)에 매핑되는 불투명 식별자(Opaque Identifier)를 사용할 수 있다. 이를 통해 워터마크가 발견되더라도 정보 노출을 제한하면서 포렌식 귀속(Forensic Attribution), 라이선스 집행(License Enforcement), 사고 조사(Incident Investigation), 비인가 재배포 추적을 지원할 수 있다.

강건한 워터마크(Robust Watermark)는 일반적인 모델 변환(Model Transformation) 이후에도 유지되어야 한다. 엣지 배포에서는 양자화(Quantization), 가지치기(Pruning), 그래프 최적화(Graph Optimization), 연산자 융합(Operator Fusion), 형식 변환(Format Conversion), 가속기 컴파일(Accelerator Compilation), 추가 미세조정(Fine-Tuning)이 자주 수행된다. 정상적인 최적화 과정에서 사라지는 워터마크는 실용적 가치가 제한적이다. 따라서 검증 테스트에서는 원본 학습 산출물과 로봇에 배포되는 최종 런타임 표현 사이에서 예상되는 변환을 거친 후에도 소유권 신호가 유지되는지 평가해야 한다.

공격자는 미세조정, 가지치기, 파라미터 교란(Parameter Perturbation), 증류(Distillation), 모델 추출(Model Extraction), 재학습(Retraining)을 통해 의도적으로 워터마크 제거를 시도할 수 있다. 또한 다른 워터마크를 위조하거나, 트리거 응답을 억제하거나, 탐지된 패턴이 자연적으로 발생했다고 주장할 수 있다. 따라서 워터마크 설계에서는 제거 저항성(Removal Resistance), 위조 저항성(Forgery Resistance), 통계적 유의성(Statistical Significance), 오탐 확률(False-Positive Probability), 의도된 소유권 또는 라이선스 주장을 뒷받침하는 데 필요한 증거의 강도를 고려해야 한다.

모델 워터마킹을 암호학적 무결성 메커니즘(Cryptographic Integrity Mechanism)의 대체 수단으로 취급해서는 안 된다. 전자서명(Digital Signature)은 특정 산출물이 서명 권한(Signing Authority)에 의해 승인되었고 서명 이후 변경되지 않았음을 증명하는 반면, 워터마킹은 모델 자체 내부에 소유권 증거를 유지하려는 것이다. 공격자가 패키징을 제거하거나 파일 표현을 변경하면 분리된 서명(Detached Signature)이 복제 모델과 함께 유지되지 않을 수 있지만, 충분히 강건한 워터마크는 계속 탐지될 수 있다.

암호화(Encryption)는 또 다른 별도의 보안 목표를 담당한다. 저장 및 전송 중 암호화(Encryption at Rest and in Transit)는 비인가 사용자가 읽을 수 있는 모델 내용을 획득하는 것을 방지하는 반면, 워터마킹은 예방적 보안 통제가 실패한 이후의 귀속(Attribution)을 제공한다. 안전한 로딩은 어떤 산출물이 실행될 수 있는지를 통제하고, 신뢰 실행(Trusted Execution)은 추론 과정의 접근을 제한할 수 있다. 이러한 메커니즘을 결합하면 기밀성(Confidentiality), 실행 권한(Execution Authorization), 무결성(Integrity), 출처, 지식재산 귀속(Intellectual-Property Attribution)이 서로를 강화하는 계층화된 보호(Layered Protection)를 구축할 수 있다.

모델 출처(Model Provenance)는 삽입된 워터마크와 함께 관리해야 한다. 모델 레지스트리(Model Registry)는 각 산출물을 학습 계보(Training Lineage), 원본 모델(Source Model), 데이터셋 버전(Dataset Version), 미세조정 과정(Fine-Tuning Process), 소유자, 라이선스(License), 암호학적 다이제스트(Cryptographic Digest), 서명(Signature), 워터마크 식별자(Watermark Identifier), 승인된 배포 대상(Approved Deployment Target)과 연결할 수 있다. 이러한 정보를 유지하면 회수된 모델을 권위 있는 기록과 비교할 수 있으며, 소유권 판단을 뒷받침하는 유일한 증거로 워터마크에만 의존하는 것을 줄일 수 있다.

모델 계열(Model Family)은 지속적으로 발전하므로 버전 관리(Version Control)가 특히 중요하다. 미세조정된 정책(Fine-Tuned Policy), 최적화된 추론 엔진(Optimized Inference Engine), 지역별 변형(Regional Variant), 고객별 모델(Customer-Specific Model), 하드웨어별 빌드(Hardware-Specific Build)는 모두 공통 기반 모델(Foundation Model)에서 파생될 수 있다. 워터마크 기록은 소유권 신원(Ownership Identity)과 버전 신원(Version Identity)을 구분해야 하며, 이를 통해 조사자는 모델 계열의 소유자뿐 아니라 의심스러운 산출물이 어떤 브랜치(Branch), 릴리스(Release), 배포 계보(Deployment Lineage)와 가장 밀접하게 연결되는지 판단할 수 있다.

검증 절차(Verification Procedure)는 워터마크 생성 과정만큼 신중하게 통제해야 한다. 비밀 트리거 집합(Secret Trigger Set), 추출 키(Extraction Key), 통계적 임계값(Statistical Threshold), 검증 알고리즘(Verification Algorithm)은 그 자체로 민감한 보안 자산이 될 수 있다. 공격자가 전체 검증 메커니즘을 파악하면 모델의 유용성을 유지하면서 워터마크만 제거하도록 최적화할 수 있다. 따라서 검증 자료에 대한 접근은 최소 권한 원칙(Least Privilege)을 따라야 하며, 감사 가능한 사용(Auditable Use)과 일상적인 모델 운영 및 소유권 조사 사이의 역할 분리(Separation of Duties)를 적용해야 한다.

워터마크 탐지(Watermark Detection)는 오탐(False Positive)과 모호한 증거(Ambiguous Evidence)를 고려해야 한다. 유사한 모델은 중복되는 데이터셋으로 학습되거나, 동일한 공개 기반 모델(Public Foundation Model)에서 파생되거나, 동일한 작업에 최적화되었기 때문에 비슷한 응답을 생성할 수 있다. 따라서 소유권 주장은 하나의 일치하는 출력에만 의존해서는 안 되며, 통계적으로 의미 있는 워터마크 증거와 암호학적 기록, 모델 출처, 배포 이력(Deployment History), 라이선스 정보, 기타 보조 증거를 함께 활용해야 한다.

지식재산 보호는 모델 자체를 넘어서는 운영 통제(Operational Control)도 필요로 한다. 모델 레지스트리에 대한 접근 제어(Access Control), 암호화된 저장장치(Encrypted Storage), 안전한 배포(Secure Distribution), 장치 인증(Device Authentication), 로깅(Logging), 계약 기반 라이선스(Contractual Licensing), 저장소 권한(Repository Permission), 디버깅 및 모델 내보내기(Model Export) 제한은 모델 탈취 기회를 줄인다. 워터마킹은 이러한 예방적 통제와 이후 발견되는 비인가 복제본을 식별하고 조사할 수 있는 포렌식 기능이 통합될 때 가장 높은 가치를 가진다.

플릿 텔레메트리(Fleet Telemetry)는 민감한 모델 내용을 지속적으로 노출하지 않으면서 지식재산 보호를 지원할 수 있다. 배포 시스템은 어떤 서명된 모델 버전과 워터마크 식별자가 각각의 승인된 장치에 프로비저닝(Provisioning)되었는지 기록할 수 있다. 모델 유출이 발견되면 조사자는 회수된 핑거프린트를 통제된 배포 기록과 연계할 수 있다. 그러나 핑거프린트, 고객, 장치, 모델 버전 사이의 상세한 매핑은 공격자에게 가치 있는 정보가 될 수 있으므로 이러한 텔레메트리 자체도 보호해야 한다.

워터마크 수명주기 관리(Watermark Lifecycle Management)는 모델 수명주기 관리(Model Lifecycle Management)와 함께 수행해야 한다. 모델이 재학습(Retraining), 병합(Merging), 증류, 최적화, 폐기(Revocation), 사용 종료(Retirement)될 때 기존 워터마크가 여전히 유효한지와 새로운 식별자가 필요한지를 판단해야 한다. 과거에 배포된 버전에 대한 검증 기준선(Verification Baseline)도 보존해야 하며, 이를 통해 수년 후 발견된 산출물도 원래 배포 당시 존재했던 모델 계보를 기준으로 평가할 수 있다.

엣지 인공지능 로보틱스에서 모델 워터마킹은 모델 추출을 완전히 방지할 수 없는 환경에서도 지속적인 귀속(Persistent Attribution)을 제공한다. 가장 중요한 역할은 모델 탈취 자체를 직접 차단하는 것이 아니라 다른 방어 체계가 우회된 이후에도 검증 가능한 소유권 및 배포 계보의 증거를 보존하는 것이다. 암호화, 서명, 안전한 로딩, 신뢰 실행, 레지스트리 거버넌스(Registry Governance), 포렌식 로깅(Forensic Logging)과 결합하면 워터마킹은 포괄적인 인공지능 지식재산 보호(AI Intellectual-Property Protection)를 구성하는 중요한 보안 계층이 된다.

05.06. Federated Learning Privacy Preserving [w/Code]

연합학습(Federated Learning)은 여러 로봇 또는 엣지 장치(Edge Device)가 원시 운용 데이터(Raw Operational Data)를 중앙 학습 저장소(Central Training Repository)로 지속적으로 전송하지 않고도 공유 인공지능 모델(Shared AI Model)을 개선할 수 있는 방법을 제공한다. 각 참여자는 자체 환경에서 수집한 관측 데이터를 이용해 로컬 학습(Local Training)을 수행하고 전체 센서 데이터셋 대신 모델 업데이트(Model Update)를 전달한다. 로봇은 민감한 이미지, 궤적(Trajectory), 지도(Map), 상호작용 기록(Interaction Record), 운용 텔레메트리(Operational Telemetry)를 생성할 수 있기 때문에 이러한 구조는 엣지 인공지능(Edge AI)에 특히 적합하다.

원시 데이터를 원래 데이터를 생성한 로봇에 유지하면 중앙 집중형 데이터 노출(Centralized Data Exposure)을 줄일 수 있지만, 연합학습이 자동으로 개인정보 보호(Privacy)를 보장하는 것은 아니다. 모델 그래디언트(Model Gradient), 파라미터 업데이트(Parameter Update), 임베딩(Embedding), 최적화 통계(Optimization Statistics)에는 로컬 학습 샘플과 연관된 정보가 포함될 수 있다. 이러한 업데이트를 관찰하는 공격자는 그래디언트 역추론(Gradient Inversion), 멤버십 추론(Membership Inference), 속성 추론(Property Inference), 기타 재구성 기법(Reconstruction Technique)을 시도할 수 있다. 따라서 개인정보 보호형 연합학습(Privacy-Preserving Federated Learning)은 원본 데이터와 학습 과정에서 간접적으로 노출되는 정보를 모두 보호해야 한다.

위협 모델(Threat Model)은 신뢰할 수 없을 가능성이 있는 여러 주체를 구분해야 한다. 중앙 집계 서버(Central Aggregation Server)는 정직하지만 호기심이 있을 수 있고(Honest-but-Curious), 네트워크 공격자는 통신을 가로챌 수 있으며, 침해된 로봇은 악성 업데이트(Malicious Update)를 제출할 수 있고, 정상적인 참여자가 다른 클라이언트(Client)에 관한 정보를 추론하려 할 수도 있다. 로봇 플릿(Robot Fleet)에서는 엣지 장치의 물리적 침해(Physical Compromise)로 인해 공격자가 로컬 데이터셋, 학습 상태(Training State), 암호학적 자격 증명(Cryptographic Credential), 연합학습 소프트웨어에 접근할 수 있다는 추가 위험도 존재한다.

보안 집계(Secure Aggregation)는 조정 서버(Coordinating Server)가 개별 모델 업데이트에서 학습할 수 있는 정보를 제한한다. 참여 로봇은 자신의 기여분을 암호학적으로 보호하여 서버가 각 참여자의 평문 기여값(Plaintext Contribution)을 직접 확인하지 않고도 업데이트의 합계나 평균과 같은 집계 결과(Aggregate)를 복원할 수 있도록 한다. 이를 통해 클라이언트별 학습 정보의 노출을 줄이면서도 분산된 학습 결과를 이용하여 글로벌 모델(Global Model)을 구성할 수 있다.

보안 집계 프로토콜(Secure Aggregation Protocol)은 실제 플릿 운용 특성을 고려해야 한다. 로봇은 무선 통신 범위, 배터리 상태, 유지보수, 임무 일정(Mission Scheduling), 하드웨어 고장으로 인해 연결이 끊어질 수 있으며, 선택된 모든 참여자가 항상 온라인 상태를 유지해야 하는 프로토콜은 실용성이 떨어질 수 있다. 따라서 개인정보 보호 메커니즘은 예상되는 클라이언트 이탈(Client Dropout)을 허용하면서도 공모하는 참여자나 침해된 조정자가 프로토콜 장애를 이용하여 개별 로봇의 업데이트를 노출하지 못하도록 해야 한다.

차등 개인정보 보호(Differential Privacy)는 개별 학습 레코드(Training Record)가 학습 과정에서 공개되는 정보에 미치는 영향을 제한하는 또 하나의 중요한 보호 방법이다. 로컬 또는 중앙에서 조정되는 메커니즘은 모델 업데이트를 클리핑(Clipping)하고 집계 전이나 집계 과정에서 보정된 노이즈(Calibrated Noise)를 추가할 수 있다. 이러한 개인정보 보호 보장은 멤버십 공격과 재구성 공격의 효과를 감소시킬 수 있지만, 일반적으로 더 강한 개인정보 보호는 모델 정확도(Model Accuracy) 및 수렴 효율(Convergence Efficiency)과 상충관계를 가진다.

개인정보 보호 예산(Privacy Budget)은 각각의 연합학습 라운드(Federated-Learning Round)를 독립적으로 평가하는 대신 반복되는 전체 학습 과정에 걸쳐 관리해야 한다. 로봇은 운용 수명 동안 수백 또는 수천 번의 업데이트에 참여할 수 있으며, 작은 정보 노출도 시간이 지나면서 누적될 수 있다. 개인정보 보호 회계(Privacy Accounting)는 이러한 누적 노출을 정량적으로 추적하는 방법을 제공한다. 정의된 개인정보 보호 한계에 접근하면 학습 정책은 추가 참여를 제한하거나, 노이즈를 증가시키거나, 샘플링 동작(Sampling Behavior)을 변경할 수 있다.

참여자와 집계 인프라(Aggregation Infrastructure) 사이의 통신은 암호화되고 상호 인증되어야 한다. 전송 계층 보안(TLS) 또는 상호 전송 계층 보안(Mutual TLS, mTLS)은 모델 업데이트를 수동적 가로채기(Passive Interception)와 비인가 수정으로부터 보호할 수 있으며, 장치 인증서(Device Certificate)는 참여 로봇의 신원을 확립한다. 전송 보호(Transport Protection)는 보안 집계와 상호 보완적이다. TLS는 통신 채널을 보호하는 반면, 보안 집계는 해당 채널을 정상적으로 종료하는 서버조차 볼 수 있는 정보를 제한한다.

클라이언트 인증(Client Authentication)은 비인가 장치가 학습 참여 집단에 들어오는 것을 방지하기 위해서도 필요하다. 각각의 로봇은 독립적으로 관리 가능한 신원(Independently Manageable Identity)을 보유해야 하며, 이를 통해 침해되거나 폐기된 장치의 권한을 전체 플릿의 자격 증명을 교체하지 않고 취소할 수 있다. 권한 정책(Authorization Policy)은 특정 연합 모델(Federated Model)에 어떤 로봇 유형, 소프트웨어 버전, 지역별 배포 환경, 보안 상태가 기여할 수 있는지를 결정할 수 있다.

개인정보 보호 메커니즘은 모델 무결성 방어(Model-Integrity Defense)와 통합되어야 한다. 개인정보가 보호되는 연합학습 시스템이라도 포이즈닝(Poisoning)의 대상이 될 수 있기 때문이다. 악성 클라이언트는 백도어(Backdoor)를 삽입하거나 정확도를 저하시키거나 글로벌 정책(Global Policy)에 편향을 유발하도록 조작된 그래디언트 또는 파라미터 업데이트를 제출할 수 있다. 강건한 집계(Robust Aggregation), 업데이트 클리핑(Update Clipping), 이상 탐지(Anomaly Detection), 평판 메커니즘(Reputation Mechanism), 신뢰 데이터셋을 이용한 검증, 기여도 제한(Contribution Limit)은 이러한 위험을 줄일 수 있지만 어떠한 단일 기법도 악성 클라이언트 동작을 완전히 제거할 수는 없다.

비독립 동일분포 데이터(Non-Independent and Identically Distributed Data, Non-IID Data)는 로봇 플릿에서 또 다른 과제를 만든다. 서로 다른 로봇은 서로 다른 환경, 객체, 사용자, 지형, 날씨, 작업 부하, 센서 구성을 경험할 수 있다. 이러한 차이는 집단 경험(Collective Experience)을 확장한다는 점에서 가치가 있지만 정상적인 업데이트가 이상한 것으로 보이게 할 수도 있다. 보안 통제는 드물지만 중요한 경험을 체계적으로 배제하지 않으면서 자연적인 운용 다양성(Operational Diversity)과 의도적으로 포이즈닝된 기여를 구분해야 한다.

원시 샘플이 로봇에 유지되는 경우에도 데이터 최소화(Data Minimization)는 설계 원칙으로 유지되어야 한다. 로컬 학습 파이프라인(Local Training Pipeline)은 의도된 학습 목표에 필요한 정보만 수집하고 민감한 관측값에 보존 기간(Retention Limit)을 적용해야 한다. 임시 학습 캐시(Training Cache), 리플레이 버퍼(Replay Buffer), 라벨(Label), 특징 저장소(Feature Store), 진단 데이터셋(Diagnostic Dataset)을 무기한 보존하면 개인정보 노출이 발생할 수 있다. 연합학습은 중앙 집중식 데이터 수집을 줄이지만 로컬 데이터의 전체 수명주기를 보호해야 하는 책임까지 제거하지는 않는다.

신뢰 실행 환경(Trusted Execution Environment, TEE)은 로컬 및 서버 측 개인정보 보호 경계를 강화할 수 있다. 민감한 집계 로직(Aggregation Logic), 모델 업데이트 처리(Model-Update Processing), 키 연산(Key Operation)은 높은 권한의 소프트웨어로부터 노출을 줄이는 하드웨어 격리 환경(Hardware-Isolated Environment)에서 실행될 수 있다. 원격 증명(Remote Attestation)을 이용하면 인프라가 로봇의 업데이트를 받아들이기 전에 승인된 연합학습 클라이언트가 실행되고 있는지 검증할 수 있으며, 클라이언트 역시 집계 서비스가 승인된 소프트웨어를 실행하고 있다는 증거를 요구할 수 있다.

연합학습은 학습 과정과 안전에 중요한 실행(Safety-Critical Execution)을 신중하게 분리해야 한다. 새롭게 집계된 글로벌 모델을 로봇을 제어하는 활성 모델(Active Model)로 자동 교체해서는 안 된다. 새로운 모델은 활성화되기 전에 모델 검증(Model Validation), 보안 검사(Security Check), 호환성 테스트(Compatibility Testing), 서명(Signing), 통제된 배포(Controlled Deployment) 절차를 통과해야 한다. 개인정보 보호형 학습은 지식이 수집되는 방식을 보호하지만, 그 결과 모델이 안전하고 강건하며 즉시 물리적 운용에 적합하다는 것을 보장하지는 않는다.

모델 업데이트와 집계된 산출물(Aggregated Artifact)은 출처 추적(Provenance)과 버전 관리(Version Control)가 필요하다. 시스템은 글로벌 모델 버전(Global Model Version), 집계 라운드(Aggregation Round), 승인된 참여자 집단, 학습 정책(Training Policy), 개인정보 보호 파라미터(Privacy Parameter), 검증 결과, 배포 모델의 암호학적 신원(Cryptographic Identity)을 기록해야 한다. 상세 기록은 불필요한 클라이언트별 정보를 노출하지 않아야 하지만, 예상하지 못한 동작, 포이즈닝 사고, 개인정보 보호 정책 위반, 잘못된 배포를 조사할 수 있을 만큼 충분한 증거는 유지해야 한다.

텔레메트리(Telemetry)는 연합학습이 로컬에 유지하려고 했던 민감한 데이터를 다시 중앙에서 재구성하기보다 보안과 관련된 학습 동작에 집중해야 한다. 유용한 신호에는 업데이트 크기(Update Size), 노름 통계(Norm Statistics), 집계 성공 여부, 클라이언트 인증 결과, 프로토콜 실패(Protocol Failure), 개인정보 보호 예산 소비량(Privacy-Budget Consumption), 모델 수렴 지표(Model Convergence Indicator), 이상 점수(Anomaly Score)가 포함된다. 이러한 속성을 모니터링하면 원시 카메라, 오디오, 지도, 상호작용 데이터를 중앙화하지 않고도 침해된 클라이언트나 비정상적인 학습 라운드를 식별할 수 있다.

참여 정책(Participation Policy)은 로봇이 언제 어떤 방식으로 기여하는지를 통제하여 노출을 추가로 줄일 수 있다. 로봇이 충전 중이거나, 승인된 네트워크에 연결되어 있거나, 검증된 소프트웨어 스택(Verified Software Stack)을 실행하거나, 충분한 컴퓨팅 자원을 보유한 경우에만 학습 참여를 허용할 수 있다. 각 라운드에서 적격 클라이언트 중 일부만 샘플링하면 통신 비용을 줄이고 개인정보 보호 증폭(Privacy Amplification)을 지원할 수 있으며, 비율 제한(Rate Limit)은 하나의 참여자가 공유 모델에 과도한 영향을 미치는 것을 방지한다.

연합학습에서는 데이터 삭제 및 장치 폐기 요구사항도 고려해야 한다. 로봇이 서비스에서 제거되거나, 고객이 플릿에서 이탈하거나, 로컬에서 수집된 데이터에 보존 제한이 적용될 수 있다. 그러나 정보가 이미 집계된 파라미터에 영향을 미쳤기 때문에 해당 영향을 제거하는 것은 중앙 저장 레코드를 삭제하는 것보다 어려울 수 있다. 따라서 모델 재학습(Model Retraining), 체크포인트 관리(Checkpoint Management), 머신 언러닝(Machine Unlearning), 명확하게 정의된 데이터 거버넌스 정책(Data-Governance Policy)이 수명주기의 일부로 필요할 수 있다.

가장 강력한 개인정보 보호 아키텍처(Privacy-Preserving Architecture)는 부분적으로 독립적인 여러 통제를 결합한다. 로컬 데이터 보존(Local Data Retention)은 원시 데이터 이동을 줄이고, 암호화된 채널(Encrypted Channel)은 통신을 보호하며, 보안 집계는 개별 업데이트를 숨기고, 차등 개인정보 보호는 정보 유출을 제한한다. 장치 신원(Device Identity)은 참여를 통제하고 신뢰 실행은 민감한 연산을 보호할 수 있다. 동시에 강건한 집계와 모델 검증은 분산된 참여자로 인해 발생하는 무결성 위험을 처리한다.

따라서 엣지 인공지능 로보틱스(Edge AI Robotics)에서 연합학습은 본질적으로 개인정보가 보호되는 학습 방식이라기보다 통제된 분산 지식 공유(Controlled Distributed Knowledge Sharing) 방식으로 이해하는 것이 적절하다. 보안은 로컬 데이터셋, 모델 업데이트, 신원, 집계 프로토콜, 결과 모델을 전체 수명주기에 걸쳐 보호하는 데 달려 있다. 개인정보 보호 공학(Privacy Engineering)을 인증(Authentication), 보안 집계, 차등 개인정보 보호, 포이즈닝 방어(Poisoning Defense), 신뢰 실행, 출처 추적, 통제된 배포와 결합하면 로봇 플릿은 운용 데이터의 불필요한 노출을 크게 줄이면서 집단적으로 학습할 수 있다.

05.07. TEE Trusted Execution Environment for AI [w/Code]

신뢰 실행 환경(Trusted Execution Environment, TEE)은 민감한 인공지능 코드와 데이터가 일반 운영체제(Normal Operating System) 및 다른 소프트웨어로부터 더욱 강력하게 격리된 상태에서 실행될 수 있도록 하드웨어로 강제되는 보안 경계(Hardware-Enforced Security Boundary)를 제공한다. 엣지 인공지능 로봇(Edge AI Robot)에서 TEE는 주변 소프트웨어 스택의 일부가 침해되더라도 모델 키(Model Key), 복호화된 가중치(Decrypted Weights), 추론 로직(Inference Logic), 중간 표현(Intermediate Representation), 보안 중요 연산(Security-Critical Operation)을 보호할 수 있다. 따라서 TEE는 암호화(Encryption), 안전한 로딩(Secure Loading), 런타임 접근 제어(Runtime Access Control)를 보완한다.

TEE의 핵심 원칙은 격리(Isolation)이다. 프로세서(Processor) 또는 시스템온칩(System-on-Chip, SoC)은 일반 애플리케이션이 메모리와 내부 상태를 정상적으로 검사하거나 수정할 수 없는 보호된 실행 영역(Protected Execution Domain)을 구축하며, 구현 방식에 따라 높은 권한을 가진 운영체제 구성요소까지 접근이 제한될 수 있다. 이러한 경계 내부에 배치된 AI 워크로드(AI Workload)는 민감한 연산을 수행하면서 악성코드(Malware), 비인가 관리자, 디버깅 도구(Debugging Tool), 로봇의 다른 영역에서 실행되는 침해된 서비스에 대한 노출을 줄일 수 있다.

TEE는 암호화된 모델 저장장치(Encrypted Model Storage)에서 활성 추론(Active Inference)으로 전환되는 과정에서 특히 유용하다. 모델은 저장된 상태에서는 계속 암호화된 상태를 유지하고 신뢰 환경(Trusted Environment)이 초기화되고 검증된 이후에만 복호화할 수 있다. 복호화 키(Decryption Key)는 일반 운영체제가 아니라 보호된 코드(Protected Code)에 직접 제공할 수 있다. 이를 통해 평문 모델 가중치(Plaintext Model Weights)가 하드웨어 기반 보안 경계 외부에 존재하는 시간과 위치를 줄일 수 있다.

보안 부트(Secure Boot)와 측정 부트(Measured Boot)는 신뢰 실행을 위한 기반을 구축할 수 있다. 보안 부트는 비인가 소프트웨어가 선택된 부트 체인(Boot Chain) 단계에 진입하는 것을 방지하고, 측정 부트는 펌웨어(Firmware)와 소프트웨어 구성요소의 암호학적 측정값(Cryptographic Measurement)을 기록한다. TEE는 이러한 측정값을 보안 정책(Security Policy)의 일부로 활용하여 플랫폼이 승인된 소프트웨어 상태에 도달하고 필수 구성요소가 예상된 신원과 일치할 때만 민감한 AI 연산 또는 키 사용을 허용할 수 있다.

원격 증명(Remote Attestation)은 이러한 신뢰 관계를 외부 인프라까지 확장한다. TEE를 지원하는 로봇은 보호된 소프트웨어의 신원 또는 측정값과 관련 플랫폼 상태를 설명하는 암호학적 증거(Cryptographic Evidence)를 생성할 수 있다. 모델 레지스트리(Model Registry), 플릿 서비스(Fleet Service), 키 관리 시스템(Key-Management System)은 고가치 모델 산출물이나 복호화 키를 제공하기 전에 이러한 증거를 평가할 수 있다. 따라서 민감한 AI 자산은 장치 신원(Device Identity)뿐 아니라 검증된 실행 상태(Verified Execution State)를 기준으로 조건부 전달할 수 있다.

키 관리(Key Management)는 TEE의 가장 강력한 활용 사례 중 하나이다. 장기간 유지되는 루트 비밀정보(Root Secret)는 하드웨어 기반 메커니즘으로 보호할 수 있으며, 단기 모델 키(Model Key) 또는 세션 키(Session Key)는 신뢰 환경 내부에서만 파생(Derivation)하거나 언랩(Unwrap)할 수 있다. TEE 외부의 애플리케이션은 비밀 키 자료(Secret Key Material)를 직접 획득하지 않고도 암호 연산을 요청할 수 있다. 이러한 분리는 애플리케이션 프로세스가 침해되었을 때의 영향을 줄이고 로그, 파일, 메모리 덤프(Memory Dump)를 통한 우발적인 키 노출 가능성을 제한한다.

AI 모델 검증(AI Model Verification)은 신뢰 환경 내부 또는 신뢰 환경에 진입하기 직전에 수행할 수도 있다. 보호된 메모리(Protected Memory)에 실행 가능한 모델 내용이 적재되기 전에 암호학적 서명(Cryptographic Signature), 산출물 해시(Artifact Hash), 모델 식별자(Model Identifier), 버전 메타데이터(Version Metadata), 권한 정책(Authorization Policy)을 검사할 수 있다. TEE는 단순히 복호화에 성공했다는 사실을 모델 신뢰성의 충분한 증거로 취급하지 않고 수정되거나, 서명되지 않았거나, 호환되지 않거나, 폐기되었거나, 승인되지 않은 산출물을 거부해야 한다.

보호된 메모리는 저장장치 암호화가 해제되는 순간 모델의 기밀성(Confidentiality) 보호가 끝나는 것이 아니기 때문에 중요하다. 추론 과정에서 가중치, 활성화 값(Activation), 임베딩(Embedding), 프롬프트(Prompt), 센서 기반 특징(Sensor-Derived Feature), 중간 텐서(Intermediate Tensor)는 독점 정보나 민감한 정보를 노출할 수 있다. 하드웨어 기반 메모리 격리(Memory Isolation) 또는 메모리 암호화(Memory Encryption)는 다른 프로세스가 이러한 값을 검사하는 능력을 제한할 수 있다. 이는 여러 워크로드나 컨테이너(Container)가 하나의 엣지 컴퓨팅 플랫폼(Edge Computing Platform)을 공유하는 경우 특히 중요하다.

가속형 인공지능(Accelerated AI)은 추론이 CPU, GPU, NPU, DSP 또는 전용 가속기(Dedicated Accelerator)에 걸쳐 실행될 수 있기 때문에 추가적인 과제를 발생시킨다. CPU 메모리만 보호하는 TEE는 텐서나 가중치가 보호 경계 외부의 가속기로 전송되는 순간 자동으로 기밀성을 보장하지 못한다. 따라서 시스템 설계에서는 신뢰 실행이 어디에서 시작되고 끝나는지, 어떤 장치가 보호된 메모리에 접근할 수 있는지, 보안 채널(Secure Channel) 또는 하드웨어 격리가 가속기 인터페이스까지 확장되는지를 명확하게 정의해야 한다.

입력 및 출력 경로(Input and Output Path) 역시 신중하게 처리해야 한다. 추론 연산 자체를 보호한다고 해서 TEE로 들어오는 센서 데이터가 진본임을 보장하거나 TEE에서 출력된 결과가 안전하게 사용된다는 것을 보장하지는 않는다. 침해된 프로세스는 조작된 관측값(Manipulated Observation)을 제공하거나 보호된 추론이 완료된 이후 의사결정 결과를 변경할 수 있다. 따라서 로봇의 물리적 동작이 AI 출력에 의존하는 경우 신뢰 실행은 인증된 데이터 경로(Authenticated Data Path), 센서 검증(Sensor Validation), 적대적 입력 탐지(Adversarial-Input Detection), 보호된 프로세스 간 통신(Protected IPC), 하위 안전 제어(Downstream Safety Control)와 결합해야 한다.

신뢰 컴퓨팅 기반(Trusted Computing Base, TCB)은 가능한 한 작게 유지해야 한다. 전체 로보틱스 소프트웨어 스택(Robotics Software Stack)을 TEE 내부로 이동하면 복잡성, 메모리 요구량, 공격 표면(Attack Surface), 검증 부담(Verification Burden)이 증가한다. 더욱 강력한 설계는 키 처리(Key Handling), 모델 검증, 선택된 추론 연산, 정책 권한 부여(Policy Authorization), 민감한 특징 처리(Sensitive Feature Processing)와 같은 보안에 중요한 구성요소만 보호 영역에 배치한다. ROS2 노드(Node), 사용자 인터페이스(User Interface), 로깅(Logging), 기타 일반 서비스는 TEE 내부에 포함할 필요가 없다면 외부에 유지할 수 있다.

TEE 인터페이스 자체도 보안 경계가 되므로 방어적으로 설계해야 한다. 일반 영역 소프트웨어(Normal-World Software)와 신뢰 구성요소(Trusted Component) 사이의 호출에서는 메시지 크기, 객체 신원(Object Identity), 권한(Permission), 상태 전환(State Transition), 입력 형식(Input Format)을 검증해야 한다. 공유 메모리 인터페이스(Shared-Memory Interface)는 신뢰되지 않은 소프트웨어가 검증 전후에 데이터를 변경할 수 있기 때문에 특별한 주의가 필요하다. 최소화된 API와 명시적인 데이터 복사 또는 소유권 규칙(Ownership Rule)은 검사 시점과 사용 시점 간 차이(Time-of-Check to Time-of-Use) 문제와 비정상 입력 취약점을 줄일 수 있다.

부채널 공격(Side-Channel Attack)은 신뢰 실행의 한계로 남아 있다. 직접적인 메모리 접근이 차단되어도 타이밍 동작(Timing Behavior), 캐시 활동(Cache Activity), 메모리 접근 패턴(Memory Access Pattern), 전력 소비(Power Consumption), 기타 구현 특성을 통해 정보가 노출될 수 있다. 실제 위협 수준은 하드웨어, 공격자의 능력, 배포 환경에 따라 달라진다. 따라서 고가치 로봇 AI에서는 TEE 격리만으로 모델 정보나 암호학적 비밀정보를 추출할 수 있는 모든 경로가 제거된다고 가정해서는 안 된다.

서비스 거부(Denial-of-Service, DoS) 역시 TEE의 한계이다. TEE는 보호된 연산의 기밀성과 무결성을 보호할 수 있지만 일반 운영체제가 CPU 시간, 메모리, 통신, 장치 접근을 제공하지 않는 상황까지 방지하지는 못할 수 있다. 주변 소프트웨어를 통제하는 공격자는 보호된 상태를 읽거나 수정할 수 없더라도 추론 실행 자체를 방해할 수 있다. 따라서 로봇 안전 아키텍처(Robotic Safety Architecture)는 제한된 타임아웃(Bounded Timeout), 성능 저하 운용(Degraded Operation), 페일세이프 동작(Fail-Safe Behavior)을 통해 신뢰 서비스가 이용 불가능한 상황을 처리해야 한다.

로봇 AI는 엄격한 지연시간(Latency)과 처리량(Throughput) 요구사항을 갖는 경우가 많기 때문에 성능도 고려해야 한다. 보호 실행 영역으로 진입하거나 빠져나오는 과정, 신뢰 경계를 통한 데이터 복사, 메모리 암호화, 증명 수행, 가속기 접근 제한은 추가적인 오버헤드(Overhead)를 발생시킬 수 있다. 아키텍처는 의미 있는 보안 가치를 제공하는 영역에 보호 기능을 배치하면서 고주파 인지 및 제어 경로(High-Frequency Perception and Control Path)가 요구되는 실시간 예산(Real-Time Budget)을 충족하도록 해야 한다. 따라서 보안 측정에는 지연시간과 자원 소비(Resource Consumption)도 포함해야 한다.

TEE 수명주기 관리(TEE Lifecycle Management)는 업데이트와 폐기(Revocation)를 처리해야 한다. 신뢰 애플리케이션(Trusted Application), 증명 신원(Attestation Identity), 펌웨어, 검증 키(Verification Key), 보안 정책은 로봇의 전체 서비스 수명 동안 지속적으로 발전한다. 업데이트는 신뢰 연속성(Trust Continuity)을 유지하고 취약한 신뢰 구성요소로 롤백되는 것을 방지해야 한다. 또한 플릿 인프라는 증명 상태가 오래된 펌웨어, 폐기된 소프트웨어, 실패한 측정값 또는 승인된 보안 기준선(Security Baseline)을 벗어난 기타 상태를 나타내는 장치를 거부할 수 있어야 한다.

보안 텔레메트리(Security Telemetry)는 보호된 비밀정보를 노출하지 않으면서 운영 가시성(Operational Visibility)을 제공할 수 있다. 신뢰 환경은 성공 또는 실패한 증명 결과, 모델 검증 결과, 키 사용 이벤트(Key-Use Event), 신뢰 애플리케이션 버전, 정책 결정(Policy Decision), 무결성 실패(Integrity Failure)를 보고할 수 있다. 로그에는 평문 키, 모델 내용, 민감한 중간 데이터를 기록하지 않아야 한다. 이러한 이벤트를 플릿 모니터링(Fleet Monitoring)과 연계하면 반복적으로 검증에 실패하거나 승인된 신뢰 구성에서 벗어나 동작하는 장치를 식별하는 데 도움이 된다.

따라서 TEE는 독립적인 보안 솔루션이 아니라 심층 방어(Defense in Depth)의 한 구성요소로 이해해야 한다. 암호화는 저장 및 전송되는 산출물을 보호하고, 안전한 로딩은 모델의 진본성(Authenticity)을 확립하며, 워터마킹(Watermarking)은 소유권 귀속(Ownership Attribution)을 지원하고, 적대적 입력 탐지는 입력의 신뢰성을 평가한다. TEE는 실행 중 선택된 연산과 비밀정보를 보호한다. 그러나 신뢰 실행은 연산의 보호를 증명하는 것이지 AI 의사결정 자체의 정확성(Correctness)을 증명하는 것은 아니므로 독립적인 안전 메커니즘이 여전히 필요하다.

엣지 인공지능 로보틱스(Edge AI Robotics)에서 신뢰 실행 환경의 전략적 가치는 보호된 모델 저장장치와 신뢰할 수 있는 런타임 실행(Trustworthy Runtime Execution) 사이에 하드웨어 기반 연결(Hardware-Backed Bridge)을 구축할 수 있다는 데 있다. 격리, 보호된 키 사용, 모델 검증, 메모리 보호, 원격 증명, 통제된 인터페이스(Controlled Interface), 수명주기 거버넌스(Lifecycle Governance)를 결합하면 TEE는 가치 있는 AI 자산의 노출을 크게 줄이는 동시에 민감한 추론 연산이 승인된 보안 상태에서 실행되고 있다는 더욱 강력한 증거를 제공할 수 있다.

05.08. Edge AI Inference Monitoring for Anomaly [w/Code]

엣지 인공지능 추론 모니터링(Edge AI Inference Monitoring)은 운용 중 모델 동작을 지속적으로 관찰하여 예측이 기대되는 성능과 로봇의 현재 환경에 부합하는지를 판단한다. 배포 전 검증(Predeployment Validation)과 달리 런타임 모니터링(Runtime Monitoring)은 모델이 실제 물리적 운용 환경에 투입된 이후의 상태를 평가한다. 이를 통해 비정상적인 예측, 분포 변화(Distribution Shift), 침해된 입력, 모델 손상(Model Corruption), 자원 장애(Resource Failure), 예상하지 못한 상호작용을 식별하여 중요한 로봇 동작으로 전파되기 전에 대응할 수 있다.

효과적인 모니터링 아키텍처(Monitoring Architecture)는 모델에 입력되는 데이터와 추론에서 생성되는 출력을 모두 관찰한다. 입력 통계(Input Statistics)를 통해 센서 분포, 이미지 특성, 포인트 클라우드 밀도(Point-Cloud Density), 특징 범위(Feature Range), 데이터 누락 등의 변화를 확인할 수 있으며, 출력 모니터링(Output Monitoring)은 신뢰도(Confidence), 엔트로피(Entropy), 클래스 빈도(Class Frequency), 탐지 개수, 궤적 예측(Trajectory Prediction), 정책 행동(Policy Action)을 추적할 수 있다. 이러한 관점을 결합하면 예측 신뢰도나 시스템 상태만 감시하는 것보다 강력한 판단 근거를 제공한다.

런타임 기준선(Runtime Baseline)은 이상 현상을 평가하기 위한 정상적인 운용 특성을 정의한다. 기준선에는 예측 분포(Prediction Distribution), 특징 통계(Feature Statistics), 신뢰도 범위, 추론 지연시간(Inference Latency), 메모리 사용량, 가속기 활용률(Accelerator Utilization), 작업별 성능 지표(Task-Specific Performance Indicator)가 포함될 수 있다. 정상 동작은 환경, 임무, 센서 구성, 로봇 운용 모드에 따라 크게 달라질 수 있으므로 기준선은 임의의 임계값이 아니라 대표적인 검증 운용 데이터를 기반으로 설정해야 한다.

분포 변화 모니터링(Distribution-Shift Monitoring)은 실제 운용 입력이 학습 및 검증에 사용된 데이터와 달라지기 시작하는 상황을 탐지한다. 조명, 날씨, 지형, 객체 분포, 카메라 구성, 센서 노화(Sensor Aging), 임무 상황의 변화는 관측 데이터를 모델이 익숙한 데이터 영역 밖으로 이동시킬 수 있다. 통계적 거리 측정(Statistical Distance Measure), 임베딩 비교(Embedding Comparison), 특징 분포 테스트(Feature-Distribution Test), 분포 외 탐지기(Out-of-Distribution Detector)를 이용하면 모델 예측에 대한 신뢰도를 낮춰야 하는 조건을 식별할 수 있다.

예측 신뢰도 모니터링(Prediction-Confidence Monitoring)은 또 다른 유용한 신호를 제공한다. 불확실성이 갑자기 증가하거나, 낮은 신뢰도가 지속되거나, 비정상적인 엔트로피가 발생하거나, 예측 결과가 빠르게 변화하면 익숙하지 않은 입력, 센서 성능 저하(Sensor Degradation), 적대적 조작(Adversarial Manipulation), 모델 불안정성(Model Instability)을 나타낼 수 있다. 그러나 신경망은 잘못된 결과에도 높은 신뢰도를 나타낼 수 있으므로 높은 신뢰도 역시 신중하게 해석해야 한다. 따라서 신뢰도 모니터링은 독립적인 상황적, 시간적, 물리적 일관성 검사와 결합할 때 가장 효과적이다.

시간적 모니터링(Temporal Monitoring)은 로봇 운용의 연속성을 활용한다. 인지 결과(Perception Result), 위치 추정값(Localization Estimate), 예측 궤적, 정책 출력은 일반적으로 물리적 제약과 작업 제약조건에 따라 연속적으로 변화한다. 인접한 추론 주기(Inference Cycle) 사이에서 갑작스러운 변화가 발생하면 손상된 관측값 또는 비정상적인 모델 동작을 나타낼 수 있다. 현재 출력을 최근 이력과 비교하면 개별 추론 결과만 독립적으로 검사했을 때 발견하기 어려운 불안정성을 탐지할 수 있다.

교차 모달 모니터링(Cross-Modal Monitoring)은 독립적인 센서 또는 알고리즘을 이용하여 AI 출력을 검증할 수 있다. 카메라에서 탐지된 장애물은 라이다(LiDAR), 레이더(Radar), 깊이 정보(Depth Information), 근접 센서 정보(Proximity Information)와 비교할 수 있으며, 시각 기반 위치 추정(Visual Localization)은 관성 또는 오도메트리 추정값(Inertial or Odometric Estimate)과 비교할 수 있다. 모달리티 간 불일치가 지속되면 추론 결과에 부여되는 신뢰도를 낮출 수 있다. 하나의 감지 채널에 영향을 주는 고장이나 공격이 독립적인 다른 센서에서도 일관된 증거를 만들어내기는 어렵기 때문에 이러한 접근법은 특히 유용하다.

모니터링은 추론 엔진(Inference Engine)의 실행 특성도 포함해야 한다. 예상하지 못한 지연시간, 반복적인 타임아웃(Timeout), 비정상적인 GPU 또는 NPU 활용률, 메모리 증가, 열 스로틀링(Thermal Throttling), 메모리 할당 실패(Allocation Failure), 추론 주기 변화는 소프트웨어 장애, 자원 고갈(Resource Exhaustion), 악성 간섭(Malicious Interference), 하드웨어 성능 저하를 나타낼 수 있다. 따라서 운용 이상은 잘못된 AI 예측으로 나타나기 전에 계산 동작(Computational Behavior)에서 먼저 발견될 수 있다.

모델 신원(Model Identity)과 무결성(Integrity)은 런타임 중에도 관찰 가능한 상태로 유지되어야 한다. 모니터링 서비스는 각 운용 인스턴스와 연계된 활성 모델 식별자(Active Model Identifier), 암호학적 다이제스트(Cryptographic Digest), 버전, 구성(Configuration), 추론 엔진, 배포 권한(Deployment Authorization)을 기록할 수 있다. 이러한 속성의 예상하지 못한 변화는 비인가 모델 교체(Unauthorized Model Replacement), 잘못된 배포 또는 롤백(Rollback)을 나타낼 수 있다. 또한 행동 이상을 정확한 모델 인스턴스와 연결하면 사고 조사(Incident Investigation)와 플릿 전체 비교를 개선할 수 있다.

이상 탐지(Anomaly Detection)는 규칙 기반 로직(Rule-Based Logic)과 통계적 또는 학습 기반 탐지기(Learned Detector)를 결합할 수 있다. 결정론적 규칙(Deterministic Rule)은 불가능한 좌표 범위, 과도한 추론 지연시간, 잘못된 텐서 차원(Invalid Tensor Dimension), 금지된 정책 행동과 같은 명확한 한계에 적합하다. 통계 모델은 예상 분포로부터의 편차를 식별할 수 있으며, 학습 기반 이상 탐지기는 센서 특징, 예측값, 시스템 상태, 실행 지표 사이의 복잡한 관계를 포착할 수 있다. 여러 방법을 결합하면 단일 탐지기에 대한 의존성을 줄일 수 있다.

임계값 설계(Threshold Design)는 신중한 보정(Calibration)이 필요하다. 지나치게 관대한 임계값은 위험한 이상을 탐지하지 못할 수 있으며, 지나치게 민감한 임계값은 빈번한 오경보(False Alarm)와 불필요한 로봇 정지를 발생시킬 수 있다. 경고(Warning), 성능 저하 운용(Degraded Operation), 사람 검토(Human Review), 비상 개입(Emergency Intervention)에 서로 다른 임계값을 적용할 수 있다. 위험은 작업 중요도, 로봇 속도, 사람과의 거리, 환경 불확실성, AI 출력에 부여된 제어 권한에 따라 평가해야 한다.

모니터링 아키텍처는 빠른 경로(Fast Path) 분석과 느린 경로(Slow Path) 분석을 구분해야 한다. 경량 검사(Lightweight Check)는 모든 추론 주기와 동기화하여 실행하면서 허용할 수 없는 지연을 발생시키지 않고 중요한 위반을 탐지할 수 있다. 더 많은 계산이 필요한 통계 분석, 모델 간 비교(Cross-Model Comparison), 이력 상관분석(Historical Correlation), 포렌식 처리(Forensic Processing)는 비동기적으로 또는 낮은 빈도로 실행할 수 있다. 이러한 분리를 통해 인지 및 제어 루프에 필요한 실시간 성능을 유지하면서 강력한 모니터링 범위를 확보할 수 있다.

이상이 탐지되면 대응은 해당 이상에 대한 신뢰도와 잠재적인 물리적 영향에 비례해야 한다. 로봇은 추가 관측을 요청하거나, 중복 센서(Redundant Sensor)로 전환하거나, 속도를 낮추거나, 안전 여유(Safety Margin)를 확대하거나, 위험도가 높은 자율 기능을 비활성화하거나, 검증된 대체 모델(Fallback Model)로 전환하거나, 사람의 감독(Human Supervision)을 요청할 수 있다. 심각한 이상에서는 통제된 정지(Controlled Stopping)가 필요할 수 있다. 모니터링은 탐지 결과가 사전에 정의된 운용 대응(Operational Response)과 연결될 때 실질적인 가치를 가진다.

대체 모델은 자동으로 신뢰되는 백업이 아니라 그 자체로 통제되는 보안 자산(Security Asset)으로 취급해야 한다. 대체 모델의 서명(Signature), 버전, 호환성(Compatibility), 런타임 상태를 검증해야 하며, 전환 로직(Transition Logic)은 불안정한 모델 사이에서 반복적으로 전환되는 상황을 방지해야 한다. 안전 중요 애플리케이션(Safety-Critical Application)에서는 또 다른 학습 모델보다 결정론적 제어 기능(Deterministic Control Function)이 더 적절한 대체 수단일 수 있다. 복구 전략은 최대 AI 기능을 유지하는 것보다 예측 가능한 물리적 동작을 우선해야 한다.

플릿 수준 모니터링(Fleet-Level Monitoring)은 이상 탐지를 개별 로봇의 범위를 넘어 확장한다. 하나의 비정상적인 추론 이벤트는 해석하기 어려울 수 있지만 여러 로봇, 위치, 모델 버전 또는 센서 구성에서 유사한 이상이 발생하면 체계적인 장애(Systematic Failure) 또는 조직적인 공격(Coordinated Attack)을 발견할 수 있다. 집계된 텔레메트리(Aggregated Telemetry)는 하나의 장치만으로는 확인하기 어려운 새로운 분포 변화, 결함이 있는 모델 릴리스(Defective Model Release), 하드웨어별 문제, 적대적 패턴(Adversarial Pattern)을 식별할 수 있다.

텔레메트리(Telemetry)는 데이터 최소화 원칙(Data-Minimization Principle)에 따라 설계해야 한다. 유용한 기록에는 모델 버전, 이상 점수(Anomaly Score), 신뢰도 통계, 추론 지연시간, 센서 상태(Sensor Health), 자원 활용률(Resource Utilization), 탐지기 결정(Detector Decision), 안전 대응(Safety Response)이 포함될 수 있으며, 원시 센서 스트림(Raw Sensor Stream)을 지속적으로 업로드할 필요는 없다. 사고 조사에 상세한 증거가 필요한 경우에는 개인정보 보호(Privacy), 보존 기간(Retention), 대역폭(Bandwidth), 운용 보안(Operational Security) 요구사항에 따라 데이터 수집을 통제해야 한다.

모니터링 구성요소 자체도 변조(Tampering)로부터 보호해야 한다. 추론 프로세스를 침해한 공격자는 경고를 억제하거나, 이상 점수를 변경하거나, 로깅을 비활성화하거나, 상태 정보를 위조하려 할 수 있다. 추론 구성요소와 모니터링 구성요소 사이의 격리(Isolation), 인증된 텔레메트리(Authenticated Telemetry), 보호된 타임스탬프(Protected Timestamp), 변경 저항성 로깅(Append-Resistant Logging), 하드웨어 기반 측정(Hardware-Backed Measurement)을 사용하면 보고된 이벤트가 공격자에 의해 조작된 관측이 아니라 실제 시스템 동작을 반영한다는 신뢰도를 높일 수 있다.

런타임 모니터링은 모델 수명주기 관리(Model Lifecycle Management)와 연결되어야 한다. 반복되는 이상은 모델의 재학습(Retraining), 재보정(Recalibration), 추가 검증(Additional Validation), 배포 철회(Withdrawal from Deployment)가 필요함을 나타낼 수 있다. 모니터링 증거는 개발 과정에서 충분히 표현되지 않았던 어려운 운용 조건을 식별하고 새로운 학습 데이터 수집을 안내할 수 있다. 따라서 보안 모니터링(Security Monitoring)은 사고 대응뿐 아니라 모델 강건성(Model Robustness)과 운용 범위(Operational Coverage)의 지속적인 개선에도 기여한다.

모니터링 시스템 평가는 정상 운용, 센서 고장(Sensor Fault), 분포 변화, 자원 고갈, 손상된 모델, 적대적 입력(Adversarial Input), 통신 장애, 비정상적이지만 정상적인 시나리오를 포함해야 한다. 탐지율(Detection Rate), 오탐률(False-Positive Rate), 대응 지연시간(Response Latency), 계산 오버헤드(Computational Overhead), 안전 영향(Safety Impact)을 함께 측정해야 한다. 이상을 정확하게 탐지하더라도 허용할 수 없는 추론 지연을 발생시키는 탐지기는 실시간 로봇 플랫폼에 적합하지 않을 수 있다.

어떤 단일 런타임 지표(Runtime Metric)도 AI 시스템이 지속적으로 신뢰할 수 있는 상태임을 단독으로 입증할 수 없다. 강력한 모니터링은 입력 분석(Input Analysis), 출력 동작(Output Behavior), 시간적 일관성(Temporal Consistency), 다중 모달 일치(Multimodal Agreement), 계산 상태(Computational Health), 모델 신원, 시스템 텔레메트리, 독립적인 안전 제약조건(Independent Safety Constraint)을 결합한다. 이러한 부분적으로 독립적인 신호들은 하나의 탐지기나 모니터링 소스가 실패하더라도 의심스러운 동작을 인식할 수 있는 심층 방어(Defense in Depth) 구조를 형성한다.

엣지 인공지능 로보틱스(Edge AI Robotics)에서 추론 모니터링은 궁극적으로 배포된 지능(Deployed Intelligence)과 물리적 행동(Physical Action) 사이에 지속적인 신뢰 평가 계층(Continuous Trust-Assessment Layer)을 형성한다. 목표는 단순히 모델이 실행되고 있는지를 확인하는 것이 아니라 모델의 입력, 예측, 실행 특성, 그에 따른 동작이 현재 운용 상황에서 계속 신뢰할 수 있는지를 판단하는 것이다. 통제된 대체 운용(Controlled Fallback), 플릿 분석(Fleet Analytics), 보호된 텔레메트리(Protected Telemetry), 결정론적 안전 경계(Deterministic Safety Boundary)를 이상 모니터링과 결합하면 비정상적인 AI 동작이 통제되지 않은 물리적 행동으로 이어지는 것을 방지하는 데 도움이 된다.

05.09. AI Data Poisoning Detection and Defense [w/Code]

AI 데이터 포이즈닝(AI Data Poisoning)은 공격자가 학습(Training), 미세조정(Fine-Tuning), 피드백(Feedback), 재학습(Retraining) 데이터를 의도적으로 조작하여 학습된 모델이 잘못되거나 공격자가 통제하는 동작을 갖도록 만드는 공격이다. 엣지 인공지능 로보틱스(Edge AI Robotics)에서는 수집된 센서 로그(Sensor Log), 사람의 라벨(Human Label), 시뮬레이션 데이터(Simulation Data), 플릿 피드백(Fleet Feedback), 연합학습 업데이트(Federated Update), 서드파티 데이터셋(Third-Party Dataset)을 통해 오염된 샘플이 유입될 수 있다. 그 결과 모델은 일반적인 평가에서는 정확하게 보이면서 특정 물리적 조건이나 숨겨진 트리거(Hidden Trigger)에서 실패할 수 있다.

포이즈닝(Poisoning)은 조작이 추론(Inference) 시점에만 발생하는 것이 아니라 주로 학습 파이프라인(Learning Pipeline) 내부에서 발생한다는 점에서 적대적 입력 공격(Adversarial Input Attack)과 다르다. 공격자는 악성 샘플(Malicious Sample)을 삽입하거나, 라벨을 변경하거나, 기존 레코드를 수정하거나, 클래스 분포(Class Distribution)에 편향을 만들거나, 지속 학습(Continual Learning)에 사용되는 피드백을 손상시킬 수 있다. 이러한 변경이 학습에 포함되면 모델 파라미터(Model Parameter)에 내재되어 배포 이후에도 지속될 수 있으므로 기존 소프트웨어 무결성 검사(Software Integrity Check)만으로는 침해를 식별하기 어려울 수 있다.

가용성 지향 포이즈닝(Availability-Oriented Poisoning)은 전반적인 모델 품질을 저하시켜 인지(Perception), 예측(Prediction), 정책(Policy) 성능을 신뢰할 수 없도록 만드는 것을 목표로 한다. 무결성 지향 포이즈닝(Integrity-Oriented Poisoning)은 전체 정확도를 유지하면서 특정 객체, 위치, 센서 패턴, 운용 조건에 대해 잘못된 동작을 생성하는 보다 선택적인 방식일 수 있다. 백도어 포이즈닝(Backdoor Poisoning)은 특정 트리거가 공격자가 선택한 응답을 발생시키기 전까지 모델이 정상적으로 동작할 수 있다는 점에서 특히 위험하다.

로봇 학습 파이프라인(Robotic Learning Pipeline)은 데이터가 다양한 물리적·디지털 소스에서 생성될 수 있기 때문에 광범위한 포이즈닝 공격 표면(Poisoning Attack Surface)을 가진다. 카메라 기록(Camera Recording), 라이다 포인트 클라우드(LiDAR Point Cloud), 시연 데이터(Demonstration), 원격조작 세션(Teleoperation Session), 시뮬레이션 에피소드(Simulation Episode), 자동 생성 라벨(Automatically Generated Label), 유지보수 주석(Maintenance Annotation), 플릿 텔레메트리(Fleet Telemetry)가 모두 학습 입력이 될 수 있다. 따라서 현장 로봇에서 수집된 데이터라고 해서 인증된 장치나 실제 운용 환경에서 생성되었다는 이유만으로 신뢰해서는 안 된다.

학습 데이터 출처 추적(Training-Data Provenance)은 기본적인 방어 수단을 제공한다. 각 데이터셋은 데이터 출처(Source), 수집 과정(Collection Process), 획득 시간(Acquisition Time), 센서 구성(Sensor Configuration), 변환 이력(Transformation History), 라벨링 과정(Labeling Process), 승인 상태(Approval State), 데이터셋 버전(Dataset Version)을 설명하는 정보를 유지해야 한다. 학습 데이터 계보(Training Data Lineage)와 실험 추적(Experiment Tracking)을 통해 어떤 레코드가 모델에 영향을 주었는지 파악할 수 있으며, 배포 이후 의심스러운 동작이 나타났을 때 조사를 지원할 수 있다.

암호학적 무결성 통제(Cryptographic Integrity Control)는 데이터셋이 신뢰할 수 있는 저장소에 들어온 이후 이를 보호할 수 있다. 해시(Hash), 체크섬(Checksum), 전자서명(Digital Signature), 불변 저장소(Immutable Storage), 버전 관리(Version Control)는 승인된 레코드의 비인가 변경을 탐지하고 어떤 데이터셋 버전이 학습에 사용되었는지를 확인하는 데 도움을 준다. 이러한 메커니즘은 처음 제공된 데이터 자체가 악성인지 판단하지는 못하지만 검증 이후 탐지되지 않은 변경을 방지하고 모델 개발 수명주기(Model-Development Lifecycle) 전체의 책임 추적성을 강화한다.

데이터 검증(Data Validation)은 학습을 시작하기 전에 개별 샘플과 데이터셋 수준의 통계를 모두 검사해야 한다. 스키마 검사(Schema Check), 센서 범위 검증(Sensor-Range Validation), 중복 탐지(Duplicate Detection), 라벨 일관성 분석(Label Consistency Analysis), 결측값 검사(Missing-Value Check), 클래스 빈도 모니터링(Class-Frequency Monitoring), 분포 비교(Distribution Comparison)를 통해 비정상적인 데이터 기여를 발견할 수 있다. 로봇 데이터셋에서는 기하학적 제약조건(Geometric Constraint), 타임스탬프 일관성(Timestamp Consistency), 보정 정보(Calibration Information), 움직임 연속성(Motion Continuity), 동기화된 센서 간 관계를 이용하여 관측값의 물리적 타당성도 평가할 수 있다.

이상치 탐지(Outlier Detection)는 기존 데이터 분포와 크게 다른 샘플을 식별할 수 있다. 통계적 거리(Statistical Distance), 클러스터링(Clustering), 임베딩 공간 분석(Embedding-Space Analysis), 최근접 이웃 비교(Nearest-Neighbor Comparison), 학습 기반 이상 탐지기(Learned Anomaly Detector)를 활용하여 비정상적인 관측값이나 라벨 조합을 발견할 수 있다. 그러나 어렵고 드문 상황은 로봇의 강건성(Robustness)에 필수적인 경우가 많으므로 희귀 데이터를 자동으로 제거해서는 안 된다. 따라서 탐지는 무차별적인 삭제가 아니라 추가 조사를 시작하는 수단으로 활용해야 한다.

교차 모달 일관성(Cross-Modal Consistency)은 다중 모달 로봇 데이터셋(Multimodal Robotic Dataset)에서 강력한 포이즈닝 증거를 제공할 수 있다. 카메라 라벨은 깊이 정보(Depth), 라이다, 레이더(Radar), 오도메트리(Odometry), 기타 독립적으로 획득한 신호와 비교할 수 있다. 주석(Annotation)이 특정 객체나 사건의 존재를 나타내지만 다른 모달리티에서 이에 대응하는 물리적 증거가 반복적으로 존재하지 않는다면 해당 샘플은 추가 검토가 필요하다. 이러한 검증은 공격자가 여러 센서 채널에 걸쳐 상호 일관된 조작을 만들어야 하므로 포이즈닝의 난이도를 높인다.

라벨 품질(Label Quality)은 공격자가 원시 센서 관측값을 수정하지 않고도 데이터셋을 오염시킬 수 있기 때문에 독립적인 보호가 필요하다. 사람의 주석(Human Annotation), 자동 라벨링 시스템(Automated Labeling System), 약한 지도학습(Weak Supervision), 합성 라벨 파이프라인(Synthetic-Label Pipeline)은 모두 잘못된 목표값을 유입시킬 수 있다. 합의 기반 라벨링(Consensus Labeling), 검토자 분리(Reviewer Separation), 신뢰도 점수(Confidence Scoring), 신뢰 참조 데이터셋(Trusted Reference Set), 표적 감사(Targeted Audit)를 이용하면 체계적인 라벨 조작을 식별할 수 있다. 불확실한 사례 검토와 라벨 수정에는 인간 참여형 검토(Human-in-the-Loop Review)가 특히 유용하다.

학습 동작(Training Behavior) 자체에서도 포이즈닝의 징후를 발견할 수 있다. 예상하지 못한 손실 패턴(Loss Pattern), 불안정한 그래디언트(Unstable Gradient), 비정상적인 클래스별 성능(Class-Specific Performance), 갑작스러운 수렴 변화(Convergence Change), 비정상적인 특징 클러스터(Feature Cluster), 일부 데이터에 대한 과도한 민감성은 의심스러운 영향을 나타낼 수 있다. 학습 실행을 알려진 정상 기준선(Known-Good Baseline)과 비교하면 정상적인 최적화 변동과 잠재적인 악성 동작을 구분하는 데 도움이 된다. 이러한 신호는 데이터셋 버전과 출처 기록을 함께 분석할 때 더욱 강력해진다.

백도어 탐지(Backdoor Detection)는 평균 정확도 이상의 검증을 필요로 한다. 검증에는 트리거 지향 분석(Trigger-Oriented Analysis), 비정상적인 특징 조합, 희귀한 환경 조건, 숨겨진 의사결정 규칙(Hidden Decision Rule)을 발견하기 위한 표적 행동 테스트(Targeted Behavioral Test)가 포함되어야 한다. 활성화 분석(Activation Analysis), 표현 클러스터링(Representation Clustering), 영향도 추정(Influence Estimation), 통제된 입력 교란(Controlled Input Perturbation)을 통해 의심스러운 응답과 관련된 샘플이나 내부 특징을 식별할 수 있다. 일반적인 벤치마크를 통과한 모델이라도 조건부 동작을 설명할 수 없다면 배포를 거부해야 할 수 있다.

강건한 학습 방법(Robust Training Method)은 악성 샘플의 영향력을 줄일 수 있다. 손실 클리핑(Loss Clipping), 샘플 재가중치(Sample Reweighting), 강건한 통계(Robust Statistics), 신뢰 데이터 기반 고정(Trusted-Data Anchoring), 의심 샘플 필터링(Suspicious-Sample Filtering), 신중하게 설계된 정규화(Regularization)는 소수의 오염된 데이터가 최적화 과정에 과도한 영향을 미치는 것을 방지할 수 있다. 적대적 학습(Adversarial Training)과 이상 탐지는 광범위한 방어 통제의 일부가 될 수 있지만 강력한 데이터 거버넌스(Data Governance)와 출처 추적을 대체해서는 안 된다.

연합학습(Federated Learning)과 지속 학습은 모델 개선이 배포된 로봇의 기여에 의존할 수 있기 때문에 추가적인 포이즈닝 위험을 발생시킨다. 침해된 참여자는 명백하게 악성인 원시 데이터 대신 조작된 그래디언트나 모델 업데이트(Model Update)를 제출할 수 있다. 강건한 집계(Robust Aggregation), 업데이트 클리핑(Update Clipping), 참여자 인증(Participant Authentication), 기여도 제한(Contribution Limit), 이상 점수(Anomaly Scoring), 신뢰 참조 데이터에 대한 검증을 적용하면 이러한 노출을 줄이고 하나의 클라이언트가 공유 모델에 과도한 영향을 미치는 것을 방지할 수 있다.

접근 제어(Access Control)는 학습 데이터셋, 라벨, 전처리 파이프라인(Preprocessing Pipeline), 승인 상태를 수정할 수 있는 사용자와 시스템을 제한해야 한다. 최소 권한(Least Privilege), 역할 분리(Separation of Duties), 인증된 서비스(Authenticated Service), 보호된 저장소(Protected Repository), 감사 가능한 변경(Auditable Change)을 적용하면 내부자 또는 침해된 계정이 악성 레코드를 삽입할 기회를 줄일 수 있다. 데이터 보호와 접근 제어는 독립적인 보안 기능이 아니라 모델 거버넌스(Model Governance), 승인(Approval), 감사(Audit) 메커니즘과 함께 동작해야 한다.

데이터셋 격리(Dataset Quarantine)는 의심스러운 데이터 기여를 통제된 방식으로 처리할 수 있도록 한다. 새롭게 수집되거나 외부에서 제공된 데이터는 무결성, 출처, 품질, 보안 검사가 완료될 때까지 운영용 학습 데이터셋(Production Training Dataset)과 분리된 상태로 유지할 수 있다. 위험도가 높은 소스는 더욱 강력한 검토 또는 신뢰 데이터셋과의 비교가 필요할 수 있다. 이를 통해 자동 수집 파이프라인(Automatic Ingestion Pipeline)이 검증되지 않은 현장 관측, 주석, 외부 데이터셋을 즉시 운영 모델 동작으로 변환하는 것을 방지할 수 있다.

모델 검증(Model Validation)은 일반적인 학습 및 데이터 수집 과정으로부터 격리된 신뢰 홀드아웃 데이터셋(Trusted Holdout Dataset)을 유지해야 한다. 이러한 참조 데이터에 대한 평가는 포이즈닝으로 발생한 성능 저하를 발견할 수 있지만 정교하게 표적화된 공격은 전체 평균 지표를 우회할 수 있다. 따라서 새롭게 학습된 모델을 배포 승인하기 전에 전체 정확도뿐 아니라 클래스별 결과(Per-Class Result), 시나리오별 안전 테스트(Scenario-Specific Safety Test), 희귀 이벤트 평가(Rare-Event Evaluation), 행동 회귀 테스트(Behavioral Regression Testing)를 수행해야 한다.

일부 포이즈닝은 학습 단계의 방어를 통과할 수 있으므로 운영 환경 모니터링(Production Monitoring)도 필요하다. 데이터 드리프트(Data Drift), 예측 분포(Prediction Distribution), 신뢰도 변화(Confidence Shift), 오류 추세(Error Trend), 이상 탐지는 개발 과정에서 식별되지 않았던 동작을 발견할 수 있다. 의심스러운 동작이 발생하면 버전 관리와 계보 기록(Lineage Record)을 이용하여 활성 모델(Active Model)에서 해당 학습 실행, 데이터셋 버전, 승인 이력(Approval History)까지 역추적할 수 있어야 한다.

사고 대응(Incident Response)은 오염된 모델 또는 데이터셋을 신속하게 격리할 수 있어야 한다. 영향을 받은 모델은 배포에서 철회하고, 장치는 검증된 릴리스(Verified Release)로 롤백하며, 의심스러운 데이터셋은 격리하고, 자격 증명(Credential)을 폐기하며, 원인을 조사하는 동안 학습 파이프라인을 중지해야 할 수 있다. 복구(Recovery)는 잠재적으로 침해된 동일한 파이프라인에서 단순히 다시 학습하는 것이 아니라 알려진 정상 데이터(Known-Good Data)와 모델 체크포인트(Model Checkpoint)를 기반으로 시작해야 한다.

어떤 단일 포이즈닝 탐지기(Poisoning Detector)도 학습 데이터에 대한 완전한 신뢰를 확립할 수 없다. 강력한 방어는 출처 추적, 암호학적 무결성, 통계적 검증, 다중 모달 일관성, 라벨 검토, 이상 탐지, 강건한 학습, 접근 제어, 신뢰 평가(Trusted Evaluation), 모니터링, 감사 추적(Audit Trail)을 결합한다. 이러한 보안 아키텍처는 데이터 포이즈닝을 AI 위협으로 명확하게 취급하고 이상 탐지, 모니터링, 로깅(Logging), 사고 대응과 같은 통제를 함께 적용하는 심층 방어(Defense in Depth)를 구성한다.

엣지 인공지능 로보틱스에서 데이터 포이즈닝 방어(Data Poisoning Defense)는 궁극적으로 물리적 경험(Physical Experience)이 학습된 지능(Learned Intelligence)으로 변환되는 과정을 보호한다. 센서 관측과 플릿 경험(Fleet Experience)은 출처, 무결성, 물리적 타당성(Plausibility), 모델에 미치는 영향이 평가된 이후에만 학습 지식(Training Knowledge)으로 전환되어야 한다. 안전한 데이터 거버넌스를 학습 단계 탐지, 강건한 학습, 모델 출처 추적(Model Provenance), 배포 검증(Deployment Validation), 런타임 모니터링(Runtime Monitoring)과 연결하면 손상된 경험이 지속적이고 위험한 로봇 동작으로 변환될 가능성을 줄일 수 있다.

05.10. Edge AI Security Audit Checklist

엣지 인공지능 보안 감사(Edge AI Security Audit)는 배포된 추론 애플리케이션(Inference Application)만이 아니라 전체 AI 수명주기(AI Lifecycle)를 보안 통제가 보호하고 있는지를 판단해야 한다. 평가 범위에는 데이터 획득(Data Acquisition), 모델 개발(Model Development), 레지스트리 저장(Registry Storage), 배포(Deployment), 추론(Inference), 모니터링(Monitoring), 재학습(Retraining), 업데이트(Update)가 포함되어야 한다. 기밀성(Confidentiality), 무결성(Integrity), 가용성(Availability), 책임추적성(Accountability), 개인정보 보호(Privacy), 회복탄력성(Resilience), 신뢰성(Trustworthiness)은 이러한 수명주기 통제가 일관된 보안 시스템으로 동작하는지를 평가하기 위한 유용한 목표를 제공한다.

감사는 AI 모델(AI Model), 알고리즘(Algorithm), 데이터셋(Dataset), 소프트웨어 구성요소(Software Component), 엣지 장치(Edge Device), 가속기(Accelerator), 서비스(Service), 통신 인터페이스(Communication Interface)에 대한 인벤토리(Inventory)에서 시작해야 한다. 각 지능형 기능(Intelligent Function)은 식별된 책임자(Owner), 승인된 용도(Approved Use), 모델 또는 파라미터 버전(Parameter Version), 데이터셋 계보(Dataset Lineage), 릴리스 구성(Release Configuration)을 가져야 한다. 소유권이나 버전 정보가 누락되면 어떤 산출물, 구성 또는 데이터 계보가 배포된 동작을 생성했는지 조사자가 신뢰성 있게 판단할 수 없으므로 책임추적성이 약화된다.

신원 및 접근 관리(Identity and Access Management)는 사용자, 로봇, 장치, AI 에이전트(AI Agent), 서비스가 통제된 신원과 적절한 인증 메커니즘(Authentication Mechanism)을 보유하고 있는지 검증해야 한다. 권한 부여(Authorization)는 최소 권한 원칙(Least Privilege)을 따라야 하며 모델 레지스트리(Model Registry), 학습 환경(Training Environment), 배포 서비스(Deployment Service), 비밀정보(Secret), 관리 기능(Administrative Function)에 대한 접근을 제한해야 한다. 감사에서는 자격 증명(Credential)을 교체하거나 폐기할 수 있는지와 높은 권한의 작업이 추적 가능한 보안 기록을 생성하는지도 확인해야 한다.

데이터 보안 검토(Data-Security Review)는 수집, 저장, 처리, 전송, 폐기에 이르는 전체 과정에서 보호 상태를 검사해야 한다. 민감한 데이터셋에는 명확한 소유권(Ownership), 분류(Classification), 보존 정책(Retention Policy), 접근 제한(Access Restriction)이 정의되어야 한다. 필요한 경우 저장 데이터 암호화(Encryption at Rest), 전송 데이터 암호화(Encryption in Transit), 무결성 검증(Integrity Verification), 버전 관리(Version Control), 불변 기록(Immutable Record)을 확인해야 한다. 개인정보 보호 통제에는 학습 워크플로 특성에 따라 데이터 최소화(Minimization), 익명화(Anonymization), 차등 개인정보 보호(Differential Privacy), 보안 집계(Secure Aggregation), 기밀 컴퓨팅(Confidential Computing)이 포함될 수 있다.

학습 데이터 무결성(Training-Data Integrity)은 오염된 데이터가 정상적인 모델 내부에 지속적인 취약성을 생성할 수 있기 때문에 명시적으로 검토해야 한다. 감사자는 데이터셋 출처(Dataset Provenance), 큐레이션(Curation), 주석(Annotation), 학습 기록(Training Record), 실험 추적(Experiment Tracking)을 검토하고 의심스럽거나 신뢰할 수 없는 소스가 사용 전에 검증되는지 확인해야 한다. 보안 통제는 인증된 저장소에 있다는 사실만으로 콘텐츠가 신뢰할 수 있다고 가정하지 않고 데이터 포이즈닝(Data Poisoning), 적대적 조작(Adversarial Manipulation), 내부자 활동(Insider Activity), 침해된 데이터 파이프라인(Compromised Data Pipeline)을 다루어야 한다.

모델 개발 환경(Model-Development Environment)은 안전한 학습(Secure Training), 의존성 관리(Dependency Management), 실험 재현성(Experiment Reproducibility), 하이퍼파라미터(Hyperparameter) 및 학습 산출물(Training Artifact) 보호 관점에서 평가해야 한다. 서드파티 라이브러리와 모델 구성요소는 공급망 위험(Supply-Chain Risk)을 발생시키므로 의존성 스캔(Dependency Scanning), 취약점 관리(Vulnerability Management), 신뢰 저장소(Trusted Repository), 소프트웨어 또는 모델 인벤토리를 통해 관리해야 한다. 학습 증거(Training Evidence)를 통해 승인된 모델 릴리스를 관련 데이터 및 구성까지 역추적하고 재현할 수 있어야 한다.

모델 레지스트리 통제(Model Registry Control)는 암호화 저장(Encrypted Storage), 접근 제어(Access Control), 전자서명(Digital Signing), 무결성 검사(Integrity Checking), 버전 관리, 계보(Lineage)를 검증해야 한다. 각 운영 모델(Production Model)은 학습 이력과 승인 상태(Approval State)의 관계가 명확해야 한다. 감사에서는 비인가 사용자가 모델을 교체, 내보내기(Export), 다운그레이드(Downgrade), 은밀하게 수정할 수 없는지 확인하고, 모델 산출물을 승인되지 않았거나 손상된 복사본과 암호학적으로 구분할 수 있는지도 검증해야 한다.

배포 보안(Deployment Security)은 승인된 산출물만 레지스트리에서 엣지 런타임(Edge Runtime)으로 이동할 수 있는지를 확인해야 한다. 안전한 지속적 통합 및 배포(Secure CI/CD), 정책 게이트(Policy Gate), 비밀정보 관리(Secrets Management), 서명 검증(Signature Verification), 호환성 검사(Compatibility Check), 통제된 소프트웨어 업데이트(Controlled Software Update)를 통해 검증되지 않은 모델이 활성화되는 것을 방지해야 한다. 릴리스 절차는 롤백(Rollback) 기능을 유지하면서도 취약하거나 폐기된 버전을 다시 설치하기 위해 롤백이 악용되지 않도록 해야 한다. 재현 가능한 패키징(Reproducible Packaging)과 릴리스 매니페스트(Release Manifest)는 이러한 통제 경계를 강화한다.

엣지 장치 보안(Edge-Device Security)은 보안 부트(Secure Boot), 펌웨어 검증(Firmware Validation), 하드웨어 기반 신뢰(Hardware-Backed Trust), 보호된 키 저장소(Protected Key Storage), 변조 탐지(Tamper Detection), 원격 장치 관리(Remote Device Management)를 검사해야 한다. 신뢰 플랫폼 모듈(Trusted Platform Module, TPM), 하드웨어 보안 모듈(Hardware Security Module, HSM), 보안 요소(Secure Element), 신뢰 실행 환경(Trusted Execution Environment, TEE)은 자격 증명과 민감한 AI 자산을 더욱 강력하게 보호할 수 있다. 감사에서는 하드웨어 보안이 GPU, NPU, 공유 메모리(Shared Memory), 외부 저장장치, 주변장치 인터페이스까지 자동으로 보호한다고 가정하지 말고 실제 신뢰 경계(Trust Boundary)를 검증해야 한다.

통신 보안(Communication Security)은 로봇, 게이트웨이(Gateway), 엣지 서버(Edge Server), 클라우드 인프라(Cloud Infrastructure), 관리 서비스(Management Service) 사이에서 인증되고 암호화된 채널이 사용되는지를 확인해야 한다. 전송 계층 보안(TLS), 상호 전송 계층 보안(mTLS), 가상 사설망(VPN), 네트워크 분할(Network Segmentation), 정책 집행(Policy Enforcement)은 모델 배포, 텔레메트리(Telemetry), 명령(Command), 연합학습 업데이트(Federated-Learning Update)를 보호할 수 있다. 평가에서는 안전하지 않은 대체 프로토콜, 관리되지 않는 인터페이스, 노출된 디버그 서비스(Debug Service), 취약한 인증서, 정상적인 인증 또는 권한 통제를 우회하는 통신 경로를 식별해야 한다.

추론 보안(Inference Security)은 입력 검증(Input Validation), 출력 모니터링(Output Monitoring), 런타임 무결성(Runtime Integrity), 자원 격리(Resource Isolation)를 평가해야 한다. 감사자는 비정상 형식의 입력(Malformed Input), 분포 외 입력(Out-of-Distribution Input), 적대적 입력(Adversarial Input)이 추가적인 검사 없이 높은 권한을 가진 AI 기능에 도달할 수 있는지 확인해야 한다. 방어 수단에는 입력 정제(Sanitization), 적대적 강건성 메커니즘(Adversarial Robustness Mechanism), 이상 탐지(Anomaly Detection), 비율 제한(Rate Limiting), 출력 가드레일(Output Guardrail), 격리(Isolation)가 포함될 수 있으며 실제 로봇 센서 및 임무 조건을 기준으로 평가해야 한다.

런타임 모니터링(Runtime Monitoring)은 모델 신원(Model Identity), 신뢰도(Confidence), 지연시간(Latency), CPU 및 GPU 사용률, 메모리 사용량, 열 상태(Thermal State), 추론 빈도(Inference Frequency), 센서 상태(Sensor Health), 보안 이상(Security Anomaly)에 대한 가시성을 제공하는지 확인해야 한다. 시작 상태 검사(Startup Health Check), 워치독(Watchdog), 지연시간 모니터링, 자원 모니터링(Resource Monitoring), 안전한 성능 저하 모드(Safe Degraded Mode)는 엣지 배포에서 중요한 운용 요구사항이다. 모니터링은 검토되지 않는 텔레메트리를 단순히 수집하는 데 그치지 않고 실제 대응이 가능한 경고(Actionable Alert)를 생성해야 한다.

각 지능형 기능은 불확실성과 장애가 로봇 동작에 어떤 영향을 미치는지를 정의해야 한다. 입력 유효성(Input Validity), 신뢰도 또는 상태(Health State), 승인된 운용 범위(Approved Operating Range), 원인 코드(Reason Code), 대체 동작(Fallback Action)을 문서화하고 시험해야 한다. 상황에 따라 재시도(Retry), 재관측(Re-Observe), 재계획(Replan), 속도 감소, 운영자 에스컬레이션(Operator Escalation), 통제된 정지(Controlled Stop), 임무 중단(Abort), 대기 또는 충전 상태 복귀와 같은 대응을 적용할 수 있다.

모델 기밀성(Model Confidentiality)과 지식재산 보호(Intellectual-Property Protection) 통제에서는 암호화 저장, 내보내기 권한(Export Permission), 접근 제한, 모델 추출 위험(Model Extraction Risk), 워터마킹(Watermarking), 핑거프린팅(Fingerprinting), 필요한 경우 불법 복제 방지(Anti-Piracy) 수단을 검토해야 한다. 감사자는 민감한 가중치가 파일, 임시 저장소(Temporary Storage), 메모리, 디버깅 인터페이스 또는 노출된 추론 서비스를 통해 복구될 수 있는지 확인해야 한다. 모델 보호는 산출물이 중앙 레지스트리를 떠나는 시점에 종료되는 것이 아니라 배포 이후에도 효과적으로 유지되어야 한다.

개인정보 보호 검토(Privacy Review)는 학습 데이터, 모델 업데이트, 추론 인터페이스, 로그, 텔레메트리를 통한 정보 유출 가능성을 고려해야 한다. 연합학습(Federated Learning) 자체가 개인정보 보호를 자동으로 보장하는 것은 아니므로 배포 특성에 따라 보안 집계, 차등 개인정보 보호, 데이터 최소화, 보호된 연산(Protected Computation)이 필요할 수 있다. 감사에서는 모니터링과 문제 해결 과정이 아키텍처에서 로컬에 유지하도록 설계한 민감한 운용 정보를 불필요하게 재구성하거나 중앙 집중화하지 않는지도 확인해야 한다.

로깅(Logging)과 감사 가능성(Auditability)은 중요한 보안 이벤트를 재구성할 수 있을 정도로 충분한 증거를 제공해야 한다. 모델 활성화(Model Activation), 검증 결과, 관리 변경(Administrative Change), 접근 시도, 배포 작업, 업데이트 실패, 정책 결정, 이상 대응(Anomaly Response)은 식별 가능한 주체와 동기화된 타임스탬프(Synchronized Timestamp)에 연결되어야 한다. 감사 추적(Audit Trail)은 비인가 수정으로부터 보호되고 정의된 거버넌스 요구사항에 따라 보존되어야 하며, 동시에 민감한 모델 또는 사용자 정보를 불필요하게 기록하지 않아야 한다.

사고 대응 준비도(Incident-Response Readiness)는 정책 문서만 검토하는 것이 아니라 실제로 시험해야 한다. 조직은 영향을 받은 장치를 격리하고, 자격 증명을 폐기하며, 의심스러운 데이터셋을 격리하고, 침해된 모델을 철회하며, 검증된 버전을 복구하고, 포렌식 증거(Forensic Evidence)를 보존할 수 있어야 한다. 모니터링과 경고 기능은 사고 대응 및 복구 프로세스와 직접 연결되어야 하며, 탐지된 이상이 수동적인 보안 관측으로 남지 않고 적시에 격리 조치로 이어져야 한다.

재학습 및 업데이트 프로세스(Retraining and Update Process)는 최초 배포와 동일한 수준으로 감사해야 한다. 안전한 데이터 갱신(Secure Data Refresh), 재학습 보안(Retraining Security), 업데이트 무결성(Update Integrity), 변경 승인(Change Approval), 회귀 검증 증거(Regression Evidence), 롤백 절차를 통해 지속적인 개선 과정에서 기존에 검증된 보안 통제가 우회되지 않도록 해야 한다. 미세조정이나 새로운 데이터로 변경된 모델은 운영 환경에서 활성화되기 전에 추적 가능한 검증과 승인이 필요한 새로운 보안 관련 산출물(Security-Relevant Artifact)로 취급해야 한다.

감사에는 필요한 경우 취약점 평가(Vulnerability Assessment), 침투 테스트(Penetration Testing), 적대적 테스트(Adversarial Testing), 결함 주입(Fault Injection), 보안 회귀 테스트(Security Regression Testing)를 통한 기술적 통제 검증이 포함되어야 한다. 정상 운용만으로는 악의적이거나 비정상적인 조건에 대한 회복탄력성을 입증할 수 없다. 테스트에는 침해된 입력, 유효하지 않은 모델, 통신 장애, 자원 고갈(Resource Exhaustion), 롤백 시도, 센서 고장, 로봇을 승인된 운용 범위 밖으로 이동시킬 수 있는 기타 조건이 포함되어야 한다.

감사 결과(Audit Finding)는 증거(Evidence), 책임자(Ownership), 심각도(Severity), 개선 조치(Remediation Action), 종료 기준(Closure Criteria)과 함께 기록해야 한다. 모델 및 소프트웨어 인벤토리, 변경 통제 절차(Change-Control Procedure), 감사 추적 사양(Audit-Trace Specification), 사이버보안 체크리스트(Cybersecurity Checklist), 검증 증거(Validation Evidence), 릴리스 승인 기록(Release Approval Record)은 반복 가능한 평가를 위한 거버넌스 기반을 제공한다. 목표는 일회성 규정 준수 활동(Compliance Exercise)이 아니라 보안 의사결정이 실제 배포 구성과 지속적으로 연결되어 있음을 입증할 수 있는 감사 가능한 프로세스를 구축하는 것이다.

엣지 인공지능 로보틱스(Edge AI Robotics)에서 최종적인 감사 질문은 개별 보호 기능이 실패하더라도 신뢰할 수 있는 AI 동작(Trustworthy AI Behavior)을 유지할 수 있는가에 있다. 보안은 신원, 데이터 보호(Data Protection), 모델 무결성(Model Integrity), 신뢰할 수 있는 배포(Trusted Deployment), 적대적 공격 방어(Adversarial Defense), 런타임 모니터링, 대체 동작, 로깅, 복구(Recovery), 거버넌스(Governance)를 상호 강화하는 통제로 결합해야 한다. 지속적 검증(Continuous Verification)과 침해 가정(Assume-Breach) 관점은 감사 체크리스트를 정적인 검사 항목에서 회복탄력적인 AI 기반 로봇을 지속적으로 유지하기 위한 운용 메커니즘으로 발전시킨다.


저자: Richard Minsoo Go

LinkedIn: Richard Minsoo Go

Top comments (0)