DEV Community

Richard Minsoo Go
Richard Minsoo Go

Posted on

Robot Database and Storage — Ch.12: Database Case Studies [KR]

STATERA Library · Series 08 · Volume 08 · Chapter 12 · KR
Source: https://github.com/Statera-Library/08_Vol_08_Robot_Database_and_Storage/blob/main/Chapter_12_Database_Case_Studies/Chapter_12_Database_Case_Studies_KR.md

Volume 08 Robot Database and Storage

12. Database Case Studies

12.01 Indoor AMR Fleet PostgreSQL Operation Case

실내 자율이동로봇(Autonomous Mobile Robot, AMR) 플릿(Fleet)은 로봇이 임무(Mission)를 수신하고, 공유 공간을 주행하며, 스테이션(Station)과 상호작용하고, 배터리를 충전하며, 장애(Fault)를 보고하는 과정에서 지속적으로 운영 데이터(Operational Data)를 생성한다. PostgreSQL은 구조화된 관계, 신뢰성 높은 트랜잭션(Transaction), 동시 접근, 이력 추적성, 다수 로봇과 서비스 간 일관된 상태 관리가 필요한 이러한 환경에서 중앙 트랜잭션 데이터베이스(Central Transactional Database) 역할을 수행할 수 있다.

일반적인 구축 환경에서는 실시간 로봇 제어(Real-Time Robot Control)와 영구적인 플릿 데이터 관리(Persistent Fleet Data Management)를 분리한다. 모션 컨트롤러(Motion Controller), 장애물 회피(Obstacle Avoidance), 위치추정(Localization), 비상 대응(Emergency Response)은 로봇 또는 엣지 컴퓨팅(Edge Computing) 계층에 유지하고, PostgreSQL은 프로세스 재시작이나 시스템 장애 이후에도 보존되어야 하는 정보를 저장한다. 여기에는 로봇 식별정보, 플릿 구성, 임무 정의, 작업 할당, 충전 기록, 스테이션 정보, 설정 버전, 유지보수 이벤트와 운영 상태 요약 등이 포함된다.

핵심 관계형 모델(Relational Model)은 일반적으로 로봇, 임무, 작업(Task), 스테이션, 지도(Map), 사용자, 운영 이벤트(Operational Event)를 표현하는 테이블(Table)에서 시작한다. 로봇 레코드(Record)는 안정적인 로봇 식별자, 모델 유형, 소프트웨어 버전, 현재 수명주기 상태(Lifecycle State), 할당된 지도, 유지보수 상태 등을 포함할 수 있다. 임무 및 작업 테이블은 외래 키(Foreign Key)를 통해 이러한 레코드를 참조하므로, 데이터베이스가 관계의 일관성을 직접 강제할 수 있다.

임무 실행 과정은 트랜잭션 지원(Transaction Support)이 중요한 이유를 잘 보여준다. 디스패처(Dispatcher)가 운송 작업을 할당할 때 작업 상태를 대기에서 할당으로 변경하고, 선택된 로봇을 예약 상태로 전환하며, 할당 레코드를 생성하고, 운영 이벤트를 기록하는 여러 데이터베이스 변경이 함께 수행될 수 있다. PostgreSQL 트랜잭션은 이러한 변경을 원자적(Atomic)으로 커밋(Commit)하여 애플리케이션 일부가 실패하더라도 대응되는 임무 없이 로봇만 예약되는 불완전한 상태를 방지한다.

플릿 규모가 증가하면 동시성(Concurrency)의 중요성도 커진다. 여러 스케줄링 워커(Scheduling Worker), 모니터링 서비스, 운영자 인터페이스, 로봇 게이트웨이(Robot Gateway)가 관련 레코드를 동시에 갱신할 수 있기 때문이다. PostgreSQL의 트랜잭션 격리(Transaction Isolation), 행 수준 잠금(Row-Level Locking), 제약조건(Constraint), 신중하게 설계된 갱신문을 활용하면 충돌하는 할당을 방지할 수 있다. 예를 들어 스케줄러는 할당을 완료하는 동안 적합한 작업 또는 로봇 레코드를 잠가 두 작업자가 동일한 자원을 동시에 할당할 가능성을 줄일 수 있다.

데이터베이스가 로봇에서 생성되는 모든 고주파 제어 신호(High-Frequency Control Signal)를 직접 수신하도록 설계해서는 안 된다. 휠 엔코더(Wheel Encoder) 샘플, 원시 라이다(LiDAR) 패킷, 카메라 프레임, 고밀도 위치추정 스트림은 트랜잭션 데이터베이스에 과도한 부하를 줄 수 있으므로 전용 텔레메트리(Telemetry), 시계열(Time-Series), 객체 스토리지(Object Storage), 로보틱스 데이터 파이프라인(Robotics Data Pipeline)에서 처리하는 것이 일반적이다. PostgreSQL은 운영상 의미가 있는 상태 변화, 대용량 데이터 객체에 대한 참조, 집계 지표, 임무 이벤트, 플릿 수준 의사결정에 필요한 정보를 저장한다.

로봇 상태는 현재 상태(Current State)와 과거 이벤트(Historical Event)를 함께 사용하는 모델로 표현할 수 있다. 현재 상태 테이블은 로봇이 유휴(Idle), 임무 수행 중, 충전 중, 사용 불가 또는 오류 상태인지 빠르게 조회할 수 있도록 한다. 별도의 이벤트 테이블은 타임스탬프(Timestamp)와 관련 문맥 정보와 함께 상태 전환을 기록한다. 이러한 조합은 운영자가 플릿 전체의 현재 상황을 빠르게 파악하면서도 사고나 성능 문제를 분석할 때 과거 상황을 재구성할 수 있도록 한다.

JSONB는 AMR 데이터가 로봇 모델이나 소프트웨어 버전에 따라 서로 다른 구조화된 속성을 포함할 때 유용하다. 기존 관계형 스키마(Relational Schema)는 로봇 ID, 작업 ID, 타임스탬프, 상태와 같은 안정적인 필드를 유지하고, JSONB는 선택적 진단 매개변수, 내비게이션 메타데이터(Navigation Metadata), 장치별 설정 또는 확장 이벤트 정보를 저장할 수 있다. 이러한 하이브리드 접근 방식(Hybrid Approach)은 과도한 널(Null) 컬럼 생성을 피하면서 자주 사용하는 JSON 속성에 대한 PostgreSQL의 인덱싱(Indexing) 및 질의(Query) 기능을 유지한다.

실내 AMR 시스템은 공간 정보(Spatial Information)에도 크게 의존한다. 로봇은 스테이션, 충전 지점, 제한 구역, 복도, 교차로, 엘리베이터와 같은 운영 랜드마크(Operational Landmark)가 포함된 지도에서 동작한다. PostgreSQL은 지도 메타데이터와 논리적 관계를 관리할 수 있으며, 기하학적 처리가 필요한 경우 PostGIS를 통해 공간 기하정보(Spatial Geometry), 좌표 질의(Coordinate Query), 근접 연산(Proximity Operation), 공간 인덱스(Spatial Index) 기능을 확장할 수 있다. 이를 통해 플릿 트랜잭션을 로봇 운영의 공간적 문맥과 연결할 수 있다.

데이터베이스 인덱스(Database Index)는 단순히 모든 컬럼에 생성하는 것이 아니라 실제 플릿 질의 패턴에 맞추어 설계해야 한다. 일반적인 접근 패턴에는 우선순위별 대기 작업 검색, 특정 로봇의 활성 임무 조회, 최근 장애 확인, 특정 지도에 연결된 로봇 검색, 일정 시간 구간의 이벤트 분석 등이 포함된다. 상태, 로봇 식별자, 우선순위, 타임스탬프 등을 조합한 복합 인덱스(Composite Index)는 컬럼 순서가 자주 사용되는 필터링 및 정렬 조건과 일치할 때 질의 비용을 크게 줄일 수 있다.

운영 이벤트 테이블은 장기간 운영되는 플릿에서 가장 큰 관계형 데이터 구조 중 하나가 될 수 있다. 시간 기반 파티셔닝(Time-Based Partitioning)을 사용하면 임무 이력, 알람, 상태 전환, 감사 기록(Audit Record)을 관리 가능한 시간 범위별로 구성할 수 있다. 최근 파티션(Partition)은 운영 분석을 위해 즉시 접근할 수 있도록 유지하고, 오래된 파티션은 압축, 아카이브(Archive), 분석용 스토리지로 내보내기 또는 조직 정책에 따른 장기 보존을 수행할 수 있다.

여러 플릿 마이크로서비스(Microservice)가 PostgreSQL과 통신하면 연결 관리(Connection Management) 역시 중요한 문제가 된다. 로봇 게이트웨이, 스케줄러, 대시보드(Dashboard), 인증 서비스, 모니터링 애플리케이션, 보고 프로세스가 함께 동작하면 예상보다 많은 데이터베이스 세션이 생성될 수 있다. pgBouncer와 같은 연결 풀러(Connection Pooler)는 연결 오버헤드를 줄이고 데이터베이스 자원 사용을 안정화할 수 있으며, 특히 애플리케이션 인스턴스가 동적으로 확장되거나 짧은 수명의 연결을 자주 생성하는 환경에서 효과적이다.

빈번한 삽입(Insert)과 갱신(Update)은 PostgreSQL의 다중 버전 동시성 제어(Multi-Version Concurrency Control, MVCC) 모델에서 데드 튜플(Dead Tuple)을 생성하기 때문에 유지보수가 중요하다. 따라서 자동 진공(Autovacuum)을 관리가 필요 없는 단순 백그라운드 기능으로 간주해서는 안 되며 지속적으로 모니터링해야 한다. 빠르게 변경되는 로봇 상태나 작업 큐(Task Queue) 테이블에는 비교적 정적인 지도 또는 설정 테이블과 다른 진공(Vacuum) 및 분석(Analyze) 설정이 필요할 수 있다.

신뢰성 아키텍처(Reliability Architecture)는 플릿 데이터베이스에서 하드웨어, 운영체제, 네트워크 또는 데이터베이스 프로세스 장애가 언젠가는 발생할 수 있다는 전제에서 설계해야 한다. PostgreSQL의 선행 기록 로그(Write-Ahead Logging, WAL)는 내구성(Durability)과 복구의 기반을 제공하며, 스트리밍 복제(Streaming Replication)를 통해 대기 서버(Standby Server)를 유지할 수 있다. 더 높은 가용성이 필요한 환경에서는 자동 장애조치(Auto Failover) 프레임워크를 사용하여 기본 데이터베이스가 사용 불가능해질 경우 정상 복제본(Replica)을 승격할 수 있다.

고가용성(High Availability, HA)을 구축하더라도 백업(Backup)의 필요성이 사라지는 것은 아니다. 논리적 백업(Logical Backup)은 선택한 스키마 또는 설정 정보를 보호할 수 있으며, 물리적 기본 백업(Physical Base Backup)과 보관된 WAL 레코드를 결합하면 특정 시점 복구(Point-in-Time Recovery, PITR)를 지원할 수 있다. 실제 AMR 운영 환경에서는 업무 영향에 따라 복구 목표를 정의하고 복원 절차를 정기적으로 검증해야 한다. 통제된 환경에서 실제로 복원해 본 적이 없는 백업만으로는 플릿 운영을 복구할 수 있다고 충분히 판단하기 어렵다.

데이터베이스 관측성(Database Observability)은 전체 로봇 운영 플랫폼과 통합되어야 한다. 관리자는 연결 수, 트랜잭션 처리율, 복제 지연(Replication Lag), 잠금 대기(Lock Wait), 장시간 실행 질의, 캐시 효율, 테이블 증가량, 진공 동작, 스토리지 사용량, 질의 지연시간(Query Latency)을 확인할 수 있어야 한다. 이러한 데이터베이스 지표를 작업 처리량, 로봇 가용성, 충전 혼잡, 임무 지연, 디스패치 서비스 오류와 같은 플릿 지표와 연계하면 운영 분석의 가치가 더욱 높아진다.

보안(Security)을 위해서는 애플리케이션의 역할별 책임을 분리해야 한다. 플릿 스케줄러에는 작업 및 할당 처리에 필요한 권한만 제공하고, 모니터링 소프트웨어에는 읽기 전용(Read-Only) 접근 권한을 제공하며, 관리 기능은 별도의 보호된 역할을 사용하도록 구성할 수 있다. 인증(Authentication), 암호화된 연결, 역할 기반 권한(Role-Based Privilege), 감사 기록, 네트워크 분리(Network Segmentation), 통제된 자격증명 관리(Credential Management)를 적용하면 하나의 로봇 연계 서비스가 침해되었을 때 전체 운영 데이터베이스에 무제한 접근하는 위험을 줄일 수 있다.

중요한 운영 원칙은 PostgreSQL이 권위 있는 플릿 업무 상태(Authoritative Fleet Business State)를 표현하되 로봇의 하드 실시간 제어 루프(Hard Real-Time Control Loop)에 포함되지 않도록 하는 것이다. 데이터베이스 또는 네트워크가 일시적으로 사용할 수 없는 상황에서도 로봇은 안전에 중요한 대응을 독립적으로 수행할 수 있어야 한다. 엣지 소프트웨어(Edge Software)는 선택된 이벤트를 임시 저장한 후 연결이 복구되면 동기화하고, 플릿 시스템은 명시적으로 정의된 복구 규칙에 따라 영구적인 작업 및 로봇 상태를 조정할 수 있다.

예를 들어 네트워크 연결이 중단되면 서버에서는 로봇이 여전히 임무를 수행 중이라고 판단하지만 실제 로봇은 로컬에서 임무를 완료하거나 중단했을 수 있다. 따라서 재연결 로직(Reconnection Logic)은 식별자, 타임스탬프, 임무 순서 정보, 멱등성 갱신(Idempotent Update)을 사용하여 유효한 상태를 판단해야 한다. 단순히 가장 최근에 수신한 메시지로 데이터베이스 레코드를 덮어쓰는 방식은 지연된 메시지가 순서와 다르게 도착하거나 서비스가 이미 실행된 작업을 재시도할 경우 데이터 불일치를 발생시킬 수 있다.

성숙한 AMR PostgreSQL 운영 환경은 결과적으로 관계형 모델링(Relational Modeling), 트랜잭션 규율(Transaction Discipline), 선택적인 JSONB 유연성, 공간 확장 기능, 인덱싱, 파티셔닝, 연결 풀링(Connection Pooling), 복제, 백업, 모니터링, 보안을 통합한다. 이러한 기술은 데이터베이스의 책임을 고주파 센서 데이터 저장 및 결정론적 로봇 제어(Deterministic Robot Control)와 명확히 분리할 때 가장 효과적이다. 이를 통해 확장되는 실내 로봇 플릿에서 신뢰성 높은 협업과 장기적인 운영 추적성을 지원하는 영구 운영 계층(Persistent Operational Layer)을 구축할 수 있다.

플릿이 소규모 설치 환경에서 여러 운영 구역이나 시설로 확장될수록 데이터베이스 설계는 지나치게 이른 복잡성 도입보다 실제 워크로드(Workload) 측정 결과를 기반으로 발전해야 한다. 질의 통계, 테이블 증가량, 트랜잭션 경합(Transaction Contention), 복구 테스트, 서비스 수준 요구사항(Service-Level Requirement)을 분석하면 추가 복제본, 파티셔닝, 아카이브 파이프라인 또는 분산 구성요소가 필요한 시점을 판단할 수 있다. PostgreSQL은 이러한 과정에서도 트랜잭션 기반의 핵심 데이터 계층으로 유지되고, 규모와 접근 패턴이 다른 데이터는 목적에 맞는 전문 스토리지 시스템에서 처리하는 구조로 발전할 수 있다.

12.02 Outdoor AMR HD Map Database Build Case

실외 자율이동로봇(Autonomous Mobile Robot, AMR)은 위치추정(Localization), 경로 계획(Route Planning), 지형 해석(Terrain Interpretation), 안전 판단(Safety Decision)이 지속적인 공간 지식(Spatial Knowledge)에 의존하는 환경에서 운용된다. 고정밀 지도 데이터베이스(HD Map Database)는 기하학적(Geometric), 의미론적(Semantic), 위상학적(Topological), 운영적(Operational) 정보를 결합하여 이러한 환경을 구조적으로 표현한다. 단순한 내비게이션 지도와 달리 위치추정, 경로 계획, 플릿 관리(Fleet Management), 모니터링, 장기 자율운영을 연결하는 공통 공간 기준으로 기능한다.

실외 AMR 고정밀 지도(HD Map) 구축은 일관된 좌표 체계(Coordinate Framework)를 설정하는 것에서 시작한다. 위성항법시스템(GNSS) 관측값, 라이다(LiDAR) 포인트 클라우드(Point Cloud), 카메라 측정값, 관성측정장치(IMU) 궤적, 휠 오도메트리(Wheel Odometry), 측량 랜드마크(Surveyed Landmark)는 서로 다른 좌표계에서 생성될 수 있다. 따라서 모든 공간 객체를 로봇, 매핑 세션, 소프트웨어 버전 사이에서 일관되게 해석할 수 있도록 좌표 기준계, 좌표 변환, 원점, 프레임 관계를 명확히 정의해야 한다.

원시 매핑 계층(Raw Mapping Layer)은 일반적으로 측량 주행 중 수집된 라이다 스캔, 이미지, GNSS 측정값, IMU 데이터, 로봇 자세(Pose)를 포함한다. 이러한 대용량 센서 데이터는 관계형 데이터베이스(Relational Database)에 직접 삽입하기보다 객체 스토리지(Object Storage), 네트워크 결합 스토리지(NAS), 전용 데이터셋 저장소에 보관하는 것이 적합하다. HD Map 데이터베이스에는 메타데이터, 공간 인덱스, 획득 데이터 참조, 처리 상태, 타임스탬프, 보정 식별자, 원시 또는 처리된 파일에 대한 연결 정보를 저장한다.

PostGIS가 결합된 PostgreSQL은 실외 HD Map 시스템의 중앙 구조화 데이터베이스(Central Structured Database)를 구성할 수 있다. PostgreSQL은 트랜잭션 일관성(Transaction Consistency), 메타데이터 관계, 버전 정보, 운영 기록을 관리하고, PostGIS는 기하 자료형(Geometry Type), 좌표 기준계 지원, 공간 함수(Spatial Function), 공간 인덱싱(Spatial Indexing)을 추가한다. 이를 통해 도로, 차선, 경계, 교차로, 랜드마크, 충전 위치, 제한 구역, 운영 영역 등을 질의 가능한 공간 객체로 표현할 수 있다.

HD Map은 기하학적 표현(Geometric Representation)과 의미론적 의미(Semantic Meaning)를 분리해야 한다. 기하정보는 점(Point), 선(Line), 다각형(Polygon) 등의 공간 구조를 통해 객체가 어디에 존재하는지를 표현하며, 의미론적 속성은 해당 객체가 로봇에게 무엇을 의미하는지를 설명한다. 다각형은 주행 가능 영역, 제한 구역, 적재 구역, 충전 영역을 나타낼 수 있으며, 선은 차선 중심선, 경계, 선호 경로 또는 내비게이션 소프트웨어에서 사용하는 가상 안전 제약조건을 나타낼 수 있다.

위상 정보(Topological Information)는 기하정보를 보완하여 연결 관계(Connectivity)를 표현한다. 실외 AMR은 도로 구간이 어디에 있는지만 이해하는 것이 아니라 각 구간이 어떻게 연결되고 어떤 전환이 운영상 허용되는지도 이해해야 한다. 노드(Node)는 교차로, 게이트, 스테이션 또는 의사결정 지점을 나타내고, 엣지(Edge)는 주행 가능한 연결을 표현한다. 방향, 최대 속도, 차량 등급, 지형 상태, 접근 제한 등의 속성을 이러한 그래프(Graph) 요소에 연결할 수 있다.

지도 범위와 객체 수가 증가하면 공간 인덱싱(Spatial Indexing)이 필수적이다. PostGIS는 일반적으로 GiST 및 SP-GiST 인덱싱 전략을 지원하여 공간 필터링과 관계 질의를 가속한다. 모든 지도 객체를 검색하는 대신 로봇의 운영 영역과 교차하는 객체, 일정 거리 내 랜드마크, 현재 위치 주변의 경로 구간, 계획된 궤적과 중첩되는 제한 구역을 신속하게 검색할 수 있다. 인덱스 설계는 실제 내비게이션 및 플릿 질의 패턴을 반영해야 한다.

실외 운용 환경에서는 일반적인 도로 지도에는 존재하지 않는 지형 속성(Terrain Property)이 필요할 수 있다. 데이터베이스는 주행 가능 영역이나 경로 구간에 경사도(Slope), 노면 유형(Surface Type), 거칠기(Roughness), 지상고 요구조건(Clearance Requirement), 예상 접지력(Traction), 장애물 특성, 환경 제약조건 등을 연결할 수 있다. 이를 통해 경로 계획기는 기하학적으로 가능한 경로와 특정 AMR의 크기, 적재량, 서스펜션 성능 또는 임무 조건에 적합한 경로를 구분할 수 있다.

GNSS 기반 위치추정도 지도 랜드마크와 기준정보를 통해 지원할 수 있다. 측량 기준점, 실시간 이동측위(RTK) 기준 좌표, 인공표식 랜드마크(Fiducial Landmark), 라이다 특징, 건물 경계 등 안정적인 환경 기준정보를 정확도 또는 출처 메타데이터(Provenance Metadata)와 함께 저장할 수 있다. 위치추정 소프트웨어는 특정 영역에 필요한 기준 특징을 검색하고, 데이터베이스는 각 기준정보가 언제, 어떤 방식과 매핑 프로세스를 통해 생성되었는지 관리한다.

실외 환경은 시간에 따라 변화하기 때문에 지도 버전 관리(Map Versioning)가 매우 중요하다. 건설 작업, 이동된 방벽, 변경된 교통 경로, 새롭게 설치된 시설, 식생 변화 또는 운영 정책 변경으로 기존 지도 정보가 무효화될 수 있다. 따라서 각 지도 릴리스(Map Release)는 명확한 버전, 생성 시각, 검증 상태, 지리적 적용 범위, 이전 버전과의 관계를 가져야 한다. 로봇은 현재 운영 영역에 어떤 승인된 지도 버전이 적용되는지 판단할 수 있어야 한다.

지도 갱신에서는 일시적인 상황과 영구적인 지도 변경을 구분해야 한다. 주차된 차량, 임시 작업 구역 또는 단기 장애물이 권위 있는 HD Map을 자동으로 변경해서는 안 된다. 이러한 상황은 만료 시간 또는 신뢰도 값을 가진 동적 운영 오버레이(Dynamic Operational Overlay)로 표현할 수 있다. 영구적인 변경은 통제된 매핑 및 검증 워크플로(Map Validation Workflow)를 거친 후 플릿에 배포되는 다음 공식 지도 버전에 포함할 수 있다.

실용적인 지도 구축 파이프라인(Map-Building Pipeline)은 데이터를 여러 처리 단계로 이동시킨다. 먼저 센서 기록을 수집하고 정합(Registration)한 후 위치추정 궤적과 포인트 클라우드를 정렬한다. 필요한 기하 특징을 추출하고 의미론적 속성을 할당한 다음 위상 구조를 생성한다. 생성된 지도 객체는 배포 전에 검증하며, 데이터베이스는 초안(Draft), 검토(Reviewed), 승인(Approved), 배포(Deployed), 폐기(Deprecated), 보관(Archived) 상태를 구분하여 전체 수명주기를 추적할 수 있다.

품질 관리(Quality Management)는 단순히 공간 객체가 데이터베이스에 존재하는지 확인하는 것 이상을 요구한다. 지도 검증(Map Validation)은 좌표 일관성, 기하 유효성(Geometry Validity), 위상 연결성, 중복 특징, 누락된 속성, 불연속 구간, 중첩 객체 사이의 관계를 검사해야 한다. 운영 시험을 통해 생성된 경로가 실제로 주행 가능한지, 위치추정이 안정적으로 유지되는지도 검증할 수 있다. 검증 결과는 특정 지도 버전과 연결하여 배포 판단의 추적성을 유지해야 한다.

지도 출처정보(Map Provenance)는 또 하나의 중요한 추적성 계층을 제공한다. 각 지도 특징이나 영역에는 원본 측량, 데이터 획득 날짜, 처리 소프트웨어, 보정 설정, 작업자, 자동 특징 추출 프로세스, 검증 결과 등에 대한 참조정보를 유지할 수 있다. 예상하지 못한 내비게이션 문제가 발생하면 엔지니어는 관련 정보가 오래된 측량, 잘못된 좌표 변환, 특징 추출 실패 또는 이후의 수동 수정에서 발생했는지를 추적할 수 있다.

대규모 실외 구축 환경에서는 지도를 관리 가능한 지리적 영역 또는 타일(Tile) 단위로 나누는 것이 효과적이다. 로봇이 시설이나 캠퍼스 전체 지도를 동시에 필요로 하는 경우는 드물기 때문에 영역 기반 구성은 전송 데이터 크기와 질의 부하를 줄일 수 있다. 데이터베이스는 타일 경계, 지도 계층 식별자, 버전, 종속 관계를 관리하고 객체 스토리지는 대용량 래스터(Raster), 포인트 클라우드, 바이너리 지도 데이터를 저장할 수 있다.

HD Map 데이터베이스는 임무 및 플릿 시스템과도 통합되어야 한다. 임무는 지도 데이터베이스에 저장된 픽업 및 배송 스테이션, 허용 운영 영역, 경로 등급, 지리적 제한조건 등을 참조할 수 있다. 플릿 서비스는 로봇의 폭, 적재량, 지형 조건, 접근 정책 또는 기타 제약조건을 기반으로 특정 경로와 로봇의 호환성을 질의할 수 있다. 이에 따라 공간 정보는 독립적인 매핑 자원을 넘어 운영 작업 할당(Operational Task Allocation)의 일부가 된다.

지도 갱신을 배포할 때는 관련 공간 객체들이 서로 일관된 상태를 유지해야 하므로 데이터베이스 트랜잭션(Database Transaction)이 중요하다. 하나의 경로를 변경하려면 차선 기하정보, 연결 관계, 속도 제한, 운영 메타데이터를 동시에 수정해야 할 수 있다. 트랜잭션 기반 갱신은 클라이언트가 부분적으로 수정된 지도 상태를 참조하는 것을 방지한다. 대규모 릴리스는 완전한 후보 버전을 별도로 검증한 후 모든 일관성 검사를 통과했을 때 활성화할 수 있다.

승인되지 않은 지도 변경은 로봇의 동작에 직접 영향을 줄 수 있기 때문에 보안(Security)과 거버넌스(Governance)가 중요하다. 로봇, 플릿 애플리케이션, 매핑 엔지니어, 검증 서비스, 관리자 사이의 읽기 및 쓰기 권한을 분리해야 한다. 운영 로봇에는 일반적으로 승인된 읽기 권한을 제공하고, 지도 변경은 통제된 역할과 워크플로를 통해 수행해야 한다. 감사 기록(Audit Record)을 이용하면 누가 지도 정보를 변경했는지, 언제 변경했는지, 어떤 지도 릴리스에 포함되었는지 확인할 수 있다.

가용성 요구사항(Availability Requirement)은 로봇이 지도를 사용하는 방식에 따라 달라진다. 자주 사용하는 지도 영역은 로봇이나 엣지 서버(Edge Server)에 캐시(Cache)하여 일시적인 데이터베이스 또는 네트워크 장애가 즉시 자율운행 중단으로 이어지지 않도록 할 수 있다. PostgreSQL 복제(Replication)와 백업은 권위 있는 메타데이터 저장소를 보호하고, 객체 스토리지 복제는 대용량 지도 데이터를 보호한다. 로컬 캐시와 버전 식별자를 사용하면 연결이 복구될 때까지 마지막으로 검증된 지도를 사용하여 운용을 지속할 수 있다.

모니터링(Monitoring)은 데이터베이스 상태와 지도 품질을 모두 포함해야 한다. 데이터베이스 지표에는 질의 지연시간(Query Latency), 연결 사용량, 스토리지 증가량, 인덱스 효율, 복제 지연(Replication Lag), 백업 상태 등이 포함된다. 지도 관련 지표에는 특징 개수, 지리적 적용 범위, 갱신 빈도, 검증 실패, 오래된 지도 영역, 배포된 지도 버전 등이 포함된다. 이러한 관점을 결합하면 인프라 문제와 자율로봇이 사용하는 공간정보 자체의 오류를 구분하는 데 도움이 된다.

실외 AMR의 운영 범위가 확대될수록 HD Map 데이터베이스는 단순한 내비게이션 지원 구성요소에서 공유 공간 지식 계층(Shared Spatial Knowledge Layer)으로 발전한다. PostgreSQL과 PostGIS는 권위 있는 구조화 기하정보, 의미정보, 위상정보, 버전, 운영 관계를 관리하고, 객체 스토리지는 대용량 포인트 클라우드, 이미지, 지도 데이터를 처리할 수 있다. 이러한 분리는 각 스토리지 기술이 가장 적합한 데이터 유형을 담당하면서도 일관된 공간 기준을 유지하도록 한다.

성숙한 구현에서는 HD Map을 초기 시운전(Commissioning) 단계에서 한 번 생성하고 끝나는 정적 파일이 아니라 통제되고, 버전 관리되며, 지속적으로 검증되는 운영 자산(Operational Asset)으로 취급한다. 센서 측량, 데이터베이스 트랜잭션, 공간 인덱싱, 의미론적 계층, 위상 구조, 출처정보, 검증, 캐싱(Caching), 통제된 배포가 하나의 수명주기를 구성한다. 이러한 아키텍처를 통해 실외 AMR은 신뢰할 수 있는 공간 지식을 공유하면서 변화하는 환경과 확장되는 운영 영역에 체계적으로 적응할 수 있다.

12.03 Manipulator Task History MongoDB Storage Case

산업용 매니퓰레이터(Industrial Manipulator)는 픽앤플레이스(Pick-and-Place), 조립(Assembly), 검사(Inspection), 포장(Packaging), 머신 텐딩(Machine Tending), 자재 취급(Material Handling) 작업을 수행할 때마다 상세한 운영 이력(Operational History)을 생성한다. 고도로 정규화된 비즈니스 레코드와 달리 매니퓰레이터 작업 데이터는 로봇 상태, 궤적, 툴 상태, 객체 정보, 인식 결과, 실행 파라미터, 장애 진단을 설명하는 가변적인 구조를 포함하는 경우가 많다. MongoDB는 이러한 이질적인 작업 이력을 저장하기에 적합한 유연한 문서 지향 모델(Document-Oriented Model)을 제공한다.

실용적인 스토리지 아키텍처(Storage Architecture)는 실시간 로봇 제어(Real-Time Robot Control)와 과거 작업 데이터의 영구 저장(Historical Task Persistence)을 분리한다. 관절 서보 제어(Joint Servo Control), 궤적 보간(Trajectory Interpolation), 충돌 대응, 힘 제어(Force Control), 비상 기능은 로봇 컨트롤러 또는 엣지 제어 시스템(Edge Control System)에 유지한다. MongoDB는 실행 중 또는 실행 후 애플리케이션이나 데이터 파이프라인을 통해 작업 수준 정보를 전달받아 추적성, 생산 분석, 디버깅, 유지보수, 향후 AI 기반 최적화에 필요한 기록을 보존한다.

중앙 데이터 객체(Central Data Object)는 작업 실행 문서(Task Execution Document)로 모델링할 수 있다. 각 문서에는 작업 식별자, 로봇 식별자, 워크셀(Workcell) 식별자, 작업 유형, 시작 및 완료 타임스탬프(Timestamp), 실행 결과, 소프트웨어 버전, 레시피(Recipe) 버전, 작업자 또는 생산 문맥 정보를 포함할 수 있다. 중첩 구조(Nested Structure)를 통해 모션 단계, 조작 객체, 툴, 인식 결과, 품질 결과, 오류 등을 표현하면서 하나의 실행과 관련된 모든 정보를 논리적으로 그룹화할 수 있다.

MongoDB의 임베디드 문서 모델(Embedded Document Model)은 매니퓰레이터 작업이 본질적으로 계층 구조(Hierarchical Structure)를 형성하기 때문에 유용하다. 하나의 조립 작업에는 접근(Approach), 파지(Grasp), 이송(Transfer), 삽입(Insertion), 검증(Verification), 후퇴(Retreat) 단계가 포함될 수 있다. 각 단계에는 자체 타임스탬프, 목표 자세(Target Pose), 실제 자세(Actual Pose), 속도 파라미터, 힘 임계값(Force Threshold), 실행 결과, 진단 정보를 포함할 수 있다. 이러한 요소를 하나의 작업 문서에 포함하면 다수의 관계형 테이블을 재구성하지 않고도 전체 실행 문맥을 조회할 수 있다.

모든 작업에 동일한 속성이 필요한 것은 아니다. 진공 그리퍼(Vacuum Gripper) 작업에서는 흡입 압력과 진공 감지 상태를 기록할 수 있고, 전동 그리퍼(Electric Gripper)는 핑거 위치, 파지력(Gripping Force), 모터 전류를 기록할 수 있다. 용접, 디스펜싱(Dispensing), 체결(Fastening), 검사 툴에는 추가적인 파라미터가 필요하다. MongoDB에서는 공통 식별자와 타임스탬프를 전체 운영 이력에서 일관되게 유지하면서 이러한 작업별 구조를 동일한 컬렉션(Collection) 안에 함께 저장할 수 있다.

로봇 모션 정보는 저장 세분성(Storage Granularity)을 신중하게 결정해야 한다. 모든 고주파 관절 위치, 토크, 속도, 데카르트 자세(Cartesian Pose) 샘플을 일반적인 MongoDB 문서로 직접 저장하면 불필요한 데이터베이스 용량과 쓰기 부하가 발생할 수 있다. 작업 문서에는 일반적으로 중요한 궤적 요약, 명령 자세, 핵심 웨이포인트(Waypoint), 실행 통계와 함께 고주파 신호에 최적화된 시스템에 저장된 상세 시계열(Time-Series) 또는 바이너리 데이터(Binary Data)의 참조정보를 유지하는 것이 적절하다.

인식 정보(Perception Information) 역시 중첩된 작업 문맥으로 표현할 수 있다. 조작 작업에는 감지된 객체 클래스, 객체 식별자, 추정된 6자유도 자세(Six-Degree-of-Freedom Pose), 신뢰도, 파지 후보(Grasp Candidate), 선택된 파지 자세, 검사 결과 등이 포함될 수 있다. 이러한 결과를 실제 실행된 로봇 동작과 함께 저장하면 장애가 인식, 계획, 파지 선택, 모션 실행, 툴링(Tooling), 물리적 환경과의 상호작용 중 어느 부분에서 발생했는지 조사할 수 있다.

작업 이력(Task History)은 장애가 발생했을 때 특히 높은 가치를 가진다. 장애 문서에는 실행 단계, 오류 코드, 컨트롤러 메시지, 재시도 횟수, 로봇 상태, 툴 상태, 객체 정보, 관련 센서 요약, 복구 동작(Recovery Action)을 보존할 수 있다. 단순히 실패(Failed)라는 최종 상태만 저장하는 대신 해당 이벤트에 이르게 된 과정을 재구성하고 동일 작업의 성공 사례와 비교할 수 있을 정도의 충분한 문맥 정보를 데이터베이스에 유지해야 한다.

MongoDB 인덱스(Index)는 실제 운영 질의를 중심으로 설계해야 한다. 엔지니어는 일반적으로 로봇 ID, 워크셀, 작업 유형, 실행 결과, 오류 코드, 제품 식별자 또는 시간 범위를 기준으로 작업 이력을 검색한다. 로봇 식별자, 타임스탬프, 작업 상태를 조합한 복합 인덱스(Compound Index)는 반복적으로 수행되는 조사 작업을 가속할 수 있다. 지나치게 많은 인덱스는 스토리지 요구량을 증가시키고 지속적으로 생산 기록을 수신하는 데이터베이스의 쓰기 오버헤드를 높이므로 선택적으로 구성해야 한다.

시간(Time)은 매니퓰레이터 이력의 핵심 차원이다. 로봇 컨트롤러, 비전 시스템(Vision System), 엣지 컴퓨터, 공장 애플리케이션에서 생성된 기록을 서로 연계할 수 있도록 모든 작업에서 일관된 타임스탬프 정책(Timestamp Policy)을 사용해야 한다. 시작 시각, 완료 시각, 단계별 타임스탬프, 이벤트 시각은 공통 실행 타임라인을 제공한다. 여러 컴퓨팅 시스템이 참여하는 경우에는 시간 동기화(Clock Synchronization)와 명확한 타임스탬프 출처정보(Timestamp Provenance)가 인접한 이벤트의 실제 순서를 재구성하는 데 중요하다.

대용량 바이너리 데이터(Large Binary Artifact)는 일반적으로 MongoDB 작업 문서 외부에 저장해야 한다. 카메라 이미지, 깊이 지도(Depth Map), 포인트 클라우드(Point Cloud), 로봇 백 파일(Robot Bag File), 비디오, 상세 힘 추적 데이터 등은 네트워크 결합 스토리지(NAS) 또는 객체 스토리지(Object Storage)에 저장할 수 있다. MongoDB에는 객체 식별자, 저장 위치, 체크섬(Checksum), 타임스탬프, 획득 문맥, 메타데이터를 기록하여 운영 질의 성능을 유지하면서 작업 기록과 관련 증거 데이터 사이의 추적 가능한 연결 관계를 보존한다.

작업 문서에는 설정 출처정보(Configuration Provenance)도 보존해야 한다. 로봇 프로그램, 모션 파라미터, 툴 보정(Tool Calibration), 인식 모델, 파지 정책(Grasp Policy), 워크셀 설정이 변경되면 매니퓰레이터의 동작도 달라질 수 있다. 소프트웨어 버전, 모델 버전, 보정 식별자, 레시피 개정판, 설정 해시(Configuration Hash)를 기록하면 특정 작업 결과를 생성한 시스템 설정을 정확하게 파악하고 변경 전후의 성능을 비교할 수 있다.

스키마 유연성(Schema Flexibility)이 스키마 거버넌스(Schema Governance)를 무시해도 된다는 의미는 아니다. 통제되지 않은 필드 명칭, 일관되지 않은 단위, 변경되는 데이터 형식, 문서화되지 않은 중첩 구조는 과거 데이터 분석을 어렵게 만들 수 있다. 운영 MongoDB 설계에서는 안정적인 명명 규칙, 필수 식별자, 타임스탬프 형식, 좌표 프레임(Coordinate Frame) 규칙, 물리 단위, 문서 버전 필드를 정의해야 한다. 애플리케이션 수준 검증 또는 MongoDB 스키마 검증(Schema Validation)을 통해 작업별 확장성을 유지하면서 필수 규칙을 강제할 수 있다.

집계 파이프라인(Aggregation Pipeline)은 저장된 문서에서 직접 매니퓰레이터 운영을 분석하는 유용한 방법을 제공한다. 작업 기록을 로봇, 작업 유형, 제품, 교대조(Shift), 장애 유형, 소프트웨어 버전별로 그룹화하여 실행 횟수, 성공률, 사이클 타임(Cycle Time) 분포, 재시도 빈도, 오류 패턴을 계산할 수 있다. 이러한 결과는 모든 분석 질의를 별도의 트랜잭션 데이터 모델로 구현하지 않고도 생산 대시보드와 엔지니어링 분석을 지원할 수 있다.

과거 데이터는 예지 정비(Predictive Maintenance)에도 활용할 수 있다. 사이클 타임 증가, 모터 부하 요약값, 파지 재시도, 힘 이상(Force Anomaly), 툴 오류, 보정 수정이 반복적으로 증가하면 점진적인 성능 저하를 나타낼 수 있다. MongoDB는 이러한 지표 주변의 작업 문맥을 유지하여 유지보수 시스템이나 분석 파이프라인이 개별 알람만 분석하는 대신 기계적 이상을 특정 로봇, 관절, 엔드 이펙터(End Effector), 제품 또는 운영 조건과 연계할 수 있도록 한다.

작업 이력 데이터베이스가 운영상 중요하다면 레플리카 셋(Replica Set)을 통해 가용성을 향상시킬 수 있다. MongoDB 복제(Replication)는 여러 노드에 데이터 복사본을 유지하고 기본 노드(Primary Node)를 사용할 수 없을 경우 장애조치(Failover)를 지원한다. 이를 통해 단일 데이터베이스 노드 장애로부터 영구 저장 서비스를 보호할 수 있지만, 데이터베이스 연결이 중단되더라도 로봇 컨트롤러는 안전한 로컬 동작을 계속 수행해야 한다. 작업 이력 기록이 비상 또는 결정론적 모션 제어(Deterministic Motion Control)의 의존성이 되어서는 안 된다.

작업 이력 규모가 단일 레플리카 셋의 현실적인 용량이나 처리량을 초과할 경우 샤딩(Sharding)을 고려할 수 있다. 적절한 샤드 키(Shard Key)는 접근 패턴과 데이터 분포에 따라 달라지며, 잘못 선택한 키는 핫스팟(Hotspot)을 발생시킬 수 있다. 로봇 식별자, 시간 구성요소 또는 신중하게 구성한 복합 전략을 실제 측정된 워크로드를 기반으로 평가할 수 있다. 따라서 샤딩은 초기 아키텍처의 기본 기능이 아니라 실제 규모 확장이 요구될 때 도입해야 한다.

보존 정책(Retention Policy)은 운영 중인 활성 이력과 장기 아카이브(Long-Term Archive)를 구분해야 한다. 최근 작업 문서는 신속한 장애 분석과 생산 분석을 위해 온라인 상태로 유지하고, 오래된 기록은 데이터 레이크(Data Lake) 또는 아카이브 객체 스토리지로 내보낼 수 있다. 중요한 장애 사례, 검증 데이터셋(Validation Dataset), 안전 및 품질 조사와 관련된 기록은 조직 및 규제 요구사항에 따라 일반적인 성공 작업보다 더 오랫동안 보존해야 할 수 있다.

보안(Security)을 위해서는 애플리케이션별 권한을 분리해야 한다. 로봇 게이트웨이(Robot Gateway)는 작업 기록 삽입 권한이 필요할 수 있고, 생산 대시보드는 읽기 권한, 분석 서비스는 집계 권한, 데이터베이스 관리자는 별도의 관리 역할을 필요로 한다. 인증(Authentication), 암호화 통신, 네트워크 분리(Network Segmentation), 자격증명 관리(Credential Management), 역할 기반 권한부여(Role-Based Authorization), 감사 로깅(Audit Logging)을 적용하면 침해된 로봇 연계 서비스가 전체 이력 정보를 변경하거나 무제한 추출할 위험을 줄일 수 있다.

관측성(Observability)은 MongoDB 인프라와 작업 수집 파이프라인(Task-Ingestion Pipeline)을 모두 모니터링해야 한다. 주요 지표에는 작업 지연시간(Operation Latency), 쓰기 처리량, 연결 사용량, 복제 지연(Replication Lag), 스토리지 증가량, 인덱스 사용률, 캐시 동작, 쓰기 실패, 수집 백로그(Ingestion Backlog)가 포함된다. 이러한 데이터베이스 지표를 작업 처리량, 사이클 타임, 장애 빈도, 재시도율, 로봇 가용성과 연계하면 생산 이상이 로봇 시스템과 데이터 인프라 중 어디에서 발생하는지 판단하는 데 도움이 된다.

결과적으로 이 아키텍처는 MongoDB를 모든 로봇 데이터를 저장하는 단일 저장소가 아니라 유연한 운영 이력 저장소(Operational History Repository)로 사용한다. 결정론적 제어는 로봇에 유지하고, 고주파 신호와 대용량 데이터는 전문화된 스토리지를 사용하며, MongoDB는 실행 문맥, 인식, 툴링, 결과, 진단, 설정 출처정보를 연결하는 작업 중심 문서(Task-Oriented Document)를 관리한다. 이러한 역할 분리는 근본적으로 다른 로봇 데이터 유형을 하나의 저장 기술에 강제로 통합하지 않으면서 유연한 질의 기능을 유지한다.

매니퓰레이터 플릿과 피지컬 AI(Physical AI) 응용이 발전하면서 축적된 작업 이력은 중요한 학습 및 평가 자원으로 활용될 수 있다. 성공 및 실패 실행 데이터를 메타데이터 질의로 선별하고, 관련 센서 데이터와 연결하며, 학습 데이터셋으로 변환하고, 소프트웨어 또는 정책 버전별로 비교할 수 있다. 따라서 체계적으로 관리되는 MongoDB 작업 이력은 생산 추적성뿐 아니라 기존 로봇 운영에서 데이터 기반 최적화(Data-Driven Optimization)와 학습 기반 조작(Learning-Based Manipulation)으로 발전하는 기반을 제공한다.

12.04 Robot Telemetry TimescaleDB Operation Case

로봇 텔레메트리(Robot Telemetry)는 로봇 시스템의 상태, 동작, 성능을 설명하는 타임스탬프 기반 측정값이 지속적으로 생성되는 데이터 스트림을 의미한다. 이동로봇, 매니퓰레이터(Manipulator), 자율주행차량, 피지컬 AI(Physical AI) 플랫폼은 배터리 전압, 전류, 온도, 모터 속도, 토크, CPU 및 GPU 사용률, 네트워크 상태, 위치추정 품질, 속도, 임무 상태, 장애 정보를 생성할 수 있다. TimescaleDB는 이러한 운영 데이터를 저장하고 분석하기 위한 PostgreSQL 기반 시계열 아키텍처(Time-Series Architecture)를 제공한다.

실용적인 텔레메트리 아키텍처(Telemetry Architecture)는 결정론적 로봇 제어(Deterministic Robot Control)와 텔레메트리 영구 저장(Telemetry Persistence)을 분리한다. 모터 제어, 위치추정(Localization), 장애물 회피, 안전 기능 등 지연시간에 민감한 프로세스는 로봇 또는 엣지 컴퓨팅(Edge Computing) 환경에 유지한다. 텔레메트리 수집기(Telemetry Collector)는 선택된 신호를 관찰하고 비동기적으로 스토리지 인프라에 전송한다. 따라서 일시적인 데이터베이스나 네트워크 장애는 로봇의 안전 핵심 제어 기능이 아니라 모니터링 가시성에 영향을 주도록 설계해야 한다.

텔레메트리 데이터는 기본적으로 시간(Time)을 중심으로 구성된다. 각 레코드는 일반적으로 타임스탬프(Timestamp)와 함께 로봇 ID, 장치 ID, 서브시스템, 센서 유형 또는 운영 문맥과 같은 식별자를 포함한다. 측정값에는 배터리 충전 상태(State of Charge), 모터 온도, 속도, CPU 부하, 위치추정 신뢰도, 통신 지연시간 등이 포함될 수 있다. 일관된 타임스탬프를 사용하면 서로 다른 로봇 서브시스템에서 생성된 측정값을 하나의 공통 운영 타임라인에서 연계할 수 있다.

TimescaleDB는 PostgreSQL 생태계와 구조화 질의어(SQL)를 유지하면서 시계열 워크로드(Time-Series Workload)에 특화된 기능을 PostgreSQL에 확장한다. 따라서 로봇 텔레메트리는 로봇, 모델, 플릿(Fleet), 임무, 시설 등을 설명하는 관계형 메타데이터(Relational Metadata)와 함께 존재할 수 있다. 엔지니어는 익숙한 SQL 연산을 사용하면서 지속적으로 증가하는 측정 데이터에 시간 중심의 저장 및 질의 기능을 적용할 수 있다.

TimescaleDB의 핵심 개념 중 하나는 하이퍼테이블(Hypertable)이다. 하이퍼테이블은 시계열 정보를 하나의 논리적 테이블처럼 제공하면서 내부적으로는 더 작은 청크(Chunk)로 분할한다. 로봇 텔레메트리는 기본적으로 타임스탬프를 중심으로 구성하고 필요하면 로봇 식별자와 같은 추가 차원을 사용할 수 있다. 새로운 측정값은 적절한 청크로 자동 배치되므로 하나의 일반 테이블에 모든 텔레메트리를 저장하는 방식보다 지속적으로 증가하는 이력을 효율적으로 관리할 수 있다.

텔레메트리 수집(Telemetry Ingestion)은 임의의 신호를 통제 없이 받아들이는 방식이 아니라 정의된 데이터 모델(Data Model)을 사용해야 한다. 안정적인 필드는 타임스탬프, 로봇, 서브시스템, 지표 이름, 단위, 품질 상태를 식별하고, 측정값별 필드는 실제 관측값을 표현할 수 있다. 또는 자주 사용하는 텔레메트리 유형마다 강한 자료형을 가진 전용 테이블을 구성할 수 있다. 적절한 설계는 신호 다양성, 질의 패턴, 수집 속도, 스키마 일관성 요구 수준에 따라 결정된다.

샘플링 주파수(Sampling Frequency)는 데이터베이스 규모에 직접적인 영향을 준다. 많은 로봇으로 구성된 플릿에서 모든 내부 신호를 컨트롤러 주기로 전송하면 매우 많은 레코드가 생성될 수 있다. 따라서 텔레메트리 아키텍처는 고주파 제어 데이터와 운영 모니터링 데이터를 구분해야 한다. 밀리초 수준의 원시 신호는 로컬 파일, MCAP, 객체 스토리지(Object Storage), 전용 기록 시스템에 보관하고 TimescaleDB에는 다운샘플링(Downsampling), 이벤트 기반 또는 운영상 의미가 있는 측정값을 저장할 수 있다.

개별 측정값을 즉시 영구 저장할 필요가 없다면 일괄 삽입(Batch Insertion)을 통해 수집 효율을 향상시킬 수 있다. 엣지 텔레메트리 에이전트(Edge Telemetry Agent)는 여러 샘플을 일시적으로 버퍼링(Buffering)한 후 한 번에 전송하여 트랜잭션과 네트워크 오버헤드를 줄일 수 있다. 버퍼링은 통신이 불안정할 때 측정값을 로컬에 대기시킬 수 있다는 장점도 있다. 지연 전송으로 로봇 동작의 실제 시간 순서가 왜곡되지 않도록 각 샘플은 원래의 획득 타임스탬프를 유지해야 한다.

여러 컴퓨터에서 생성된 텔레메트리를 서로 연계하려면 시간 동기화(Time Synchronization)가 필수적이다. 하나의 로봇에는 모터 컨트롤러, 임베디드 컴퓨터, GPU 시스템, 인식 장치, 외부 플릿 서버 등 서로 독립적인 시계를 사용하는 장치가 존재할 수 있다. 시간이 동기화되지 않으면 위치추정 손실, 모터 응답, 네트워크 지연, 안전 이벤트 사이의 관계를 잘못 해석할 수 있다. 따라서 텔레메트리에는 획득 시각과 필요한 경우 타임스탬프 출처 또는 동기화 품질 정보를 보존해야 한다.

인덱스(Index)는 운영자와 엔지니어가 실제로 사용하는 질의에 맞추어 설계해야 한다. 일반적인 분석에서는 특정 로봇의 일정 시간 구간 측정값을 검색하거나 여러 로봇의 동일 지표를 비교하고 장애 발생 전후의 서브시스템 동작을 확인한다. 시간 기반 구성과 로봇 또는 장치 식별자의 조합은 이러한 접근 패턴을 지원한다. 추가 인덱스는 스토리지를 소비하고 지속적인 텔레메트리 삽입 비용을 증가시키므로 과도한 보조 인덱싱(Secondary Indexing)은 피해야 한다.

TimescaleDB의 연속 집계(Continuous Aggregate)는 고해상도 텔레메트리를 운영 요약정보로 변환할 수 있다. 수초 간격으로 수집된 원시 측정값을 분, 시간, 일 단위의 평균 온도, 최대 모터 전류, 배터리 소비량, 네트워크 지연시간, 위치추정 품질 등의 통계로 요약할 수 있다. 대시보드(Dashboard)는 대량의 원시 이력을 반복적으로 검색하는 대신 사전에 계산된 요약정보를 조회할 수 있으므로 응답성을 높이면서 상세 분석에 필요한 원본 데이터도 유지할 수 있다.

보존 정책(Retention Policy)은 장기적인 스토리지 증가를 체계적으로 제어하는 방법을 제공한다. 고해상도 텔레메트리는 최근 장애 분석에만 필요할 수 있지만 집계된 통계는 수개월 또는 수년 동안 가치가 있을 수 있다. 따라서 상세 측정값은 정해진 기간 동안 유지하고 낮은 해상도의 요약정보는 장기간 보존할 수 있다. 중요한 장애 구간이나 검증 시험 데이터는 엔지니어링 또는 규정 준수 요구사항에 따라 별도로 내보내 장기간 보존할 수 있다.

압축(Compression)은 과거 시계열 정보의 스토리지 비용을 더욱 줄일 수 있다. 더 이상 빈번하게 갱신되지 않는 오래된 텔레메트리 청크는 압축하고 최근 청크는 데이터 수집에 최적화된 상태로 유지할 수 있다. 로봇 텔레메트리는 반복되는 식별자와 시간적으로 규칙적인 측정값을 많이 포함하므로 과거 데이터 압축에 적합하다. 스토리지 정책은 압축 효율, 질의 요구사항, 보존 기간, 과거 데이터 접근에 필요한 계산 비용 사이의 균형을 고려해야 한다.

운영 대시보드는 텔레메트리의 주요 소비자 중 하나이다. 플릿 운영자는 로봇 가용성, 배터리 상태, 충전 상태, 온도, 통신 상태, 위치추정 품질, 임무 진행 상황, 활성 장애 등을 확인해야 할 수 있다. 시각화 시스템(Visualization System)은 TimescaleDB를 직접 질의하거나 애플리케이션 서비스를 통해 데이터를 조회할 수 있다. 현재 측정값은 즉각적인 플릿 상태를 제공하고 과거 질의는 이상 상태가 갑자기 발생했는지 점진적으로 진행되었는지를 판단하도록 지원한다.

텔레메트리는 여러 서브시스템의 측정값을 사고 발생 타임스탬프를 중심으로 정렬할 수 있기 때문에 장애 분석(Failure Investigation)에 특히 유용하다. 엔지니어는 장애 직전과 직후의 배터리 전압, 모터 전류, CPU 사용률, 위치추정 신뢰도, 네트워크 지연시간, 속도, 온도를 조사할 수 있다. 이러한 시간적 상관관계(Temporal Correlation)를 통해 하나의 이벤트가 독립적으로 발생했는지 여러 지표가 동시에 변화했는지 확인하고 최종 오류 코드만 사용하는 것보다 근본 원인 분석(Root-Cause Analysis)에 필요한 구체적인 근거를 확보할 수 있다.

장기간 축적된 텔레메트리는 예지 정비(Predictive Maintenance)에도 활용할 수 있다. 모터 온도, 전류 소비량, 진동 지표, 충전 시간 또는 반복적인 통신 오류가 점진적으로 증가하면 완전한 장애가 발생하기 전에 성능 저하를 나타낼 수 있다. 분석 애플리케이션은 추세를 계산하고 유사한 작업 조건의 로봇을 비교할 수 있다. TimescaleDB는 이러한 과거 시계열 데이터 기반을 제공하고 통계 또는 머신러닝 시스템은 상위 수준의 이상 탐지(Anomaly Detection)와 잔여 수명 분석을 수행할 수 있다.

로봇 텔레메트리는 임무 및 운영 메타데이터와 연계될 때 더욱 많은 정보를 제공한다. 높은 모터 온도는 적재량, 경로, 지형, 속도 또는 임무 시간에 따라 서로 다른 의미를 가질 수 있다. TimescaleDB는 PostgreSQL과 통합되어 있기 때문에 텔레메트리 측정값을 로봇, 작업, 지도, 시설, 소프트웨어 버전 등을 설명하는 관계형 정보와 연결할 수 있다. 이를 통해 무엇이 변화했는지뿐 아니라 어떤 운영 조건에서 변화가 발생했는지를 함께 분석할 수 있다.

대용량 바이너리 센서 데이터(Large Binary Sensor Artifact)는 텔레메트리 데이터베이스 외부에 유지하는 것이 적절하다. 카메라 녹화 데이터, 라이다 포인트 클라우드, 원시 오디오, 상세 ROS 백(ROS Bag), MCAP 파일, 장시간의 고주파 신호는 네트워크 결합 스토리지(NAS), 객체 스토리지 또는 데이터 레이크(Data Lake)에 저장할 수 있다. TimescaleDB에는 타임스탬프, 식별자, 이벤트 마커(Event Marker), 체크섬(Checksum), 저장 위치 참조를 유지하여 수치 텔레메트리와 대용량 데이터를 연결할 수 있다.

대규모 로봇 플릿의 생산 모니터링에서 텔레메트리를 사용하는 경우 고가용성(High Availability)이 중요해진다. PostgreSQL 복제(Replication)와 적절한 고가용성 메커니즘을 적용하면 데이터베이스 노드 장애로 인한 서비스 중단을 줄일 수 있다. 그러나 텔레메트리 인프라를 사용할 수 없는 경우에도 로봇은 안전하게 계속 동작해야 한다. 엣지 버퍼링과 재시도 메커니즘을 통해 일시적인 장애 중에도 측정값을 보존하고 연결이 복구되면 원래 타임스탬프를 사용하여 지연된 레코드를 삽입할 수 있다.

보안(Security)을 위해서는 텔레메트리 생산자, 소비자, 관리자의 권한을 분리해야 한다. 로봇 게이트웨이(Robot Gateway)는 쓰기 권한이 필요하고, 대시보드는 주로 읽기 권한, 분석 서비스는 광범위한 과거 데이터 질의 권한, 관리자는 통제된 관리 권한이 필요할 수 있다. 인증(Authentication), 암호화 연결, 역할 기반 접근 제어(Role-Based Access Control), 네트워크 분리(Network Segmentation), 감사 로깅(Audit Logging)을 통해 운영 데이터를 보호하고 침해된 로봇 연계 서비스나 모니터링 서비스의 영향을 제한할 수 있다.

데이터베이스 관측성(Database Observability)은 텔레메트리 플랫폼 자체도 모니터링해야 한다. 중요한 지표에는 수집 속도(Ingestion Rate), 질의 지연시간(Query Latency), 연결 사용량, 청크 증가량, 디스크 사용량, 복제 지연(Replication Lag), 압축 상태, 보존 작업, 연속 집계 갱신 상태, 삽입 실패 등이 포함된다. 이러한 인프라 지표를 예상되는 플릿 텔레메트리 생성량과 비교하면 데이터베이스 포화, 통신 문제, 실제 로봇 동작 변화가 서로 혼동되는 것을 방지할 수 있다.

확장성(Scalability)은 플릿 규모, 신호 개수, 샘플링 주파수, 보존 기간, 동시 질의 수, 집계 복잡도와 같은 실제 측정된 워크로드 특성을 기반으로 결정해야 한다. 초기 구축에서는 잘 설계된 하나의 TimescaleDB 인스턴스로 충분할 수 있지만 대규모 플릿에서는 추가 스토리지 자원, 복제본(Replica), 분산 처리 또는 아카이브 파이프라인이 필요할 수 있다. 따라서 용량 계획(Capacity Planning)은 단순한 로봇 대수가 아니라 예상 텔레메트리 데이터 양을 명시적으로 계산하는 것에서 시작해야 한다.

성숙한 아키텍처에서는 TimescaleDB를 로봇이 생성하는 모든 바이트를 저장하는 범용 저장소가 아니라 로봇 플릿의 시간 중심 운영 메모리(Time-Oriented Operational Memory)로 사용한다. 고주파 제어는 엣지에 유지하고, 대용량 데이터는 객체 기반 스토리지를 사용하며, 관계형 시스템은 비즈니스 및 설정 문맥을 보존하고, TimescaleDB는 질의 가능한 수치 이력을 관리한다. 이러한 스토리지 역할을 명확히 분리하면 성능, 신뢰성, 확장성, 장기적인 데이터 거버넌스(Data Governance)를 향상시킬 수 있다.

대시보드, 알림(Alerting), 플릿 관리, 유지보수 분석, AI 파이프라인과 결합되면 로봇 텔레메트리는 단순한 수동 로그(Passive Logging)에서 운영 지능 자원(Operational Intelligence Resource)으로 발전한다. 시계열 이력은 장애 원인을 설명하고, 플릿 성능을 정량화하며, 성능 저하를 식별하고, 소프트웨어 릴리스를 비교하며, 최적화를 위한 근거를 제공할 수 있다. 따라서 TimescaleDB는 실시간 로봇 운영과 점점 더 크고 이질적으로 발전하는 로봇 플릿의 장기적인 데이터 기반 개선(Data-Driven Improvement)을 연결하는 역할을 수행한다.

12.05 Physical AI Training Dataset MCAP / MinIO Case

피지컬 AI(Physical AI) 학습에는 이미지나 개별 센서 샘플뿐 아니라 인식, 로봇 상태, 행동, 환경 문맥, 작업 결과를 설명하는 동기화된 시퀀스(Synchronized Sequence)를 보존하는 데이터셋이 필요하다. 실용적인 스토리지 아키텍처(Storage Architecture)는 멀티모달 기록 형식(Multimodal Recording Format)으로 MCAP을 사용하고 확장 가능한 객체 스토리지(Object Storage)로 MinIO를 결합할 수 있다. MCAP은 시간적으로 정렬된 로봇 데이터 스트림을 구성하고, MinIO는 대규모 학습 에피소드(Training Episode)를 위한 내구성 높은 API 기반 스토리지를 제공한다.

아키텍처는 로봇 또는 데이터 획득 플랫폼(Data-Acquisition Platform)에서 시작하며, 카메라, 깊이 센서(Depth Sensor), 라이다(LiDAR), 관성측정장치(IMU), 힘 센서(Force Sensor), 관절 엔코더(Joint Encoder), 마이크, 제어 소프트웨어가 이질적인 데이터 스트림을 생성한다. 로봇 상태, 명령 행동(Commanded Action), 관측값, 작업 식별자, 타임스탬프(Timestamp), 보정 정보, 실행 결과를 함께 수집해야 한다. 이를 통해 로봇이 무엇을 인식했고, 어떤 행동을 실행했으며, 이후 어떤 결과가 발생했는지에 대한 관계를 보존할 수 있다.

MCAP은 하나의 파일에 메시지 스키마(Message Schema)와 메타데이터를 포함한 여러 타임스탬프 기반 채널(Channel)을 저장할 수 있기 때문에 이러한 기록 계층에 적합하다. 서로 연관된 수천 개의 센서 파일을 개별적으로 관리하는 대신 하나의 에피소드를 일관된 멀티모달 기록으로 표현할 수 있다. 카메라 메시지, 로봇 자세(Pose), 관절 상태, 행동, 힘 측정값, 이벤트, 작업 주석(Task Annotation)을 원래의 메시지 구조를 유지하면서 하나의 공통 시간 컨테이너(Temporal Container)에 저장할 수 있다.

시간 동기화(Time Synchronization)는 피지컬 AI 데이터셋에서 핵심적인 요소이다. 하나의 학습 샘플에는 시간 t의 이미지, 해당 시점의 로봇 상태, 바로 이후 실행된 행동, 그리고 그 결과로 생성된 관측값이 필요할 수 있다. 센서와 제어 시스템의 시간이 일치하지 않으면 관측과 행동 사이의 학습 관계가 왜곡될 수 있다. 따라서 기록 파이프라인은 획득 타임스탬프, 시계 출처(Clock Source), 동기화 상태를 보존하고 필요한 경우 센서 시간과 시스템 수신 시간을 모두 기록해야 한다.

데이터셋 구성(Dataset Organization)은 의미 있는 로봇 경험 단위를 반영해야 한다. 하나의 MCAP 객체는 하나의 에피소드, 작업 실행, 시연(Demonstration), 실험 또는 일정 범위의 기록 구간을 나타낼 수 있다. 각 객체에는 로봇 ID, 작업 유형, 환경, 성공 또는 실패 여부, 소프트웨어 버전, 정책 버전(Policy Version), 작업자, 센서 구성, 획득 날짜 등의 메타데이터를 연결할 수 있다. 이를 통해 모든 기록 파일을 직접 열지 않고도 대규모 데이터셋을 검색하고 필터링할 수 있다.

MinIO는 이러한 MCAP 데이터셋을 위한 객체 스토리지 계층을 제공하며 데이터 수집, 전처리(Preprocessing), 학습, 아카이브 애플리케이션에서 사용할 수 있는 S3 호환 인터페이스(S3-Compatible Interface)를 제공한다. 객체는 프로젝트, 로봇, 환경, 데이터셋 버전 또는 데이터 수집 캠페인을 나타내는 버킷(Bucket)과 논리적 접두어(Prefix)로 구성할 수 있다. 실제 물리적 스토리지 구조는 머신러닝 애플리케이션에서 사용하는 논리적 데이터셋 구조와 독립적으로 유지할 수 있다.

객체 명명 규칙(Object Naming)은 결정론적이고 기계가 해석할 수 있어야 한다. 이름에는 데이터셋 버전, 작업 계열, 로봇 식별자, 기록 날짜, 에피소드 식별자 등을 포함할 수 있으며 사람이 직접 해석해야 하는 폴더 이름에 의존하는 방식은 피하는 것이 좋다. 더 풍부한 검색 속성은 모든 정보를 객체 경로에 포함하는 대신 별도의 메타데이터 카탈로그(Metadata Catalog)에 저장해야 한다. 이러한 분리를 통해 새로운 주석이나 분류 속성이 추가되더라도 스토리지 구조를 안정적으로 유지할 수 있다.

대규모 데이터 수집(Ingestion)에서는 MinIO를 단순한 네트워크 파일 서버처럼 사용하지 않아야 한다. 완성된 MCAP 기록은 로컬에서 파일을 종료하고 검증한 후 체크섬(Checksum)을 생성하여 변경 불가능한 데이터셋 객체로 업로드할 수 있다. 대용량 기록에는 멀티파트 업로드(Multipart Upload)를 사용하고 일시적인 통신 장애에는 재시도 로직을 적용할 수 있다. 수집 서비스는 전송 이후 객체 무결성을 확인한 다음 해당 에피소드를 데이터셋 카탈로그에 성공적으로 등록해야 한다.

피지컬 AI 학습 데이터셋은 로봇, 엣지 서버(Edge Server), 네트워크 결합 스토리지(NAS), 객체 스토리지, GPU 학습 인프라 사이에서 반복적으로 복사될 수 있으므로 체크섬은 매우 중요하다. 손상된 기록이 검증 없이 사용되면 전처리 또는 학습 과정에 조용히 영향을 줄 수 있다. 따라서 각 MCAP 객체에는 암호학적 체크섬(Cryptographic Checksum) 또는 이에 상응하는 무결성 기록을 연결하고 수집, 복제, 마이그레이션, 데이터셋 준비 과정에서 자동 검증해야 한다.

MCAP 메타데이터와 외부 데이터셋 카탈로그는 서로 보완적인 역할을 수행한다. 기록을 해석하는 데 필요한 채널 정의, 스키마, 시간 정보, 핵심 기록 문맥은 MCAP 파일 내부에 유지해야 한다. 데이터셋 버전, 데이터 분할(Split) 할당, 품질 상태, 주석 상태, 스토리지 URI, 체크섬, 수명주기 상태와 같은 데이터셋 전체의 정보는 검색 가능한 메타데이터 데이터베이스 또는 매니페스트(Manifest)에서 관리할 수 있다.

학습 데이터 컬렉션은 지속적으로 변화하기 때문에 데이터셋 버전 관리(Dataset Versioning)가 필요하다. 에피소드가 추가되거나 제외되고, 다시 주석 처리되거나 수정되며, 학습 및 검증 하위 집합에 다르게 할당될 수 있다. 따라서 데이터셋 버전은 단순히 버킷의 현재 내용을 가리키는 것이 아니라 변경 불가능한 객체 선택 집합과 관련 메타데이터를 정의해야 한다. 매니페스트 파일을 사용하면 재현 가능한 학습 릴리스에 포함되는 MCAP 객체를 명확하게 지정할 수 있다.

학습(Training), 검증(Validation), 테스트(Test) 데이터 분할 역시 재현 가능해야 한다. 학습 작업이 시작될 때마다 객체를 무작위로 다시 선택하면 모델 비교의 신뢰성이 떨어지고 밀접하게 관련된 에피소드가 서로 다른 데이터 분할에 포함되어 데이터 누출(Data Leakage)이 발생할 수 있다. 분할 구성은 매니페스트 또는 카탈로그에 기록하고 필요한 경우 로봇, 환경, 작업, 데이터 획득 세션 또는 지리적 위치를 분리하는 명확한 그룹화 규칙에 따라 생성해야 한다.

주석 파이프라인(Annotation Pipeline)은 원본 MCAP 기록을 변경하지 않고 동작할 수 있다. 사람이 생성한 레이블, 의미론적 분할(Semantic Segmentation), 객체 자세, 언어 명령(Language Instruction), 작업 단계, 성공 레이블 또는 자동 생성된 주석을 원본 에피소드와 연결된 별도의 버전 관리 데이터로 저장할 수 있다. 이를 통해 원시 데이터 불변성(Raw Data Immutability)을 유지하고 여러 주석 버전을 비교하거나 인식 모델 및 파운데이션 모델(Foundation Model)이 향상되었을 때 새로운 레이블을 다시 생성할 수 있다.

전처리 파이프라인은 원시 MCAP 에피소드를 모델 학습에 최적화된 형식으로 변환할 수 있다. 이미지 크기를 조정하거나 인코딩하고, 궤적을 재샘플링(Resampling)하며, 행동 값을 정규화하고, 좌표 프레임을 변환하며, 동기화된 관측-행동 윈도우(Observation-Action Window)를 생성할 수 있다. 파생 데이터셋(Derived Dataset)은 별도의 MinIO 접두어나 버킷에 저장하면서 원본 MCAP 객체, 처리 소프트웨어 버전, 설정, 변환 파라미터에 대한 참조를 유지할 수 있다.

GPU 학습 클러스터(GPU Training Cluster)는 통제된 스테이징(Staging) 및 캐싱(Caching) 전략을 통해 데이터에 접근해야 한다. 원격 객체 스토리지에서 수백만 개의 작은 샘플을 반복적으로 직접 읽으면 불필요한 네트워크 및 요청 오버헤드가 발생할 수 있다. 학습 워커(Training Worker)는 배치를 디코딩하기 전에 MCAP 객체 또는 파생 샤드(Derived Shard)를 로컬 NVMe나 분산 캐시로 가져올 수 있다. 자주 재사용되는 데이터셋은 컴퓨팅 자원 가까이에 유지하면서 MinIO를 권위 있는 객체 저장소(Authoritative Object Repository)로 사용할 수 있다.

스토리지 아키텍처는 원시(Raw), 검증(Validated), 처리(Processed), 릴리스(Released) 데이터셋을 명확하게 구분해야 한다. 원시 기록은 최초 획득 결과를 보존하고, 검증 데이터셋은 구조 및 무결성 검사를 통과하며, 처리 데이터셋은 파생된 학습 표현을 포함하고, 릴리스 데이터셋은 승인된 재현 가능한 버전에 해당한다. 명시적인 수명주기 상태(Lifecycle State)를 사용하면 실험적 전처리 결과가 공식 학습 데이터와 혼동되는 것을 방지하고 자동화된 파이프라인 제어를 단순화할 수 있다.

MinIO 버전 관리(Versioning)와 복제(Replication)는 중요한 데이터셋 객체를 실수로 덮어쓰거나 인프라 장애가 발생하는 상황에서 보호할 수 있지만 독립적인 백업 및 재해 복구(Disaster Recovery) 계획을 대체하지는 않는다. 중요한 데이터셋은 다른 스토리지 시스템이나 물리적으로 분리된 위치에 복제해야 할 수 있다. 복구 절차에서는 객체뿐 아니라 매니페스트, 메타데이터 카탈로그, 체크섬, 주석, 데이터셋 버전 관계도 일관되게 복원되는지 검증해야 한다.

데이터셋 규모가 증가하면 수명주기 정책(Lifecycle Policy)을 통해 장기 스토리지 비용을 줄일 수 있다. 자주 사용하는 학습 릴리스는 고성능 스토리지에 유지하고 오래된 원시 기록이나 대체된 처리 데이터셋은 사용 가능한 경우 저비용 아카이브 계층으로 이동할 수 있다. 삭제는 데이터셋 종속 관계(Dataset Dependency)를 고려하여 관리해야 한다. 사용되지 않는 것처럼 보이는 원시 MCAP 객체도 릴리스 데이터셋, 주석 세트, 벤치마크 또는 학습된 모델의 출처 기록에서 참조되고 있을 수 있기 때문이다.

보안(Security)은 데이터 획득, 큐레이션(Curation), 학습, 관리 역할을 분리해야 한다. 로봇이나 수집 서비스에는 지정된 접두어에 대한 쓰기 권한을 제공하고, 학습 시스템에는 주로 읽기 권한을 부여하며, 주석 서비스에는 선택된 데이터셋에 대한 접근 권한을 제공하고, 관리자는 버킷과 정책을 관리할 수 있다. 인증(Authentication), TLS, 접근 정책, 자격증명 순환(Credential Rotation), 감사 로깅(Audit Logging), 네트워크 분리(Network Segmentation)를 통해 중요한 피지컬 AI 학습 데이터의 무단 변경이나 유출을 방지할 수 있다.

관측성(Observability)은 객체 스토리지 인프라와 데이터셋 파이프라인을 모두 포함해야 한다. 운영자는 업로드 처리량, 전송 실패, 스토리지 사용량, 객체 수, 요청 지연시간, 복제 상태, 체크섬 실패, 전처리 백로그(Preprocessing Backlog), 학습 데이터 읽기 트래픽을 확인할 수 있어야 한다. 에피소드 수, 작업 분포, 성공 비율, 센서 완전성(Sensor Completeness), 주석 적용 범위, 버전 증가량과 같은 데이터셋 수준 지표는 저장된 데이터가 실제 학습에 유용한지를 판단하는 추가적인 관점을 제공한다.

출처정보(Provenance)는 스토리지 인프라와 모델 재현성(Model Reproducibility)을 연결한다. 학습된 모델은 특정 데이터셋 버전, 매니페스트, 전처리 설정, 주석 버전, 학습 코드 개정판과 연결되어 추적 가능해야 한다. 모델 동작이 예상하지 못하게 변경되면 엔지니어는 어떤 MCAP 기록과 데이터 변환이 학습에 사용되었는지 정확하게 재구성할 수 있다. 이러한 관계를 통해 데이터셋 관리는 단순한 파일 보존을 넘어 모델 개발 및 검증 프로세스의 일부가 된다.

MCAP과 MinIO의 결합은 명확한 역할 분담을 제공한다. MCAP은 이식 가능한 기록 객체(Portable Recording Object) 안에 동기화된 멀티모달 로봇 경험을 보존하고, MinIO는 S3 호환 스토리지 인터페이스를 통해 이러한 객체를 데이터셋 규모에서 관리한다. 메타데이터 카탈로그, 매니페스트, 체크섬, 주석, 전처리 기록은 원시 로봇 데이터를 재현 가능한 피지컬 AI 학습 자원으로 변환하는 데 필요한 데이터 거버넌스(Data Governance)를 제공한다.

피지컬 AI 시스템이 파운데이션 모델, 비전-언어-행동 모델(Vision-Language-Action Model, VLA), 월드 모델(World Model), 범용 로봇 정책(Generalist Robot Policy)으로 발전할수록 데이터셋의 규모와 다양성은 더욱 중요해진다. 구조화된 MCAP-MinIO 아키텍처를 사용하면 시연, 자율 실행, 실패, 복구 에피소드, 멀티모달 관측 데이터를 시간적 관계와 출처정보를 잃지 않고 지속적으로 축적할 수 있다. 이렇게 구축된 데이터 플랫폼은 여러 세대의 로봇 지능 개발에 걸쳐 지속적인 데이터 수집, 큐레이션, 학습, 평가, 미래 재사용을 지원할 수 있다.

12.06 Robot Knowledge Graph Neo4j Build Case

로봇 지식 그래프(Robot Knowledge Graph)는 로봇 정보를 서로 분리된 레코드가 아니라 연결된 엔터티(Entity)와 관계(Relationship)로 표현한다. 로봇, 센서, 매니퓰레이터(Manipulator), 툴, 객체, 작업, 위치, 지도, 역량(Capability), 장애, 소프트웨어, 운영자 등을 그래프 노드(Graph Node)로 구성하고, 관계를 통해 이러한 엔터티가 어떻게 상호작용하는지를 표현할 수 있다. Neo4j는 이처럼 연결된 지식 계층을 구축하고 이질적인 로봇 시스템 사이의 복잡한 관계를 질의하기에 적합한 속성 그래프 모델(Property-Graph Model)을 제공한다.

지식 그래프(Knowledge Graph)는 운영 데이터베이스(Operational Database)를 대체하는 것이 아니라 보완한다. PostgreSQL은 트랜잭션 기반 플릿 상태를 관리하고, TimescaleDB는 텔레메트리(Telemetry)를 저장하며, MongoDB는 유연한 작업 이력을 관리하고, 객체 스토리지(Object Storage)는 이미지나 로봇 기록 데이터를 보존할 수 있다. Neo4j는 이러한 자원에 대한 참조를 의미론적 관계(Semantic Relationship)로 연결한다. 이를 통해 각 스토리지 기술은 적합한 워크로드를 처리하면서 그래프는 로봇 플랫폼 전체에 분산된 지식의 통합된 관점을 제공한다.

그래프 모델링(Graph Modeling)은 안정적인 엔터티 유형과 이들 사이의 관계를 정의하는 것에서 시작한다. 로봇(Robot) 노드는 센서(Sensor), 매니퓰레이터, 툴(Tool), 소프트웨어(Software), 지도(Map), 임무(Mission), 시설(Facility) 노드와 센서 보유(HAS_SENSOR), 툴 사용(USES_TOOL), 소프트웨어 실행(RUNS_SOFTWARE), 영역 운영(OPERATES_IN), 작업 수행(EXECUTES) 등의 관계로 연결될 수 있다. 작업(Task) 노드는 객체, 위치, 요구 역량, 결과와 연결할 수 있다. 이러한 명시적인 관계를 통해 복잡한 조인(Join)을 반복적으로 재구성하지 않고도 데이터의 운영 의미를 직접 탐색할 수 있다.

속성 그래프 모델에서는 노드와 관계 모두 속성(Property)을 가질 수 있다. 로봇 노드에는 모델, 일련번호 식별자, 적재 용량, 소프트웨어 버전을 저장할 수 있고, 운영 영역 관계(OPERATES_IN)에는 활성화 날짜나 운영 상태를 포함할 수 있다. 작업과 역량 사이의 요구 관계(REQUIRES)에는 최소 성능 요구조건을 기록할 수 있다. 따라서 속성은 세부적인 문맥 정보를 제공하고 그래프 구조는 로봇 추론의 핵심이 되는 의미론적 연결을 표현한다.

역량 모델(Capability Model)은 서로 다른 종류의 로봇으로 구성된 이기종 플릿(Heterogeneous Robot Fleet)에 특히 유용하다. 로봇을 내비게이션, 조작, 검사, 운반, 도킹(Docking), 매핑(Mapping), 음성 상호작용 등의 역량과 연결할 수 있다. 작업은 독립적으로 필요한 역량을 지정할 수 있다. 그래프 질의를 사용하면 모든 로봇-작업 조합을 수동으로 정의하지 않고도 작업에 필요한 역량 관계를 충족하는 로봇을 식별할 수 있다. 플릿에 여러 플랫폼, 툴, 소프트웨어 구성이 포함될수록 이러한 방식의 가치가 증가한다.

공간 및 환경 지식(Spatial and Environmental Knowledge)도 그래프에 포함할 수 있다. 시설은 구역, 스테이션, 복도, 충전 위치, 워크셀(Workcell), 제한 영역 등을 포함할 수 있다. 로봇은 지도 및 운영 영역과 연결되고, 작업은 픽업, 검사, 조작 또는 배송 위치를 참조할 수 있다. 상세한 기하정보는 PostGIS 또는 고정밀 지도(HD Map) 스토리지에 유지하고, Neo4j에는 공간 자원을 로봇, 작업, 객체, 운영 규칙과 연결하는 식별자와 의미론적 관계를 저장할 수 있다.

로봇 구성요소는 계층형 그래프(Hierarchical Graph)로 표현할 수 있다. 하나의 로봇은 컴퓨팅 모듈, 배터리, 모터, 센서, 매니퓰레이터, 엔드 이펙터(End Effector)를 포함하고, 각 구성요소는 모델, 제조사, 펌웨어 버전, 보정 기록(Calibration Record), 유지보수 이벤트와 연결될 수 있다. 엔지니어는 보고된 장애에서 영향을 받은 구성요소, 해당 설정, 관련 유지보수 이력, 동일한 구성요소 모델을 사용하는 다른 로봇까지 탐색할 수 있다. 이를 통해 분리된 테이블만으로 표현하기 어려운 영향 분석(Impact Analysis)을 수행할 수 있다.

작업 지식(Task Knowledge)은 또 다른 중요한 그래프 영역을 구성한다. 하나의 조작 작업은 필요한 객체, 툴, 파지 전략(Grasp Strategy), 워크셀, 인식 모델, 모션 플래너(Motion Planner), 성공 기준과 연결될 수 있다. 이동 임무는 경로 등급, 지도 영역, 충전 요구사항, 적재 제약조건, 목적지 스테이션과 연결할 수 있다. 따라서 그래프는 어떤 작업이 실행되었는지만 기록하는 것이 아니라 성공적인 실행에 필요한 구조화된 종속 관계와 자원까지 표현한다.

실행 이력(Execution History)은 모든 원시 이벤트를 Neo4j에 직접 저장하지 않고도 의미론적 구조를 강화할 수 있다. 작업 실행 노드(Task-Execution Node)는 MongoDB의 상세 작업 이력, TimescaleDB의 텔레메트리 구간, 객체 스토리지의 MCAP 기록을 참조할 수 있다. 관계를 통해 어떤 로봇, 정책(Policy), 소프트웨어 버전, 환경, 작업이 특정 실행 결과를 생성했는지 식별할 수 있다. 엔지니어는 장애에서 관련 증거까지 탐색할 수 있으며 대규모 시계열 및 바이너리 데이터는 각각에 최적화된 스토리지에 유지된다.

장애 지식(Failure Knowledge)은 장애가 구성요소, 소프트웨어, 운영 조건, 이전 이벤트 사이의 관계를 포함하는 경우가 많기 때문에 그래프 구조에 자연스럽게 적합하다. 장애(Failure) 노드는 영향을 받은 구성요소, 관찰된 증상, 가능한 원인, 복구 절차, 유지보수 조치, 관련 과거 사고와 연결할 수 있다. 증거가 축적되면 동일한 펌웨어나 구성요소 개정판을 설치한 여러 로봇에서 유사한 증상이 반복되는 것과 같은 패턴을 질의할 수 있다.

Neo4j의 사이퍼 질의 언어(Cypher Query Language)를 사용하면 관계 중심의 질문을 직접 표현할 수 있다. 특정 작업을 수행할 수 있는 로봇, 장애 로봇들이 공유하는 구성요소, 특정 사고와 관련된 소프트웨어 버전 또는 작업 실패와 센서 설정을 연결하는 경로 등을 검색할 수 있다. 가변 길이 경로 질의(Variable-Length Path Query)는 관련 관계가 여러 중간 엔터티를 통과하고 조사 전에 전체 연결 구조를 알 수 없는 경우에 특히 유용하다.

그래프 데이터베이스가 관계를 중심으로 동작하더라도 그래프 제약조건(Graph Constraint)과 인덱스(Index)는 여전히 중요하다. 로봇, 구성요소, 작업, 데이터셋, 소프트웨어 릴리스와 같은 안정적인 엔터티에는 고유 식별자(Unique Identifier)를 적용해야 한다. 인덱스는 그래프 탐색을 시작하기 전에 자주 사용하는 속성의 검색을 가속할 수 있다. 동일한 실제 로봇이나 소프트웨어 버전을 나타내는 중복 노드가 생성되면 지식이 분산되고 잘못된 질의 결과를 만들 수 있으므로 일관된 식별 전략이 필수적이다.

그래프가 확장될수록 온톨로지(Ontology)와 어휘 거버넌스(Vocabulary Governance)의 중요성도 증가한다. 로봇, 작업, 역량, 툴, 위치, 장애, 데이터셋과 같은 용어는 안정적인 의미를 가져야 하며 관계 이름도 일관된 방향과 명명 규칙을 따라야 한다. 거버넌스가 없으면 서로 다른 팀이 의미적으로 동일한 개념을 서로 다른 이름으로 생성할 수 있다. 통제된 그래프 스키마(Graph Schema)와 문서화된 어휘는 플릿, 조작, 유지보수, AI 개발 시스템 사이의 상호운용성을 유지하는 데 도움이 된다.

데이터 수집(Data Ingestion)은 이벤트 기반 갱신과 주기적인 동기화를 함께 사용할 수 있다. 플릿 서비스는 로봇 설정 변경을 제공하고, 유지보수 애플리케이션은 구성요소 기록을 제공하며, 매핑 시스템은 위치 관계를 갱신하고, AI 파이프라인은 데이터셋과 모델을 등록할 수 있다. 수집 서비스는 원본 식별자와 타임스탬프를 보존하면서 이러한 소스 레코드를 그래프 엔터티로 변환한다. 반복적인 동기화가 중복 노드나 관계를 생성하지 않도록 멱등성 갱신(Idempotent Update)을 적용하는 것이 중요하다.

지식이 직접 관찰된 것이 아니라 파생된 경우에는 출처정보(Provenance)를 보존해야 한다. 로봇이 특정 작업을 수행할 수 있음(CAN_PERFORM)을 나타내는 관계는 엔지니어링 설정, 과거 성공 실행, 시뮬레이션 결과 또는 AI 추론에서 생성될 수 있다. 그래프는 이러한 출처를 구분하고 필요한 경우 신뢰도, 생성 시각, 검증 상태, 증거 참조를 유지해야 한다. 이를 통해 추론된 지식(Inferred Knowledge)이 검증된 운영 사실(Verified Operational Fact)로 잘못 해석되는 것을 방지할 수 있다.

지식 그래프는 로봇 데이터와 AI 자산(AI Asset)을 연결할 수도 있다. 데이터셋(Dataset) 노드는 MCAP-MinIO 학습 데이터 컬렉션을 참조하고, 모델(Model) 노드는 인식, 정책, 월드 모델(World Model), 비전-언어-행동(Vision-Language-Action, VLA) 모델 릴리스를 표현하며, 평가(Evaluation) 노드는 벤치마크 결과를 설명할 수 있다. 어떤 데이터셋이 모델 학습에 사용되었는지, 어떤 모델이 로봇에 배포되었는지, 어떤 작업 실행에서 해당 모델을 사용했는지를 관계로 표현할 수 있다. 이를 통해 물리적 경험에서 학습과 실제 배포 동작까지 연결되는 추적성을 구축할 수 있다.

이러한 추적성(Traceability)은 모델이나 정책이 갱신될 때 높은 가치를 가진다. 엔지니어는 현재 특정 모델을 사용하는 로봇, 해당 모델의 학습에 사용된 데이터셋, 배포를 뒷받침한 평가 결과, 모델 활성화 기간에 발생한 사고를 질의할 수 있다. 문제가 있는 모델 버전이 발견되면 여러 독립 시스템의 정보를 수동으로 비교하지 않고도 영향을 받을 가능성이 있는 로봇, 작업, 환경, 종속 소프트웨어 구성요소를 그래프에서 확인할 수 있다.

로봇 지식 그래프는 AI 어시스턴트(AI Assistant)와 추론 시스템(Reasoning System)을 위한 검색에도 활용할 수 있다. 단순히 텍스트 유사도만을 이용해 문서를 검색하는 대신 애플리케이션은 로봇, 작업, 구성요소, 장애, 데이터셋, 절차 사이에 이미 알려진 관계를 탐색한 후 관련 증거를 수집할 수 있다. 그래프 기반 검색(Graph-Based Retrieval)은 권위 있는 원본 레코드에 대한 연결을 유지하면서 대규모 언어 모델(Large Language Model, LLM)에 구조화된 문맥을 제공할 수 있다. 언어 모델은 이러한 문맥을 해석하되 그래프에 명시된 사실을 대체해서는 안 된다.

그래프 임베딩(Graph Embedding)과 머신러닝 기술은 결정론적 그래프 탐색을 넘어 시스템 기능을 확장할 수 있다. 연결된 엔터티를 벡터 표현(Vector Representation)으로 변환하여 유사도 분석, 링크 예측(Link Prediction), 군집화(Clustering), 추천에 활용할 수 있다. 이를 통해 유사한 장애나 호환 가능한 툴과 같은 잠재적인 관계를 제안할 수 있다. 그러나 예측된 관계는 검증된 그래프 사실과 명확히 구분해야 하며 안전 핵심 로봇 판단이나 운영 설정에 영향을 주기 전에 검증 과정을 거쳐야 한다.

보안(Security)은 그래프가 여러 운영 시스템의 관계를 노출할 수 있기 때문에 역할 분리를 필요로 한다. 엔지니어링 애플리케이션에는 설정 정보 접근이 필요하고, 유지보수 팀에는 구성요소와 장애 정보가 필요하며, AI 시스템은 데이터셋과 모델을 질의하고, 관리 서비스는 그래프 구조를 관리한다. 인증(Authentication), 암호화 연결, 역할 기반 권한부여(Role-Based Authorization), 네트워크 분리(Network Segmentation), 감사 로깅(Audit Logging)을 통해 민감한 속성뿐 아니라 운영 종속성을 드러내는 관계 자체도 보호해야 한다.

지식 그래프가 중요한 엔지니어링 서비스로 발전하면 가용성(Availability)과 백업(Backup)도 필요하다. Neo4j 구축 옵션을 통해 운영 요구사항에 적합한 복제(Replication)와 장애조치(Failover)를 구성하고 정기적인 백업을 통해 데이터 손상이나 실수에 의한 변경에 대비할 수 있다. 각 원본 시스템은 자체 고유 데이터에 대한 권위 있는 시스템으로 유지되어야 하므로 일시적으로 그래프를 사용할 수 없더라도 결정론적 로봇 운영은 중단되지 않아야 한다. 그래프는 하드 실시간 컨트롤러가 아니라 통합 및 추론 계층(Integration and Reasoning Layer)으로 동작한다.

관측성(Observability)은 질의 지연시간(Query Latency), 트랜잭션 처리량, 스토리지 증가량, 메모리 사용량, 캐시 동작, 수집 실패, 동기화 지연, 그래프 확장 상태를 모니터링해야 한다. 중복 엔터티, 누락된 관계, 해결되지 않은 참조, 오래된 설정, 검증되지 않은 추론 관계와 같은 지식 품질 지표(Knowledge-Quality Metric)도 중요하다. 인프라 상태와 의미론적 품질을 함께 모니터링해야 기술적으로 정상 동작하는 그래프가 엔지니어링 지식 소스로서 점차 신뢰성을 잃는 문제를 방지할 수 있다.

성숙한 Neo4j 구현은 결과적으로 로봇 데이터 아키텍처 전체를 연결하는 의미론적 통합 계층(Semantic Integration Layer)으로 발전한다. 트랜잭션 데이터베이스는 현재 운영 상태를 설명하고, 시계열 시스템은 텔레메트리를 보존하며, 문서 데이터베이스는 작업 이력을 유지하고, 객체 스토리지는 멀티모달 증거를 저장하며, 공간 데이터베이스는 기하정보를 관리한다. 지식 그래프는 모든 원본 데이터를 하나의 데이터베이스로 강제 통합하지 않고 로봇, 작업, 역량, 구성요소, 환경, 데이터셋, 모델, 장애, 출처정보를 통해 이러한 자원을 연결한다.

피지컬 AI(Physical AI) 시스템이 더욱 이질적이고 학습 중심으로 발전하면서 이러한 연결형 표현(Connected Representation)은 로봇 생태계의 공유 가능한 기계 판독형 메모리(Shared Machine-Readable Memory)로 발전할 수 있다. Neo4j는 물리 시스템, 소프트웨어, 운영 경험, 학습된 지능 사이의 관계를 표현하여 추적성, 조사, 검색, 구조화된 추론을 지원한다. 결과적으로 로봇 지식 그래프는 단순한 로봇 사실 데이터베이스를 넘어 로봇이 무엇인지, 무엇을 할 수 있는지, 무엇을 경험했는지, 그리고 그 지능이 어떻게 만들어졌는지를 연결하는 지속적으로 발전하는 지식 구조가 된다.

12.07 Vector DB-Based Robot Scene Search Service Case

벡터 데이터베이스(Vector Database) 기반 로봇 장면 검색 서비스(Robot Scene Search Service)는 파일명, 타임스탬프, 객체 ID 또는 수동으로 정의한 키워드에만 의존하지 않고 의미론적 유사도(Semantic Similarity)를 기반으로 로봇과 엔지니어가 과거에 관찰한 환경을 검색할 수 있게 한다. 이미지, 깊이 관측, 포인트 클라우드(Point Cloud) 뷰, 지도 영역, 멀티모달 장면 설명을 임베딩 벡터(Embedding Vector)로 변환할 수 있다. 이러한 벡터는 원시 센서 데이터가 완전히 동일하지 않더라도 유사한 로봇 경험을 검색할 수 있는 압축된 표현을 제공한다.

아키텍처는 실내, 실외, 산업, 물류 또는 서비스 환경에서 동작하는 로봇의 장면 획득(Scene Acquisition)에서 시작한다. RGB 카메라, 깊이 카메라, 라이다(LiDAR), 의미론적 인식 시스템(Semantic Perception System), 위치추정 모듈(Localization Module), 로봇 상태 데이터 소스가 타임스탬프와 공간적 문맥(Spatial Context)을 포함한 관측 데이터를 생성한다. 모든 센서 메시지를 독립적인 검색 항목으로 처리하는 대신 프레임, 키프레임(Keyframe), 위치, 이벤트 또는 일정한 시간 구간에 해당하는 의미 있는 장면 단위를 정의한다.

원시 장면 데이터는 대용량 바이너리 데이터에 적합한 스토리지 시스템에 유지해야 한다. 이미지, 비디오 클립, 포인트 클라우드, MCAP 기록 및 기타 대용량 센서 객체는 네트워크 결합 스토리지(NAS), 객체 스토리지(Object Storage) 또는 데이터 레이크(Data Lake)에 저장할 수 있다. 벡터 데이터베이스는 임베딩과 검색 가능한 메타데이터를 원본 데이터에 대한 참조와 함께 저장한다. 이러한 분리를 통해 대용량 바이너리 데이터가 벡터 인덱스를 불필요하게 증가시키는 것을 방지하면서 검색 이후 상세한 원본 증거에 직접 접근할 수 있다.

임베딩 모델(Embedding Model)은 검색 가능한 각 장면을 고정 차원의 수치 벡터로 변환한다. 시각 검색(Visual Search)의 경우 모델은 RGB 이미지나 선택된 키프레임을 인코딩할 수 있으며, 멀티모달 모델(Multimodal Model)은 이미지와 자연어 설명을 공유 임베딩 공간(Shared Embedding Space)에 표현할 수 있다. 따라서 팔레트 랙에 접근하는 로봇과 같은 장면을 픽셀 값이나 수동 레이블에만 의존하지 않고 의미론적 특성에 따라 표현할 수 있다.

장면 분할(Scene Segmentation)은 검색 품질에 큰 영향을 미친다. 모든 비디오 프레임에 대해 임베딩을 생성하면 거의 동일한 벡터가 대량으로 생성되어 의미 있는 다양성을 증가시키지 않으면서 스토리지와 검색 비용만 증가할 수 있다. 실용적인 파이프라인은 로봇 이동량, 경과 시간, 시각적 변화, 의미론적 이벤트 또는 위치 이동 거리를 기준으로 키프레임을 선택할 수 있다. 더 복잡한 시스템에서는 여러 관측값을 결합하여 짧은 시간 또는 공간 구간을 설명하는 하나의 장면 표현(Scene Representation)을 생성할 수 있다.

유사도 검색이 벡터를 기반으로 하더라도 메타데이터(Metadata)는 여전히 필수적이다. 각 벡터 레코드는 로봇 ID, 임무 ID, 타임스탬프, 시설, 지도 식별자, 위치, 센서 소스, 장면 유형, 소프트웨어 버전, 임베딩 모델 버전, 원본 데이터의 URI를 포함할 수 있다. 유사도 검색과 구조화된 필터(Structured Filter)를 결합하면 특정 로봇, 시설, 날짜 범위, 지도 영역 또는 데이터셋 버전에 해당하는 장면만 검색할 수 있다.

장면 수집 파이프라인(Scene-Ingestion Pipeline)은 일반적으로 데이터 획득, 검증, 전처리(Preprocessing), 임베딩 생성, 메타데이터 구성, 벡터 삽입, 원본 데이터 등록 단계로 구성된다. 임베딩 서비스나 벡터 데이터베이스의 일시적인 장애가 로봇 동작을 중단시키지 않도록 가능한 한 이러한 단계를 분리해야 한다. 엣지 시스템(Edge System)은 검색 후보 장면을 로컬 큐(Local Queue)에 저장하고 비동기적으로 전송하여 네트워크 연결이나 백엔드 서비스가 복구된 이후 검색 인덱스를 갱신할 수 있다.

임베딩 모델 버전 관리(Embedding-Model Versioning)는 서로 다른 모델이나 모델 개정판에서 생성된 벡터가 호환되지 않는 표현 공간에 존재할 수 있기 때문에 매우 중요하다. 따라서 저장되는 모든 벡터에는 생성에 사용된 모델, 버전, 전처리 설정, 차원 수를 식별할 수 있는 정보가 포함되어야 한다. 임베딩 모델이 변경되면 호환되지 않는 벡터를 동일한 유사도 검색 공간에 혼합하는 대신 기존 장면을 새로운 컬렉션이나 인덱스에 다시 임베딩(Re-Embedding)해야 할 수 있다.

근사 최근접 이웃 인덱싱(Approximate Nearest-Neighbor Indexing, ANN)을 사용하면 대규모 장면 임베딩 컬렉션을 효율적으로 검색할 수 있다. HNSW와 같은 알고리즘이나 다른 ANN 구조는 저장된 모든 장면과 완전 탐색 방식으로 비교하는 것보다 질의 벡터와 가까운 벡터를 찾는 비용을 줄여준다. 인덱스 설정은 하나의 파라미터 구성이 모든 로봇 애플리케이션에 최적이라고 가정하지 않고 데이터셋 규모, 차원, 메모리 용량, 삽입 속도, 검색 지연시간, 필요한 재현율(Recall)에 따라 결정해야 한다.

시각 질의(Visual Query)는 로봇이 촬영한 이미지나 엔지니어가 제공한 이미지에서 시작할 수 있다. 인덱싱에 사용한 것과 동일한 임베딩 모델이 질의 이미지를 벡터로 변환하고, 벡터 데이터베이스는 선택한 유사도 척도(Similarity Metric)에 따라 가까운 장면 표현을 검색한다. 검색 결과에는 썸네일, 타임스탬프, 로봇 식별자, 지도 위치, 원본 기록 링크 등을 반환하여 시각적 또는 의미론적으로 관련된 상황을 빠르게 조사할 수 있다.

텍스트와 이미지가 호환 가능한 멀티모달 임베딩 공간을 공유하면 텍스트-장면 검색(Text-to-Scene Retrieval)이 가능하다. 운영자는 막힌 복도, 출입구 근처의 팔레트, 충전 스테이션, 젖은 바닥 또는 로봇 옆에 서 있는 사람과 같은 설명을 이용해 검색할 수 있다. 텍스트를 임베딩으로 변환한 뒤 저장된 장면 벡터와 비교한다. 이를 통해 가능한 모든 시각적 개념을 사전에 수동으로 주석 처리하지 않고도 대규모 로봇 경험 아카이브를 검색할 수 있다.

하이브리드 검색(Hybrid Retrieval)은 벡터 유사도와 메타데이터 제약조건을 결합하고 필요한 경우 기존 키워드 또는 관계형 검색을 함께 사용한다. 사용자는 기준 이미지와 유사한 장면을 검색하면서 특정 창고와 소프트웨어 릴리스만 대상으로 제한하거나, 장애물을 의미론적으로 검색하면서 특정 지도 영역으로 결과를 한정할 수 있다. 구조화된 필터를 적용하면 관련성이 낮은 결과를 줄이고 유사도 점수만을 유일한 기준으로 사용하는 것보다 운영 엔지니어링에 적합한 의미론적 검색을 구현할 수 있다.

공간적 문맥은 로봇 장면 검색 성능을 크게 향상시킬 수 있다. 검색된 장면은 PostGIS 또는 다른 공간 데이터베이스(Spatial Database)에 저장된 식별자를 통해 지도 좌표, 구역, 방, 도로 구간 또는 워크셀(Workcell)과 연결할 수 있다. 따라서 유사도 검색 결과는 어떤 과거 장면이 유사한지만 알려주는 것이 아니라 해당 장면이 어디에서 발생했는지도 제공할 수 있다. 엔지니어는 동일한 물리적 위치에서 반복적으로 발생하는 시각적 조건을 식별하거나 서로 다른 시설에서 관찰된 유사 환경을 비교할 수 있다.

시간적 문맥(Temporal Context)은 또 다른 중요한 검색 차원을 제공한다. 하나의 장면만으로는 바로 전후의 관측 데이터가 없을 경우 상황을 명확하게 판단하기 어려울 수 있다. 검색 결과는 주변 비디오, 인접 MCAP 메시지, 이전 로봇 상태 또는 이후 작업 결과를 참조할 수 있다. 이를 통해 엔지니어는 검색된 키프레임을 짧은 시퀀스로 확장하고 로봇이 해당 장면을 만난 이후 접근, 정지, 회피, 조작, 실패 또는 작업 완료 중 어떤 동작을 수행했는지 확인할 수 있다.

벡터 검색(Vector Search)은 현재 사고가 발생한 주변 조건과 유사한 과거 환경을 찾아 장애 분석(Failure Investigation)을 지원할 수 있다. 자율이동로봇(AMR)이 반사 표면 근처에서 위치추정에 실패하거나 특정 장애물 배치 근처에서 반복적으로 정지한다면 엔지니어는 과거 임무에서 시각적으로 유사한 장면을 검색할 수 있다. 검색된 사례를 다른 데이터베이스에 저장된 텔레메트리, 위치추정 신뢰도, 플래너 상태, 장애 이력과 비교하여 반복적인 운영 패턴을 식별할 수 있다.

이 서비스는 피지컬 AI(Physical AI)를 위한 데이터셋 큐레이션(Dataset Curation)에도 활용할 수 있다. 수백만 개의 로봇 관측 데이터를 수동으로 검토하는 대신 엔지니어는 목표 장면과 유사한 사례를 검색하여 학습 또는 평가용 데이터 컬렉션을 구성할 수 있다. 유사도 검색은 희귀 조건(Rare Condition)을 식별하고, 특정 환경의 다양한 변형을 수집하며, 거의 중복된 관측을 탐지하거나 원하는 행동과 관련된 실패 사례를 찾는 데 활용할 수 있다. 선택된 레코드는 원본 MCAP 또는 객체 스토리지 데이터와 연결할 수 있다.

하드 예제 마이닝(Hard-Example Mining)은 인식 모델이나 로봇 정책(Robot Policy)을 개발할 때 특히 유용하다. 오분류, 불확실성 또는 실패가 발생한 장면을 임베딩하여 질의로 사용하고 관련된 관측 데이터를 검색할 수 있다. 엔지니어는 시각적으로는 유사하지만 행동 관점에서는 서로 다른 사례, 예를 들어 외관은 유사하지만 주행 가능 여부가 다른 표면으로 구성된 집중 데이터셋을 구축할 수 있다. 이러한 데이터셋은 단순한 무작위 샘플링보다 효율적으로 평가 품질을 향상시키고 반복적인 모델 개발을 지원한다.

중복 및 근접 중복 탐지(Duplicate and Near-Duplicate Detection)도 실용적인 활용 분야이다. 로봇 플릿은 동일한 복도, 스테이션, 워크셀을 반복적으로 이동하면서 매우 유사한 관측 데이터를 생성한다. 벡터 유사도를 사용하면 장기 데이터 보존이나 모델 학습 전에 중복 장면을 식별할 수 있다. 중복 제거(Deduplication) 정책은 대표적인 다양성을 유지하면서 스토리지와 전처리 비용을 줄일 수 있지만 시각적으로 유사한 장면이라도 서로 다른 운영 이벤트를 나타낼 수 있으므로 시간적 변화까지 고려해야 한다.

검색 품질은 일반적인 임베딩 벤치마크만 사용하는 것이 아니라 실제 로봇 질의를 대표하는 데이터로 평가해야 한다. 평가 데이터셋에는 관련된 과거 사례가 알려진 질의 장면을 포함할 수 있으며 이를 통해 검색 정밀도(Precision), 재현율(Recall), 순위 품질(Ranking Quality), 지연시간(Latency)을 측정할 수 있다. 서로 다른 임베딩 모델, 전처리 전략, 키프레임 선택 정책, ANN 파라미터를 실제 로봇 시스템에서 중요한 환경과 작업을 기준으로 비교할 수 있다.

유사도 점수(Similarity Score)를 두 장면이 동일한 물리적 상황을 나타낸다는 증거로 자동 해석해서는 안 된다. 임베딩은 모델이 학습한 패턴을 표현하기 때문에 외관을 강조하면서 운영상 중요한 차이를 놓칠 수 있다. 시각적으로 유사한 바닥 영역도 마찰력, 접근 가능성 또는 안전 특성이 서로 다를 수 있다. 따라서 벡터 검색은 추가 분석을 위한 후보를 식별하는 데 사용하고 메타데이터, 공간 정보, 센서 증거, 애플리케이션 로직을 이용해 실제 운영 의미를 판단해야 한다.

서비스는 검색 가능한 모든 표현에 대한 출처정보(Provenance)를 보존해야 한다. 검색된 벡터는 원본 장면, 원시 센서 데이터, 로봇, 타임스탬프, 전처리 파이프라인, 임베딩 모델까지 추적할 수 있어야 한다. 검색 결과가 이후 학습 데이터셋이나 엔지니어링 조사에 사용되면 이러한 출처정보를 통해 원본 증거를 재구성할 수 있다. 또한 모델 변경 시 재인덱싱(Re-Indexing)을 가능하게 하고 여러 세대의 임베딩 시스템을 비교할 수 있도록 한다.

보안 제어(Security Control)는 장면 생성자, 검색 클라이언트, 데이터셋 서비스, 관리자의 역할을 구분해야 한다. 로봇 또는 데이터 수집 서비스는 임베딩을 기록하고, 엔지니어링 도구는 검색을 수행하며, 학습 파이프라인은 대규모 검색 결과를 가져오고, 관리자는 인덱스와 컬렉션을 관리할 수 있다. 인증(Authentication), 암호화 통신, 역할 기반 접근 제어(Role-Based Access Control), 네트워크 분리(Network Segmentation), 감사 로깅(Audit Logging)은 장면 아카이브에 민감한 산업 또는 시설 정보가 포함된 경우 특히 중요하다.

관측성(Observability)은 검색 인프라와 의미론적 검색 품질을 모두 모니터링해야 한다. 운영 지표에는 벡터 삽입 처리량, 질의 지연시간, 인덱스 크기, 메모리 사용량, 임베딩 작업 실패, 큐 백로그(Queue Backlog), 스토리지 증가량 등이 포함된다. 검색 품질 지표로는 결과가 없는 검색, 유사도 점수 분포, 사용자가 선택한 결과, 벤치마크 성능 등을 추적할 수 있다. 이러한 요소를 함께 모니터링하면 인프라 성능 저하와 임베딩 품질 또는 새롭게 수집되는 로봇 장면 분포의 변화를 구분할 수 있다.

성숙한 아키텍처는 벡터 데이터베이스를 모든 장면 데이터를 저장하는 권위 있는 저장소(Authoritative Repository)가 아니라 로봇 경험에 대한 의미론적 인덱스(Semantic Index)로 사용한다. 객체 스토리지는 대용량 센서 데이터를 보존하고, 공간 데이터베이스는 기하정보를 관리하며, 텔레메트리 시스템은 시계열 측정값을 저장하고, 운영 데이터베이스는 임무와 로봇 상태를 관리한다. 벡터 계층(Vector Layer)은 모든 원본 데이터 유형을 중복 저장하지 않고 임베딩과 식별자를 통해 이러한 자원을 연결하여 빠른 유사도 기반 검색을 제공한다.

로봇 지식 그래프(Robot Knowledge Graph)와 통합하면 장면 검색은 더욱 풍부한 기능을 제공할 수 있다. 벡터 검색은 의미론적으로 유사한 관측을 식별하고 그래프 데이터베이스(Graph Database)는 해당 관측을 로봇, 작업, 객체, 장애, 모델, 유지보수 이벤트와 연결할 수 있다. 시스템은 먼저 임베딩 유사도를 이용해 후보 장면을 검색한 다음 구조화된 관계를 탐색하여 추가적인 문맥 증거를 획득할 수 있다. 이러한 결합은 통계적 유사성(Statistical Similarity)과 명시적인 기계 판독형 지식(Machine-Readable Knowledge)을 연결한다.

피지컬 AI에서 이러한 서비스는 축적된 물리적 경험을 검색할 수 있는 메모리(Searchable Memory)로 발전한다. 로봇은 지속적으로 관측 데이터를 생성하고, 이러한 데이터는 인덱싱되고 비교되며 재사용되고 결과와 연결될 수 있다. 엔지니어와 AI 시스템은 현재 환경과 유사한 상황을 검색하고, 관련 학습 사례를 발견하며, 반복적인 장애를 분석하고, 이를 뒷받침하는 센서 증거에 접근할 수 있다. 따라서 벡터 데이터베이스 기반 장면 검색은 대규모 로봇 아카이브를 수동적인 데이터 저장소에서 학습, 추론, 운영 개선을 위한 능동적인 의미론적 자원(Active Semantic Resource)으로 전환한다.

12.08 Database HA Failure Response Case

로봇 데이터베이스 플랫폼에서 고가용성(High Availability, HA)은 서버, 스토리지 장치, 네트워크 또는 데이터베이스 프로세스에 장애가 발생하더라도 핵심 데이터 서비스를 계속 사용할 수 있도록 설계된다. 로봇 플릿은 상태, 임무, 지도, 텔레메트리(Telemetry), 작업 이력, 설정 데이터에 의존하기 때문에 장애 대응 아키텍처(Failure-Response Architecture)는 단순한 데이터베이스 가동시간 이상의 요소를 고려해야 한다. 목표는 하나의 인프라 장애가 즉각적인 플릿 전체의 운영 장애로 확대되는 것을 방지하는 것이다.

실용적인 고가용성 설계는 데이터베이스 워크로드(Database Workload)를 운영 중요도에 따라 분류하는 것에서 시작한다. 로봇 명령, 임무 상태, 예약, 설정, 협조 데이터는 빠른 복구가 필요할 수 있지만 과거 텔레메트리, 보관된 센서 데이터, 분석 데이터셋은 상대적으로 긴 중단 시간을 허용할 수 있다. 따라서 플랫폼의 모든 데이터베이스에 하나의 가용성 목표를 적용하는 대신 각 서비스별로 복구 목표를 정의해야 한다.

복제(Replication)는 많은 데이터베이스 고가용성 아키텍처의 기반을 제공한다. 기본 데이터베이스(Primary Database)가 쓰기 작업을 처리하고 하나 이상의 복제본(Replica)이 지속적으로 변경 내용을 전달받는다. 기본 데이터베이스를 사용할 수 없게 되면 적합한 복제본을 승격(Promotion)하고 애플리케이션을 새로운 쓰기 가능 인스턴스로 전환할 수 있다. PostgreSQL 구축에서는 일반적으로 스트리밍 복제(Streaming Replication)를 사용하며 다른 데이터베이스 기술도 일관성 및 스토리지 모델에 적합한 복제 메커니즘을 제공한다.

복제만으로 완전한 고가용성이 제공되는 것은 아니다. 시스템은 기본 데이터베이스를 실제로 사용할 수 없는지 판단하고, 적합한 대체 노드를 선택하며, 승격을 수행하고, 라우팅을 갱신하며, 여러 노드가 동시에 충돌하는 쓰기 작업을 허용하지 않도록 해야 한다. Patroni와 같은 고가용성 관리자(HA Manager)는 분산 상태 정보를 사용하여 PostgreSQL 장애조치(Failover)를 조정할 수 있으며, 로드 밸런서(Load Balancer), 가상 엔드포인트(Virtual Endpoint), 서비스 디스커버리(Service Discovery) 메커니즘은 애플리케이션을 현재 데이터베이스 리더로 연결한다.

정족수(Quorum)와 합의 메커니즘(Consensus Mechanism)은 분산 고가용성 시스템에서 스플릿 브레인(Split-Brain) 상태를 방지하는 데 도움이 된다. 네트워크 연결이 끊어졌을 때 두 데이터베이스 노드가 각각 자신을 권위 있는 기본 노드라고 판단해서는 안 된다. 분산 설정 저장소(Distributed Configuration Store) 또는 합의 서비스는 장애조치 결정에 사용되는 멤버십과 리더 정보를 제공할 수 있다. 단일 상태 점검 실패만을 근거로 새로운 기본 노드를 승격하기보다는 데이터 일관성과 결정론적 소유권(Deterministic Ownership)을 우선해야 한다.

장애 탐지(Failure Detection)는 데이터베이스 장애를 일시적인 혼잡, 패킷 손실, 스토리지 지연 또는 애플리케이션 수준 타임아웃과 구분해야 한다. 지나치게 공격적인 상태 점검은 불필요한 장애조치를 발생시킬 수 있고, 지나치게 느린 탐지는 서비스 중단 시간을 증가시킨다. 프로세스 상태, 데이터베이스 연결성, 복제 상태, 노드 접근성, 스토리지 상태와 같은 여러 신호를 장애 판단에 활용해야 한다. 탐지 임계값은 실제와 유사한 네트워크 및 컴퓨팅 부하 환경에서 검증해야 한다.

기본 데이터베이스 장애가 발생하면 가장 먼저 고려해야 할 운영 목표는 일관된 단일 진실 공급원(Source of Truth)을 유지하는 것이다. 고가용성 시스템이 가장 최신 상태의 적합한 복제본을 판단하는 동안 새로운 쓰기 작업을 일시적으로 중단할 수 있다. 승격 과정에서는 복제 지연(Replication Lag)과 트랜잭션 상태를 고려해야 한다. 상당히 지연된 복제본을 선택하면 최근 커밋된 정보가 손실될 수 있기 때문이다. 애플리케이션은 모든 요청이 투명하게 계속 처리된다고 가정하기보다 이러한 전환을 통제된 서비스 중단으로 처리해야 한다.

애플리케이션 연결 처리(Application Connection Handling)는 장애조치 동작의 중요한 부분이다. 장애가 발생한 기본 데이터베이스에 연결된 기존 세션은 일반적으로 끊어지며 다시 생성해야 한다. 로봇 백엔드 서비스는 제한된 연결 타임아웃, 재시도 정책(Retry Policy), 연결 풀(Connection Pool), 그리고 필요한 경우 멱등성 연산(Idempotent Operation)을 사용해야 한다. 클라이언트는 연결이 끊어지기 직전에 원래 작업이 커밋되었는지 알 수 없으므로 비멱등성 트랜잭션(Non-Idempotent Transaction)을 무조건 반복해서는 안 된다.

로봇의 물리적 행동은 데이터베이스 트랜잭션처럼 항상 롤백할 수 없기 때문에 로봇 임무 실행(Robot Mission Execution)은 특별한 처리가 필요하다. 로봇이 임무를 수신한 이후 백엔드가 승인 응답을 기록하기 전에 데이터베이스 장애가 발생하거나, 물리적 행동이 수행된 이후 완료 상태가 커밋되기 전에 장애가 발생할 수 있다. 따라서 임무 식별자, 명령 시퀀스 번호(Command Sequence Number), 실행 상태, 승인 기록을 사용하여 복구 이후 중복된 물리 명령을 자동으로 다시 발행하지 않고 상태를 조정(Reconciliation)할 수 있어야 한다.

엣지 자율성(Edge Autonomy)은 백엔드 데이터베이스 장애가 운영에 미치는 영향을 줄일 수 있다. 로봇은 하드 실시간 제어(Hard Real-Time Control), 비상 정지, 장애물 회피 또는 기본적인 운동 안정성을 지속적인 데이터베이스 연결에 의존해서는 안 된다. 로봇은 이미 검증된 로컬 임무를 제한된 시간 동안 계속 수행하면서 상태 업데이트를 버퍼링할 수 있다. 새로운 임무나 협조가 필요한 작업은 백엔드가 신뢰할 수 있는 데이터베이스 상태를 복구할 때까지 제한할 수 있다.

성능 저하 운영 모드(Degraded Operating Mode)는 장애가 발생하기 전에 명확하게 정의되어야 한다. 플릿 관리자(Fleet Manager)는 새로운 작업 배정을 일시적으로 중지하면서 로봇이 현재 수행 중인 안전한 작업을 완료하거나 대기 위치로 복귀하거나 로컬 내비게이션을 유지하도록 할 수 있다. 전역적으로 일관된 예약이나 공유 자원을 필요로 하는 서비스는 일시적으로 중단할 수 있다. 명시적인 성능 저하 모드 정책은 동일한 데이터베이스 장애 상황에서 각 애플리케이션 구성요소가 서로 다른 방식으로 임의 대응하는 것을 방지한다.

복제 지연은 정상적으로 보이는 대기 노드(Standby Node)가 즉시 승격하기에 적합하지 않을 수 있기 때문에 지속적으로 모니터링해야 한다. 높은 쓰기 부하, 네트워크 혼잡, 느린 디스크 또는 유지보수 작업으로 인해 복제본이 기본 데이터베이스보다 뒤처질 수 있다. 따라서 고가용성 모니터링은 가용성뿐 아니라 복제 최신성(Replication Freshness)도 추적해야 한다. 경고 임계값을 설정하면 기술적으로는 중복성이 존재하지만 대기 노드가 제공하는 복구 시점이 운영상 허용할 수 없는 수준으로 악화되는 상황을 식별할 수 있다.

자동 장애조치(Automatic Failover)는 승격 직후 완료된 것으로 간주하지 않고 반드시 검증 절차를 수행해야 한다. 시스템은 새로운 기본 데이터베이스가 쓰기 요청을 정상적으로 처리하고, 복제본이 올바르게 다시 연결되며, 애플리케이션 트래픽이 의도된 엔드포인트로 전달되고, 핵심 테이블과 트랜잭션에 정상적으로 접근할 수 있는지 확인해야 한다. 전체 플랫폼을 정상 운영으로 복귀시키기 전에 로봇 서비스에서도 임무 큐, 예약, 활성 로봇 상태 및 기타 운영 불변조건(Operational Invariant)을 검증해야 한다.

장애가 발생했던 노드가 다시 접근 가능해졌다고 해서 자동으로 기본 노드로 복귀해서는 안 된다. 해당 노드의 데이터 이력은 새롭게 승격된 리더와 달라졌을 수 있다. 통제된 재합류 과정(Controlled Rejoin Process)을 통해 타임라인 또는 복제 상태를 비교하고 필요한 경우 노드를 다시 구축한 후 현재 기본 데이터베이스의 복제본으로 연결해야 한다. 이를 통해 오래된 서버가 낡은 상태를 다시 유입하거나 네트워크 또는 하드웨어 복구 이후 또 다른 리더십 충돌을 일으키는 것을 방지할 수 있다.

계획된 전환(Planned Switchover)과 긴급 장애조치(Emergency Failover)는 서로 다른 운영 이벤트로 처리해야 한다. 계획된 전환에서는 관리자가 복제본을 동기화하고 트래픽을 전환하며 유지보수 또는 업그레이드를 위해 통제된 조건에서 리더십을 이전할 수 있다. 긴급 장애조치는 활성 데이터베이스를 예기치 않게 사용할 수 없을 때 발생하며 트랜잭션 상태가 불확실할 수 있다. 계획된 유지보수의 성공만으로 비계획 장애가 올바르게 복구된다고 보장할 수 없기 때문에 두 시나리오를 모두 시험해야 한다.

백업(Backup)은 복제만으로 해결할 수 없는 장애 유형으로부터 시스템을 보호한다. 복제본은 실수로 수행한 데이터 삭제, 애플리케이션에 의한 데이터 손상 또는 파괴적인 관리 작업을 거의 즉시 그대로 복제할 수 있다. 따라서 전체 백업, 지원되는 경우 증분 백업(Incremental Backup), 트랜잭션 로그(Transaction Log), 특정 시점 복구(Point-in-Time Recovery)를 고가용성 복제와 함께 사용해야 한다. 하나의 스토리지 또는 관리 장애가 모든 복구 데이터를 파괴하지 않도록 백업 사본은 운영 시스템의 장애 영역(Failure Domain)에서 충분히 분리해야 한다.

복구 시점 목표(Recovery Point Objective, RPO)와 복구 시간 목표(Recovery Time Objective, RTO)는 복원력(Resilience)의 서로 다른 측면을 나타낸다. RPO는 허용 가능한 최근 데이터 손실량을 정의하고, RTO는 서비스가 중단된 상태로 유지될 수 있는 시간을 정의한다. 동기식 복제(Synchronous Replication)는 잠재적인 데이터 손실을 줄일 수 있지만 복제본에 접근할 수 없을 때 쓰기 지연을 증가시키거나 가용성을 낮출 수 있다. 비동기식 복제(Asynchronous Replication)는 쓰기 성능을 유지할 수 있지만 갑작스러운 기본 노드 장애 시 짧은 구간의 트랜잭션이 손실될 가능성이 있다.

데이터베이스 고가용성은 데이터베이스 외부의 종속 시스템도 고려해야 한다. 데이터베이스 클러스터가 정상적으로 동작하더라도 DNS, 로드 밸런서, 인증 서비스, 네트워크 스위치, 스토리지 시스템 또는 오케스트레이션 구성요소가 장애를 일으키면 전체 서비스를 사용할 수 없을 수 있다. 따라서 중요한 종속성을 식별하고 숨겨진 단일 장애점(Single Point of Failure)이 없도록 설계해야 한다. 가용성은 로봇 서비스에서 권위 있는 데이터베이스 엔드포인트까지 이어지는 전체 애플리케이션 경로를 기준으로 평가해야 한다.

관측성(Observability)은 고가용성 장애 상황에서 운영자가 인프라 상태와 로봇에 미치는 영향을 동시에 이해해야 하기 때문에 필수적이다. 모니터링은 노드 상태, 데이터베이스 역할, 복제 지연, 트랜잭션 처리량, 연결 실패, 장애조치 이벤트, 스토리지 지연시간, 라우팅 상태를 제공해야 한다. 실패한 임무 할당, 지연된 텔레메트리, 연결이 끊긴 로봇, 예약 충돌과 같은 플릿 수준 지표는 데이터베이스 복구가 실제 운영 서비스를 정상화했는지 판단하는 데 도움이 된다.

사고 로깅(Incident Logging)은 장애 발생과 복구 과정에 대한 정확한 타임라인을 생성해야 한다. 중요한 이벤트에는 최초 증상 탐지, 상태 점검 실패, 리더 상실, 승격 결정, 라우팅 변경, 애플리케이션 재연결, 서비스 검증, 장애 노드 재합류 등이 포함된다. 이러한 기록은 근본 원인 분석(Root-Cause Analysis)을 지원하고 장애 탐지, 리더 선출, 데이터베이스 복구, 네트워크 라우팅 또는 애플리케이션 재시도 동작 중 어느 부분에서 지연이 발생했는지를 엔지니어가 판단할 수 있도록 한다.

장애 주입(Failure Injection)과 복구 훈련(Recovery Drill)은 고가용성 아키텍처를 설정 검토만으로 검증할 수 없기 때문에 필요하다. 통제된 환경에서 데이터베이스 프로세스를 의도적으로 중지하고, 네트워크 연결을 차단하며, 기본 노드를 종료하고, 복제본에 지연을 발생시키거나 스토리지 장애를 모의해야 한다. 시험에서는 실제 복구 시간, 잠재적인 데이터 손실, 애플리케이션 동작, 로봇 대응, 운영자 가시성을 측정해야 한다. 그 결과를 정의된 복구 목표와 비교하여 시스템을 개선할 수 있다.

로봇 데이터베이스 재해 복구(Disaster Recovery) 훈련에서는 복제본 승격뿐 아니라 백업으로부터의 복원도 시험해야 한다. 데이터베이스를 다시 구축하고 필요한 경우 트랜잭션 로그를 적용하며 애플리케이션 자격증명을 복구하고 엔드포인트를 전환한 후 데이터 일관성을 검증할 수 있어야 한다. 실제 복원 시험을 수행한 적이 없는 백업은 복구 가능성을 충분히 입증하지 못한다. 특히 데이터베이스 버전, 스토리지 구조 또는 인프라 설정이 변경된 경우에는 더욱 그렇다.

장애 대응 과정에서도 보안(Security)은 유지되어야 한다. 긴급 복구 절차를 수행하기 위해 인증을 비활성화하거나 관리 자격증명을 광범위하게 공유해서는 안 된다. 복제 연결, 백업 저장소, 오케스트레이션 서비스, 관리 인터페이스에는 보호된 자격증명과 암호화 통신이 필요하다. 감사 기록(Audit Record)은 누가 수동 장애조치, 복원, 설정 변경 또는 긴급 접근을 수행했는지 식별할 수 있어야 하며 운영상의 긴급성이 책임 추적성을 제거해서는 안 된다.

사고 후 분석(Post-Incident Analysis)은 단순히 장애가 발생한 구성요소를 교체하는 것이 아니라 시스템 자체를 개선하는 데 초점을 맞춰야 한다. 엔지니어는 장애가 발생한 원인, 중복 구조가 장애를 효과적으로 차단했는지 여부, 전환 과정에서 애플리케이션이 어떻게 동작했는지, 로봇이 의도한 성능 저하 모드로 진입했는지를 분석해야 한다. 사고에서 수집한 증거를 기반으로 복구 절차, 모니터링 임계값, 재시도 정책, 용량 계획, 운영 문서를 갱신할 수 있다.

성숙한 고가용성 아키텍처는 복제, 자동 장애조치, 통제된 애플리케이션 재시도, 백업, 관측성, 로봇을 고려한 성능 저하 운영을 결합한다. 하나의 메커니즘만으로 연속성을 보장할 수는 없다. 복제는 노드 손실에 대응하고, 백업은 과거 상태의 복구 가능성을 제공하며, 애플리케이션 로직은 일시적인 연결 중단을 처리하고, 로컬 로봇 자율성(Local Robot Autonomy)은 물리적 운영을 보호한다. 이러한 요소가 함께 동작하여 하나의 데이터베이스 클러스터에 모든 장애 대응을 의존하지 않는 다계층 복원력(Multi-Layer Resilience)을 구축한다.

피지컬 AI(Physical AI) 시스템에서 데이터베이스 장애 대응은 궁극적으로 디지털 상태(Digital State)와 물리적 행동(Physical Action) 사이의 연속성을 보호한다. 로봇은 실제 환경과 상호작용하고 백엔드 데이터베이스는 임무, 자원, 지도, 설정, 결과에 대한 공유 상태를 관리한다. 잘 설계된 고가용성 전략은 인프라 장애가 중복 명령, 일관되지 않은 플릿 의사결정 또는 통제되지 않은 물리적 운영 중단으로 이어지는 대신 통제된 성능 저하와 복구 가능한 상태 전환(Recoverable State Transition)으로 처리되도록 한다.

12.09 Database Performance Tuning Project Case

로보틱스 플랫폼의 데이터베이스 성능 튜닝(Database Performance Tuning)은 개별적인 설정 변경의 집합이 아니라 측정 기반 엔지니어링 프로젝트(Measurement-Driven Engineering Project)로 시작해야 한다. 로봇 플릿은 서로 다른 접근 패턴을 가진 트랜잭션 상태, 텔레메트리(Telemetry), 작업 이력, 공간 질의, 분석 워크로드를 생성한다. 목표는 지연시간, 처리량, 스토리지 또는 동시성의 한계가 발생하는 위치를 식별하고 정확성, 내구성, 운영 신뢰성을 훼손하지 않으면서 이를 개선하는 것이다.

프로젝트에서는 먼저 재현 가능한 성능 기준선(Performance Baseline)을 구축해야 한다. 대표적인 워크로드를 사용하여 질의 지연시간, 트랜잭션 처리량, 동시 연결 수, CPU 사용률, 메모리 사용량, 디스크 입출력(I/O), 캐시 동작, 네트워크 트래픽을 측정할 수 있다. 기준선 측정값은 모든 최적화 결과를 평가할 수 있는 비교 기준을 제공한다. 기준선이 없다면 엔지니어가 인덱스나 파라미터를 변경하더라도 전체 시스템 성능이 실제로 개선되었는지 신뢰성 있게 판단하기 어렵다.

워크로드 특성화(Workload Characterization)에서는 운영 트랜잭션을 텔레메트리 수집, 과거 데이터 분석, 공간 처리, 백그라운드 유지보수와 구분해야 한다. 활성 임무를 검색하는 플릿 관리 질의는 TimescaleDB의 텔레메트리 집계나 PostGIS의 기하정보 검색과 서로 다른 특성을 가진다. 모든 워크로드를 하나의 평균 지연시간으로 통합하면 중요한 병목현상이 가려질 수 있다. 따라서 성능 목표는 특정 질의 유형과 로봇 운영 요구사항에 맞추어 정의해야 한다.

느린 질의 분석(Slow-Query Analysis)은 가장 가치가 높은 튜닝 활동 중 하나이다. 데이터베이스 통계, 질의 로그, 모니터링 도구를 사용하면 과도한 실행시간, 입출력, CPU 또는 높은 호출 빈도를 사용하는 SQL 문을 식별할 수 있다. 수 초가 걸리는 하나의 질의도 중요하지만 분당 수천 번 실행되는 중간 정도로 느린 질의가 더 많은 자원을 소비할 수 있다. 따라서 개별 질의의 실행시간만으로 문제의 우선순위를 결정하지 않고 전체 워크로드에 미치는 영향을 평가해야 한다.

실행 계획(Execution Plan)은 데이터베이스가 SQL 문을 실제로 어떻게 처리하는지 보여준다. EXPLAIN 및 EXPLAIN ANALYZE와 같은 도구를 사용하면 순차 스캔(Sequential Scan), 인덱스 스캔(Index Scan), 조인 전략, 정렬 연산, 예상 행 수, 실제 실행 동작을 확인할 수 있다. 예상 행 수와 실제 행 수의 차이가 크다면 부정확한 통계 또는 비정상적인 데이터 분포가 원인일 수 있다. 특정 인덱스나 질의 변경이 자동으로 성능을 향상시킬 것이라고 가정하지 말고 이러한 실행 계획을 근거로 성능을 튜닝해야 한다.

인덱스 설계(Index Design)는 실제 데이터 접근 패턴을 반영해야 한다. 자주 필터링되는 식별자, 타임스탬프, 임무 상태, 로봇 ID, 외래 키(Foreign Key), 공간 컬럼은 적절한 인덱스를 통해 성능을 향상시킬 수 있다. 복합 인덱스(Composite Index)는 동일한 속성 조합으로 반복적인 필터링이나 정렬을 수행하는 질의를 지원할 수 있다. 그러나 불필요한 인덱스는 스토리지를 소비하고 캐시 부담을 증가시키며 삽입과 갱신 작업을 추가하므로 텔레메트리 중심 로봇 데이터베이스의 성능에 큰 영향을 줄 수 있다.

복합 인덱스에서는 컬럼 순서(Index Order)가 중요하다. 데이터베이스가 질의 조건과 정렬 요구사항에 따라 인덱스를 다르게 사용할 수 있기 때문이다. 로봇 ID와 타임스탬프로 구성된 인덱스는 특정 로봇의 최근 텔레메트리를 검색하는 데 효율적일 수 있지만 일정 시간 범위에 포함되는 모든 로봇을 검색하는 질의에는 최적이 아닐 수 있다. 따라서 예상되는 미래 검색을 고려하여 무작정 많은 컬럼을 결합하기보다 실제 관찰된 질의와 실행 계획을 기반으로 인덱스를 정의해야 한다.

로봇 데이터가 증가하면 테이블 설계(Table Design) 자체가 성능에 영향을 줄 수 있다. 대규모 텔레메트리와 이벤트 테이블은 수억 개의 행으로 증가하여 유지보수, 스캔, 데이터 보존 작업의 비용을 지속적으로 증가시킬 수 있다. 시간 기반 파티셔닝(Time-Based Partitioning)이나 하이퍼테이블(Hypertable) 아키텍처를 사용하면 데이터를 관리 가능한 범위로 분할할 수 있다. 시간 조건을 포함한 질의는 관련 없는 파티션을 제외할 수 있으며 오래된 데이터도 하나의 거대한 테이블에서 개별 행을 삭제하는 것보다 효율적으로 제거하거나 아카이브할 수 있다.

데이터 보존 정책(Retention Policy)은 단순한 스토리지 관리가 아니라 성능 엔지니어링(Performance Engineering)의 일부로 고려해야 한다. 고주파 텔레메트리를 운영 데이터베이스에 무기한 보존하면 인덱스 크기, 백업 시간, 캐시 부담, 유지보수 비용이 증가한다. 최근 운영 데이터는 고성능 스토리지에 유지하고 오래된 측정 데이터는 분석 및 규제 요구사항에 따라 압축, 집계, 아카이브하거나 객체 스토리지(Object Storage)로 이동할 수 있다.

메모리 튜닝(Memory Tuning)은 전체 데이터베이스 호스트가 사용할 수 있는 메모리와 실제 워크로드 동작을 중심으로 수행해야 한다. 데이터베이스 캐시, 질의별 작업 영역, 연결 프로세스, 운영체제 캐시, 백그라운드 작업은 모두 물리 메모리를 공유한다. 모든 메모리 파라미터를 증가시키면 높은 동시성 환경에서 스와핑(Swapping)이나 메모리 부족(Out-of-Memory) 장애가 발생할 수 있다. 따라서 개별 테스트에서 유리해 보이는 큰 값을 선택하기보다 전체 메모리 소비량을 추정하여 튜닝해야 한다.

많은 로봇 서비스, API, 대시보드, 분석 프로세스가 동일한 데이터베이스에 접근하면 연결 관리(Connection Management)가 주요 병목현상이 될 수 있다. 과도한 데이터베이스 연결은 많은 세션이 유휴 상태인 경우에도 메모리와 프로세스 자원을 소비한다. 연결 풀링(Connection Pooling)을 사용하면 더 많은 애플리케이션 클라이언트가 제한된 수의 데이터베이스 세션을 재사용할 수 있다. 연결 풀의 제한값은 가능한 최대 클라이언트 수에 단순히 맞추기보다 데이터베이스 용량과 워크로드 특성을 기준으로 설정해야 한다.

트랜잭션 설계(Transaction Design)는 성능과 동시성 모두에 영향을 준다. 장시간 실행되는 트랜잭션은 잠금을 유지하고 정리 작업을 지연시키며 행 버전 보존을 증가시키고 다른 서비스의 동작을 방해할 수 있다. 애플리케이션은 실제로 원자성(Atomicity)이 필요한 작업에만 트랜잭션 범위를 집중해야 한다. 수 초 또는 수 분 동안 지속되는 로봇 워크플로는 물리적 임무나 조작 과정 전체에서 하나의 데이터베이스 트랜잭션을 유지하기보다 명시적인 애플리케이션 상태를 통해 진행 과정을 표현하는 것이 일반적으로 적절하다.

개별 질의가 효율적으로 보이는데도 동시성 증가에 따라 지연시간이 증가한다면 잠금 경합(Lock Contention)을 조사해야 한다. 여러 플릿 서비스가 동일한 임무, 예약, 로봇 상태 또는 공유 자원 레코드를 동시에 갱신할 수 있다. 차단된 세션과 잠금 대기시간을 모니터링하면 경합 패턴을 확인할 수 있다. 병목현상이 단순한 질의 실행 속도가 아니라 직렬화(Serialization)에서 발생한다면 스키마 설계, 갱신 순서, 트랜잭션 범위, 큐 아키텍처 또는 애플리케이션 협조 방식을 조정해야 할 수 있다.

쓰기 부하가 높은 텔레메트리 시스템은 트랜잭션 데이터베이스와 다른 튜닝 우선순위를 필요로 한다. 배치 삽입(Batch Insertion), 적절한 청크 크기(Chunk Size), 인덱스 오버헤드 감소, 비동기 데이터 수집(Asynchronous Ingestion), 시간 중심 스토리지 구조를 사용하여 지속적인 처리량을 향상시킬 수 있다. 엣지 또는 데이터 수집 계층에서 버퍼링(Buffering)을 적용하면 일시적인 부하 급증을 흡수할 수 있다. 센서나 텔레메트리 쓰기 폭증이 지연시간에 민감한 임무 및 협조 트랜잭션에 필요한 자원을 소모하지 않도록 설계해야 한다.

공간 데이터베이스 튜닝(Spatial Database Tuning)은 기하정보 표현과 공간 인덱싱(Spatial Indexing)을 고려해야 한다. 거리, 포함, 교차 또는 지도 영역을 처리하는 PostGIS 질의는 적절한 경우 GiST 또는 SP-GiST 인덱스를 활용하여 성능을 향상시킬 수 있다. 질의 구조는 전체 테이블에 대해 비용이 높은 기하 연산을 반복하는 대신 질의 계획기(Query Planner)가 공간 인덱스를 사용할 수 있도록 구성해야 한다. 좌표계와 기하정보 정밀도 역시 불필요한 계산 복잡성을 발생시키지 않으면서 애플리케이션 요구사항을 충족하도록 설정해야 한다.

통계 및 유지보수 작업은 질의 계획에 직접적인 영향을 준다. PostgreSQL은 수집된 통계를 사용하여 데이터 분포를 추정하고 실행 전략을 선택한다. 로봇 관련 테이블이 변화함에 따라 ANALYZE를 통해 통계를 충분히 최신 상태로 유지해야 하며, VACUUM은 갱신 및 삭제로 생성된 오래된 행 버전을 관리한다. 빠르게 변경되는 로봇 상태 또는 텔레메트리 테이블에서는 기본 임계값이 모든 워크로드에 최적이라고 가정하지 말고 자동 진공(Autovacuum) 설정을 조정해야 할 수 있다.

논리적 최적화를 수행한 이후에도 질의가 입출력 제한(I/O-Bound) 상태라면 SQL 계층 아래의 스토리지 성능을 분석해야 한다. 임의 읽기 지연시간, 순차 처리량, 쓰기 내구성, 파일시스템 동작, 스토리지 큐 깊이(Storage Queue Depth), 데이터베이스 체크포인트(Checkpoint) 동작이 응답시간에 영향을 줄 수 있다. NVMe 스토리지는 높은 부하의 워크로드를 개선할 수 있지만 비효율적인 스캔, 과도한 인덱스, 잘못된 파티셔닝 또는 애플리케이션이 생성하는 질의 증폭을 감추기 위한 수단으로 사용해서는 안 된다.

애플리케이션이 로봇 설정, 시설 메타데이터, 지도 참조, 역량 정의와 같이 비교적 안정적인 정보를 반복적으로 요청하는 경우 캐싱(Caching)을 통해 데이터베이스의 반복 작업을 줄일 수 있다. 애플리케이션 캐시 또는 분산 캐시(Distributed Cache)는 적절한 읽기 중심 데이터를 제공할 수 있지만 캐시 무효화(Cache Invalidation) 규칙을 명확하게 정의해야 한다. 로봇 협조나 물리적 안전에 일관성이 영향을 미치는 빠르게 변화하는 임무 상태나 예약 정보는 오래된 캐시에서 제공해서는 안 된다.

읽기 복제본(Read Replica)은 분석 및 보고 워크로드를 기본 데이터베이스에서 분리할 수 있다. 약간 지연된 데이터를 허용할 수 있는 대시보드, 과거 보고서, 모델 개발 질의, 비핵심 분석은 복제본을 사용할 수 있다. 이를 통해 기본 데이터베이스의 자원을 운영 쓰기와 지연시간에 민감한 읽기에 집중할 수 있다. 애플리케이션은 복제 지연(Replication Lag)을 이해해야 하며 단순히 추가적인 질의 용량을 제공한다는 이유로 일관성이 중요한 의사결정을 복제본에 전달해서는 안 된다.

성능 시험(Performance Test)은 실제와 유사한 동시성과 데이터 규모를 재현해야 한다. 개발 환경의 백만 개 행에서 빠르게 실행되는 질의도 운영 테이블이 수억 개의 레코드로 증가하면 완전히 다른 동작을 보일 수 있다. 시험 환경은 예상되는 로봇 수, 텔레메트리 발생률, 질의 조합, 데이터 보존 기간, 동시 클라이언트 수를 반영해야 한다. 합성 벤치마크(Synthetic Benchmark)는 워크로드 가정이 실제 배포 환경과 유사한 경우에만 실질적인 의미를 가진다.

부하 시험(Load Testing)은 요구량을 점진적으로 증가시켜 지연시간이 비선형적으로 증가하기 시작하는 지점을 식별해야 한다. 부하 수준에 따라 CPU 포화, 디스크 큐, 잠금 대기, 연결 고갈, 캐시 미스(Cache Miss), 복제 지연 등이 서로 다른 주요 병목현상으로 나타날 수 있다. 목표는 단순히 최대 처리량을 찾는 것이 아니라 일시적인 부하 급증, 유지보수 작업, 로봇 플릿 증가, 인프라 성능 저하를 감당할 수 있는 충분한 여유를 가진 안전 운영 영역(Safe Operating Region)을 정의하는 것이다.

최적화 변경은 단계적으로 적용하고 의미 있는 변경이 이루어질 때마다 측정해야 한다. 스키마 설계, 인덱스, 데이터베이스 파라미터, 애플리케이션 질의, 하드웨어를 동시에 변경하면 어떤 변경이 성능 개선이나 저하를 발생시켰는지 판단하기 어렵다. 통제된 튜닝 프로젝트에서는 가설(Hypothesis), 변경 사항, 시험 조건, 측정 결과, 최적화 유지 또는 원복 결정까지 기록해야 한다.

성능 향상을 위해 내구성이나 정확성을 약화시켜 단순히 벤치마크 수치를 높여서는 안 된다. 동기식 영속성(Synchronous Persistence)을 비활성화하거나 검증을 줄이고 트랜잭션 보장을 완화하면 겉으로 보이는 지연시간은 개선될 수 있지만 데이터 손실이나 일관되지 않은 로봇 상태의 위험이 증가한다. 따라서 모든 최적화는 단순한 속도뿐 아니라 운영에 필요한 일관성, 복구, 안전, 추적성 요구사항을 함께 고려하여 평가해야 한다.

튜닝 프로젝트가 종료된 이후에도 로봇 플릿 규모, 소프트웨어 릴리스, 새로운 센서, 새로운 AI 서비스에 따라 데이터베이스 워크로드가 지속적으로 변화하므로 관측성(Observability)을 유지해야 한다. 대시보드는 질의 지연시간 백분위수, 처리량, 연결 사용량, 캐시 적중률(Cache Hit Ratio), 복제 지연, 스토리지 사용량, 잠금 대기, 느린 질의 추세를 추적할 수 있다. 성능 회귀 경고(Performance Regression Alert)를 사용하면 이전에는 허용 가능했던 워크로드가 시스템 용량 한계에 접근하기 시작하는 시점을 탐지할 수 있다.

용량 계획(Capacity Planning)은 성능 측정 결과를 미래의 인프라 의사결정으로 전환한다. 성장 모델(Growth Model)은 로봇 수, 텔레메트리 주기, 임무량, 데이터 보존 기간, 데이터셋 크기, 동시 사용자 수를 CPU, 메모리, 스토리지, 네트워크 요구량과 연결할 수 있다. 이러한 모델은 운영 환경의 측정값을 사용하여 주기적으로 다시 보정해야 한다. 목적은 정확한 미래 부하를 예측하는 것이 아니라 추가 자원, 파티셔닝, 아카이빙 또는 아키텍처 분리가 필요한 시점을 식별하는 것이다.

성공적인 데이터베이스 성능 튜닝 프로젝트는 질의 최적화(Query Optimization), 인덱싱(Indexing), 스키마 설계, 파티셔닝(Partitioning), 메모리 관리, 연결 제어, 스토리지 분석, 워크로드 분리를 결합한다. 가장 중요한 원칙은 지속적인 측정(Continuous Measurement)이다. 성능은 애플리케이션, 데이터베이스 엔진, 운영체제, 스토리지, 네트워크, 로봇 동작 사이의 상호작용으로 결정되므로 개별적인 파라미터 튜닝만으로는 완전한 해결책을 제공하기 어렵다.

피지컬 AI(Physical AI) 플랫폼에서 데이터베이스 성능은 물리적 운영과 디지털 인프라 사이의 연결에 직접적인 영향을 준다. 임무, 상태, 지도, 텔레메트리, 작업 이력, 학습 자원에 빠르고 예측 가능하게 접근할 수 있어야 로봇 서비스가 공유 시스템에 과도한 부하를 발생시키지 않으면서 적시에 의사결정을 수행할 수 있다. 체계적인 튜닝 프로세스는 데이터베이스 최적화를 긴급 장애 대응에서 지속적인 엔지니어링 활동으로 전환하여 더 큰 로봇 플릿, 더 풍부한 데이터, 더욱 지능적인 로봇 애플리케이션을 지원한다.

12.10 Future Robot Database Architecture Strategy

미래 로봇 데이터베이스 아키텍처(Future Robot Database Architecture)는 하나의 데이터베이스에 모든 데이터를 집중하는 설계에서 벗어나 각각의 스토리지 기술이 명확한 역할을 담당하는 분산 데이터 플랫폼(Distributed Data Platform)으로 발전해야 한다. 로봇 플릿은 트랜잭션 상태, 텔레메트리(Telemetry), 지도, 문서, 멀티모달 기록, 임베딩(Embedding), 지식 관계 데이터를 동시에 생성한다. 따라서 전략적 목표는 하나의 범용 데이터베이스를 선택하는 것이 아니라 일관된 식별자, 메타데이터, 인터페이스, 거버넌스를 통해 전문화된 데이터 저장소들을 조정하는 것이다.

아키텍처는 하드 실시간 로봇 제어(Hard Real-Time Robot Control)와 영속적 데이터 서비스(Persistent Data Service)를 분리해야 한다. 모션 제어, 비상 동작, 장애물 회피, 안전 핵심 반응은 백엔드 데이터베이스나 네트워크를 사용할 수 없는 상황에서도 로컬에서 실행할 수 있어야 한다. 엣지 데이터베이스(Edge Database)와 캐시는 임무, 설정, 지도, 임시 상태를 유지하고 중앙 인프라는 플릿 전체의 협조, 이력, 분석, 학습 데이터, 장기적인 지식을 관리할 수 있다.

다중 데이터 저장 전략(Polyglot Persistence Strategy)을 적용하면 데이터 모델을 워크로드 특성에 맞출 수 있다. 관계형 데이터베이스(Relational Database)는 임무, 자원, 설정, 트랜잭션 상태를 관리하고 시계열 데이터베이스(Time-Series Database)는 고주파 텔레메트리를 처리하며 문서 데이터베이스(Document Database)는 유연한 실행 이력을 저장할 수 있다. 공간 데이터베이스(Spatial Database)는 경로와 지리적 관계를 관리하고 벡터 데이터베이스(Vector Database), 그래프 데이터베이스(Graph Database), 데이터 레이크(Data Lake), 네트워크 결합 스토리지(NAS), 객체 스토리지(Object Storage)는 의미론적 검색, 지식 추론, 대규모 피지컬 AI 데이터셋을 지원한다.

PostgreSQL은 로봇 운영에서 구조화된 관계, 제약조건, 트랜잭션, 일관된 상태 전환이 자주 필요하기 때문에 중요한 트랜잭션 백본(Transactional Backbone)으로 유지될 수 있다. 확장 기능과 주변 서비스를 통해 필요한 경우 공간, 시계열, 벡터 기능을 추가할 수 있다. 그러나 통합이 편리하다는 이유만으로 모든 로봇 데이터 유형을 PostgreSQL에 저장하는 것은 피해야 한다. 데이터베이스 선택은 접근 패턴, 규모, 일관성, 지연시간, 데이터 수명주기 요구사항에 따라 결정해야 한다.

로봇 플릿에 더 많은 센서, 자율주행 모듈, AI 진단 기능이 통합되면서 로봇 텔레메트리는 지속적으로 증가할 것이다. 고주파 측정 데이터는 확장 가능한 데이터 수집 파이프라인(Ingestion Pipeline)을 통해 시간 중심 스토리지로 전달하고, 집계, 압축, 보존, 계층화(Tiering)를 통해 장기 비용을 제어해야 한다. 최근 텔레메트리는 운영 문제 분석에 최적화된 상태로 유지하고 오래된 측정값은 고비용 트랜잭션 인프라에 영구적으로 보관하지 않고 분석 또는 아카이브 스토리지로 이동할 수 있다.

멀티모달 피지컬 AI(Multimodal Physical AI) 데이터는 가장 큰 스토리지 영역 중 하나로 발전할 것이다. 카메라, 라이다(LiDAR), 오디오, 힘 센서, 로봇 상태, 행동, 작업 결과는 기존 업무 데이터보다 훨씬 큰 데이터셋을 생성한다. MCAP과 같은 형식은 동기화된 로봇 경험을 보존하고 S3 호환 객체 스토리지(S3-Compatible Object Storage) 또는 데이터 레이크 인프라는 확장 가능한 영속성을 제공할 수 있다. 메타데이터 카탈로그(Metadata Catalog)와 매니페스트(Manifest)는 이러한 대규모 데이터를 로봇, 임무, 환경, 모델, 데이터셋 버전과 연결해야 한다.

미래 로봇 데이터베이스는 운영 데이터(Operational Data)와 AI 학습 데이터(AI Training Data)의 관계를 점점 더 적극적으로 관리해야 한다. 오늘 실행된 임무가 이후 새로운 정책을 위한 학습 에피소드, 평가 사례, 실패 사례 또는 시연(Demonstration)이 될 수 있다. 따라서 데이터 아키텍처는 물리적 실행에서 전처리, 주석(Annotation), 데이터셋 릴리스, 모델 학습, 평가, 배포, 이후의 로봇 동작까지 이어지는 출처정보(Provenance)를 보존해야 한다. 이를 통해 폐쇄형 데이터-학습-운영 수명주기(Closed Data-Learning-Operation Lifecycle)를 구축할 수 있다.

로봇이 수백만 개의 이미지, 장면, 지도, 문서, 멀티모달 경험을 축적하면서 벡터 스토리지(Vector Storage)는 중요한 의미론적 접근 계층(Semantic Access Layer)이 될 것이다. 임베딩을 이용하면 이미지-장면 검색, 텍스트-장면 검색, 의미론적 지도 검색, 장애 유사도 검색, 학습 사례 검색을 구현할 수 있다. 벡터 데이터베이스는 권위 있는 원본 데이터를 대체하는 것이 아니라 그 위에 구축되는 인덱스로 동작해야 하며, 각 임베딩은 원본 데이터, 공간적 문맥, 타임스탬프, 로봇 식별자, 임베딩 모델 버전과 연결되어야 한다.

지식 그래프(Knowledge Graph)는 로봇, 구성요소, 역량, 작업, 위치, 장애, 데이터셋, 모델, 소프트웨어 사이의 명시적인 관계를 표현하는 또 다른 보완 계층을 제공한다. 벡터 검색(Vector Retrieval)은 통계적으로 유사한 경험을 발견하고 그래프 탐색(Graph Traversal)은 이들 사이의 구조화된 관계를 설명할 수 있다. 벡터 검색과 그래프 지식을 결합하면 미래 AI 시스템은 비정형 검색에만 의존하지 않고 의미론적으로 관련된 증거와 기계 판독형 문맥(Machine-Readable Context)을 함께 검색할 수 있다.

공간 정보(Spatial Information)는 독립된 매핑 기능이 아니라 데이터 아키텍처의 핵심 요소로 다루어져야 한다. 실내 지도, 실외 고정밀 지도(HD Map), 워크셀(Workcell), 경로, 랜드마크, 제한 구역, 충전 위치, 지리적 이벤트를 임무와 로봇 경험에 연결할 수 있다. 공간 데이터베이스는 권위 있는 기하정보를 보존하고 의미론적 데이터베이스, 벡터 데이터베이스, 운영 데이터베이스는 공통 위치 식별자를 참조함으로써 물리적 사건을 공간적 관점과 문맥적 관점에서 함께 분석할 수 있다.

데이터가 여러 데이터베이스 기술에 분산될수록 통합 식별 전략(Unified Identity Strategy)이 필수적이다. 로봇 ID, 임무 ID, 작업 ID, 지도 ID, 구성요소 ID, 데이터셋 ID, 모델 ID, 실행 ID는 시스템 전체에서 안정적으로 유지되어야 한다. 일관된 식별자가 없으면 다중 데이터 저장 아키텍처는 서로 연결되지 않은 데이터베이스의 집합으로 변한다. 공통 식별자를 사용하면 텔레메트리, 기록 데이터, 지식 그래프, 임베딩, 운영 레코드, AI 자산이 데이터 소유권을 중복시키지 않고 동일한 물리적 사건을 설명할 수 있다.

따라서 메타데이터(Metadata)는 아키텍처 제어 계층(Architectural Control Plane)으로 발전해야 한다. 메타데이터 카탈로그는 데이터가 어디에 존재하는지, 어떤 시스템이 권위 있는 원본인지, 어떻게 생성되었는지, 스키마와 버전은 무엇인지, 보존 정책과 보안 등급, 품질 상태, 데이터셋이나 모델과 어떤 관계를 갖는지를 설명할 수 있다. 애플리케이션은 하드코딩된 스토리지 경로에 의존하지 않고 메타데이터를 통해 자원을 발견함으로써 전체 로보틱스 플랫폼을 다시 작성하지 않고도 데이터를 이전하거나 새로운 데이터베이스 기술을 도입할 수 있다.

이벤트 기반 아키텍처(Event-Driven Architecture)는 로봇 서비스와 데이터베이스 사이의 강한 결합을 줄일 수 있다. 모든 서브시스템이 여러 데이터베이스를 직접 수정하는 대신 서비스는 임무 상태 전환, 로봇 상태, 장애, 유지보수 작업, 데이터셋 생성, 모델 배포 등을 설명하는 검증된 도메인 이벤트(Domain Event)를 발행할 수 있다. 즉각적인 트랜잭션 일관성이 필요하지 않은 경우 소비자는 전문화된 데이터 저장소를 비동기적으로 갱신할 수 있다. 이를 통해 권위 있는 상태의 명확한 소유권을 유지하면서 확장성을 높일 수 있다.

데이터 계약(Data Contract)은 이벤트 기반 통합과 함께 적용되어야 한다. 중요한 이벤트 또는 데이터베이스 인터페이스에는 식별자, 스키마, 타임스탬프, 단위, 좌표 프레임, 버전 규칙, 호환성 요구사항을 정의해야 한다. 로봇 시스템에서는 동일한 수치도 좌표 프레임, 단위, 보정 상태, 획득 시간에 따라 서로 다른 의미를 가질 수 있기 때문에 의미적 불일치에 특히 취약하다. 기계 판독형 스키마(Machine-Readable Schema)와 명시적인 버전 관리를 통해 소프트웨어와 하드웨어 세대가 발전하더라도 이러한 모호성을 줄일 수 있다.

엣지-클라우드 데이터 동기화(Edge-Cloud Data Synchronization)는 간헐적인 네트워크 연결을 허용하도록 설계해야 한다. 실외 로봇, 이동형 플랫폼, 원격 시설, 임시 배포 환경에서는 중앙 인프라에 지속적으로 연결할 수 있다고 가정할 수 없다. 엣지 노드는 운영 레코드, 텔레메트리, 센서 데이터를 버퍼링하고 네트워크 연결이 가능할 때 이를 동기화해야 한다. 연결이 끊어진 상태에서 생성된 데이터를 다시 통합할 때는 추가 전용 관측 데이터와 변경 가능한 공유 상태를 구분해야 하며 데이터 유형별로 서로 다른 조정 전략(Reconciliation Strategy)을 적용해야 한다.

미래 아키텍처는 접근 빈도와 운영 중요도에 따라 핫 데이터(Hot Data), 웜 데이터(Warm Data), 콜드 데이터(Cold Data)를 구분해야 한다. 활성 임무 상태와 최근 텔레메트리는 낮은 지연시간으로 접근해야 하고, 과거 운영 데이터는 상대적으로 저비용의 분석 스토리지를 사용할 수 있으며, 대규모 원시 데이터셋은 아카이브 계층으로 이동할 수 있다. 자동화된 수명주기 정책(Lifecycle Policy)을 사용하면 데이터가 계층 사이를 이동하더라도 메타데이터와 영구 식별자를 통해 실제 물리적 저장 위치와 관계없이 검색 가능성을 유지할 수 있다.

고가용성(High Availability)과 재해 복구(Disaster Recovery)는 각 데이터 서비스의 중요도에 따라 독립적으로 설계해야 한다. 트랜잭션 기반 플릿 상태는 빠른 장애조치와 엄격하게 관리되는 복구 목표가 필요할 수 있지만 보관된 학습 데이터는 즉각적인 접근보다 내구성과 복구 가능성을 우선할 수 있다. 따라서 복제(Replication), 백업, 특정 시점 복구(Point-in-Time Recovery), 지리적 중복성(Geographic Redundancy), 복원 시험은 각 로봇 데이터 유형을 손실했을 때 발생하는 운영 영향을 기준으로 선택해야 한다.

보안(Security)은 개별 데이터베이스 권한 관리에서 플랫폼 전체의 데이터 거버넌스(Data Governance)로 발전해야 한다. 로봇 식별자, 서비스, 운영자, 학습 시스템, AI 에이전트(AI Agent)는 각 역할에 필요한 데이터에만 접근할 수 있어야 한다. 인증, 암호화, 자격증명 순환(Credential Rotation), 네트워크 분리, 감사 로깅(Audit Logging), 객체 정책, 행 또는 열 수준 접근 제어를 스토리지 기술에 따라 적용할 수 있다. 출처정보 기록은 민감한 데이터가 언제 생성, 변환, 접근되었으며 AI 자산에 어떻게 포함되었는지도 추적할 수 있어야 한다.

관측성(Observability)은 분산 데이터 플랫폼 전체에 대한 통합된 관점을 제공해야 한다. 운영자는 데이터베이스 지연시간, 복제 지연, 데이터 수집 큐, 스토리지 용량, 객체 증가량, 벡터 인덱스 상태, 메타데이터 동기화, 백업 상태, 엣지 업로드 지연을 모니터링할 수 있어야 한다. 이러한 인프라 측정값을 임무 지연, 텔레메트리 누락, 검색 실패, 오래된 지도, 사용할 수 없는 AI 자원과 같은 로봇 수준 지표와 연계하여 기술적 문제가 실제 물리적 운영에 미치는 영향을 평가해야 한다.

데이터베이스 제품과 AI 인프라는 지속적으로 변화하기 때문에 개방형 인터페이스(Open Interface)는 전략적으로 중요하다. SQL, S3 호환 객체 API, 표준 직렬화 형식(Standard Serialization Format), 이식 가능한 기록 형식, 문서화된 REST 또는 gRPC 인터페이스, 내보낼 수 있는 메타데이터를 사용하면 하나의 공급업체에 대한 의존성을 줄일 수 있다. 목표는 전문화된 기술을 제거하는 것이 아니라 로봇 이력, 데이터셋 출처정보, 애플리케이션 상호운용성을 잃지 않고 개별 구성요소를 교체할 수 있도록 하는 것이다.

아키텍처는 간헐적인 대규모 교체 프로젝트보다 지속적인 마이그레이션(Continuous Migration)을 지원해야 한다. 새로운 데이터베이스는 초기에는 보조 인덱스, 분석 스토리지 또는 실험 서비스로 운영하면서 기존 권위 시스템을 유지할 수 있다. 이후 데이터를 검증하고 동기화하면서 신뢰도가 증가함에 따라 점진적으로 트래픽을 새로운 시스템으로 전환할 수 있다. 이러한 진화적 접근(Evolutionary Approach)은 위험을 줄이고 배포된 로봇 플릿을 불안정하게 만들지 않으면서 새로운 스토리지 기술을 도입할 수 있도록 한다.

AI 에이전트는 앞으로 로봇 데이터베이스의 중요한 소비자가 될 것이다. AI 에이전트는 텔레메트리를 검색하고, 유사한 장면을 찾으며, 유지보수 이력을 조사하고, 지식 그래프를 질의하며, 모델 버전을 비교하거나 엔지니어링 분석을 위한 증거를 수집할 수 있다. 이러한 에이전트는 운영 데이터베이스에 제한 없이 직접 접근하는 대신 관리되는 데이터 인터페이스(Governed Data Interface)를 사용해야 한다. 검색된 정보에는 원본 식별자, 타임스탬프, 신뢰도, 출처정보가 유지되어 생성된 추론을 권위 있는 로봇 기록까지 추적할 수 있어야 한다.

장기적인 아키텍처는 엣지 시스템, 운영 데이터베이스, 의미론적 인덱스, 지식 그래프, 객체 스토리지, AI 학습 인프라를 연결하는 로봇 데이터 패브릭(Robot Data Fabric)으로 볼 수 있다. 데이터 패브릭은 모든 데이터를 하나의 물리적 플랫폼에 저장할 필요가 없다. 대신 공통 식별자, 메타데이터, 이벤트, 보안 정책, 출처정보를 통해 분산된 데이터 저장소 사이에 논리적 연속성을 형성하고 물리적 경험에서 운영 지능과 머신러닝으로 데이터가 이동할 수 있도록 한다.

디지털 트윈(Digital Twin)과 월드 모델(World Model)은 과거 기록과 지속적으로 변화하는 물리 환경의 표현을 연결해야 할 필요성을 증가시킬 것이다. 데이터베이스 시스템은 권위 있는 상태, 기하정보, 관측값, 출처정보를 제공하고 학습된 모델은 동역학과 미래 결과를 추론할 수 있다. 피지컬 AI 시스템이 학습된 추정값을 검증된 운영 정보로 잘못 해석하지 않도록 측정된 사실, 파생 상태(Derived State), 시뮬레이션 결과, 모델 예측 사이의 경계를 명확하게 유지하는 것이 중요하다.

로봇 플릿의 규모와 이질성이 증가할수록 아키텍처 의사결정은 하나의 데이터베이스를 무한히 수직 확장하는 방식보다 역할 분리를 통한 확장성(Scalability through Separation)을 강조해야 한다. 트랜잭션 처리, 텔레메트리, 의미론적 검색, 공간 처리, 그래프 추론, 학습 데이터 스토리지는 각각의 워크로드에 따라 독립적으로 확장할 수 있다. 이를 통해 컴퓨팅, 메모리, 스토리지, 복제 자원을 실제 운영 가치를 제공하는 영역에 맞추어 배분할 수 있다.

최종적인 전략 원칙은 로봇 데이터베이스 아키텍처를 물리적 경험의 수명주기(Lifecycle of Physical Experience)를 중심으로 설계하는 것이다. 로봇은 환경을 인식하고 상태를 변화시키며 행동을 수행하고 결과를 생성하며, 이러한 과정에서 만들어진 새로운 데이터는 이후 다른 로봇이나 AI 모델을 개선하는 데 활용될 수 있다. 미래의 스토리지 시스템은 이러한 관계를 시간과 기술의 경계를 넘어 보존하여 분산 데이터베이스를 피지컬 AI를 위한 지속적인 기억 인프라(Persistent Memory Infrastructure)로 전환해야 한다.

성숙한 미래 아키텍처는 엣지 복원력(Edge Resilience), 다중 데이터 저장(Polyglot Persistence), 공간 및 시계열 데이터베이스, 객체 스토리지, 벡터 검색, 지식 그래프, 메타데이터 거버넌스, 출처정보, 고가용성, AI 통합을 결합한다. 그 결과는 하나의 미래형 로봇 데이터베이스가 아니라 운영 상태, 물리적 경험, 학습된 지능이 자율 로봇 시스템의 발전 과정 전체에서 지속적으로 연결되고, 검색 가능하며, 복구 가능하고, 재사용될 수 있도록 하는 통합 데이터 생태계(Coordinated Data Ecosystem)이다.


저자: Richard Minsoo Go

LinkedIn: Richard Minsoo Go

Top comments (0)