DEV Community

Richard Minsoo Go
Richard Minsoo Go

Posted on

Robot Database and Storage — Ch.10: Database Replication and HA [KR]

STATERA Library · Series 08 · Volume 08 · Chapter 10 · KR
Source: https://github.com/Statera-Library/08_Vol_08_Robot_Database_and_Storage/blob/main/Chapter_10_Database_Replication_and_HA/Chapter_10_Database_Replication_and_HA_KR.md

Volume 08 Robot Database and Storage

10. Database Replication and HA

10.01 DB HA Patterns: Active.Passive / Active.Active

데이터베이스 시스템에서 고가용성(High Availability, HA)은 서버, 저장장치(Storage Device), 네트워크(Network), 운영체제(Operating System), 데이터베이스 프로세스(Database Process) 등에 장애가 발생하더라도 데이터 서비스를 지속적으로 사용할 수 있도록 유지하는 아키텍처 원칙이다. 로보틱스(Robotics) 환경에서는 플릿 관리(Fleet Management), 임무 스케줄링(Mission Scheduling), 로봇 설정(Robot Configuration), 텔레메트리(Telemetry), 지도(Map), 운영 상태(Operational State) 등이 데이터베이스 서비스에 지속적으로 의존할 수 있으므로 이러한 요구가 특히 중요하다. 따라서 고가용성 설계는 하나의 강력한 데이터베이스 서버에 의존하는 대신 이중화(Redundancy), 복제(Replication), 장애 감지(Failure Detection), 트래픽 라우팅(Traffic Routing), 통제된 복구(Controlled Recovery)를 결합한다.

데이터베이스 고가용성은 일반적으로 액티브-패시브(Active-Passive)와 액티브-액티브(Active-Active) 패턴으로 설명된다. 두 방식 모두 하나 이상의 데이터베이스 인스턴스(Database Instance)를 유지하지만, 각 인스턴스가 워크로드(Workload)를 처리하는 방식에서 차이가 있다. 액티브-패시브 아키텍처는 일반적으로 하나의 데이터베이스 노드를 운영 프라이머리(Primary)로 지정하고 다른 노드는 동기화된 상태에서 인계를 준비한다. 액티브-액티브 아키텍처에서는 여러 노드나 사이트가 동시에 워크로드를 처리하므로 쓰기(Write), 복제, 일관성(Consistency), 충돌 해결(Conflict Resolution)을 조정하기 위한 추가 메커니즘이 필요하다.

액티브-패시브 아키텍처(Active-Passive Architecture)에서는 애플리케이션(Application)이 일반적인 데이터베이스 트래픽을 액티브 노드(Active Node)로 전송한다. 패시브 노드(Passive Node)는 복제된 데이터를 수신하지만 대기 노드(Standby)로 동작하는 동안에는 일반적으로 애플리케이션의 쓰기를 허용하지 않는다. 복제 방식은 내구성(Durability)과 지연시간(Latency) 요구사항에 따라 동기식(Synchronous), 비동기식(Asynchronous), 또는 두 방식의 조합을 사용할 수 있다. 액티브 노드에 장애가 발생하면 대기 노드를 승격(Promotion)하고 클라이언트 연결을 해당 노드로 전환하여 장애 서버가 즉시 복구되지 않더라도 데이터베이스 서비스를 재개할 수 있다.

액티브-패시브 설계의 주요 장점은 아키텍처의 명확성이다. 하나의 노드가 일반적으로 쓰기 가능한 데이터베이스 상태를 소유하므로 애플리케이션 개발자는 동시 쓰기 충돌(Concurrent Write Conflict)을 상대적으로 적게 처리하면서 기존의 트랜잭션(Transaction) 동작을 유지할 수 있다. 운영팀 역시 프라이머리 소유권(Primary Ownership), 복제 상태(Replication State), 장애조치(Failover)를 비교적 쉽게 관리할 수 있다. 반면 대기 자원은 인프라, 유지보수, 모니터링(Monitoring), 라이선스 비용을 소비하면서 정상 운영 중에는 제한적인 생산 능력만 제공할 수 있다는 단점이 있다.

장애조치(Failover)는 액티브-패시브 고가용성의 핵심 운영 과정이다. 모니터링 구성요소가 액티브 데이터베이스의 사용 불가능 상태나 비정상 상태를 감지하고, 승격이 안전한지 확인한 후 적절한 대기 노드를 선택하여 승격하고 데이터베이스 클라이언트를 새로운 노드로 전환한다. 이 과정에서는 실제 장애와 일시적인 네트워크 단절(Network Interruption)을 구별해야 한다. 잘못된 승격이 발생하면 두 노드가 모두 자신을 프라이머리라고 판단하는 위험한 스플릿 브레인(Split-Brain) 상태가 발생할 수 있다.

동기식 복제(Synchronous Replication)는 트랜잭션이 커밋(Commit)된 것으로 간주되기 전에 복제본(Replica)이 특정 변경사항을 확인하도록 요구함으로써 잠재적인 데이터 손실을 줄일 수 있다. 이는 노드 장애 상황에서 내구성을 강화하지만 트랜잭션 처리에 통신 지연을 추가한다. 비동기식 복제(Asynchronous Replication)는 프라이머리가 복제본의 응답을 기다리지 않고 커밋할 수 있어 일반적으로 응답시간을 개선하지만 복제 지연(Replication Lag)이 발생할 수 있다. 처리되지 않은 변경사항이 대기 노드에 도달하기 전에 프라이머리가 장애를 일으키면 최근 커밋된 트랜잭션을 승격 이후 사용할 수 없을 수도 있다.

액티브-액티브 아키텍처(Active-Active Architecture)는 둘 이상의 데이터베이스 노드, 클러스터(Cluster), 또는 지리적으로 분산된 사이트가 애플리케이션 워크로드를 동시에 처리할 수 있도록 함으로써 운영 모델을 변화시킨다. 하나의 환경을 주로 장애 복구용으로 대기시키는 대신 여러 인프라가 정상적인 서비스 처리 능력에 기여할 수 있다. 요청은 지리적 위치, 테넌트(Tenant), 로봇 플릿(Robot Fleet), 샤드(Shard), 애플리케이션 기능 등에 따라 분산될 수 있다. 하나의 활성 위치에 장애가 발생하면 이미 실제 워크로드를 처리하고 있던 다른 위치로 트래픽을 이동할 수 있다.

액티브-액티브 운영의 어려움은 주로 데이터 조정(Data Coordination)에 있다. 여러 노드가 동일한 논리적 정보를 수정할 수 있다면 복제를 통해 변경사항이 모든 노드에 전달되기 전에 동시 업데이트(Concurrent Update)가 발생할 수 있다. 따라서 데이터베이스 아키텍처는 소유권(Ownership), 합의(Consensus), 충돌 감지(Conflict Detection), 충돌 해결(Conflict Resolution), 또는 애플리케이션 수준의 조정(Application-Level Reconciliation) 방법을 정의해야 한다. 일부 설계에서는 특정 레코드(Record)나 파티션(Partition)의 쓰기 권한을 특정 노드에 할당하여 충돌을 방지하고, 분산 데이터베이스(Distributed Database)는 쿼럼(Quorum)이나 합의 메커니즘을 사용하여 여러 노드의 상태를 조정할 수 있다.

일관성 요구사항(Consistency Requirement)은 액티브-액티브가 항상 더 우수하다고 가정하기보다 복제 아키텍처를 결정하는 기준이 되어야 한다. 강한 일관성(Strong Consistency)을 요구하는 트랜잭션은 쓰기를 허용하기 전에 노드 사이의 조정이 필요할 수 있으며 네트워크 거리가 증가할수록 지연시간이 증가한다. 가용성과 낮은 로컬 지연시간을 우선하는 시스템은 일시적인 데이터 불일치(Divergence)를 허용하고 이후 다시 수렴하도록 설계할 수 있다. 로봇 시스템에서는 임무 소유권이나 안전 관련 설정은 엄격한 일관성을 요구하는 반면 일부 텔레메트리나 과거 관측 데이터는 지연된 동기화를 허용할 수 있다.

지리적 분산(Geographic Distribution)은 이러한 트레이드오프(Trade-Off)를 더욱 명확하게 보여준다. 여러 공장, 창고, 도시에서 운영되는 로봇 플릿은 각 운영 사이트 가까이에 데이터베이스를 배치함으로써 이점을 얻을 수 있다. 원격 리전(Region)에 접근할 수 없는 경우에도 로컬 애플리케이션은 가까운 서비스를 계속 이용할 수 있다. 그러나 리전 간 지연시간(Inter-Region Latency)과 네트워크 파티션(Network Partition) 때문에 모든 위치가 모든 트랜잭션을 거의 비용 없이 동기식으로 조정할 수 있다고 가정해서는 안 된다. 따라서 데이터 영역은 일관성, 지연시간, 복구 요구사항에 따라 분류되어야 한다.

고가용성은 백업(Backup) 및 재해복구(Disaster Recovery, DR)와도 구별되어야 한다. 복제는 현재 또는 거의 현재 상태의 데이터베이스 사본을 생성하지만 실수로 발생한 삭제, 손상된 레코드, 악의적인 변경사항까지 복제할 수 있다. 백업은 복구 가능한 과거 상태를 보존하는 반면 고가용성은 주로 서비스 연속성(Service Continuity)에 초점을 맞춘다. 따라서 견고한 로봇 데이터 플랫폼은 복제와 장애조치뿐 아니라 백업, 특정 시점 복구(Point-in-Time Recovery, PITR), 무결성 검증(Integrity Verification), 재해복구 절차를 함께 구성해야 한다.

복구 목표(Recovery Objective)는 이러한 아키텍처에 정량적인 요구사항을 제공한다. 복구 시간 목표(Recovery Time Objective, RTO)는 데이터베이스 서비스를 사용할 수 없는 상태가 얼마나 오래 지속될 수 있는지를 의미하며, 복구 시점 목표(Recovery Point Objective, RPO)는 어느 정도의 최근 데이터 손실을 허용할 수 있는지를 의미한다. 이러한 목표에 따라 수동 장애조치가 충분한지, 자동 승격이 필요한지, 몇 개의 복제본을 유지해야 하는지, 동기식 복제가 필요한지가 결정된다. 또한 고가용성 설계를 이전 장에서 다룬 백업 및 복구 개념과 직접 연결한다.

로봇 데이터베이스의 모든 데이터셋(Dataset)에 동일한 고가용성 요구사항을 적용해서는 안 된다. 플릿 스케줄러(Fleet Scheduler), 로봇 인증 데이터베이스(Robot Authorization Database), 임무 상태 저장소(Mission State Store), 운영 설정 서비스(Operational Configuration Service)는 서비스 중단으로 여러 로봇이 정지할 수 있으므로 빠른 복구가 필요할 수 있다. 반면 과거 로그나 대규모 센서 아카이브(Sensor Archive)는 더 긴 복구 시간을 허용할 수 있다. 이러한 서비스 등급을 분리하면 모든 데이터에 고비용의 동기식 이중화를 적용하지 않으면서 실제 로봇 운영에 직접 영향을 미치는 데이터베이스 기능을 보호할 수 있다.

클라이언트 연결성(Client Connectivity)도 중요한 계층이다. 애플리케이션이 계속 장애가 발생한 주소로 접속한다면 대기 노드를 승격하더라도 의미가 없다. 따라서 고가용성 시스템은 가상 엔드포인트(Virtual Endpoint), 프록시(Proxy), 서비스 디스커버리(Service Discovery), 클러스터 인식 드라이버(Cluster-Aware Driver), 로드 밸런서(Load Balancer), 오케스트레이터(Orchestrator) 등을 사용하여 애플리케이션을 정상적인 데이터베이스 인스턴스로 연결한다. 연결 풀(Connection Pool)도 손상된 세션을 인식하고 안전하게 재연결할 수 있어야 한다. 로봇 애플리케이션은 모든 연결이 영구적으로 유지된다고 가정하지 않고 일시적인 데이터베이스 장애를 처리할 수 있도록 설계해야 한다.

장애조치는 연결성뿐만 아니라 애플리케이션 의미론(Application Semantics)도 보존해야 한다. 연결이 끊어지기 직전에 트랜잭션이 데이터베이스에 도달했다면 클라이언트는 해당 작업이 실제로 커밋되었는지 알지 못할 수 있다. 이러한 요청을 무조건 반복하면 중복 임무 레코드, 명령, 이벤트가 생성될 수 있다. 멱등성 연산(Idempotent Operation), 트랜잭션 식별자(Transaction Identifier), 고유 제약조건(Unique Constraint), 재시도 정책(Retry Policy), 명시적인 상태 검증을 사용하면 애플리케이션을 안전하게 복구할 수 있다. 따라서 데이터베이스 고가용성은 단순한 인프라 설정 문제가 아니라 애플리케이션 아키텍처의 문제이기도 하다.

모니터링(Monitoring)은 고가용성 설계가 실제 운영 환경에서 신뢰성 있게 작동하는지를 결정한다. 운영자는 노드 상태(Node Health), 복제 지연, 트랜잭션 처리량(Transaction Throughput), 저장공간 용량, 연결 수, 오류율(Error Rate), 복제 상태, 장애조치 이벤트 등을 관찰해야 한다. 경고(Alerting)는 이중화 기능이 완전히 사라지기 전에 성능 저하를 감지해야 한다. 프라이머리 데이터베이스가 정상적으로 작동하더라도 유일한 복제본이 수시간 동안 연결되지 않았다면 서비스는 사용 가능하지만 다음 장애를 견딜 수 있는 이중화 능력은 이미 상실한 상태이다.

고가용성 테스트(HA Testing)는 의도적으로 장애 조건을 발생시켜야 한다. 데이터베이스 프로세스 종료, 서버 장애, 저장장치 오류, 네트워크 파티션, 복제 지연, 디스크 용량 고갈, 클러스터 구성원 간 통신 단절 등을 시험해야 한다. 테스트에서는 장애 감지 시간(Detection Time), 승격 시간(Promotion Time), 애플리케이션 재연결, 트랜잭션 동작, 복구 후 데이터 일관성을 측정해야 한다. 정기적인 장애 훈련(Failure Exercise)은 정상적인 모니터링으로 확인하기 어려운 가정을 발견하고 실제 인프라 장애가 발생했을 때 운영자가 예측 가능한 방식으로 대응하도록 준비시킨다.

로봇 플릿에서는 데이터베이스 가용성을 엣지 자율성(Edge Autonomy)과 함께 고려해야 한다. 중앙 데이터베이스 연결이 끊어졌다는 이유만으로 로봇이 즉시 안전하지 않은 상태가 되어서는 안 된다. 필수적인 로컬 제어(Local Control), 충돌 회피(Collision Avoidance), 단기 임무 수행(Short-Term Mission Execution)은 로봇이나 엣지 계층(Edge Layer)에 유지할 수 있으며 중앙 데이터베이스는 플릿 수준의 상태와 조정을 담당할 수 있다. 이러한 분리는 일시적인 데이터베이스 장애의 영향을 줄이고 고가용성 메커니즘이 중앙 서비스를 복원한 후 누적된 운영 정보를 다시 조정할 수 있도록 한다.

따라서 액티브-패시브와 액티브-액티브의 선택은 용어 자체가 아니라 워크로드 특성(Workload Characteristics)에 따라 결정되어야 한다. 액티브-패시브는 트랜잭션의 단순성, 결정적인 소유권(Deterministic Ownership), 명확한 장애조치를 우선하는 경우 적합할 수 있다. 액티브-액티브는 여러 위치에서 동시에 트래픽을 처리해야 하거나 지리적 지연시간이 중요하거나 장애 상황에서도 서비스 처리 능력을 분산된 상태로 유지해야 할 때 유용하다. 그러나 그 이점은 동기화, 일관성 관리, 라우팅, 충돌 처리, 운영 진단의 복잡성 증가와 함께 평가되어야 한다.

성숙한 아키텍처는 두 패턴을 결합할 수도 있다. 지역별 로봇 플랫폼은 주요 사이트 사이에서 액티브-액티브 서비스를 운영하면서 각 지역 데이터베이스 클러스터 내부에서는 액티브-패시브 또는 합의 기반 이중화(Consensus-Based Redundancy)를 사용할 수 있다. 또한 각 리전이 특정 로봇 플릿의 데이터를 소유하도록 데이터를 파티셔닝(Partitioning)하면서 일부 정보만 전역적으로 복제할 수도 있다. 이러한 계층적 설계는 데이터베이스 고가용성이 하나의 설정이 아니라 장애 도메인(Failure Domain), 복제 관계(Replication Relationship), 애플리케이션 책임(Application Responsibility)으로 구성된 계층적 구조임을 보여준다.

궁극적으로 데이터베이스 고가용성은 인프라 장애를 예외적인 사건이 아니라 예상된 운영 조건으로 취급할 때 달성된다. 이중화된 노드, 적절한 복제 방식, 신뢰할 수 있는 상태 감지, 통제된 장애조치, 안전한 클라이언트 재시도, 지속적인 모니터링, 반복적인 장애 테스트가 함께 작동해야 한다. 이러한 원칙은 본 장에서 이어지는 PostgreSQL, Patroni, MySQL/MariaDB, Redis, Elasticsearch, 지리적 분산 복제(Geo-Distributed Replication), 모니터링, 스플릿 브레인 대응(Split-Brain Response)을 이해하기 위한 개념적 기반을 제공한다.

10.02 PostgreSQL Streaming Replication Deep Dive [w/Code]

PostgreSQL 스트리밍 복제(Streaming Replication)는 프라이머리 데이터베이스 서버(Primary Database Server)에서 하나 이상의 대기 서버(Standby Server)로 쓰기 선행 로그(Write-Ahead Log, WAL) 레코드를 지속적으로 전송하는 물리적 복제(Physical Replication) 메커니즘이다. 개별 SQL 문장을 다시 실행하는 대신 대기 서버가 WAL에 기록된 저수준 변경사항을 적용하여 프라이머리 데이터베이스 클러스터와 바이너리 호환(Binary-Compatible)되는 복사본을 유지한다. 이 메커니즘은 PostgreSQL 고가용성(High Availability), 읽기 확장(Read Scaling), 재해복구(Disaster Recovery) 아키텍처의 핵심 기반을 형성한다.

쓰기 선행 로깅(Write-Ahead Logging)은 PostgreSQL 복제의 기반이다. 수정된 데이터베이스 페이지(Database Page)가 데이터 파일에 영구적으로 기록되기 전에 PostgreSQL은 해당 변경사항을 WAL에 기록한다. 이러한 순서는 장애 발생 후 로그를 이용하여 커밋된 변경사항을 복구할 수 있으므로 충돌 복구(Crash Recovery)를 지원한다. 스트리밍 복제는 동일한 원리를 서버 간으로 확장하여 WAL 레코드를 대기 시스템으로 전송하고, PostgreSQL이 이를 재생(Replay)하여 프라이머리 서버의 데이터베이스 상태를 재현하도록 한다.

프라이머리 서버는 트랜잭션(Transaction)이 데이터를 삽입(Insert), 갱신(Update), 삭제(Delete)하거나 데이터베이스 객체를 변경할 때 지속적으로 WAL을 생성한다. 프라이머리의 WAL 송신 프로세스(WAL Sender Process)는 연결된 각 대기 서버에서 실행되는 WAL 수신 프로세스(WAL Receiver Process)와 통신한다. 수신기는 PostgreSQL 복제 프로토콜(Replication Protocol)을 통해 WAL 레코드를 받아 로컬에 기록한다. 이후 대기 서버의 시작 프로세스(Startup Process)가 해당 레코드를 데이터베이스 파일에 재생하여 프라이머리의 현재 상태에 점진적으로 접근한다.

대기 서버는 일반적으로 프라이머리 데이터베이스 클러스터의 일관된 물리적 복사본(Physical Copy)에서 시작한다. pg_basebackup과 같은 PostgreSQL 도구를 사용하면 프라이머리가 운영되는 동안 초기 기본 백업(Base Backup)을 생성할 수 있다. 필요한 데이터베이스 파일과 복제 설정이 준비되면 대기 서버는 복구(Recovery)를 시작하고 프라이머리에 연결한다. 이후 스트리밍 복제가 기본 백업 이후 생성된 WAL을 전달함으로써 전체 데이터베이스를 반복해서 복사하지 않고도 대기 서버가 프라이머리 상태를 따라잡을 수 있다.

물리적 복제는 WAL이 이식 가능한 논리적 연산(Logical Operation)이 아니라 PostgreSQL 저장장치 수준(Storage Level)의 변경사항을 기술하기 때문에 프라이머리와 대기 서버 환경 사이의 호환성을 요구한다. 대기 서버는 임의의 테이블만 선택적으로 구독하는 것이 아니라 데이터베이스 클러스터 전체를 복제한다. 이는 논리적 데이터 변경을 기반으로 선택된 테이블을 복제할 수 있는 논리적 복제(Logical Replication)와 다르다. 따라서 스트리밍 복제는 완전한 대기 시스템을 유지하여 가용성과 복구 능력을 확보하려는 경우에 특히 적합하다.

PostgreSQL은 일반적인 저지연 운영 모델(Low-Latency Operating Model)로 비동기식 스트리밍 복제(Asynchronous Streaming Replication)를 지원한다. 이 구성에서는 프라이머리가 대기 서버에서 해당 WAL을 수신하거나 영구 저장했다는 확인을 기다리지 않고 트랜잭션이 커밋되었다고 응답할 수 있다. 따라서 애플리케이션 응답시간이 복제본과의 통신에 상대적으로 덜 의존한다. 그러나 일부 WAL이 전송 중인 상태에서 프라이머리에 장애가 발생하면 승격된 대기 서버에는 가장 최근에 커밋된 트랜잭션이 존재하지 않을 수 있다.

복제 지연(Replication Lag)은 프라이머리의 현재 WAL 위치와 대기 서버가 처리한 위치 사이의 차이를 의미한다. 제한된 네트워크 대역폭(Network Bandwidth), 저장장치 지연(Storage Latency), 높은 트랜잭션 처리량, 부족한 대기 서버 자원, 장시간의 복구 작업, 일시적인 연결 단절 등으로 인해 복제 지연이 발생할 수 있다. 기술적으로 연결되어 있더라도 프라이머리보다 크게 뒤처진 복제본은 예상보다 낮은 복구 능력을 제공할 수 있다. 따라서 스트리밍 복제를 운영 고가용성에 사용하는 경우 복제 진행 상태를 지속적으로 모니터링하는 것이 필수적이다.

동기식 복제(Synchronous Replication)는 설정된 동기화 정책에 따라 지정된 대기 시스템으로부터 확인 응답을 요구함으로써 커밋 경로(Commit Path)를 변경한다. 프라이머리의 트랜잭션은 설정에 따라 필요한 복제본이 관련 WAL을 수신(Receive), 기록(Write), 플러시(Flush), 또는 적용(Apply)할 때까지 기다릴 수 있다. 이를 통해 프라이머리 장애 시 이미 커밋된 트랜잭션이 손실될 위험을 크게 줄일 수 있지만 데이터베이스 지연시간이 네트워크 상태와 대기 서버 성능에 더 민감해진다.

동기식 복제와 비동기식 복제의 선택은 복구 시점 목표(Recovery Point Objective, RPO), 트랜잭션 중요도(Transaction Criticality), 네트워크 특성, 허용 가능한 애플리케이션 지연시간을 반영해야 한다. 로봇 플릿(Robot Fleet)의 임무 상태 데이터베이스(Mission-State Database)는 재구성 가능한 운영 통계 데이터베이스보다 강력한 내구성 보장(Durability Guarantee)이 필요할 수 있다. 반대로 지리적으로 멀리 떨어진 복제본을 모든 동기식 커밋 경로에 강제로 포함하면 트랜잭션 지연이 증가하고 원격 인프라 상태가 애플리케이션 성능에 직접 영향을 줄 수 있다.

PostgreSQL은 복제본 및 다른 복제 소비자(Replication Consumer)의 WAL 보존을 조정하기 위해 복제 슬롯(Replication Slot)을 제공한다. 물리적 복제 슬롯(Physical Replication Slot)은 대기 서버가 여전히 필요로 하는 WAL 위치를 기록하여 프라이머리가 필요한 WAL을 너무 일찍 제거하지 못하도록 한다. 이는 복제본의 연결이 일시적으로 끊어진 경우 복원력을 높인다. 그러나 비활성 슬롯(Inactive Slot)은 프라이머리에 WAL 파일이 계속 누적되게 하여 저장공간을 고갈시킬 수 있으므로 슬롯 상태와 보존된 WAL 용량을 지속적으로 모니터링해야 한다.

WAL 보존(WAL Retention)은 관련 설정과 WAL 아카이빙(WAL Archiving)을 통해서도 지원할 수 있다. 스트리밍 복제는 연결이 가능한 동안 WAL 레코드를 직접 전달하는 반면, 아카이브된 WAL은 과거 로그 세그먼트(Log Segment)를 가져올 수 있는 또 다른 경로를 제공한다. 따라서 대기 서버는 복원된 아카이브 파일과 스트리밍된 WAL을 함께 사용할 수 있다. 이러한 조합은 일시적인 스트리밍 중단이 발생하더라도 누락된 WAL이 아카이브에 남아 있다면 복제본을 다시 구축하지 않아도 되므로 복원력 있는 복구 아키텍처에 유용하다.

핫 스탠바이(Hot Standby) 기능을 사용하면 대기 서버가 WAL을 계속 재생하는 동안 읽기 전용 쿼리(Read-Only Query)를 실행할 수 있다. 이를 통해 모든 대기 서버 자원을 장애 복구 목적으로만 유지하지 않고 보고(Reporting), 모니터링, 분석(Analytics) 또는 기타 읽기 워크로드에 활용할 수 있다. 그러나 읽기 확장에서는 복제 지연을 고려해야 한다. 특히 비동기식 복제를 사용하는 경우 대기 서버에서 실행되는 쿼리가 프라이머리에서 실행되는 쿼리보다 오래된 데이터베이스 상태를 관찰할 수 있기 때문이다.

읽기 워크로드(Read Workload)는 WAL 재생과 상호작용할 수도 있다. 대기 서버에서 실행되는 장시간 쿼리는 수신되는 WAL이 복구 과정에서 제거하거나 변경해야 하는 이전 행 버전(Row Version)을 필요로 할 수 있다. 이 경우 PostgreSQL은 충돌을 해결해야 하며 설정과 워크로드 동작에 따라 WAL 재생을 지연시키거나 충돌하는 대기 서버 쿼리를 취소할 수 있다. 따라서 분석 워크로드에도 사용되는 고가용성 복제본은 보고 작업이 복제 최신성이나 복구 준비 상태를 저해하지 않도록 설계해야 한다.

프라이머리 데이터베이스를 사용할 수 없게 되면 충분히 최신 상태인 대기 서버를 승격(Promotion)하여 새로운 쓰기 가능한 프라이머리로 전환할 수 있다. 승격은 복구 모드(Recovery Mode)를 종료하고 정상적인 읽기-쓰기 트랜잭션(Read-Write Transaction)을 허용한다. 스트리밍 복제 자체는 이러한 전환에 필요한 복제된 데이터베이스 상태를 제공하지만 완전한 고가용성을 구현하려면 장애 감지(Failure Detection), 승격 정책(Promotion Policy), 클라이언트 전환(Client Redirection), 다중 프라이머리 방지 기능도 필요하다. 이러한 책임은 일반적으로 추가적인 오케스트레이션(Orchestration) 구성요소가 담당한다.

승격 이후 기존 프라이머리는 새로운 클러스터 이력(Cluster History)을 고려하지 않은 상태에서 단순히 쓰기 가능한 운영을 재개해서는 안 된다. 두 시스템이 독립적으로 쓰기를 허용하면 각각의 타임라인(Timeline)이 분기되어 스플릿 브레인(Split-Brain)이 발생할 수 있다. PostgreSQL은 승격 이후 복구 계보(Recovery Lineage)의 변화를 표현하기 위해 타임라인 이력(Timeline History)을 사용한다. 관리자 또는 고가용성 자동화 시스템은 기존 프라이머리를 격리하고 필요에 따라 복구, 되감기(Rewind), 또는 재구축한 후 복제 토폴로지(Replication Topology)에 다시 참여시켜야 한다.

pg_rewind는 기존 프라이머리가 새롭게 승격된 서버와 분기되었지만 다시 동기화할 수 있는 조건을 만족할 때 유용하다. 새로운 전체 기본 백업을 수행하는 대신 pg_rewind는 변경된 블록(Block)을 식별하여 기존 서버가 새로운 타임라인을 따르도록 조정한다. 이를 통해 대규모 데이터베이스 클러스터의 복구 시간과 네트워크 전송량을 줄일 수 있다. 다만 서버를 안전하게 대기 노드로 복귀시키기 전에 필요한 조건, WAL 가용성, 적절한 운영 절차가 충족되어야 한다.

계단식 복제(Cascading Replication)를 사용하면 하나의 대기 서버가 추가적인 하위 대기 서버(Downstream Standby)에 WAL을 제공할 수 있다. 모든 복제본이 프라이머리에 직접 연결하는 대신 중간 복제본이 복제 트래픽을 분산한다. 이러한 아키텍처는 프라이머리의 네트워크 및 WAL 송신기(WAL Sender) 부하를 줄일 수 있으며 사이트 또는 네트워크 경계를 넘어 복제할 때 유용하다. 반면 하위 복제본은 추가적인 복제 경로를 거치기 때문에 복제 지연이 증가하거나 상위 대기 서버에 장애가 발생하면 연결이 끊어질 수 있다.

로봇 및 피지컬 AI(Physical AI) 시스템에서 스트리밍 복제는 플릿 상태(Fleet State), 임무 기록(Mission Record), 로봇 설정, 사용자 인증(User Authorization), 유지보수 정보(Maintenance Information), 구조화된 텔레메트리 메타데이터(Structured Telemetry Metadata)를 포함하는 운영 데이터베이스를 보호할 수 있다. 로컬 대기 서버는 서버 장애 발생 시 빠른 복구를 제공할 수 있으며 추가적인 복제본은 읽기 집약적인 플릿 대시보드(Fleet Dashboard)나 원격 복구를 지원할 수 있다. 대규모 원시 센서 데이터, 영상, 포인트 클라우드(Point Cloud), 학습 아카이브(Training Archive)는 일반적으로 해당 데이터 유형에 적합한 별도의 저장 아키텍처에서 처리하는 것이 적절하다.

복제 상태(Replication Health)는 대기 서버 프로세스가 실행 중인지 여부만으로 판단하지 않고 PostgreSQL 통계와 운영 지표를 통해 모니터링해야 한다. 주요 관찰 대상에는 복제본 연결 상태, WAL 송신기 및 수신기 활동, WAL 위치, 재생 진행 상태, 복제 지연, 복제 슬롯 상태, 보존된 WAL 용량, 트랜잭션 지연시간, 저장공간 사용량, 대기 서버 복구 상태 등이 포함된다. 경고 임계값(Alert Threshold)은 각 데이터베이스 서비스에서 실제로 요구하는 RPO와 복구 시간 목표(Recovery Time Objective, RTO)를 반영해야 한다.

장애 테스트(Failure Testing)는 정상적으로 보이는 복제 토폴로지가 네트워크 파티션(Network Partition), 저장공간 고갈(Storage Exhaustion), 갑작스러운 서버 장애, 높은 트랜잭션 부하 등의 상황에서 다르게 동작할 수 있기 때문에 반드시 필요하다. 운영자는 복제본 따라잡기(Replica Catch-Up), WAL 보존, 승격, 클라이언트 재연결, 기존 프라이머리 격리, 장애 복제본 재구축 과정을 검증해야 한다. 또한 측정된 데이터 손실 구간과 복구 시간이 목표로 설정한 RPO 및 RTO 범위 안에 유지되는지도 확인해야 한다.

따라서 PostgreSQL 스트리밍 복제는 그 자체만으로 완전한 고가용성 솔루션이라기보다 지속적인 WAL 전송 및 재생 시스템(Continuous WAL Transport and Replay System)으로 이해해야 한다. 스트리밍 복제는 동기화된 대기 데이터베이스 상태를 제공하지만 실제 운영 가용성은 모니터링, 쿼럼(Quorum) 또는 리더 결정(Leader Decision), 자동 장애조치(Automated Failover), 서비스 디스커버리, 펜싱(Fencing), 복구를 담당하는 주변 메커니즘에 의존한다. 이러한 구분은 다음 절에서 Patroni가 PostgreSQL 복제 노드들을 자동화된 고가용성 클러스터(Automated High-Availability Cluster)로 조정하는 원리를 이해하기 위한 기반을 제공한다.

10.03 PostgreSQL Patroni HA Cluster: Auto Failover [w/Code]

Patroni는 PostgreSQL 클러스터를 관리하고 리더 선출(Leader Election), 복제 제어(Replication Control), 장애조치(Failover)를 자동화하도록 설계된 오픈소스 고가용성 오케스트레이션 프레임워크(Open-Source High-Availability Orchestration Framework)이다. PostgreSQL 스트리밍 복제(Streaming Replication)는 동기화된 데이터베이스 복사본을 제공하지만 복제 기능 자체는 장애 이후 어떤 서버가 프라이머리(Primary)가 되어야 하는지 결정하지 않는다. Patroni는 이러한 조정 계층(Coordination Layer)을 추가하여 여러 PostgreSQL 인스턴스를 노드 및 서비스 장애에 자동 대응할 수 있는 운영 고가용성 클러스터(HA Cluster)로 구성한다.

일반적인 Patroni 아키텍처는 Patroni 에이전트(Patroni Agent)가 실행되는 여러 PostgreSQL 노드와 분산 설정 저장소(Distributed Configuration Store) 또는 분산 합의 시스템(Distributed Consensus System)으로 구성된다. Patroni는 공유 상태(Shared State)를 통해 리더십(Leadership)을 조정하면서 PostgreSQL 상태와 클러스터 구성원을 지속적으로 관찰한다. 각 데이터베이스 서버가 자신이 프라이머리가 되어야 하는지를 독립적으로 판단하는 대신 클러스터는 조정된 리더 정보를 사용하여 하나의 권위 있는 쓰기 가능 PostgreSQL 인스턴스를 유지한다.

분산 합의(Distributed Consensus)는 서버나 네트워크 경로에 장애가 발생하더라도 장애조치 결정을 일관되게 유지해야 하므로 매우 중요하다. Patroni는 일반적으로 etcd, Consul, ZooKeeper와 같은 분산 시스템과 통합되며 아키텍처에 따라 지원되는 다른 대안을 사용할 수도 있다. 분산 조정 계층(Distributed Coordination Layer)은 클러스터 메타데이터(Cluster Metadata)와 리더 정보를 저장한다. Patroni 노드는 정의된 규칙에 따라 리더십을 획득하거나 갱신함으로써 현재 리더와 복제본(Replica)을 구분한다.

Patroni 리더(Leader)는 일반적으로 쓰기 가능한 PostgreSQL 프라이머리를 호스팅한다. 리더는 분산 설정 저장소에서 리더 잠금(Leader Lock) 또는 이에 해당하는 리더십 상태를 주기적으로 갱신한다. 노드가 정상 상태를 유지하고 이러한 리더십 정보를 계속 유지할 수 있는 동안 다른 Patroni 구성원은 복제본으로 동작한다. 리더를 사용할 수 없게 되거나 설정된 시간 조건 안에서 리더십 상태를 갱신할 수 없게 되면 나머지 구성원들이 리더 선출 및 장애조치 절차를 시작할 수 있다.

Patroni가 관리하는 PostgreSQL 복제본은 일반적으로 스트리밍 복제(Streaming Replication)를 사용하여 현재 프라이머리로부터 쓰기 선행 로그(Write-Ahead Log, WAL)를 수신한다. 따라서 Patroni는 PostgreSQL의 기본 복제 메커니즘을 대체하지 않고 이를 관리하고 조정한다. PostgreSQL은 WAL 생성, 전송, 재생(Replay)을 담당하고 Patroni는 노드 역할, 복제 설정, 승격(Promotion), 강등(Demotion), 토폴로지 변경(Topology Change)을 감독한다. 이러한 역할 구분은 데이터베이스 내구성(Durability)과 고가용성 오케스트레이션(HA Orchestration)의 경계를 이해하는 데 중요하다.

자동 장애조치(Automatic Failover)는 Patroni의 상태 확인 및 조정 로직에 따라 현재 리더를 사용할 수 없다고 판단할 때 시작된다. 승격 가능한 복제본은 후보 노드(Candidate Node)로 평가된다. 심각하게 지연된 복제본을 승격하면 데이터 손실이 증가할 수 있으므로 복제 상태가 중요하다. 적절한 복제본이 리더십을 획득하면 Patroni는 해당 PostgreSQL 인스턴스를 복구 모드(Recovery Mode)에서 쓰기 가능한 프라이머리로 승격하고 다른 구성원이 새로운 리더를 인식하고 따를 수 있도록 클러스터 상태를 갱신한다.

장애조치 시간(Failover Timing)은 신중하게 설정해야 한다. 제어 루프(Control Loop), 리더 잠금 수명(Leader Lock Lifetime), 재시도 동작(Retry Behavior), 장애조치 결정을 제어하는 Patroni 매개변수는 클러스터가 장애에 얼마나 빠르게 대응하는지를 결정한다. 공격적인 시간 설정은 서비스 중단 시간을 줄일 수 있지만 일시적인 네트워크 불안정이나 과부하된 인프라에 시스템이 더 민감해질 수 있다. 보수적인 설정은 불필요한 역할 변경을 줄일 수 있지만 복구 시간을 증가시킨다. 따라서 이러한 설정은 데이터베이스 서비스의 복구 시간 목표(Recovery Time Objective, RTO)에 맞춰야 한다.

복구 시점 목표(Recovery Point Objective, RPO)는 Patroni 자체보다는 PostgreSQL의 복제 방식에 크게 의존한다. 비동기식 복제(Asynchronous Replication)를 사용하는 경우 장애가 발생한 프라이머리가 이미 승인한 트랜잭션이 승격될 복제본에 아직 존재하지 않을 수 있다. Patroni는 승격을 자동화할 수 있지만 다른 서버에 도달하지 않은 WAL을 복원할 수는 없다. 동기식 복제(Synchronous Replication)는 선택된 복제본이 WAL 진행 상태를 확인한 이후 커밋(Commit)을 완료하도록 하여 이러한 위험을 줄일 수 있지만 추가적인 트랜잭션 지연과 가용성 측면의 고려가 필요하다.

따라서 후보 노드 선택(Candidate Selection)은 단순히 실행 중인 복제본 하나를 선택하는 문제가 아니다. 운영 고가용성 설계에서는 복제 지연(Replication Lag), 타임라인 상태(Timeline State), 노드 상태(Node Health), 토폴로지, 특정 구성원이 승격에 참여하도록 설계되었는지를 고려해야 한다. Patroni는 특정 노드가 특수한 역할을 수행하도록 구성원 동작을 제어하는 메커니즘을 제공한다. 예를 들어 원격 재해복구 복제본(Remote Disaster-Recovery Replica)이나 지연 복제본(Delayed Replica)은 복구에는 유용하지만 자동 장애조치 후보로는 적합하지 않을 수 있다.

스플릿 브레인 방지(Split-Brain Prevention)는 PostgreSQL 고가용성 아키텍처에서 가장 중요한 책임 중 하나이다. 두 데이터베이스 노드가 동시에 프라이머리로서 쓰기를 허용하면 각각의 데이터 이력이 분기될 수 있으며 자동화된 재조정이 어려워진다. Patroni는 조정된 리더십(Coordinated Leadership)을 사용하여 이러한 위험을 줄이지만 신뢰성 있는 운영은 적절한 네트워크 설계와 운영 통제에도 의존한다. 중요한 환경에서는 격리된 기존 프라이머리가 애플리케이션 쓰기를 계속 허용하지 못하도록 펜싱(Fencing) 메커니즘을 추가할 수 있다.

장애가 발생했던 기존 프라이머리가 복귀하더라도 다른 서버가 이미 현재 프라이머리로서 새로운 트랜잭션을 처리했을 수 있으므로 이전 역할을 자동으로 다시 가져올 수 없다. 기존 프라이머리의 데이터베이스 타임라인(Database Timeline)은 클러스터와 분기되어 있을 수 있다. Patroni는 재초기화(Reinitialization)를 조정하거나 적절한 경우 pg_rewind와 같은 PostgreSQL 복구 메커니즘을 사용할 수 있다. 복귀한 노드는 복제본으로 안전하게 클러스터에 다시 참여하기 전에 현재 리더와 동기화되어야 한다.

Patroni는 상태 확인(Health Check), 클러스터 검사(Cluster Inspection), 관리 작업(Administrative Operation)을 지원하는 REST API를 제공한다. 로드 밸런서(Load Balancer), 프록시(Proxy), 모니터링 플랫폼(Monitoring Platform), 서비스 디스커버리(Service Discovery) 메커니즘은 노드 상태 정보를 사용하여 현재 어떤 PostgreSQL 인스턴스가 프라이머리 역할을 수행하고 어떤 인스턴스가 복제본인지 판단할 수 있다. 이러한 인터페이스는 데이터베이스 역할 관리와 클라이언트 라우팅(Client Routing)을 분리하여 인프라 구성요소가 쓰기 트래픽은 리더로, 필요한 경우 읽기 트래픽은 복제본으로 전달할 수 있게 한다.

Patroni가 새롭게 승격된 프라이머리를 모든 애플리케이션 연결이 자동으로 따라가도록 만드는 것은 아니므로 클라이언트 라우팅은 별도의 아키텍처 문제로 남는다. 운영 환경에서는 일반적으로 PostgreSQL 앞에 라우팅 또는 프록시 계층(Routing or Proxy Layer)을 배치하거나 서비스 디스커버리를 애플리케이션 연결 로직과 통합한다. HAProxy와 같은 구성요소는 Patroni 상태 정보를 사용하여 쓰기 가능한 리더를 식별할 수 있다. 연결 풀(Connection Pool) 역시 장애가 발생한 세션을 제거하고 장애조치 이후 애플리케이션을 다시 연결해야 한다.

Patroni는 예기치 않은 자동 장애조치뿐 아니라 통제된 관리 작업도 지원한다. 계획된 전환(Switchover)은 정상적인 프라이머리에서 적합한 복제본으로 의도적으로 리더십을 이전하는 방식으로 유지보수, 운영체제 업데이트, 하드웨어 교체, 인프라 마이그레이션(Migration) 등에 유용하다. 긴급 장애조치와 달리 전환은 기존 프라이머리를 사용할 수 있는 상태에서 조정할 수 있으므로 관리자는 데이터베이스 리더십을 변경하기 전에 서비스 중단을 줄이고 복제본의 준비 상태를 확인할 수 있다.

클러스터 토폴로지(Cluster Topology)는 단순히 데이터베이스 서버의 수를 계산하는 것이 아니라 장애 도메인(Failure Domain)을 고려해야 한다. 동일한 물리적 호스트, 저장장치 시스템, 전원 도메인(Power Domain), 네트워크 스위치에 위치한 세 개의 노드는 인프라 장애에 대해 실질적인 복원력을 제공하지 못할 수 있다. PostgreSQL 및 Patroni 노드는 시스템이 견뎌야 하는 장애 유형에 따라 분산되어야 한다. 분산 합의(Distributed Consensus)의 손실은 클러스터가 안전하게 리더십을 변경하는 능력에 영향을 줄 수 있으므로 조정 서비스 역시 가용성을 유지해야 한다.

Patroni 클러스터 모니터링은 PostgreSQL 복제 상태와 오케스트레이션 상태를 모두 관찰해야 한다. 주요 정보에는 현재 리더, 구성원 가용성(Member Availability), 복제 지연, WAL 위치, 타임라인 변경, 리더 잠금 상태, 장애조치 이력, PostgreSQL 프로세스 상태, 저장공간 용량, 연결 부하(Connection Load), 분산 조정 서비스 상태 등이 포함된다. PostgreSQL만 모니터링하면 오케스트레이션 장애를 놓칠 수 있으며 Patroni만 모니터링하면 복제본을 승격에 부적합하게 만드는 데이터베이스 수준의 성능 저하를 발견하지 못할 수 있다.

운영 테스트(Operational Testing)는 현실적인 장애 시나리오를 의도적으로 재현해야 한다. 테스트에서는 PostgreSQL 종료, Patroni 중지, 네트워크에서 특정 노드 격리, 조정 서비스 중단, 복제 지연 발생, 호스트 장애 등을 수행할 수 있다. 엔지니어는 장애 감지 시간(Detection Time), 리더 선출, 승격 시간, 애플리케이션 재연결, 트랜잭션 동작, 복제본 복구 과정을 측정해야 한다. 목적은 단순히 장애조치가 발생한다는 것을 확인하는 것이 아니라 전체 데이터베이스 서비스가 목표로 설정한 RTO와 RPO 범위 안에서 복구되는지를 검증하는 것이다.

로봇 플릿 플랫폼(Robot Fleet Platform)에서 Patroni는 임무 할당(Mission Assignment), 로봇 상태(Robot Status), 설정(Configuration), 인증(Authorization), 유지보수 기록(Maintenance Record), 플릿 조정 정보(Fleet Coordination Information)를 포함하는 중앙 운영 데이터베이스를 보호할 수 있다. 활성 데이터베이스 서버에 장애가 발생하면 자동 승격을 통해 수동 데이터베이스 개입을 기다리지 않고 중앙 데이터 서비스를 복원할 수 있다. 그러나 충돌 회피(Collision Avoidance), 안전 제어(Safety Control), 단기 작업 수행(Short-Term Execution)이 지속적인 데이터베이스 가용성에 전적으로 의존하지 않도록 로봇 자체의 필수적인 로컬 자율성(Local Autonomy)을 유지해야 한다.

실제 로봇 배포에서는 PostgreSQL 및 Patroni 노드를 서로 독립적인 엣지(Edge) 또는 온프레미스(On-Premise) 서버에 배치하면서 저수준 로봇 제어(Low-Level Robot Control)를 고가용성 데이터베이스 경로에서 분리할 수 있다. 데이터베이스 클러스터는 지속적으로 보존해야 하는 플릿 수준 정보를 관리하고 로봇과 엣지 컨트롤러는 안전 필수 작업(Safety-Critical Operation)을 로컬에서 계속 수행한다. 데이터베이스 장애조치 이후 애플리케이션은 새로운 프라이머리에 다시 연결하고 운영 상태를 동기화함으로써 인프라 장애가 실제 로봇 동작에 미치는 영향을 제한할 수 있다.

보안(Security)은 전체 고가용성 제어 영역(HA Control Plane)을 포함해야 한다. PostgreSQL 인증(Authentication), 복제 자격 증명(Replication Credential), Patroni API 접근, 조정 서비스 권한(Coordination-Service Permission), 네트워크 분할(Network Segmentation), 암호화(Encryption), 비밀정보 관리(Secret Management)를 서로 연관된 통제로 다루어야 한다. 리더십 정보나 관리 API를 조작할 수 있는 공격자는 애플리케이션 테이블을 직접 수정하지 않고도 데이터베이스 가용성에 영향을 줄 수 있다. 따라서 고가용성 인프라는 데이터베이스 자체를 보호하는 수준에 상응하는 보안 통제가 필요하다.

궁극적으로 Patroni는 PostgreSQL 복제를 대체하는 시스템이 아니라 PostgreSQL 스트리밍 복제 주변에서 동작하는 오케스트레이션 계층(Orchestration Layer)으로 이해해야 한다. PostgreSQL은 WAL을 통해 복제 데이터를 유지하고 Patroni는 역할을 결정하며 리더십을 조정하고 승격을 자동화하며 클러스터 구성원을 관리한다. 여기에 분산 조정(Distributed Coordination), 클라이언트 라우팅, 모니터링, 펜싱, 백업(Backup), 검증된 복구 절차를 결합하면 로봇 및 피지컬 AI(Physical AI) 플랫폼을 위한 자동화된 PostgreSQL 고가용성의 기반을 구축할 수 있다.

10.04 MySQL / MariaDB Group Replication [w/Code]

MySQL 그룹 복제(Group Replication)는 데이터베이스 변경사항을 조정하고 장애 허용성(Fault Tolerance)을 제공하는 MySQL 서버 그룹을 유지하도록 설계된 분산 복제 기술(Distributed Replication Technology)이다. 전통적인 프라이머리-복제본(Primary-to-Replica) 복제 체인에만 의존하는 대신 구성원들이 복제 그룹(Replication Group)에 참여하고 그룹 통신 메커니즘(Group Communication Mechanism)을 통해 트랜잭션 정보를 교환한다. 이러한 아키텍처는 자동화된 구성원 관리(Membership Management), 장애 감지(Failure Detection), 트랜잭션 조정(Transaction Coordination), 고가용성 데이터베이스 서비스를 지원할 수 있다.

그룹 복제(Group Replication)는 MySQL 트랜잭션 처리와 참여 구성원 사이의 분산 합의(Distributed Agreement)를 결합하여 동작한다. 트랜잭션은 먼저 로컬에서 실행되지만 최종적으로 커밋(Commit)되기 전에 해당 쓰기 정보가 인증(Certification)을 위해 그룹에 배포된다. 구성원들은 동시에 실행된 트랜잭션이 서로 충돌하는지를 평가한다. 인증을 성공적으로 통과한 트랜잭션은 일관성 있게 적용될 수 있으며 충돌하는 트랜잭션은 거부되고 롤백(Rollback)될 수 있다.

인증 과정(Certification Process)은 단순한 비동기식 복제(Asynchronous Replication)와 구별되는 핵심 요소이다. 그룹 구성원은 트랜잭션이 영향을 준 행을 나타내는 트랜잭션 쓰기 집합(Transaction Write Set)을 검사하고 이를 이용하여 충돌하는 업데이트를 식별한다. 이 방식은 독립적인 쓰기 스트림을 제한 없이 재생하는 대신 여러 서버가 트랜잭션 순서를 조정할 수 있게 한다. 그러나 애플리케이션은 트랜잭션 인증이 실패할 수 있다는 점을 고려하고 적절한 재시도 동작(Retry Behavior)을 구현해야 한다.

MySQL 그룹 복제는 단일 프라이머리 모드(Single-Primary Mode) 또는 다중 프라이머리 모드(Multi-Primary Mode)로 운영할 수 있다. 단일 프라이머리 모드에서는 하나의 구성원을 쓰기 가능한 프라이머리로 지정하고 나머지 구성원은 일반적으로 읽기 전용 복제본(Read-Only Replica)으로 동작한다. 쓰기의 목적지가 명확하기 때문에 애플리케이션 동작을 단순화할 수 있다. 프라이머리가 그룹을 이탈하거나 장애를 일으키면 다른 적합한 구성원을 선택하여 새로운 프라이머리로 데이터베이스 서비스를 계속 제공할 수 있다.

다중 프라이머리 모드(Multi-Primary Mode)에서는 여러 구성원이 동시에 트랜잭션을 받아들일 수 있다. 이를 통해 쓰기 작업을 분산하고 모든 애플리케이션 쓰기가 하나의 서버를 대상으로 해야 하는 요구를 제거할 수 있다. 그러나 서로 중첩되는 데이터를 동시에 수정하면 인증 충돌(Certification Conflict)이 발생할 수 있다. 따라서 다중 프라이머리 배포에는 신중한 워크로드 설계, 트랜잭션 재시도 처리, 애플리케이션 수준의 인식, 여러 구성원에서 동일한 레코드를 반복적으로 수정하는 쓰기 패턴의 회피가 필요하다.

그룹 구성원(Group Membership)은 서버가 가입(Join), 이탈(Leave), 장애 발생 또는 복구됨에 따라 동적으로 관리된다. 구성원들은 그룹 통신 계층(Group Communication Layer)을 통해 정보를 교환하고 참여 노드에 대한 일관된 구성원 뷰(Membership View)를 유지한다. 장애 감지 기능을 통해 서버에 접근할 수 없게 되면 나머지 구성원들이 구성원 상태를 갱신할 수 있다. 이러한 그룹 중심 모델은 자동화된 고가용성 동작에 필요한 조정을 제공하지만 안정적인 네트워크 연결과 적절한 타임아웃(Timeout) 설정이 중요한 운영 요구사항으로 남는다.

쿼럼(Quorum)은 안전한 그룹 운영을 유지하는 데 필수적이다. 통신 장애로 클러스터가 분리되더라도 복제 그룹은 안전하게 작업을 계속하기 위해 구성원의 과반수(Majority)를 유지해야 한다. 예를 들어 세 개의 구성원으로 이루어진 배포는 일반적으로 하나의 구성원을 잃더라도 과반수를 유지할 수 있다. 네트워크 파티션(Network Partition)으로 과반수를 확보하지 못한 노드들은 독립적으로 정상적인 그룹 결정을 계속해서는 안 되며, 이를 통해 데이터베이스 이력이 서로 분기되는 위험을 줄일 수 있다.

홀수 개의 그룹(Odd-Sized Group)은 불필요한 투표 모호성 없이 명확한 과반수 결정을 제공하므로 일반적으로 유용하다. 세 개의 구성원은 하나의 구성원 장애를 허용하면서 과반수 가용성을 유지하기 위한 실용적인 최소 구성이며, 더 큰 그룹은 토폴로지(Topology)에 따라 추가적인 장애를 허용할 수 있다. 그러나 단순히 구성원을 추가한다고 성능이 자동으로 향상되는 것은 아니다. 각 구성원이 통신, 인증, 복제, 상태 유지에 참여하므로 조정 오버헤드(Coordination Overhead)가 증가하기 때문이다.

MySQL 그룹 복제는 공유 저장장치(Shared Storage)가 아니라 복제된 트랜잭션 정보에 의존한다. 각 참여 서버는 자체 데이터베이스 복사본과 로컬 저장장치 시스템을 유지한다. 이는 하나의 공유 데이터베이스 디스크가 기본적인 복제 의존점이 되는 것을 제거하지만 일관성은 각 구성원이 복제된 트랜잭션을 정확하게 수신하고 적용하는 것에도 의존한다. 따라서 저장장치 지연(Storage Latency), CPU 부하, 네트워크 지연(Network Delay), 트랜잭션 처리량이 복제 성능과 구성원 상태에 영향을 줄 수 있다.

새롭게 참여하거나 복구되는 구성원은 그룹과 일관된 상태가 되기 위해 필요한 데이터베이스 상태를 확보해야 한다. MySQL은 복구 메커니즘(Recovery Mechanism)을 이용하여 구성원이 사용할 수 없었던 동안 누락된 트랜잭션을 전달할 수 있으며, 차이가 지나치게 크거나 필요한 이력을 사용할 수 없는 경우 적절한 프로비저닝(Provisioning)이 필요할 수 있다. 서버가 토폴로지에 표시된다고 해서 시작 직후 즉시 운영 트래픽을 처리할 준비가 완료된 것은 아니므로 관리자는 복구 진행 상태를 모니터링해야 한다.

바이너리 로깅(Binary Logging)은 복제 아키텍처에서 여전히 중요한 역할을 수행한다. 그룹 복제는 변경사항을 식별하고 일관성 있게 복제할 수 있도록 하는 트랜잭션 메타데이터(Transaction Metadata)와 설정에 의존한다. 서버 식별자(Server Identifier), 글로벌 트랜잭션 식별자(Global Transaction Identifier), 행 기반 로깅(Row-Based Logging), 기타 복제 관련 설정이 올바르게 구성되어야 한다. 구성원 사이의 설정이 일치하지 않으면 노드가 그룹에 참여하지 못하거나 의도한 고가용성 설계와 다른 운영 동작이 발생할 수 있다.

글로벌 트랜잭션 식별자(Global Transaction Identifier, GTID)는 복제되는 트랜잭션에 고유한 식별자를 부여하고 서버가 이미 실행한 트랜잭션을 추적할 수 있도록 한다. 이는 구성원이 그룹을 이탈한 후 다시 참여할 때 복제 복구가 누락된 트랜잭션 이력을 판단하는 데 유용하다. GTID 기반 추적은 특히 장애조치 과정에서 데이터베이스 역할이 변경될 때 바이너리 로그 파일 이름과 위치에만 의존하는 방식보다 여러 운영 작업을 단순화할 수 있다.

MySQL InnoDB Cluster는 그룹 복제를 중심으로 보다 포괄적인 고가용성 솔루션을 구성한다. 그룹 복제는 분산 데이터베이스 구성원 관리와 트랜잭션 복제를 제공하고 MySQL Router는 애플리케이션 연결을 적절한 클러스터 구성원으로 전달할 수 있다. MySQL Shell은 관리 및 클러스터 관리 기능을 제공한다. 이러한 구성요소를 결합하면 복제, 토폴로지 관리, 라우팅(Routing), 관리 자동화가 독립적으로 구성되는 대신 서로 협력하는 통합 아키텍처를 구축할 수 있다.

MySQL Router는 쓰기 가능한 구성원이 변경될 때 특히 중요하다. 장애조치가 발생할 때마다 애플리케이션이 데이터베이스 주소를 수동으로 변경하도록 해서는 안 된다. 라우팅 계층(Routing Layer)은 클러스터 토폴로지 정보를 유지하고 읽기-쓰기 연결(Read-Write Connection)을 적절한 프라이머리로 전달하는 동시에 필요한 경우 읽기 전용 트래픽을 복제본으로 전달할 수 있다. 역할 변경 과정에서 기존 애플리케이션 연결은 여전히 실패할 수 있으므로 연결 풀(Connection Pool)과 애플리케이션에는 재연결 및 재시도 로직이 필요하다.

MariaDB는 관련된 고가용성 방식을 제공하지만 그 복제 아키텍처가 MySQL 그룹 복제와 동일하다고 가정해서는 안 된다. MariaDB 배포에서는 전통적인 복제 방식과 함께 사실상 동기식 다중 프라이머리 클러스터링(Virtually Synchronous Multi-Primary Clustering)을 위한 Galera Cluster와 같은 기술을 일반적으로 사용할 수 있다. 두 생태계 모두 데이터베이스 이중화와 가용성을 다루지만 프로토콜, 설정, 트랜잭션 동작, 장애 처리, 운영 도구가 서로 다르므로 독립적으로 평가해야 한다.

Galera 기반 MariaDB 클러스터링은 인증 기반 메커니즘(Certification-Based Mechanism)을 사용하여 동시 쓰기를 조정하면서 클러스터 노드 전체에 트랜잭션 변경사항을 복제한다. 여러 노드가 애플리케이션 트래픽을 받을 수 있지만 이것이 충돌하는 쓰기의 조정 비용이 사라진다는 의미는 아니다. 동일한 레코드에 대해 빈번한 동시 업데이트가 발생하는 워크로드에서는 인증 충돌이나 롤백이 발생할 수 있으므로 안정적인 다중 프라이머리 운영을 위해 애플리케이션 트랜잭션 설계와 재시도 동작이 중요하다.

네트워크 지연시간(Network Latency)은 느슨하게 결합된 비동기식 복제본보다 조정형 복제(Coordinated Replication)에 더 큰 아키텍처적 영향을 미친다. 구성원 간 통신이나 인증이 필요한 트랜잭션은 통신 지연과 클러스터 상태의 영향을 받는다. 따라서 노드는 현실적인 지연시간과 장애 도메인(Failure Domain) 요구사항을 기준으로 배치해야 한다. 독립적인 인프라에 복제본을 분산하면 복원력을 향상시킬 수 있지만 지나치게 먼 지리적 거리는 트랜잭션 성능과 복구 동작에 직접적인 영향을 줄 수 있다.

데이터베이스 일관성(Database Consistency)은 가용성 요구사항과 함께 고려해야 한다. 로봇 플릿 데이터베이스에는 임무 소유권(Mission Ownership), 설정, 인증, 유지보수 상태(Maintenance State), 스케줄링 정보처럼 충돌하는 동시 업데이트가 바람직하지 않은 데이터가 포함될 수 있다. 따라서 많은 트랜잭션 워크로드에서는 단일 프라이머리 운영이 보다 단순한 운영 모델을 제공할 수 있다. 다중 프라이머리 운영은 데이터 모델과 워크로드가 충돌하는 쓰기를 최소화하도록 의도적으로 설계된 경우에 적합할 수 있다.

로봇 시스템에서는 데이터베이스 고가용성과 실시간 로봇 안전(Real-Time Robot Safety)을 분리해야 한다. MySQL 또는 MariaDB 클러스터는 플릿 수준 운영 상태, 비즈니스 기록, 사용자 정보, 유지보수 이력, 임무 메타데이터를 유지할 수 있지만 저수준 모션 제어(Low-Level Motion Control)와 충돌 회피(Collision Avoidance)가 중앙 데이터베이스에 대한 지속적인 접근을 요구해서는 안 된다. 엣지 컨트롤러(Edge Controller)와 로봇은 데이터베이스 클러스터가 장애를 감지하고 구성원을 변경하며 중앙 서비스를 복구하는 동안 필수적인 로컬 운영을 유지할 수 있다.

모니터링(Monitoring)은 데이터베이스 성능과 분산 클러스터 상태를 모두 포함해야 한다. 중요한 관찰 대상에는 구성원 역할(Member Role), 그룹 구성 상태, 트랜잭션 처리량, 인증 충돌, 복제 큐(Replication Queue), 복구 진행 상태, 연결 오류, 저장공간 사용률, CPU 부하, 네트워크 지연, 장애 구성원 등이 포함된다. 하나의 구성원이 지속적으로 뒤처지거나 반복적으로 그룹에서 이탈하고 다시 참여하더라도 클러스터 자체는 정상처럼 보일 수 있으므로 고가용성 모니터링은 데이터베이스 엔드포인트의 응답 여부뿐 아니라 이중화 품질(Redundancy Quality)까지 평가해야 한다.

장애 테스트(Failure Testing)는 구성원 손실, 프라이머리 장애, 네트워크 파티션, 라우팅 변경, 노드 복구, 토폴로지 전환 과정의 트랜잭션 동작을 검증해야 한다. 엔지니어는 장애 감지, 선출 또는 역할 변경 시간, 애플리케이션 재연결, 트랜잭션 롤백, 복구 이후 데이터 일관성을 측정해야 한다. 또한 남아 있는 그룹이 쿼럼을 유지하는지, 격리된 노드가 독립적인 쓰기 가능 데이터베이스 서비스로 계속 동작하지 않고 안전하게 처리되는지도 검증해야 한다.

운영 로보틱스 플랫폼(Production Robotics Platform)에 적합한 아키텍처는 워크로드, 일관성 요구사항, 지연시간, 운영 복잡성에 따라 결정된다. 단일 프라이머리 방식의 MySQL 그룹 복제는 비교적 명확한 쓰기 모델을 유지하면서 조정된 이중화를 제공한다. 다중 프라이머리 설계는 더 높은 쓰기 분산 능력을 제공하지만 충돌 관리 비용이 증가한다. MariaDB 클러스터링은 서로 다른 구현 특성을 가진 관련 대안을 제공하며 두 방식 모두 모니터링, 라우팅, 백업(Backup), 복구 테스트, 애플리케이션 인식형 재시도 메커니즘(Application-Aware Retry Mechanism)이 필요하다.

따라서 그룹 복제(Group Replication)는 단순히 데이터베이스 서버 사이에서 데이터를 복사하는 기술 이상으로 이해해야 한다. 그룹 복제는 복제와 구성원 관리, 트랜잭션 인증, 분산 조정, 장애 처리를 결합하여 여러 노드에서 일관된 데이터베이스 서비스를 유지한다. 적절한 쿼럼 설계, 라우팅, 모니터링, 백업, 검증된 복구 절차와 통합하면 MySQL 또는 MariaDB 클러스터링은 로봇 플릿 및 피지컬 AI(Physical AI) 서비스를 위한 복원력 있는 데이터베이스 기반을 제공할 수 있다.

10.05 Redis Sentinel Cluster Auto Failover [w/Code]

Redis Sentinel은 프라이머리(Primary) 및 복제본(Replica) 인스턴스를 모니터링하고, 장애를 감지하며, 자동 장애조치(Auto Failover)를 조정하고, 현재 프라이머리에 대한 정보를 클라이언트(Client)에 제공하는 Redis 고가용성(High Availability) 메커니즘이다. Redis Cluster의 샤딩(Sharding)을 도입하지 않고도 서비스 연속성이 필요한 복제형 Redis 환경을 위해 설계되었다. 따라서 Sentinel은 가용성과 역할 관리(Role Management)에 집중하며, Redis 복제(Replication)는 프라이머리 데이터셋의 복사본을 여러 복제 노드에 유지하는 역할을 계속 수행한다.

일반적인 Sentinel 배포는 하나의 Redis 프라이머리, 하나 이상의 Redis 복제본, 그리고 여러 개의 독립적인 Sentinel 프로세스로 구성된다. 프라이머리는 일반적인 쓰기 작업(Write Operation)을 처리하고 Redis 복제를 통해 변경사항을 복제본으로 전달한다. Sentinel 프로세스는 이러한 Redis 인스턴스를 지속적으로 관찰하면서 서로 통신한다. 모니터링과 장애조치 조정을 데이터 노드(Data Node)에서 분리함으로써 Sentinel은 프라이머리를 실제로 사용할 수 없는지에 대해 집단적인 판단을 수행할 수 있다.

Redis 복제는 일반적으로 비동기식(Asynchronous)으로 동작하므로 프라이머리는 복제본이 데이터를 수신했다고 확인하기 전에 쓰기 작업을 승인할 수 있다. 이러한 설계는 낮은 쓰기 지연시간(Write Latency)과 높은 처리량(Throughput)을 제공하지만, 프라이머리의 최신 변경사항이 복제본에 도달하기 전에 장애가 발생하면 최근 승인된 데이터가 손실될 수 있다는 의미이기도 하다. Sentinel은 프라이머리 장애로부터의 복구를 자동화할 수 있지만 내구성(Durability)은 복제 진행 상태에 의존하므로 자동 장애조치 자체가 데이터 무손실을 보장하지는 않는다.

Sentinel은 모니터링 대상 Redis 서버에 지속적으로 상태 확인(Health Check)을 수행하고 다른 Sentinel 인스턴스와 정보를 교환한다. 하나의 Sentinel이 관찰한 일시적인 연결 장애가 즉시 전체 클러스터의 역할 변경을 발생시켜서는 안 된다. 따라서 Sentinel은 개별 관찰자의 장애 판단과 여러 Sentinel이 공동으로 확인한 장애를 구분한다. 이를 통해 짧은 네트워크 장애나 프로세스 이상으로 인해 불필요하게 복제본을 승격하고 데이터베이스 토폴로지(Database Topology)를 변경하는 상황을 줄일 수 있다.

주관적 다운(Subjectively Down), 일반적으로 SDOWN이라고 하는 상태는 하나의 Sentinel이 설정된 타임아웃(Timeout) 안에 모니터링 대상 인스턴스로부터 응답을 받지 못했다고 판단할 때 발생한다. 프라이머리의 경우 이러한 개별적인 판단만으로는 자동 장애조치를 시작하기에 충분하지 않다. Sentinel은 다른 Sentinel과 통신하여 충분한 수의 관찰자 역시 프라이머리를 사용할 수 없다고 판단하는지 확인한다. 필요한 쿼럼(Quorum)이 이에 동의하면 프라이머리는 객관적 다운(Objectively Down), 즉 ODOWN 상태로 분류될 수 있다.

따라서 쿼럼은 Sentinel 장애 감지 모델(Failure-Detection Model)의 핵심이다. 쿼럼은 객관적인 장애 상태가 확정되기 전에 몇 개의 Sentinel 프로세스가 프라이머리를 사용할 수 없다고 동의해야 하는지를 지정한다. 그러나 쿼럼을 장애조치를 승인하기 위한 모든 조건과 동일하게 이해해서는 안 된다. Sentinel은 사용 가능한 Sentinel 사이에서 리더 선출(Leader Election) 로직도 사용하기 때문이다. 안정적인 배포를 위해서는 개별 모니터링 프로세스나 네트워크 경로에 장애가 발생해도 신뢰할 수 있는 결정을 내릴 수 있도록 충분한 수의 독립적인 Sentinel이 필요하다.

세 개의 Sentinel 프로세스를 배포하는 방식은 적절한 조건에서 하나의 Sentinel 손실을 허용하면서 과반수 기반 조정(Majority-Based Coordination)을 수행할 수 있기 때문에 일반적으로 사용되는 아키텍처이다. 이러한 프로세스는 하나의 시스템에 함께 배치하기보다 독립적인 호스트(Host)나 장애 도메인(Failure Domain)에 분산하는 것이 바람직하다. 하나의 호스트에서 여러 Sentinel을 실행하면 프로세스 수준의 이중화는 증가하지만 해당 호스트, 전원, 운영체제 또는 네트워크 경로에 장애가 발생할 경우 실질적인 보호 효과는 제한적이다.

프라이머리를 사용할 수 없다는 것이 확인되면 Sentinel 프로세스는 어떤 Sentinel이 장애조치 작업을 주도할 것인지 결정하기 위해 서로 조정한다. 선출된 Sentinel은 사용 가능한 복제본을 평가하고 승격(Promotion)에 적합한 후보를 선택한다. 후보 선택은 단순히 접근 가능한 노드를 임의로 고르는 것이 아니라 복제 관련 정보와 복제본의 적합성을 고려한다. 선택된 복제본은 새로운 쓰기 가능 프라이머리(New Writable Primary)가 되도록 승격된다.

승격 이후 장애조치 과정에서는 남아 있는 복제 토폴로지를 다시 구성해야 한다. 다른 복제본은 장애가 발생한 서버가 아니라 새로운 프라이머리를 복제하도록 변경된다. 이전 프라이머리가 이후 다시 복구되면 Sentinel은 해당 서버가 기존의 쓰기 가능한 역할을 자동으로 재개하도록 두는 대신 현재 프라이머리를 따르는 복제본으로 재구성할 수 있다. 이러한 동작을 통해 서버 장애 이후 일관된 프라이머리-복제본 토폴로지를 다시 구축할 수 있다.

복제본 최신성(Replica Freshness)은 중요한 요소이다. 일반적으로 가장 유용한 장애조치 후보는 프라이머리의 최근 복제 스트림(Replication Stream)을 가능한 많이 수신한 복제본이다. 장시간 연결이 끊어져 있었던 복제본은 정상적으로 실행 중이더라도 오래된 데이터를 가지고 있을 수 있다. 따라서 Sentinel의 장애조치 과정에서는 후보를 평가할 때 복제 상태와 설정 정보를 고려해야 하며 운영 모니터링에서도 긴급 상황이 발생하기 전에 복제본 연결 상태와 복제 지연(Replication Delay)을 추적해야 한다.

Sentinel은 복제본이 승격 대상으로 고려되어야 하는지와 후보 우선순위에 영향을 주는 복제본 우선순위(Replica Priority) 설정을 지원한다. 이를 통해 관리자는 인프라 설계를 장애조치 정책(Failover Policy)에 반영할 수 있다. 예를 들어 충분한 성능을 가진 로컬 복제본을 원격 복구 노드보다 우선하도록 설정할 수 있다. 또한 특정 복제본의 역할이나 위치가 승격에 적합하지 않다면 복제 용도로는 유지하면서 자동 승격 후보에서는 제외하도록 구성할 수 있다.

클라이언트 탐색(Client Discovery) 역시 Sentinel의 중요한 기능이다. 자동 장애조치로 쓰기 가능한 역할이 다른 서버로 이동할 수 있으므로 애플리케이션은 하나의 고정된 Redis 주소가 항상 프라이머리를 나타낸다고 가정해서는 안 된다. Sentinel 인식 클라이언트(Sentinel-Aware Client)는 Sentinel에 질의하여 현재 프라이머리의 주소를 확인할 수 있다. 장애조치 이후 클라이언트는 갱신된 토폴로지를 이용해 다시 연결함으로써 모든 애플리케이션 설정을 수동으로 변경하지 않고 Redis 서비스를 계속 이용할 수 있다.

Sentinel이 다른 복제본을 승격한다고 해서 기존 클라이언트 연결이 서버 장애를 자동으로 통과하여 유지되는 것은 아니다. 애플리케이션과 연결 풀(Connection Pool)은 끊어진 연결을 인식하고 현재 프라이머리를 다시 탐색한 뒤 재연결하고 필요한 경우 안전하게 작업을 재시도해야 한다. 재시도 동작은 연결이 끊어지기 전에 해당 작업이 이미 실행되었을 가능성도 고려해야 한다. 따라서 고가용성은 Sentinel, Redis 복제, 클라이언트 라이브러리(Client Library), 애플리케이션 로직이 함께 동작해야 달성할 수 있다.

Sentinel 자체는 데이터 샤딩(Data Sharding)을 제공하지 않는다. Redis Sentinel과 Redis Cluster가 서로 다른 아키텍처 문제를 해결한다는 점에서 이러한 구분은 중요하다. Sentinel은 프라이머리-복제본 배포의 고가용성을 관리하는 반면 Redis Cluster는 키 공간(Keyspace)을 여러 프라이머리에 분할하고 샤딩된 토폴로지 내부에서 복제와 장애조치를 제공할 수 있다. 따라서 두 방식의 선택은 하나의 논리적 데이터셋에 대한 가용성이 주요 요구사항인지, 데이터와 처리량의 수평적 분산(Horizontal Distribution)이 필요한지에 따라 달라진다.

영속성 설정(Persistence Configuration) 역시 Sentinel 장애조치와는 독립적인 영역이다. Redis는 내구성과 복구 요구사항에 따라 Redis 데이터베이스 파일(Redis Database File, RDB), 추가 전용 파일(Append Only File, AOF), 또는 두 영속성 메커니즘의 조합을 사용할 수 있다. Sentinel은 이러한 메커니즘을 대체하지 않으며 백업 시스템으로 간주해서도 안 된다. 복제는 원하지 않는 변경이나 삭제까지 복제본 전체로 전달할 수 있으므로 과거 상태 복구가 필요하다면 영속성 및 독립적인 백업(Backup)이 여전히 필요하다.

네트워크 파티션(Network Partition)은 고가용성에서 가장 어려운 시나리오 중 하나이다. 프라이머리가 계속 실행되고 있더라도 충분한 수의 Sentinel에서 접근할 수 없게 되면 다른 위치에서 장애조치가 발생할 수 있다. 이때 클라이언트가 격리된 기존 프라이머리에 계속 접근할 수 있다면 다른 복제본이 새로운 프라이머리로 승격되는 동안 기존 프라이머리에서도 쓰기가 발생할 수 있다. 따라서 배포 설계에서는 네트워크 토폴로지, 클라이언트 라우팅(Client Routing), Redis 설정, 운영 보호장치를 고려하여 네트워크 분할 중 데이터 이력이 분기될 가능성과 영향을 제한해야 한다.

장애조치 매개변수(Failover Parameter)는 복구 속도와 안정성 사이에서 균형을 맞춰야 한다. 매우 짧은 장애 감지 타임아웃은 실제 장애에 빠르게 대응할 수 있지만 일시적인 지연, CPU 정지, 네트워크 혼잡에 시스템이 민감해질 수 있다. 더 긴 임계값은 잘못된 장애 감지(False Failure Detection)를 줄이지만 승격이 시작되기 전까지의 서비스 중단 시간을 증가시킨다. 따라서 이러한 값은 다른 환경의 설정을 그대로 복사하기보다 실제 인프라 동작과 복구 시간 목표(Recovery Time Objective, RTO)를 기준으로 결정해야 한다.

복구 시점 목표(Recovery Point Objective, RPO)는 비동기식 복제의 영향을 크게 받는다. Sentinel은 쓰기 가능한 Redis 서비스를 복구하는 데 필요한 시간을 줄일 수 있지만 이미 승인된 모든 쓰기가 승격된 복제본에 존재한다고 보장할 수는 없다. 중요한 로봇 상태를 저장하는 애플리케이션은 이러한 제한을 이해해야 한다. 손실이나 재구성을 허용할 수 없는 데이터라면 Redis를 유일한 권위 저장소(Authoritative Storage)로 사용하는 대신 보다 내구성 높은 기록 시스템(System of Record)과 결합할 필요가 있다.

로보틱스(Robotics) 환경에서 Sentinel은 빠른 운영 상태 저장소(Operational State Store), 캐시(Cache), 이벤트 조정 계층(Event Coordination Layer), 세션 저장소(Session Store), 단기 플릿 정보(Short-Lived Fleet Information)에 사용되는 Redis 서비스에 특히 적합하다. 로봇 상태 요약, 작업 큐(Task Queue), 임시 임무 컨텍스트(Mission Context), 조정 플래그(Coordination Flag), 빠르게 접근해야 하는 설정 데이터 등이 Redis의 성능과 자동 장애조치 기능의 이점을 얻을 수 있다. 구체적인 적합성은 애플리케이션이 Redis의 복제 및 영속성 특성을 어느 정도 허용할 수 있는지에 따라 결정된다.

안전 필수 로봇 동작(Safety-Critical Robot Behavior)은 Sentinel이 관리하는 인프라와 분리되어야 한다. 모션 제어(Motion Control), 비상 정지(Emergency Stop), 충돌 회피(Collision Avoidance), 즉각적인 액추에이터 결정(Actuator Decision)은 중앙 Redis 프라이머리와의 통신 성공 여부에 의존해서는 안 된다. 로봇과 엣지 컨트롤러(Edge Controller)는 중앙 서비스가 복구되는 동안 필수적인 로컬 자율성(Local Autonomy)을 유지해야 한다. 장애조치 이후 플릿 애플리케이션은 새로운 Redis 프라이머리에 다시 연결하여 로컬 안전 기능을 저해하지 않고 상위 수준의 조정을 재개할 수 있다.

모니터링(Monitoring)은 Redis 데이터 노드와 Sentinel 프로세스를 모두 포함해야 한다. 주요 관찰 대상에는 프라이머리 및 복제본 역할, 복제본 연결 상태, 복제 오프셋(Replication Offset), 복제 지연, Sentinel 접근성, SDOWN 및 ODOWN 이벤트, 쿼럼 상태, 리더 선출, 장애조치 시간, 메모리 사용량, 영속성 상태, 클라이언트 연결, 네트워크 지연시간 등이 포함된다. 현재 프라이머리만 모니터링하면 실제 장애가 발생하기 전까지 이중화 성능이 저하된 상태를 발견하지 못할 수 있다.

장애 테스트(Failure Testing)에서는 의도적으로 프라이머리를 중지하고, 복제본 연결을 차단하고, Sentinel 프로세스를 종료하고, 네트워크 파티션을 발생시키고, 장애 노드를 복구해야 한다. 엔지니어는 장애 감지 시간, 쿼럼 형성(Quorum Formation), 리더 선출, 복제본 승격, 클라이언트 재탐색, 애플리케이션 재연결, 토폴로지 재구성을 측정해야 한다. 또한 장애조치 이후 데이터 일관성을 확인하여 실제 복구 동작과 잠재적인 데이터 손실 구간을 운영 환경에 배포하기 전에 이해해야 한다.

궁극적으로 Redis Sentinel은 Redis 프라이머리-복제본 복제를 기반으로 구축된 고가용성 조정 계층(HA Coordination Layer)으로 이해해야 한다. 복제는 이중화된 데이터 복사본을 유지하고 Sentinel은 모니터링, 집단 장애 감지(Collective Failure Detection), 리더 선출, 복제본 승격, 토폴로지 재구성, 프라이머리 탐색(Primary Discovery)을 제공한다. 여기에 영속성, 백업, 복원력 있는 클라이언트(Resilient Client), 관측성(Observability), 장애 도메인 분리, 검증된 복구 절차를 결합하면 로봇 플릿(Robot Fleet) 및 피지컬 AI(Physical AI) 플랫폼을 위한 실용적인 고가용성 Redis 서비스를 구축할 수 있다.

10.06 Elasticsearch Cluster Shard Replication Design [w/Code]

Elasticsearch 클러스터 아키텍처(Cluster Architecture)는 인덱스 데이터를 샤드(Shard)로 분할하고 이러한 샤드를 여러 노드에 분산함으로써 분산 저장(Distributed Storage), 병렬 검색(Parallel Search), 장애 허용성(Fault Tolerance)을 제공하도록 설계된다. 하나의 인덱스(Index)는 단일 구조로 저장되지 않는다. 대신 Elasticsearch는 이를 프라이머리 샤드(Primary Shard)로 분할하고 이중화를 위한 복제본 샤드(Replica Shard)를 유지할 수 있다. 이러한 분산 모델은 검색 및 인덱싱 워크로드를 단일 서버의 처리 용량 이상으로 확장하면서 개별 노드 장애의 영향을 줄일 수 있게 한다.

샤드(Shard)는 Elasticsearch에서 데이터를 분산하는 기본 단위이며 내부적으로 독립적인 Lucene 인덱스(Index)를 나타낸다. Elasticsearch 인덱스에 할당된 문서는 Elasticsearch의 라우팅 로직(Routing Logic)에 따라 프라이머리 샤드 사이에 분산된다. 각 샌드는 서로 다른 노드에 배치될 수 있으므로 인덱싱(Indexing)과 검색 작업(Search Operation)을 여러 시스템에서 병렬로 수행할 수 있다. 따라서 샤드 설계는 확장성, 자원 사용률, 복구 동작, 운영 복잡성에 직접적인 영향을 준다.

프라이머리 샤드(Primary Shard)는 인덱스의 원본 파티션(Original Partition)을 정의한다. 인덱스가 생성될 때 설정된 프라이머리 샤드의 수에 따라 문서 공간(Document Space)이 어떻게 분할될지가 결정된다. 문서는 특정 프라이머리 샤드로 라우팅되며 해당 샤드는 관련 인덱싱 작업을 처리하는 역할을 담당한다. 따라서 프라이머리 샤드의 개수와 예상 크기는 임의로 결정하기보다 예상 데이터 용량, 증가량, 노드 처리 능력, 워크로드 특성을 반영하여 결정해야 한다.

복제본 샤드(Replica Shard)는 다른 적합한 노드에 유지되는 프라이머리 샤드의 복사본이다. 첫 번째 목적은 가용성(Availability)이다. 프라이머리 샤드가 존재하는 노드에 장애가 발생하면 사용 가능한 복제본을 승격(Promotion)하여 해당 샤드에 계속 접근할 수 있다. 또한 읽기 작업은 프라이머리 또는 복제본에서 처리될 수 있으므로 복제본은 검색 처리량(Search Throughput) 향상에도 기여할 수 있다. 따라서 복제는 장애 허용성과 검색 워크로드의 수평적 분산(Horizontal Distribution)을 모두 지원한다.

Elasticsearch는 해당 프라이머리 샤드와 동일한 노드에 복제본 샤드를 배치하지 않는다. 동일한 노드에 배치하면 노드 장애에 대한 보호 효과가 거의 없기 때문이다. 정상적인 다중 노드 클러스터(Multi-Node Cluster)에서는 샤드 할당 규칙(Shard Allocation Rule)에 따라 프라이머리와 복제본이 서로 다른 노드에 분산된다. 하나의 노드를 사용할 수 없게 되면 클러스터는 살아남은 샤드 복사본을 계속 사용하면서 누락된 복제본을 다시 할당하여 의도된 이중화 수준을 복원할 수 있다.

문서가 인덱싱될 때 조정 노드(Coordinating Node)는 문서의 라우팅 정보(Routing Information)를 이용하여 대상 샤드를 결정하고 관련 프라이머리 샤드를 보유한 노드로 작업을 전달한다. 프라이머리는 해당 작업을 처리하고 복제본으로의 복제를 조정한다. 이러한 프라이머리-복제본 관계(Primary-Replica Relationship)는 각 샤드에 대해 일관된 쓰기 경로(Write Path)를 구성하는 동시에 전체 인덱스가 여러 노드에 분산된 상태를 유지할 수 있게 한다.

검색 작업(Search Operation)은 이와 다른 분산 처리 패턴을 따른다. 조정 노드는 쿼리(Query)에 참여해야 하는 샤드를 식별하고 클러스터 전체의 적절한 샤드 복사본에 요청을 전송한다. 참여하는 각 샤드는 로컬 검색 처리를 수행하고 부분 결과(Partial Result)를 반환한다. 이후 조정 노드는 이러한 결과를 최종 응답으로 병합한다. 따라서 Elasticsearch는 여러 샤드에서 검색을 병렬화할 수 있지만 지나치게 많은 샤드는 조정 및 자원 오버헤드(Resource Overhead)를 증가시킬 수 있다.

클러스터 노드(Cluster Node)는 설정된 역할에 따라 서로 다른 책임을 수행할 수 있다. 마스터 적격 노드(Master-Eligible Node)는 클러스터 조정과 클러스터 메타데이터(Cluster Metadata) 관리에 참여하며, 데이터 노드(Data Node)는 샤드를 저장하고 데이터 작업을 실행한다. 그 밖의 특수 역할은 수집 처리(Ingest Processing), 머신러닝(Machine Learning), 변환(Transform), 조정 워크로드 등을 지원할 수 있다. 배포 규모가 증가하면 역할을 분리함으로써 클러스터 관리, 인덱싱, 검색, 특수 처리에서 발생하는 서로 다른 인프라 요구사항을 효과적으로 관리할 수 있다.

클러스터 상태(Cluster State)는 인덱스, 매핑(Mapping), 샤드 할당, 노드 구성원(Node Membership), 기타 클러스터의 조정된 운영에 필요한 설정을 설명하는 핵심 메타데이터를 포함한다. 선출된 마스터 노드(Elected Master Node)는 이러한 상태의 변경을 관리하고 갱신된 정보를 클러스터에 배포한다. 따라서 마스터 역할은 일반적인 문서 처리와 구분되어야 한다. 노드 구성 변경, 인덱스 생성, 샤드 할당, 복구 이벤트에 안전하게 대응하기 위해서는 안정적인 클러스터 관리 계층(Cluster-Management Layer)이 필요하다.

노드 장애(Node Failure)가 발생하면 샤드 가용성 및 복구 메커니즘이 동작한다. 하나의 노드가 사라지면 Elasticsearch는 구성원 변경을 감지하고 장애 노드에 배치되어 있던 샤드를 평가한다. 손실된 프라이머리에 사용 가능한 복제본이 존재하면 살아남은 복제본을 새로운 프라이머리로 승격할 수 있다. 이후 충분한 자원을 사용할 수 있게 되면 Elasticsearch는 적절한 노드에 추가적인 복제본을 생성하여 인덱스를 설정된 이중화 수준으로 복원할 수 있다.

클러스터 상태(Cluster Health)는 일반적으로 녹색(Green), 노란색(Yellow), 빨간색(Red)으로 요약된다. 녹색은 프라이머리와 복제본 샤드가 의도한 대로 모두 할당된 상태를 의미한다. 노란색은 모든 프라이머리 샤드는 사용 가능하지만 하나 이상의 복제본 샤드가 할당되지 않아 데이터에는 접근할 수 있으나 이중화 수준이 감소한 상태를 의미한다. 빨간색은 하나 이상의 프라이머리 샤드를 사용할 수 없어 일부 인덱스 데이터에 현재 접근할 수 없음을 의미한다. 이러한 상태는 전체 시스템 상태가 아니라 샤드 가용성을 간결하게 나타낸다.

샤드 할당(Shard Allocation)은 샤드 복사본을 어느 위치에 배치할지를 결정하며 노드 가용성, 디스크 상태, 할당 인식(Allocation Awareness), 설정된 제약조건 등을 고려할 수 있다. 운영 환경에서는 인식 속성(Awareness Attribute)을 사용하여 호스트, 랙(Rack), 가용 영역(Availability Zone)과 같은 장애 도메인(Failure Domain)에 복사본을 분산할 수 있다. 목적은 단순히 샤드를 균등하게 분배하는 것이 아니라 하나의 인프라 장애로 프라이머리와 해당 복제본이 동시에 손실되는 상황을 방지하는 것이다.

복제(Replication)는 백업(Backup)을 대체하지 않는다. 복제본 샤드는 추가적인 활성 복사본을 유지하여 노드 및 저장장치 장애에 대응하지만 실수에 의한 삭제, 잘못된 업데이트, 애플리케이션 오류는 클러스터 전체로 전파될 수 있다. Elasticsearch 스냅샷(Snapshot)은 활성 샤드 토폴로지 외부에 인덱스 데이터를 보존하기 위한 별도의 복구 메커니즘을 제공한다. 따라서 고가용성 설계는 샤드 복제와 스냅샷 정책(Snapshot Policy), 검증된 복원 절차(Restore Procedure)를 함께 구성해야 한다.

샤드 크기 조정(Shard Sizing)은 Elasticsearch에서 가장 중요한 설계 결정 가운데 하나이다. 지나치게 적은 수의 매우 큰 샤드는 병렬성을 제한하고 복구 작업 시간을 증가시킬 수 있으며, 너무 많은 작은 샤드는 메모리, 파일 핸들(File Handle), CPU 시간, 클러스터 관리 자원을 소비한다. 적절한 균형은 문서 크기, 쿼리 패턴(Query Pattern), 인덱싱 속도, 보존 기간(Retention Period), 하드웨어 용량, 복구 목표에 따라 달라진다. 따라서 샤드 전략은 현실적인 워크로드를 이용하여 측정하고 조정해야 한다.

과도한 샤딩(Oversharding)은 다수의 인덱스가 각각 많은 작은 샤드를 포함할 때 특히 문제가 될 수 있다. 각 샤드는 비교적 적은 데이터를 저장하더라도 Lucene 구조와 운영 오버헤드를 발생시킨다. 샤드 수가 지나치게 많은 클러스터에서는 힙 메모리 압박(Heap Pressure), 느린 클러스터 상태 처리, 긴 복구 시간, 비효율적인 검색이 발생할 수 있다. 따라서 인덱스 수명주기(Index Lifecycle)와 데이터 구성에서는 샤드를 비용이 없는 논리적 파티션으로 취급하지 말고 인프라 자원으로 고려해야 한다.

시간 중심 데이터(Time-Oriented Data)는 운영 기간이나 수명주기 정책(Lifecycle Policy)에 따라 여러 인덱스로 구성되는 경우가 많다. 로그, 이벤트, 텔레메트리(Telemetry), 로봇 관측 데이터는 지속적으로 누적될 수 있으므로 저장공간 증가를 제어하기 위한 수명주기 관리가 중요하다. Elasticsearch 데이터 스트림(Data Stream)과 인덱스 수명주기 메커니즘은 정책에 따른 롤오버(Rollover), 보존, 저장 계층(Storage Tier) 사이의 이동, 삭제를 지원하여 데이터가 오래됨에 따라 샤드 구성이 변화할 수 있도록 한다.

클러스터 용량을 설계할 때는 복구 트래픽(Recovery Traffic)을 고려해야 한다. 노드 장애 이후 Elasticsearch는 누락된 복제본을 다시 생성하기 위해 대규모 샤드 데이터를 네트워크를 통해 복사해야 할 수 있다. 이러한 복구 작업은 정상적인 검색과 인덱싱이 계속되는 동안 네트워크 대역폭, 저장장치 입출력(Storage I/O), CPU 자원, 시간을 소비한다. 따라서 정상 상태의 사용률만 기준으로 설계된 클러스터는 장애 복구 과정에서 성능이 크게 저하될 수 있으며 살아남은 노드에 과도한 부하를 주지 않고 이중화를 복원하기 위한 운영 여유 용량(Operational Headroom)이 필요하다.

복제본 개수(Replica Count)는 가용성, 검색 처리 능력, 저장공간 소비, 인덱싱 비용 사이의 절충 관계(Trade-Off)를 나타낸다. 복제본을 추가하면 장애 시 살아남을 수 있는 데이터 복사본이 증가하고 읽기 처리 능력을 높일 수 있지만 모든 인덱싱 변경사항을 추가 복제본에도 전달해야 하며 각 복사본이 저장공간을 소비한다. 따라서 복제본 설정은 장애 허용 수준과 워크로드 요구사항에 맞추어 결정해야 한다. 노드 수와 장애 도메인을 고려하지 않고 복제본 수만 증가시키면 예상보다 낮은 복원력을 얻을 수 있다.

로봇 및 피지컬 AI(Physical AI) 플랫폼에서 Elasticsearch는 구조화된 운영 이벤트, 로봇 로그(Robot Log), 임무 이력(Mission History), 진단 메시지(Diagnostic Message), 경고(Alert), 의미 메타데이터(Semantic Metadata), 검색 가능한 텔레메트리를 저장하고 검색하는 데 활용할 수 있다. 샤딩을 통해 이러한 데이터셋을 여러 데이터 노드로 확장할 수 있으며 복제본은 개별 서버에 장애가 발생해도 가용성을 유지한다. 특히 대량의 기계 생성 운영 정보(Machine-Generated Operational Information)에 대한 빠른 필터링, 전문 검색(Full-Text Search), 집계(Aggregation), 분석이 필요한 경우 유용하다.

원시 카메라 스트림(Raw Camera Stream), 고밀도 포인트 클라우드(Dense Point Cloud), 대규모 학습 데이터셋을 단순히 로봇에서 생성되었다는 이유만으로 Elasticsearch에 직접 저장해서는 안 된다. Elasticsearch는 일반적으로 검색 가능한 메타데이터, 이벤트, 파생 특징(Derived Feature), 참조 정보, 인덱싱된 운영 기록에 더 적합하다. 대규모 바이너리 객체(Binary Object)는 객체 저장소(Object Storage)나 파일 저장소에 유지하고 Elasticsearch에는 효율적인 검색에 필요한 식별자, 타임스탬프, 로봇 메타데이터, 임무 컨텍스트, 의미 라벨(Semantic Label), 위치 정보를 저장할 수 있다.

로봇 플릿(Robot Fleet) 배포에서는 Elasticsearch 노드를 독립적인 인프라에 분산하면서 애플리케이션이 안정적인 서비스 엔드포인트(Service Endpoint)를 통해 클러스터에 접근하도록 구성할 수 있다. 하나의 데이터 노드에 장애가 발생하면 살아남은 샤드 복사본이 접근 가능한 데이터를 계속 제공하는 동안 클러스터는 이중화를 다시 구축할 수 있다. 따라서 샤드 할당과 용량이 예상 장애 시나리오에 맞게 설계되었다면 개별 서버 장애 상황에서도 플릿 대시보드, 진단 시스템, 임무 분석 서비스, 관측성 플랫폼(Observability Platform)을 계속 운영할 수 있다.

모니터링(Monitoring)은 단순한 녹색, 노란색, 빨간색 상태 지표 이상을 포함해야 한다. 주요 관찰 대상에는 샤드 할당, 미할당 샤드(Unassigned Shard), 노드 가용성, 인덱싱 처리량, 검색 지연시간(Search Latency), JVM 힙 사용량(JVM Heap Usage), 가비지 컬렉션(Garbage Collection), 디스크 사용률, 디스크 워터마크(Disk Watermark), 복구 작업, 스레드 풀(Thread Pool), 쿼리 부하, 클러스터 상태 안정성, 스냅샷 상태 등이 포함된다. 녹색 상태의 클러스터에서도 심각한 성능 문제가 발생할 수 있으므로 가용성과 성능을 함께 모니터링해야 한다.

장애 테스트(Failure Testing)에서는 데이터 노드를 제거하고, 네트워크 경로를 차단하고, 통제된 방식으로 저장공간을 소진시키고, 노드를 복원하면서 샤드 승격 및 재할당 과정을 관찰해야 한다. 엔지니어는 장애 감지 시간, 검색 가용성, 인덱싱 동작, 복구 처리량, 복제본 재구성, 완전한 이중화 상태로 복귀하는 데 필요한 시간을 측정해야 한다. 또한 성공적인 샤드 복제가 재해 복구(Disaster Recovery) 절차의 성공을 보장하는 것은 아니므로 스냅샷 복원도 독립적으로 테스트해야 한다.

궁극적으로 Elasticsearch 샤드 복제(Shard Replication)는 단순히 중복 파일을 유지하는 메커니즘이 아니라 분산 데이터 배치(Distributed Data Placement) 및 가용성 아키텍처로 이해해야 한다. 프라이머리 샤드는 인덱스를 분할하고, 복제본은 중복된 검색 가능 복사본을 제공하며, 클러스터 조정(Cluster Coordination)은 배치와 승격을 관리하고, 복구 기능은 손실된 이중화를 다시 구축한다. 여기에 체계적인 샤드 크기 설계, 장애 도메인 인식, 모니터링, 스냅샷, 수명주기 관리, 충분한 여유 용량을 결합하면 로봇 플릿 및 피지컬 AI 플랫폼을 위한 확장 가능하고 복원력 있는 검색 기반을 구축할 수 있다.

10.07 Geo-Distributed Replication: Multi-Region Design

지리적 분산 복제(Geo-Distributed Replication)는 지리적으로 분리된 여러 리전(Region)에 데이터베이스 복사본을 유지함으로써 단일 데이터센터(Data Center) 또는 가용 영역(Availability Zone)을 넘어 데이터베이스 고가용성(High Availability)을 확장한다. 그 목적은 전력, 네트워크, 인프라 또는 리전 단위 클라우드 장애로 전체 사이트를 사용할 수 없게 되더라도 서비스 연속성(Service Continuity)을 유지하는 것이다. 로컬 복제(Local Replication)와 달리 멀티 리전 설계(Multi-Region Design)는 광역 네트워크 지연, 제한된 대역폭, 네트워크 파티션(Network Partition), 규제 경계, 훨씬 긴 복구 경로를 고려해야 한다.

멀티 리전 아키텍처(Multi-Region Architecture)는 일반적으로 로컬 고가용성(Local High Availability)과 지리적 재해 복구(Geographic Disaster Recovery)를 분리한다. 각 리전 내부에서는 여러 데이터베이스 노드가 일반적인 서버 또는 랙(Rack) 장애에 대해 신속한 장애조치(Failover)를 제공할 수 있다. 리전 사이의 복제는 보다 큰 사이트 수준 장애로부터 시스템을 보호한다. 이러한 계층형 설계(Layered Design)는 작은 로컬 장애가 모두 리전 간 장애 이벤트로 확대되는 것을 방지하면서 전체 리전 배포가 손실될 경우 서비스를 인계할 수 있는 원격 데이터베이스 복사본을 유지한다.

네트워크 지연시간(Network Latency)은 지리적 분산 복제에서 가장 중요한 제약조건이다. 인접한 서버 사이의 통신에는 매우 작은 지연만 필요할 수 있지만 멀리 떨어진 리전 사이의 통신에는 수십 또는 수백 밀리초의 지연이 추가될 수 있다. 모든 트랜잭션(Transaction)이 다른 리전의 확인을 기다려야 한다면 애플리케이션 쓰기 지연시간도 이에 따라 증가한다. 따라서 데이터베이스 아키텍처에서는 어떤 작업에 리전 간 내구성(Cross-Region Durability)이 필요한지, 어떤 작업은 로컬 확인(Local Acknowledgement)만으로 완료할 수 있는지를 결정해야 한다.

비동기식 리전 간 복제(Asynchronous Cross-Region Replication)는 프라이머리 리전(Primary Region)이 원격 복제본의 응답을 기다리지 않고 트랜잭션을 커밋(Commit)할 수 있기 때문에 널리 사용된다. 이를 통해 애플리케이션 지연시간을 로컬 데이터베이스 성능에 가깝게 유지하면서 지리적으로 멀리 떨어진 복제본도 실용적으로 운영할 수 있다. 그러나 그 대가로 복제 지연 구간(Replication Lag Window)이 발생한다. 프라이머리 리전에 갑작스러운 장애가 발생하면 로컬에서는 커밋되었지만 원격 리전에 아직 도달하지 않은 트랜잭션을 리전 장애조치 이후 사용할 수 없을 수 있다.

동기식 또는 강하게 조정된 복제(Synchronous or Strongly Coordinated Replication)는 선택된 쓰기 작업을 완료하기 전에 원격 리전의 확인을 요구함으로써 잠재적인 데이터 손실 구간을 줄일 수 있다. 그러나 지리적 네트워크 지연이 트랜잭션 지연시간에 직접 포함되며 리전 사이의 연결이 끊어지면 쓰기 가용성(Write Availability)에 직접적인 영향을 줄 수 있다. 따라서 강한 리전 간 일관성(Strong Cross-Region Consistency)이 항상 더 나은 것은 아니다. 보호해야 할 데이터의 가치와 애플리케이션이 허용할 수 있는 지연시간 및 일시적인 서비스 중단을 기준으로 선택해야 한다.

복구 시점 목표(Recovery Point Objective, RPO)는 리전 재해 이후 허용할 수 있는 최근 데이터 손실량을 정의하고, 복구 시간 목표(Recovery Time Objective, RTO)는 서비스가 복구되기 전까지 허용할 수 있는 최대 중단 시간을 정의한다. 이러한 목표는 구현 이후 문서화하는 것이 아니라 복제 토폴로지(Replication Topology)를 결정하는 기준이 되어야 한다. 낮은 RPO에는 보다 강한 복제 보장이 필요할 수 있으며, 낮은 RTO를 달성하려면 준비된 인프라, 자동 승격(Automated Promotion), 트래픽 전환(Traffic Redirection), 검증된 설정, 지속적으로 모니터링되는 복제본 준비 상태가 필요하다.

액티브-패시브 멀티 리전 설계(Active-Passive Multi-Region Design)는 일반적으로 하나의 프라이머리 리전으로 쓰기를 전달하고 다른 리전에서는 복제된 대기 환경(Standby Environment)을 유지한다. 이 모델은 업데이트 권한을 명확하게 정의하여 충돌 관리를 단순화한다. 리전 장애가 발생하면 대기 리전을 승격하고 애플리케이션 트래픽을 전환한다. 운영 방식은 비교적 단순하지만 장애조치 절차에서는 복제본 최신성(Replica Freshness)을 확인하고 장애가 발생했던 리전이 복구된 뒤 독립적인 쓰기 가능 데이터베이스로 예기치 않게 다시 동작하지 않도록 해야 한다.

액티브-액티브 아키텍처(Active-Active Architecture)는 여러 리전의 애플리케이션이 자신의 위치에 가까운 쓰기 가능 데이터베이스 서비스에 접근할 수 있도록 한다. 이를 통해 리전별 접근 지연시간을 줄이고 지리적 서비스 가용성을 향상시킬 수 있지만 동시 쓰기(Concurrent Write)로 인해 훨씬 복잡한 일관성 요구사항이 발생한다. 통신이 지연되거나 중단된 상태에서 두 리전이 동일한 논리적 데이터를 수정하면 시스템에는 충돌 감지(Conflict Detection), 결정론적 해결(Deterministic Resolution), 소유권 규칙(Ownership Rule), 또는 충돌하는 업데이트를 회피하도록 설계된 데이터 모델이 필요하다.

데이터 소유권(Data Ownership)을 정의하면 멀티 리전 운영을 단순화할 수 있다. 모든 리전에서 모든 레코드를 수정하도록 허용하는 대신 로봇 플릿(Robot Fleet), 고객, 시설, 지리적 영역 또는 기타 안정적인 파티션(Partition)에 따라 소유권을 할당할 수 있다. 대부분의 쓰기는 소유 리전 내부에서 처리하고 선택된 정보만 전역으로 복제한다. 이러한 접근 방식은 리전 간 충돌과 조정 트래픽(Coordination Traffic)을 줄이면서 지리적으로 분산된 서비스와 통합 분석(Consolidated Analytics)을 지원할 수 있다.

네트워크 파티션(Network Partition)이 발생하면 두 리전이 모두 정상적으로 운영되면서 서로 통신하지 못할 수 있으므로 이에 대한 명시적인 설계가 필요하다. 격리된 모든 리전에서 제한 없이 쓰기를 계속 허용하면 이후 조정하기 어려운 분기된 데이터 이력(Divergent History)이 생성될 수 있다. 시스템은 하나의 쓰기 권한(Write Authority)을 유지하거나, 쿼럼 기반 결정(Quorum-Based Decision)을 사용하거나, 특정 작업을 제한하거나, 일시적으로 축소된 기능으로 운영할 수 있다. 파티션 상황에서의 동작은 장애 발생 시 즉흥적으로 결정하는 것이 아니라 배포 전에 정의해야 한다.

장애조치(Failover)는 신뢰할 수 있는 장애 감지(Failure Detection)에서 시작하지만 리전 전체 장애를 감지하는 것은 단일 데이터베이스 프로세스 장애를 감지하는 것보다 어렵다. 모니터링 시스템은 데이터베이스 장애와 로컬 라우팅 문제, 리전 간 네트워크 단절, 제어 평면(Control Plane) 장애, 애플리케이션 연결 문제를 구분해야 한다. 정상적인 리전을 장애 상태로 잘못 판단하면 불필요한 리전 장애조치를 유발하고 두 개의 경쟁하는 쓰기 가능 환경을 만들 수 있으므로 보수적인 조정과 펜싱(Fencing)이 중요하다.

펜싱(Fencing)은 다른 리전이 승격된 이후 장애 또는 격리된 프라이머리 리전이 권위 있는 쓰기(Authoritative Write)를 계속 처리하지 못하도록 방지한다. 사용되는 기법은 인프라에 따라 달라지며 데이터베이스 제어, 네트워크 격리(Network Isolation), 서비스 디스커버리(Service Discovery), 로드 밸런서(Load Balancer), 오케스트레이션 시스템(Orchestration System), 접근 정책 변경 등이 사용될 수 있다. 핵심 목적은 단일 프라이머리 의미론(Single-Primary Semantics)이 필요한 데이터베이스에서 하나의 명확한 쓰기 권한을 유지하여 스플릿 브레인(Split-Brain) 위험을 줄이는 것이다.

트래픽 관리(Traffic Management)는 데이터베이스 외부에 존재할 수 있지만 데이터베이스 재해 복구(Database Disaster Recovery)의 일부이다. DNS, 글로벌 로드 밸런서(Global Load Balancer), 서비스 디스커버리, 애플리케이션 게이트웨이(Application Gateway), 오케스트레이션 플랫폼 등을 이용하여 클라이언트를 정상적으로 동작하는 리전으로 전환할 수 있다. 트래픽 전환은 데이터베이스 승격과 조정되어야 한다. 준비되지 않은 대기 리전으로 쓰기 요청을 보내면 장애가 발생할 수 있으며 사용할 수 없는 리전으로 계속 트래픽을 전달하면 서비스 중단 시간이 증가한다.

읽기 지역성(Read Locality)은 모든 리전을 쓰기 가능 상태로 만들지 않고도 성능을 향상시킬 수 있다. 리전별 복제본은 권위 있는 쓰기를 하나의 프라이머리 리전에 유지하면서 복제 지연을 허용할 수 있는 대시보드, 검색, 보고 또는 기타 워크로드를 처리할 수 있다. 애플리케이션은 원격 복제본에서 읽은 데이터가 오래된 상태(Stale Data)일 수 있다는 점을 이해해야 한다. 따라서 즉각적인 쓰기 후 읽기(Read-After-Write)가 필요한 기능은 적절한 권위 경로(Authoritative Path)에 접근하거나 필요한 일관성을 제공하는 데이터베이스 메커니즘을 사용해야 한다.

복제 대역폭(Replication Bandwidth)은 용량 계획(Capacity Planning)에 포함되어야 한다. 로봇 플릿은 지속적으로 임무 이벤트, 텔레메트리(Telemetry), 로그, 설정 변경, 운영 기록을 생성할 수 있으며 이로 인해 사이트 사이에서 지속적인 복제 트래픽이 발생한다. 일시적인 연결 중단 이후에는 누적된 데이터를 따라잡기 위한 추가적인 트래픽이 발생할 수 있다. 따라서 네트워크 링크는 정상적인 복제 처리량뿐 아니라 복구 상황에서도 충분한 용량을 제공하여 최대 운영 시 복제 큐(Replication Queue)가 무한정 증가하지 않도록 해야 한다.

초기 동기화(Initial Synchronization)와 리전 재구축(Regional Rebuild)은 일반적인 증분 복제(Incremental Replication)보다 훨씬 많은 데이터를 전송할 수 있다. 새로운 복제본을 생성하려면 지속적인 복제를 시작하기 전에 전체 데이터베이스 복사, 스냅샷 복원(Snapshot Restoration), 대량 동기화(Bulk Synchronization)가 필요할 수 있다. 대규모 데이터베이스에서는 이러한 상태를 광역 네트워크(Wide-Area Network)로 전송하는 데 상당한 시간과 대역폭이 필요하다. 따라서 시드 복사본(Seed Copy), 스냅샷, 객체 저장소(Object Storage), 단계적 프로비저닝(Staged Provisioning)이 멀티 리전 복구 계획의 중요한 요소가 될 수 있다.

데이터 배치(Data Placement)는 규제 및 조직적 경계(Regulatory and Organizational Boundaries)도 고려해야 한다. 애플리케이션이 전 세계적으로 운영되더라도 일부 정보는 특정 국가, 고객 환경, 공장 또는 통제된 보안 도메인(Security Domain) 내부에 유지되어야 할 수 있다. 따라서 멀티 리전 복제에서는 데이터 거주성(Data Residency), 기밀성(Confidentiality), 내구성, 공유 요구사항에 따라 데이터를 분류해야 한다. 모든 테이블이나 레코드를 모든 위치에 복제하면 실질적인 복원력 향상 없이 규제 위험, 네트워크 비용, 운영 복잡성만 증가할 수 있다.

여러 개의 지리적 복제본이 존재하더라도 백업(Backup)은 여전히 필요하다. 복제는 운영 가능한 데이터 복사본을 유지하여 서비스 가용성을 보호하지만 데이터 손상(Corruption), 실수에 의한 삭제, 잘못된 애플리케이션 업데이트, 악의적인 변경은 리전 사이에 전파될 수 있다. 독립적인 백업과 특정 시점 복구(Point-in-Time Recovery)는 실시간 복제 토폴로지 외부에서 과거 상태로 복구할 수 있는 경로를 제공한다. 가능하다면 백업 복사본은 운영 데이터베이스와 동일한 인증정보 및 장애 도메인으로부터도 분리하여 보호해야 한다.

모니터링(Monitoring)은 리전별 상태와 전역 상태(Global Visibility)를 모두 제공해야 한다. 엔지니어는 데이터베이스 상태, 복제 지연, 트랜잭션 처리량, 복제 큐, 네트워크 지연시간, 대역폭, 복제본 최신성, 리전 역할(Regional Role), 장애조치 준비 상태, 저장공간 용량, 백업 상태, 라우팅 상태를 관찰해야 한다. 원격 복제본이 기술적으로 실행 중이더라도 몇 시간 뒤처져 있다면 아키텍처에서 기대한 복구 능력을 제공하지 못하므로 단순한 노드 가용성보다 측정 가능한 준비 상태(Measurable Readiness)가 중요하다.

멀티 리전 장애 테스트(Multi-Region Failure Testing)는 데이터베이스 프로세스를 중지하는 수준을 넘어 전체 리전 격리(Regional Isolation)를 포함해야 한다. 테스트에서는 리전 간 연결 손실, 프라이머리 리전 종료, 대기 리전 승격, 트래픽 전환, 애플리케이션 재연결, 펜싱, 복제본 복구, 이전 프라이머리의 재통합(Reintegration)을 검증해야 한다. 엔지니어는 실제 RTO와 RPO 동작을 측정하고 데이터베이스 크기, 네트워크 상태, 인프라 설정이 변경되더라도 복구 절차가 계속 유효한지 확인해야 한다.

로봇 플릿 및 피지컬 AI(Physical AI) 플랫폼에서 지리적 복제는 임무 기록(Mission Record), 로봇 설정, 유지보수 이력, 플릿 메타데이터(Fleet Metadata), 사용자 인증(Authorization), 스케줄링 정보, 여러 사이트에서 공유되는 운영 상태를 보호할 수 있다. 그러나 로봇의 즉각적인 모션 결정(Motion Decision)이 먼 리전과의 지속적인 연결에 의존해서는 안 된다. 리전 데이터베이스 서비스가 복구되거나 리전 간 연결이 일시적으로 끊어지더라도 로컬 엣지 시스템(Local Edge System)은 안전한 운영에 필요한 자율성(Autonomy)을 유지해야 한다.

따라서 실용적인 아키텍처는 로봇 로컬 자율성(Robot-Local Autonomy), 사이트 수준 엣지 데이터베이스(Site-Level Edge Database), 리전 고가용성 클러스터(Regional High-Availability Cluster), 보조 리전 또는 중앙 플랫폼으로의 비동기식 복제를 결합할 수 있다. 데이터는 중요도와 시간 요구사항에 따라 상위 계층으로 이동하고 필수 제어는 로컬에 유지할 수 있다. 이러한 계층 구조(Hierarchy)는 광역 네트워크 연결에 대한 의존성을 줄이고 서로 다른 종류의 로봇 데이터에 서로 다른 일관성, 지연시간, 보존, 복구 정책을 적용할 수 있게 한다.

궁극적으로 지리적 분산 복제(Geo-Distributed Replication)는 데이터베이스 복제, 장애 도메인, 네트워크 동작, 애플리케이션 일관성, 트래픽 관리, 펜싱, 모니터링, 재해 복구가 결합된 하나의 조정 시스템(Coordinated System)으로 설계해야 한다. 단순히 여러 리전에 데이터 복사본을 배치하는 것만으로 복원력(Resilience)이 확보되는 것은 아니다. 복제 방식, 데이터 소유권, RPO/RTO, 장애조치 권한(Failover Authority), 백업 전략, 엣지 자율성(Edge Autonomy)을 의도적으로 정렬하면 리전 단위 장애를 견디면서 신뢰할 수 있는 로봇 플릿 및 피지컬 AI 서비스를 유지할 수 있다.

10.08 HA Configuration Monitoring: Prometheus / Alertmanager [w/Code]

고가용성 모니터링(High-Availability Monitoring)은 단순히 데이터베이스 프로세스가 실행 중인지 확인하는 것 이상을 검증해야 한다. 정상적인 고가용성(HA) 시스템에는 올바른 노드 역할(Node Role), 접근 가능한 복제본(Replica), 허용 가능한 복제 지연(Replication Lag), 유효한 쿼럼(Quorum), 충분한 저장공간, 안정적인 네트워크 경로, 정상적으로 작동하는 장애조치(Failover) 메커니즘이 필요하다. Prometheus는 이러한 상태에 대한 시계열 메트릭(Time-Series Metric) 수집을 제공하며, Alertmanager는 모니터링 규칙을 운영자가 이중화가 손실되기 전에 대응할 수 있는 체계적인 알림(Notification)으로 변환한다.

Prometheus는 서버가 모니터링 대상 시스템이나 익스포터(Exporter)가 제공하는 HTTP 메트릭 엔드포인트(Metric Endpoint)를 주기적으로 스크레이프(Scrape)하는 풀 기반 모니터링 모델(Pull-Oriented Monitoring Model)을 사용한다. 데이터베이스 서버에는 일반적으로 내부 통계를 Prometheus 호환 메트릭으로 변환하는 전용 익스포터가 필요하다. 인프라 익스포터는 CPU, 메모리, 디스크, 파일시스템, 네트워크 정보를 동시에 제공할 수 있으므로 데이터베이스 동작을 기반 호스트(Host)의 상태와 연계하여 분석할 수 있다.

일반적인 고가용성 모니터링 아키텍처(HA Monitoring Architecture)는 데이터베이스 노드, 데이터베이스 전용 익스포터, 노드 수준 익스포터(Node-Level Exporter), Prometheus, 알림 규칙(Alerting Rule), Alertmanager, 시각화 시스템(Visualization System)으로 구성된다. Prometheus는 관련된 모든 구성요소에서 메트릭을 주기적으로 수집하여 레이블이 지정된 시계열 데이터로 저장한다. 운영자는 PromQL을 사용하여 현재 및 과거 동작을 조회할 수 있으며 대시보드(Dashboard)를 통해 복제, 가용성, 용량, 장애조치 준비 상태를 통합적으로 확인할 수 있다.

레이블(Label)은 고가용성 메트릭을 구성하는 핵심 요소이다. 메트릭에 클러스터(Cluster), 데이터베이스, 인스턴스(Instance), 리전(Region), 사이트(Site), 역할(Role), 환경(Environment), 서비스(Service) 정보를 지정하면 동일한 모니터링 규칙을 여러 배포 환경에 적용할 수 있다. 복제 지연을 나타내는 메트릭은 프라이머리(Primary), 복제본, 클러스터, 리전별로 그룹화할 수 있을 때 훨씬 유용해진다. 다만 과도한 고카디널리티 레이블(High-Cardinality Label)은 Prometheus 자원 소비를 증가시킬 수 있으므로 레이블 설계를 적절히 통제해야 한다.

데이터베이스 가용성 메트릭(Database Availability Metric)은 단순히 프로세스 가동시간(Process Uptime)만 보고하는 대신 프라이머리, 복제본, 사용 불가 상태를 구분해야 한다. 실행 중인 데이터베이스 프로세스도 연결을 받아들이지 못하거나 잘못된 역할을 수행하거나 다른 노드와 격리되어 있을 수 있다. 따라서 고가용성 모니터링에서는 서비스 접근성(Service Reachability), 데이터베이스 역할, 복제 상태, 클러스터 구성원 상태(Cluster Membership), 리더 상태(Leader Status), 예상된 수의 정상 구성원이 현재 사용 가능한지를 검증해야 한다.

복제 지연(Replication Lag)은 실행 중이지만 프라이머리보다 크게 뒤처진 복제본이 충분한 복구 능력을 제공하지 못할 수 있기 때문에 가장 중요한 고가용성 지표 중 하나이다. 모니터링에서는 데이터베이스 특성에 따라 시간, 바이트(Byte), 로그 위치(Log Position), 트랜잭션 식별자(Transaction Identifier), 데이터베이스별 복제 큐(Replication Queue) 등을 이용하여 지연을 관찰해야 한다. 경고 임계값(Alert Threshold)은 모든 일시적인 복제 지연을 심각한 장애로 간주하기보다 실제 복구 시점 목표(Recovery Point Objective, RPO)와 워크로드 특성을 반영해야 한다.

장애가 발생하기 전에 장애조치 준비 상태(Failover Readiness)를 모니터링해야 한다. 복제본의 연결이 끊겼거나, 오래된 상태이거나, 잘못 설정되었거나, 프라이머리와 동일한 장애 도메인(Failure Domain)에 위치한다면 클러스터가 정상으로 보이더라도 실제로 사용할 수 있는 승격 후보(Promotion Candidate)가 없을 수 있다. 모니터링 규칙은 복제본 수, 동기화 상태, 쿼럼 가용성, 리더 선출 구성요소(Leader-Election Component), 복제 상태, 인프라 배치를 평가하여 프라이머리가 아직 정상적으로 운영되는 동안 이중화 저하를 감지할 수 있다.

Prometheus 기록 규칙(Recording Rule)은 자주 사용되거나 계산 비용이 높은 표현식(Expression)을 미리 계산할 수 있다. 많은 원시 메트릭에서 복잡한 고가용성 상태를 반복적으로 계산하는 대신 기록 규칙을 이용하여 복제본 상태, 서비스 가용성, 클러스터 이중화 등을 나타내는 단순화된 시계열 데이터를 생성할 수 있다. 이는 쿼리 일관성(Query Consistency)을 향상시키고 특히 대규모 로봇 플릿 인프라에서 대시보드와 경고 표현식을 보다 쉽게 유지관리할 수 있도록 한다.

경고 규칙(Alerting Rule)은 Prometheus 표현식을 평가하고 정의된 조건이 충족될 때 경고(Alert)를 생성한다. 효과적인 고가용성 경고는 비정상적인 모든 메트릭 변화가 아니라 운영자가 실제로 조치할 수 있는 상태(Actionable Operational State)를 나타내야 한다. 대표적인 예로 프라이머리 사용 불가, 승격 가능한 복제본 부재, 쿼럼 손실, RPO 관련 임계값 이상의 복제 지연, 저장공간 부족 접근, 반복적인 장애조치, 백업 실패, 예상하지 못한 클러스터 구성원 변경 등이 있다.

Prometheus 경고 규칙의 for\ 지속시간(Duration)은 특정 조건이 일정 시간 동안 계속 유지된 이후에만 경고가 활성화되도록 할 수 있다. 이는 매우 짧은 네트워크 지연, 순간적인 부하 증가, 일시적인 복제 지연으로 발생하는 불필요한 알림을 방지하는 데 유용하다. 그러나 지나치게 긴 지연시간은 실제 장애를 감출 수 있다. 따라서 지속시간은 해당 상태의 긴급성과 시스템에서 예상되는 일시적인 동작 특성에 맞추어 설정해야 한다.

Alertmanager는 Prometheus가 생성한 경고를 수신하여 그룹화(Grouping), 라우팅(Routing), 억제(Inhibition), 사일런싱(Silencing), 알림 전달(Notification Delivery)을 처리한다. 그룹화를 이용하면 하나의 인프라 장애로 수백 개의 개별 알림이 발생하는 것을 방지할 수 있다. 라우팅은 데이터베이스 경고를 적절한 운영팀으로 전달하며 심각도(Severity), 환경, 서비스, 리전 또는 클러스터 레이블에 따라 알림의 전달 위치와 방법을 결정할 수 있다.

억제(Inhibition)는 상위 수준의 장애가 이미 하위 장애의 원인을 설명하는 경우 2차적인 경고를 억제하여 불필요한 알림을 줄인다. 예를 들어 데이터베이스 노드 전체를 사용할 수 없는 경우 해당 노드에서 실행되는 모든 개별 서비스나 복제본 프로세스에 대한 경고는 운영상 추가적인 가치가 적을 수 있다. 적절하게 설계된 억제 관계(Inhibition Relationship)는 진단을 위한 하위 수준 메트릭을 유지하면서 운영자가 가장 중요한 장애에 집중하도록 지원한다.

사일런스(Silence)는 예정된 유지보수 또는 통제된 테스트 동안 선택된 경고를 일시적으로 억제한다. 관련 없는 장애가 계속 표시될 수 있도록 레이블을 이용하여 대상을 구체적으로 지정하고 제한된 시간 동안만 적용해야 한다. 영구적이거나 지나치게 광범위한 사일런스는 실제 장애를 감출 수 있다. 따라서 유지보수 워크플로(Maintenance Workflow)에서는 사일런스의 시작 시점과 만료 시점, 계획된 데이터베이스 스위치오버(Switchover) 또는 인프라 변경 이후 모니터링 범위를 복원하는 방법을 정의해야 한다.

경고 심각도(Alert Severity)는 운영 영향을 반영해야 한다. 경고 수준(Warning)은 데이터베이스 서비스가 계속 사용 가능한 상태에서 이중화 감소, 복제 지연 증가, 디스크 용량 감소 등을 나타낼 수 있다. 심각 수준(Critical)은 성공적인 장애조치 없이 쓰기 가능한 프라이머리가 손실되거나, 쿼럼이 손실되거나, 프라이머리 샤드(Primary Shard)를 사용할 수 없거나, 필수 데이터베이스 서비스 전체가 중단되는 것처럼 즉각적인 대응이 필요한 상태를 나타내야 한다. 심각도는 시각적인 선호가 아니라 대응 절차(Response Procedure)와 연결되어야 한다.

인프라 메트릭(Infrastructure Metric)은 데이터베이스 고가용성 상태를 이해하기 위한 필수적인 맥락을 제공한다. CPU 포화(CPU Saturation)는 복제 처리를 지연시킬 수 있고 메모리 압박(Memory Pressure)은 데이터베이스 프로세스를 불안정하게 만들 수 있으며 디스크 지연(Disk Latency)은 트랜잭션 영속화(Transaction Persistence)를 느리게 할 수 있다. 파일시스템 공간이 소진되면 쓰기 작업이 완전히 중단될 수 있으며 네트워크 패킷 손실이나 지연은 모든 서버가 실행 중이더라도 합의(Consensus)와 복제를 방해할 수 있다. 따라서 데이터베이스 메트릭과 호스트 메트릭을 별개의 모니터링 영역으로 분리하지 말고 함께 분석해야 한다.

용량 경고(Capacity Alert)는 시스템이 실제 한계에 도달하기 전에 변화 추세를 식별해야 한다. 특히 데이터베이스, 트랜잭션 로그(Transaction Log), 스냅샷(Snapshot), 복제 백로그(Replication Backlog)는 비정상적인 상황에서 저장공간을 빠르게 소비할 수 있으므로 디스크 사용률이 중요하다. 모니터링은 현재 사용률과 증가 속도, 운영 임계값을 함께 평가할 수 있다. 또한 장애조치 및 복구 과정에서는 정상 노드가 추가적인 워크로드를 일시적으로 처리할 수 있으므로 용량 계획에서 충분한 여유 자원(Headroom)을 확보해야 한다.

모니터링 시스템 자체를 모니터링하는 것도 필요하다. Prometheus 스크레이프 실패(Scrape Failure), 오래된 대상(Stale Target), 누락된 익스포터, Alertmanager 장애, 알림 전달 실패는 인프라가 정상이라는 잘못된 인상을 만들 수 있다. 운영자는 스크레이프 성공 여부, 대상 가용성(Target Availability), 규칙 평가(Rule Evaluation), Prometheus 저장소 상태, 해당되는 경우 Alertmanager 클러스터 상태, 알림 파이프라인(Notification Pipeline) 상태를 추적하여 관측성 상실(Loss of Observability) 자체가 명확한 장애 이벤트가 되도록 해야 한다.

고가용성 대시보드(HA Dashboard)는 서로 독립된 그래프보다 운영 관계(Operational Relationship)를 보여주어야 한다. 효과적인 클러스터 화면은 현재 프라이머리, 복제본 상태, 복제 지연, 트랜잭션 처리율, 연결 수, 디스크 사용률, 호스트 부하, 쿼럼 상태, 최근 장애조치, 백업 상태를 함께 표시할 수 있다. 리전 또는 플릿 수준 대시보드는 여러 클러스터를 요약하고 엔지니어가 서비스 저하 지표에서 개별 데이터베이스 노드 및 인프라 메트릭까지 단계적으로 상세 분석(Drill-Down)할 수 있도록 구성할 수 있다.

경고 주석(Alert Annotation)은 운영자가 메트릭 이름만 보고 문제를 다시 분석하지 않아도 조사를 시작할 수 있을 정도의 정보를 포함해야 한다. 유용한 정보에는 영향을 받는 클러스터, 인스턴스, 현재 역할, 관측값(Observed Value), 임계값, 지속시간, 예상 대응 방법에 대한 간결한 설명 등이 포함될 수 있다. 대시보드 또는 운영 런북(Operational Runbook)에 대한 연결도 모니터링 대상 시스템과 함께 유지관리된다면 장애 대응 시간을 더욱 단축할 수 있다.

고가용성 설정과 모니터링은 가능한 경우 버전 관리형 인프라(Version-Controlled Infrastructure)로 관리해야 한다. Prometheus 스크레이프 설정, 기록 규칙, 경고 규칙, Alertmanager 라우팅, 대시보드 정의, 데이터베이스 고가용성 매개변수 등을 통제된 변경 절차를 통해 검토하고 테스트할 수 있다. 특히 여러 로봇 사이트에서는 수동으로 관리되는 모니터링 규칙이 점차 서로 달라져 동일한 배포 환경에서 서로 다른 운영 동작을 만들 수 있으므로 설정 일관성(Configuration Consistency)이 중요하다.

테스트에서는 모니터링 시스템이 감지해야 하는 조건을 의도적으로 발생시켜야 한다. 엔지니어는 프라이머리 데이터베이스를 중지하고, 복제본 연결을 끊고, 복제 지연을 증가시키고, 쿼럼 구성원을 제거하고, 통제된 테스트 파일시스템을 채우거나, 익스포터 연결을 차단할 수 있다. 목적은 장애조치 자체의 성공만 확인하는 것이 아니라 올바른 경고가 발생하고, 알림이 의도된 대상에 전달되며, 대시보드가 이벤트를 정확히 표시하고, 복구 이후 경고가 정상적으로 해제되는지까지 검증하는 것이다.

로봇 플릿 및 피지컬 AI(Physical AI) 인프라에서는 공통 Prometheus 기반 관측성 계층(Observability Layer)을 통해 PostgreSQL, MySQL 또는 MariaDB, Redis, Elasticsearch, 호스트 시스템, 그리고 관련 고가용성 구성요소를 함께 모니터링할 수 있다. 각 데이터베이스는 서로 다른 내부 신호를 제공하지만 레이블과 대시보드를 활용하면 프라이머리 가용성, 복제본 상태, 복제 지연, 쿼럼, 용량, 복구 준비 상태와 같은 운영 개념을 서로 다른 저장 기술에 걸쳐 일관되게 표현할 수 있다.

로봇 측 안전(Robot-Side Safety)은 중앙 집중형 모니터링 가용성과 독립적으로 유지되어야 한다. Prometheus와 Alertmanager는 플릿 데이터베이스나 리전 서비스가 저하되었음을 운영자에게 알릴 수 있지만 실시간 안전 제어기(Real-Time Safety Controller)는 아니다. 중앙 데이터베이스 인프라가 장애 상태이거나 복구 중이더라도 로봇과 엣지 시스템(Edge System)은 로컬 모션 안전(Local Motion Safety), 충돌 회피(Collision Avoidance), 필수적인 자율 동작을 유지해야 한다. 모니터링은 즉각적인 물리 제어가 아니라 운영 대응(Operational Response)을 지원한다.

성숙한 고가용성 모니터링 설계(HA Monitoring Design)는 기술적인 측정값을 복구 목표(Recovery Objective) 및 운영 조치와 연결해야 한다. Prometheus는 데이터베이스와 인프라 신호를 수집하고 평가하며 Alertmanager는 의미 있는 상태를 그룹화되고 라우팅되며 통제된 알림으로 변환한다. 여기에 대시보드, 런북, 버전 관리형 설정, 용량 모니터링, 반복적인 장애 테스트를 결합하면 데이터베이스 이중화를 측정 가능하고 실제 운영에 활용 가능한 형태로 만들어 로봇 플릿 및 피지컬 AI 플랫폼의 신뢰성 있는 운영을 지원할 수 있다.

10.09 HA Database Split-Brain Response

스플릿 브레인(Split Brain)은 두 개 이상의 노드가 동시에 자신이 쓰기 가능한 프라이머리(Writable Primary)로 동작할 권한이 있다고 판단할 수 있기 때문에 고가용성 데이터베이스(High-Availability Database)에서 가장 위험한 장애 상태 중 하나이다. 단순한 서비스 중단이 발생하는 대신 시스템이 서로 분리된 경로에서 계속 트랜잭션(Transaction)을 처리할 수 있다. 이로 인해 서로 분기된 데이터베이스 이력(Divergent Database History), 충돌하는 업데이트, 중복 작업, 어떤 데이터를 권위 있는 데이터(Authoritative Data)로 취급해야 하는지에 대한 불확실성이 발생할 수 있다.

스플릿 브레인은 완전한 서버 장애보다 통신 장애(Communication Failure)에서 시작되는 경우가 많다. 프라이머리 데이터베이스는 계속 실행되고 있지만 복제본(Replica), 클러스터 관리자(Cluster Manager), 또는 다른 리전(Region)과의 연결을 잃을 수 있다. 고가용성 시스템의 다른 영역에서는 이러한 격리를 프라이머리 장애로 판단하여 복제본을 승격(Promotion)할 수 있다. 기존 프라이머리에 일부 애플리케이션이 계속 접근할 수 있다면 양쪽 모두 서로 조정할 수 없는 상태에서 독립적으로 쓰기를 처리할 수 있다.

따라서 네트워크 파티션(Network Partition)은 스플릿 브레인 위험의 주요 원인이다. 네트워크 파티션은 클러스터 구성원을 내부적으로는 정상적으로 동작하지만 서로 안정적으로 통신할 수 없는 여러 그룹으로 분리한다. 한 파티션의 관점에서는 반대편 노드가 실제로 계속 실행되고 있더라도 장애가 발생한 것처럼 보일 수 있다. 고가용성 아키텍처는 통신 손실과 권한 상실이 확정된 상태를 구분하고 어떤 파티션이 계속 쓰기를 처리할 수 있는지를 명확하게 정의해야 한다.

쿼럼 메커니즘(Quorum Mechanism)은 중요한 클러스터 결정을 내리기 전에 충분한 동의를 요구함으로써 이러한 위험을 줄인다. 필요한 과반수(Majority)를 유지한 파티션은 리더 선출(Leader Election)이나 승격을 계속 수행할 수 있지만 소수 파티션(Minority Partition)은 일반적으로 권위 있는 변경을 수행할 능력을 잃어야 한다. 쿼럼이 모든 운영 문제를 제거하는 것은 아니지만 통신 장애가 발생했을 때 분산 시스템의 어느 부분이 의사결정 권한(Decision-Making Authority)을 유지하는지를 결정하는 공식적인 규칙을 제공한다.

홀수 개의 투표 그룹(Odd-Sized Voting Group)은 과반수 결정을 보다 쉽게 유지할 수 있기 때문에 일반적으로 사용된다. 세 개의 구성원으로 이루어진 조정 그룹에서는 하나의 구성원을 사용할 수 없게 되더라도 두 구성원이 과반수를 형성할 수 있다. 그러나 동일한 물리 서버나 네트워크 세그먼트(Network Segment)에 투표 프로세스를 단순히 추가하는 것은 실질적인 장애 허용성(Fault Tolerance)을 제공하지 않는다. 하나의 인프라 장애로 과반수가 동시에 제거되지 않도록 쿼럼 구성원을 적절한 장애 도메인(Failure Domain)에 분산해야 한다.

펜싱(Fencing)은 다른 노드가 승격된 이후 기존 프라이머리가 계속 쓰기를 처리하는 것을 방지하는 핵심 메커니즘이다. 목적은 권한이 취소된 노드를 격리하거나 비활성화한 이후에 교체 노드가 완전한 권위 노드(Authoritative Node)가 되도록 하는 것이다. 펜싱에는 데이터베이스 서비스 중지, 네트워크 접근 차단, 저장장치 접근 권한 제거, 라우팅 변경, 가상 주소(Virtual Address) 비활성화, 접근 정책 변경 또는 인프라 관리 인터페이스를 이용한 위험 노드의 전원 차단 등이 포함될 수 있다.

일반적으로 "Shoot The Other Node In The Head"를 의미하는 STONITH는 일부 고가용성 시스템에서 사용하는 강력한 형태의 펜싱이다. 표현은 극단적이지만 목적은 명확하다. 클러스터 역할이 불확실한 노드가 공유 상태(Shared State) 또는 권위 있는 상태(Authoritative State)를 계속 변경하지 못하도록 확실하게 차단하는 것이다. 전원 제어, 하이퍼바이저(Hypervisor) 작업, 클라우드 인스턴스 제어 또는 저장장치 펜싱(Storage Fencing)은 응답하지 않는 데이터베이스 프로세스에 단순히 종료를 요청하는 것보다 강력한 보장을 제공할 수 있다.

리더 리스(Leader Lease)와 분산 잠금(Distributed Lock) 역시 하나의 쓰기 권한을 유지하는 데 도움이 될 수 있다. 노드는 합의 또는 조정 서비스(Consensus or Coordination Service)를 통해 유지되는 유효한 리스나 잠금을 소유하고 있는 동안에만 프라이머리로 동작하도록 허용될 수 있다. 해당 권한에 접근할 수 없어 리스를 갱신하지 못한다면 쓰기 처리를 중단해야 한다. 이러한 메커니즘은 만료 조건, 시간 동기화 가정, 네트워크 동작, 장애 의미론(Failure Semantics)이 신중하게 설계되고 테스트될 때 효과적이다.

클라이언트 라우팅(Client Routing)은 데이터베이스 클러스터와 동일한 권한 모델(Authority Model)을 따라야 한다. 클러스터가 새로운 프라이머리를 올바르게 승격하더라도 오래된 DNS 레코드, 로드 밸런서(Load Balancer), 프록시(Proxy), 연결 풀(Connection Pool), 애플리케이션 설정이 기존 노드로 계속 요청을 전달할 수 있다. 따라서 고가용성 설계에서는 데이터베이스 역할 변경과 서비스 디스커버리(Service Discovery) 및 라우팅 갱신을 조정하여 클라이언트가 현재 권한을 가진 쓰기 가능 엔드포인트(Writable Endpoint)로 수렴하도록 해야 한다.

장애 감지(Detection)는 하나의 상태 확인 실패를 프라이머리 소멸의 증거로 해석하기보다 여러 신호를 결합해야 한다. 데이터베이스 접근 가능성, 복제 상태, 클러스터 구성원 상태(Cluster Membership), 조정 서비스 상태, 네트워크 경로, 피어 관찰(Peer Observation)을 함께 사용하면 보다 신뢰할 수 있는 상태 판단이 가능하다. 공격적인 장애 감지는 서비스 중단 시간을 줄일 수 있지만 잘못된 승격(False Promotion)을 증가시킬 수 있으므로 타임아웃과 선출 설정은 복구 시간 목표(Recovery Time Objective, RTO)와 스플릿 브레인 방지 사이에서 균형을 이루어야 한다.

스플릿 브레인이 의심되는 경우 첫 번째 운영 우선순위는 추가적인 데이터 분기(Divergence)를 중단하는 것이다. 엔지니어는 현재 어떤 노드가 쓰기 가능한 상태인지, 어떤 클라이언트가 각 노드에 접근할 수 있는지, 어느 영역이 정당한 클러스터 권한을 유지하고 있는지를 확인해야 한다. 정상 트래픽을 복원하기 전에 안전하지 않은 쓰기 노드(Unsafe Writer)를 격리해야 한다. 양쪽에서 트랜잭션을 계속 처리하면서 조사하면 충돌 데이터의 양이 증가하여 이후의 데이터 조정(Reconciliation)이 훨씬 어려워질 수 있다.

쓰기 권한이 안정화된 이후에는 트랜잭션 이력(Transaction History)을 비교해야 한다. 관리자는 트랜잭션 로그, WAL 위치(WAL Position), GTID, 복제 오프셋(Replication Offset), 타임스탬프(Timestamp), 애플리케이션 식별자 또는 데이터베이스별 메타데이터를 조사하여 어느 지점에서 이력이 분기되었는지를 판단할 수 있다. 정확한 증거는 데이터베이스 기술에 따라 달라진다. 목적은 공통으로 복제된 이력과 파티션 발생 이후 독립적으로 수행된 트랜잭션 사이의 신뢰할 수 있는 경계점을 확립하는 것이다.

권위 있는 이력(Authoritative History)의 선택은 단순히 가장 많은 데이터를 포함한 노드를 선택하는 것이 아니라 사전에 정의된 소유권 및 비즈니스 규칙(Ownership and Business Rule)을 따라야 한다. 한쪽 분기에 더 최근의 트랜잭션이 존재할 수 있지만 다른 분기에는 외부적으로 이미 확정되었거나 더 중요한 작업이 포함될 수 있다. 임무 할당(Mission Assignment), 결제, 재고 변경, 로봇 명령, 유지보수 기록, 권한 업데이트는 서로 다른 조정 요구사항을 가질 수 있으므로 복구 과정에서는 애플리케이션 의미론(Application Semantics)이 중요하다.

자동 병합(Automatic Merge)은 충돌을 결정론적으로 해결할 수 있을 때만 안전하다. 전역적으로 고유한 식별자(Globally Unique Identifier)를 사용하는 독립적인 삽입 작업은 경우에 따라 결합할 수 있지만 동일한 레코드에 대한 동시 업데이트는 비즈니스 수준의 판단이 필요할 수 있다. 하나의 데이터베이스를 다른 데이터베이스 위에 무조건 복사하면 유효한 트랜잭션이 손실될 수 있고 모든 레코드를 무조건 병합하면 논리적으로 불가능한 상태가 생성될 수 있다. 복구 절차에서는 데이터를 재실행(Replay), 병합(Merge), 재생성(Regenerate), 수동 검토(Manual Review)가 가능한 유형으로 분류해야 한다.

멱등성(Idempotency)은 스플릿 브레인 사고 이후 작업을 재시도하거나 다시 실행해야 할 때 피해를 줄이는 데 도움이 된다. 임무 요청, 이벤트 또는 명령에 고유한 작업 식별자(Operation Identifier)가 존재하면 애플리케이션은 동일한 논리적 작업이 이미 처리되었음을 인식하고 중복 실행을 방지할 수 있다. 이는 파티션 발생 중 클라이언트가 타임아웃을 경험하여 다른 프라이머리에 다시 연결하기 전에 원래 트랜잭션이 완료되었는지를 판단할 수 없는 상황에서 특히 유용하다.

쓰기 소유권(Write Ownership)은 많은 충돌이 발생하기 전에 이를 방지할 수 있다. 데이터는 사이트, 로봇, 고객, 리전 또는 기타 안정적인 키(Stable Key)를 기준으로 분할하여 일반적으로 하나의 권한 주체만 특정 논리적 레코드를 수정하도록 할 수 있다. 액티브-액티브 시스템(Active-Active System)에서도 소유권 규칙은 격리된 리전들이 동일한 데이터를 동시에 수정할 가능성을 줄인다. 강한 일관성(Strong Consistency)이 필요한 전역 정보에는 보다 강한 조정 메커니즘을 적용하고 로컬 소유 데이터는 더 적은 의존성으로 계속 처리할 수 있다.

모니터링(Monitoring)은 실제로 충돌하는 쓰기가 발생하기 전에 스플릿 브레인 위험 증가를 나타내는 상태를 감지해야 한다. 주요 신호에는 쿼럼 손실, 여러 개의 쓰기 가능 노드, 예상하지 못한 리더 변경, 펜싱 실패, 복제 중단, 급격히 증가하는 복제 지연, 조정 서비스 장애, 일치하지 않는 클러스터 구성원 상태, 오래된 프라이머리(Obsolete Primary)에 연결된 클라이언트 등이 포함된다. 정상적으로 실행되고 있지만 권한이 없는 쓰기 노드는 사용 불가능한 노드보다 더 위험할 수 있으므로 경고는 권한 위반(Authority Violation)을 중요하게 다루어야 한다.

감사 로그(Audit Log)는 사고 재구성(Incident Reconstruction)에 필수적이다. 데이터베이스 로그, 클러스터 관리자 이벤트, 프록시 기록, 인프라 이벤트, 애플리케이션 요청 식별자, 정확한 타임스탬프를 이용하면 파티션이 언제 시작되었고, 언제 승격이 발생했으며, 어떤 클라이언트가 각 분기에 데이터를 기록했는지를 파악할 수 있다. 데이터베이스, 애플리케이션, 인프라 시스템 사이의 시간 동기화(Clock Synchronization)는 이벤트 순서를 재구성하고 분기된 트랜잭션의 범위를 판단하는 능력을 향상시킨다.

백업(Backup)과 특정 시점 복구(Point-in-Time Recovery)는 데이터 조정만으로 일관된 상태를 신뢰성 있게 복원할 수 없는 경우 추가적인 안전 메커니즘을 제공한다. 충돌하거나 잘못된 변경사항이 이미 운영 노드 전체에 존재할 수 있으므로 복제만으로는 충분하지 않다. 과거 백업, 보관된 트랜잭션 로그(Archived Transaction Log), 복구 체크포인트(Recovery Checkpoint)를 이용하면 알려진 정상 상태를 재구성하고 직접적인 조정 과정에서 불확실성이 지나치게 큰 경우 검증된 작업만 선택적으로 다시 실행할 수 있다.

장애 테스트(Failure Testing)는 정상적인 프로세스 종료만 테스트하는 것이 아니라 네트워크 파티션과 격리 시나리오(Isolation Scenario)를 의도적으로 재현해야 한다. 엔지니어는 프라이머리를 조정 서비스에서 분리하고, 복제본을 격리하고, 클라이언트 라우팅을 중단하면서 쿼럼 동작, 펜싱, 승격, 라우팅 수렴(Routing Convergence), 복구 과정을 검증해야 한다. 테스트에서는 격리된 노드가 프라이머리 역할을 유지하기 위한 조건을 잃은 이후에도 권위 있는 쓰기 노드로 계속 동작할 수 없는지를 확인해야 한다.

운영 런북(Operational Runbook)은 실제 사고가 발생하기 전에 스플릿 브레인 대응 절차를 정의해야 한다. 여기에는 누가 프라이머리의 권위를 선언할 수 있는지, 안전하지 않은 노드를 어떻게 펜싱할 것인지, 트래픽을 어떻게 중단하거나 전환할 것인지, 어떤 증거를 보존해야 하는지, 분기된 데이터를 어떻게 분류할 것인지가 포함되어야 한다. 장애 상황에서 즉흥적으로 내린 결정은 중요한 증거를 제거하거나 이후 데이터 조정에 필요한 트랜잭션을 덮어쓸 수 있으므로 복구 절차를 사전에 반복적으로 연습해야 한다.

로봇 플릿(Robot Fleet) 및 피지컬 AI(Physical AI) 시스템에서는 충돌하는 데이터베이스 권한이 임무 소유권, 스케줄링, 로봇 설정, 유지보수 상태, 사용자 권한, 플릿 조정(Fleet Coordination)에 영향을 줄 수 있다. 따라서 즉각적인 로봇 안전은 전역적으로 권위 있는 데이터베이스의 가용성에 의존하기보다 로컬에서 유지되어야 한다. 데이터베이스 파티션이 발생하는 동안 로봇은 안전한 로컬 동작(Local Behavior)을 유지하고 상위 수준 시스템에서는 전역적으로 일관된 상태가 필요한 작업을 제한하거나 일시 중단할 수 있다.

복원력 있는 아키텍처(Resilient Architecture)는 스플릿 브레인 방지를 쿼럼, 펜싱, 권한 관리(Authority Management), 라우팅, 애플리케이션 의미론, 모니터링, 검증된 복구 절차가 결합된 문제로 다룬다. 모든 장애 시나리오를 하나의 메커니즘만으로 해결할 수는 없다. 핵심 원칙은 통신 손실이 여러 개의 제한 없는 권한 주체(Unrestricted Authority)를 조용히 생성하도록 해서는 안 된다는 것이다. 권한이 명확하게 정의되고 안전하지 않은 쓰기 노드를 신속하게 격리할 수 있다면 고가용성 시스템은 숨겨진 데이터 분기를 허용하는 대신 예측 가능한 방식으로 장애에 대응할 수 있다.

10.10 Robot Fleet Database HA Operation Case

로봇 플릿 데이터베이스(Robot Fleet Database)는 다수의 로봇, 임무(Mission), 사용자, 시설, 지원 서비스를 조정하는 데 필요한 정보를 저장하는 공통 운영 기반이다. 데이터베이스 장애는 임무 할당, 플릿 대시보드(Fleet Dashboard), 설정 접근, 유지보수 워크플로(Maintenance Workflow), 로봇 간 협업을 중단시킬 수 있으므로 고가용성(High Availability, HA)이 중요하다. 따라서 고가용성 설계는 중앙 운영을 보호하면서도 즉각적인 로봇 안전이 지속적인 데이터베이스 연결에 의존하지 않도록 해야 한다.

실용적인 플릿 아키텍처(Fleet Architecture)는 실시간 로봇 제어(Real-Time Robot Control)와 플릿 수준 데이터베이스 서비스를 분리한다. 모션 제어(Motion Control), 비상 정지(Emergency Stop), 장애물 회피(Obstacle Avoidance), 위치추정(Localization), 필수 내비게이션은 로봇 또는 로컬 엣지 시스템(Local Edge System)에 유지한다. 중앙 데이터베이스는 로봇 등록, 임무 큐(Mission Queue), 일정, 지도, 설정 버전, 사용자 권한, 유지보수 기록, 과거 이벤트와 같이 상대적으로 느리게 변경되는 운영 상태를 관리한다. 이러한 분리는 데이터베이스 장애가 물리적 시스템에 미치는 영향을 제한한다.

주요 운영 데이터베이스(Operational Database)는 하나의 쓰기 가능 프라이머리(Writable Primary)와 하나 이상의 복제본(Replica)을 갖는 고가용성 클러스터로 배포할 수 있다. 애플리케이션은 특정 서버에 영구적으로 연결하는 대신 안정적인 서비스 엔드포인트(Service Endpoint)를 통해 데이터베이스에 접근한다. 복제(Replication)는 커밋된 변경사항을 대기 노드(Standby Node)로 지속적으로 전달하며 고가용성 관리자(HA Manager)는 노드 상태를 감시하고 프라이머리를 사용할 수 없게 되면 적절한 복제본을 승격(Promotion)한다. 이후 클라이언트 라우팅(Client Routing)은 새로운 쓰기 가능 노드로 변경된다.

플릿 애플리케이션(Fleet Application)은 모든 데이터베이스 요청이 즉시 성공한다고 가정해서는 안 된다. 프라이머리 장애가 발생하면 승격과 라우팅 변경 과정에서 기존 연결이 중단될 수 있다. 연결 풀(Connection Pool), API 서비스, 임무 관리자(Mission Manager), 플릿 오케스트레이션(Fleet Orchestration) 구성요소는 끊어진 세션을 감지하고 제한된 재시도 정책(Bounded Retry Policy)을 사용하여 다시 연결해야 한다. 재시도로 인해 임무, 명령, 예약 또는 유지보수 기록이 중복 생성되지 않도록 트랜잭션을 설계해야 한다.

멱등성(Idempotency)은 통신 장애로 인해 클라이언트가 요청 완료 여부를 확인할 수 없는 상황이 발생할 수 있으므로 로봇 플릿 운영에서 특히 중요하다. 임무 생성 요청에 전역 고유 작업 식별자(Globally Unique Operation Identifier)를 포함하면 동일한 논리적 요청을 반복하더라도 새로운 임무가 추가로 생성되지 않도록 할 수 있다. 유사한 식별자를 이용하여 데이터베이스 또는 네트워크 복구 이후 재시도될 수 있는 충전 요청, 작업 할당, 설정 업데이트 및 기타 작업을 보호할 수 있다.

로봇 상태(Robot State)는 데이터 지속성(Durability)과 시간 요구사항에 따라 분류해야 한다. 영구적인 임무 정의, 설정, 인증, 유지보수 이력, 비즈니스 기록은 일반적으로 지속성 저장소(Durable Storage)가 필요하다. 고주파 텔레메트리(High-Frequency Telemetry), 일시적인 위치, 하트비트(Heartbeat), 임시 센서 기반 상태는 특화된 시계열 시스템(Time-Series System), 캐시(Cache), 스트리밍(Streaming), 관측성 시스템(Observability System)을 사용할 수 있다. 모든 로봇 메시지를 동일하게 중요한 관계형 트랜잭션(Relational Transaction)으로 처리하면 데이터베이스 부하가 불필요하게 증가하고 고가용성 복구가 복잡해질 수 있다.

플릿 데이터베이스는 권위 있는 상태(Authoritative State)와 파생 상태(Derived State)도 구분해야 한다. 임무 소유권, 로봇 할당, 설정 버전, 접근 권한은 신중하게 통제된 업데이트가 필요한 권위 있는 레코드(Authoritative Record)가 될 수 있다. 대시보드 요약, 활용률 통계, 검색 인덱스(Search Index), 분석 뷰(Analytical View)는 기본 레코드나 이벤트 스트림(Event Stream)에서 다시 생성할 수 있는 경우가 많다. 이러한 분류는 어떤 데이터에 엄격한 복제 보장이 필요하고 어떤 서비스가 일시적으로 오래된 정보(Stale Information)를 사용하여 운영될 수 있는지를 결정하는 데 도움이 된다.

정상 운영 중에는 플릿 서비스가 권위 있는 트랜잭션을 프라이머리 데이터베이스에 기록하고 복제본은 동기화된 상태를 유지하면서 필요에 따라 일부 읽기 워크로드(Read Workload)를 처리할 수 있다. 모니터링은 프라이머리 가용성, 복제본 상태, 복제 지연(Replication Lag), 저장 용량, 연결 수, 트랜잭션 처리율, 고가용성 조정 상태(HA Coordination State)를 지속적으로 평가한다. 목적은 실제 프라이머리 장애가 발생했을 때 사용할 수 있는 복제본이 없다는 사실을 발견하는 것이 아니라 장애 발생 전에 이중화 저하(Degraded Redundancy)를 감지하는 것이다.

창고 또는 산업 현장에서 다수의 자율이동로봇(Autonomous Mobile Robot, AMR)을 운영하는 플릿 제어 시스템을 고려할 수 있다. 서버 또는 저장장치 장애로 데이터베이스 프라이머리를 사용할 수 없게 되더라도 이미 임무를 수행 중인 로봇은 로컬에서 검증된 모션 동작(Local Validated Motion Behavior)을 계속 수행해야 한다. 플릿 오케스트레이션 계층은 안전하게 확인할 수 없는 데이터베이스 의존 작업을 일시 중지하고 고가용성 시스템은 프라이머리 장애를 감지하여 사용 가능한 복제본을 평가한 후 통제된 장애조치(Failover)를 시작한다.

승격하기 전에 고가용성 메커니즘은 후보 복제본(Candidate Replica)이 충분히 최신 상태인지 그리고 프라이머리가 될 정당한 권한을 가지고 있는지를 검증해야 한다. 쿼럼(Quorum) 또는 조정 서비스(Coordination Service)는 격리된 노드가 독립적으로 자신을 승격하는 것을 방지할 수 있다. 기존 프라이머리가 계속 실행되고 있을 가능성이 있다면 펜싱(Fencing)을 통해 쓰기 작업을 처리할 수 없도록 해야 한다. 서비스의 빠른 복구보다 서로 다른 임무 및 로봇 상태를 가진 두 개의 쓰기 가능 프라이머리를 생성하지 않는 것이 더 중요하다.

복제본이 승격되면 데이터베이스 서비스 엔드포인트 또는 프록시(Proxy)가 새로운 애플리케이션 연결을 신규 프라이머리로 전달한다. 플릿 API와 오케스트레이션 서비스는 다시 연결한 후 재시도 로직(Retry Logic)에 따라 트랜잭션 처리를 재개한다. 장애 발생 중 결과를 확신할 수 없었던 작업은 다시 실행하기 전에 트랜잭션 또는 작업 식별자를 이용하여 처리 여부를 확인한다. 이를 통해 일시적인 데이터베이스 장애가 중복된 로봇 임무나 상충하는 플릿 할당으로 이어지는 것을 방지한다.

복제 지연(Replication Lag)은 비동기 장애조치(Asynchronous Failover) 이후 최근에 커밋된 정보가 어느 정도 손실될 수 있는지를 결정한다. 운영상의 영향은 손실된 데이터 유형에 따라 달라진다. 대시보드 업데이트 손실은 허용될 수 있지만 새롭게 발행된 임무 할당이나 권한 변경이 손실되면 추가적인 검증이 필요할 수 있다. 따라서 복구 시점 목표(Recovery Point Objective, RPO)는 애플리케이션 의미론(Application Semantics)과 연결되어야 하며 중요한 레코드는 대용량 운영 관측 데이터보다 강한 지속성 정책(Durability Policy)을 요구할 수 있다.

장애가 발생했던 서버가 복구되더라도 이전의 프라이머리 역할을 자동으로 다시 수행해서는 안 된다. 해당 서버의 데이터베이스 이력이 뒤처졌거나 승격된 노드와 서로 분기(Divergence)되었을 수 있다. 복구된 서버를 격리한 후 현재의 권위 있는 이력과 비교하고 다시 동기화하여 복제본으로 재편입해야 한다. 자동 재가입 메커니즘(Automated Rejoin Mechanism)은 이러한 과정을 단순화할 수 있지만 단일 프라이머리 아키텍처(Single-Primary Architecture)에서는 하나의 노드만 쓰기 권한을 가진다는 원칙을 반드시 유지해야 한다.

플릿 운영은 여러 건물, 공장 또는 지리적 리전(Geographic Region)에 걸쳐 이루어질 수도 있다. 각 사이트는 로컬 엣지 서비스와 선택된 로컬 데이터를 유지하여 일시적인 광역 네트워크(Wide Area Network, WAN) 장애가 안전한 로봇 운영을 중단시키지 않도록 할 수 있다. 리전 또는 중앙 데이터베이스는 동기화된 임무 이력, 플릿 메타데이터, 유지보수 정보, 분석 레코드를 수신할 수 있다. 이러한 계층형 접근 방식(Hierarchical Approach)은 로컬 자율성(Local Autonomy)과 중앙 가시성(Centralized Visibility)을 결합하면서 지속적인 광역 연결에 대한 의존성을 감소시킨다.

중앙 플랫폼과 연결이 끊어진 사이트는 예측할 수 없는 방식으로 동작하는 대신 정의된 성능 저하 운영 모드(Degraded Operating Mode)로 전환해야 한다. 필요한 지도, 권한, 자원이 로컬에 존재한다면 기존 임무를 계속 수행할 수 있지만 새로운 전역 조정 작업(Globally Coordinated Operation)은 제한할 수 있다. 로컬에서 생성된 이벤트는 버퍼링(Buffering)한 후 연결이 복구되면 동기화할 수 있다. 구체적인 정책은 각 데이터 범주가 로컬 권위(Local Authority), 중앙 권위(Central Authority), 또는 안전하게 병합 가능한 상태인지에 따라 결정된다.

여러 사이트가 연결이 끊어진 상태에서도 운영될 수 있다면 충돌하는 소유권(Conflicting Ownership)을 방지해야 한다. 로봇 식별자, 임무 식별자, 자원 예약(Resource Reservation), 작업 소유권(Task Ownership)은 장애 도메인 전체에서 모호하지 않은 규칙을 사용해야 한다. 전역 고유 식별자(Globally Unique Identifier)와 명시적인 사이트 소유권(Site Ownership)은 충돌 위험을 감소시킨다. 하나의 전역 권한(Global Authority)이 필요한 데이터는 네트워크 파티션 동안 읽기 전용(Read-Only) 또는 사용 불가 상태가 되어야 할 수 있지만 사이트 소유 레코드는 로컬에서 계속 변경되고 이후 동기화될 수 있다.

캐싱(Caching)은 복원력(Resilience)을 향상시킬 수 있지만 권위 있는 데이터베이스 상태를 암묵적으로 대체해서는 안 된다. 플릿 서비스는 짧은 데이터베이스 장애를 견디기 위해 로봇 메타데이터, 지도, 설정, 권한 정보를 캐시할 수 있다. 모든 캐시 항목에는 정의된 유효성(Validity)과 갱신 동작(Refresh Behavior)이 있어야 한다. 중앙 데이터베이스가 장애 상태라고 해서 캐시된 복사본이 기술적으로 계속 사용 가능하다는 이유만으로 안전 관련 또는 권한 관련 판단에서 오래된 정보에 무기한 의존해서는 안 된다.

메시지 큐(Message Queue)와 이벤트 스트림(Event Stream)은 로봇 통신을 즉각적인 데이터베이스 가용성으로부터 분리할 수 있다. 로봇 이벤트는 내구성 있는 메시징 계층(Durable Messaging Layer)에 먼저 입력된 후 데이터베이스 서비스를 사용할 수 있을 때 운영 데이터베이스에 기록될 수 있다. 이를 통해 직접 연결 부하를 줄이고 짧은 장애 동안 모든 수신 이벤트가 손실되는 것을 방지할 수 있다. 그러나 소비자(Consumer)는 중복 전달, 순서 보장(Ordering), 재실행(Replay), 역압력(Backpressure)을 처리하여 지연된 처리가 플릿 상태를 손상시키지 않도록 해야 한다.

모니터링(Monitoring)은 데이터베이스 상태를 플릿 수준의 운영 결과와 연결해야 한다. 엔지니어는 프라이머리 역할, 복제본, 복제 지연, 장애조치 상태, 저장공간, 백업, API 오류, 연결 재시도, 대기 중인 이벤트, 임무 처리 지연, 성능 저하 모드에서 동작하는 로봇 수를 확인할 수 있어야 한다. 데이터베이스 클러스터가 기술적으로 정상이어도 플릿 서비스가 다시 연결하지 못할 수 있으므로 인프라 메트릭(Infrastructure Metric)과 애플리케이션 수준 서비스 지표(Application-Level Service Indicator)를 함께 분석해야 한다.

알림(Alerting)은 이중화 감소와 실제 서비스 손실을 구분해야 한다. 복제본 장애는 프라이머리가 계속 사용 가능하지만 플릿이 일부 복구 보호 기능을 잃었다는 의미이므로 경고(Warning)를 발생시킬 수 있다. 성공적인 승격 없이 쓰기 가능 프라이머리를 잃는 상황은 더 긴급하며 여러 개의 쓰기 가능 노드가 존재하는 상태는 권한 위반(Authority Violation)으로 처리해야 한다. 알림은 단순히 메트릭이 임계값을 넘었다는 사실을 전달하는 데 그치지 않고 구체적인 운영 절차로 연결되어야 한다.

플릿 데이터베이스에 여러 개의 복제본이 존재하더라도 백업(Backup)은 여전히 필요하다. 복제는 가용성을 보호하지만 실수로 인한 삭제, 손상된 애플리케이션 업데이트, 논리적으로 잘못된 레코드를 모든 노드에 빠르게 복제할 수도 있다. 정기적인 백업, 트랜잭션 로그 아카이빙(Transaction-Log Archiving), 특정 시점 복구(Point-in-Time Recovery, PITR)는 과거 상태로 복구할 수 있는 경로를 제공한다. 백업 파일이 존재한다는 사실을 실제 복구 가능성이 검증된 것으로 오해하지 않도록 대표적인 플릿 데이터를 사용하여 복원 절차를 테스트해야 한다.

고가용성 테스트(HA Testing)는 데이터베이스 프로세스만 독립적으로 중지하는 것이 아니라 실제적인 플릿 장애를 재현해야 한다. 테스트에서는 프라이머리를 종료하고, 복제본 연결을 차단하고, 네트워크 경로를 중단하고, 조정 구성원을 제거하고, 기존 프라이머리를 재시작하거나 플릿 애플리케이션을 일시적으로 격리할 수 있다. 엔지니어는 로봇 동작, 임무 연속성, 장애조치 시간, 재연결, 재시도, 중복 방지, 모니터링, 알림, 복구 이후 완전한 이중화 상태의 복원까지 관찰해야 한다.

효과적인 테스트는 복구 과정에만 집중하지 않고 데이터베이스를 사용할 수 없는 동안 어떤 일이 발생하는지도 검증해야 한다. 로봇은 로컬 안전(Local Safety)을 유지해야 하고 애플리케이션은 정의된 정책에 따라 작업을 거부하거나 큐에 저장해야 하며 운영자는 이해하기 쉬운 상태 정보를 제공받아야 한다. 또한 결과가 불확실한 트랜잭션(Uncertain Transaction)은 추적 가능한 상태로 유지되어야 한다. 이를 통해 인프라 장애가 안전하지 않거나 논리적으로 일관되지 않은 동작을 만드는 대신 플릿이 통제된 모드(Controlled Mode)로 장애에 대응하는지를 확인할 수 있다.

결과적으로 고가용성 아키텍처(HA Architecture)는 단순한 복제 데이터베이스 클러스터(Replicated Database Cluster) 이상의 구조이다. 로컬 로봇 자율성(Local Robot Autonomy), 권위 있는 데이터 분류, 데이터베이스 복제, 자동 장애조치(Automated Failover), 펜싱, 안정적인 클라이언트 라우팅, 멱등성 애플리케이션(Idempotent Application), 버퍼링, 모니터링, 백업, 검증된 복구 절차를 하나의 시스템으로 결합해야 한다. 이러한 계층을 함께 설계하면 데이터베이스 장애가 플릿 조정 기능을 일시적으로 저하시킬 수는 있어도 통제되지 않은 로봇 장애나 운영 상태의 영구적인 손상으로 확대되는 것을 방지할 수 있다.


저자: Richard Minsoo Go

LinkedIn: Richard Minsoo Go

Top comments (0)