DEV Community

Richard Minsoo Go
Richard Minsoo Go

Posted on

Robot Database and Storage — Ch.08: AI Dataset Storage [KR]

STATERA Library · Series 08 · Volume 08 · Chapter 08 · KR
Source: https://github.com/Statera-Library/08_Vol_08_Robot_Database_and_Storage/blob/main/Chapter_08_AI_Dataset_Storage/Chapter_08_AI_Dataset_Storage_KR.md

Volume 08 Robot Database and Storage

08. AI Dataset Storage

08.01 AI Dataset Storage Requirements: Scale, Access, Reproducibility

AI 데이터셋 저장소(AI Dataset Storage)는 머신러닝(Machine Learning) 워크로드가 방대한 데이터 용량, 다양한 파일 형식, 반복적인 실험, 매우 가변적인 접근 패턴(Access Pattern)을 결합하기 때문에 기존의 일반적인 파일 저장소와 근본적으로 다르다. 저장 아키텍처(Storage Architecture)는 현재 데이터셋 크기뿐만 아니라 새로운 센서 기록, 어노테이션(Annotation), 합성 데이터(Synthetic Sample), 파생 특징(Derived Feature), 체크포인트(Checkpoint), 중간 처리 결과가 지속적으로 생성되면서 발생하는 데이터 증가까지 지원해야 한다.

따라서 확장성(Scale)은 저장 용량과 운영 확장성(Operational Scalability)을 함께 고려해야 한다. 데이터셋 저장소는 초기 실험 단계의 수 테라바이트(Terabyte) 규모에서 자율 시스템, 로봇, 카메라, 라이다(LiDAR), 시뮬레이션 플랫폼(Simulation Platform), 디지털 트윈(Digital Twin)이 지속적으로 데이터를 생성하는 환경에서는 수백 테라바이트 또는 수 페타바이트(Petabyte)까지 증가할 수 있다. 추가 장비가 설치될 때마다 디렉터리 구조, 응용 프로그램 인터페이스, 학습 파이프라인(Training Pipeline)을 다시 설계하지 않고도 저장 용량을 확장할 수 있어야 한다.

AI 데이터셋은 일반적으로 단일한 형태로 구성되지 않는다. 하나의 로보틱스 데이터셋(Robotics Dataset)에도 RGB 이미지, 깊이 맵(Depth Map), 포인트 클라우드(Point Cloud), 비디오 시퀀스(Video Sequence), 오디오, 텔레메트리(Telemetry), 관절 상태(Joint State), 궤적(Trajectory), 어노테이션, 캘리브레이션 파라미터(Calibration Parameter), 메타데이터(Metadata), 시뮬레이션 기록 등이 포함될 수 있다. 저장 시스템은 이러한 요소 사이의 관계를 유지하면서 각 데이터 유형에 적합한 표현 방식을 사용할 수 있어야 한다.

전체 저장 용량만큼이나 파일의 개수도 중요한 문제가 될 수 있다. 수백만 개의 작은 이미지나 어노테이션 파일은 전체 크기가 크지 않더라도 메타데이터 연산(Metadata Operation)에 상당한 부담을 줄 수 있다. 반대로 대용량 비디오 아카이브(Video Archive)나 압축된 학습 샤드(Training Shard)는 처리량(Throughput)과 병렬 읽기(Parallel Read) 측면에서 다른 문제를 발생시킨다. 따라서 저장 공간의 테라바이트 용량만 평가하는 것이 아니라 객체 수, 평균 객체 크기, 디렉터리 깊이, 아카이브 전략(Archive Strategy), 예상 동시 접근성(Concurrency)을 함께 고려해야 한다.

접근 요구사항(Access Requirement)은 AI 워크로드의 특성에 크게 영향을 받는다. 데이터 수집(Data Ingestion)은 일반적으로 순차적인 쓰기를 발생시키는 반면, 전처리(Preprocessing)는 데이터셋의 상당 부분을 반복적으로 검색할 수 있다. 모델 학습(Model Training)은 여러 워커(Worker) 또는 GPU에서 대규모 병렬 읽기를 발생시키며, 평가(Evaluation)는 고정된 데이터 부분집합(Subset)에 대한 결정론적 접근(Deterministic Access)을 요구할 수 있다. 따라서 저장 성능은 이론적인 순차 읽기 및 쓰기 성능만으로 평가하기보다 실제 파이프라인을 기반으로 평가해야 한다.

고성능 학습 환경(High-Performance Training Environment)에서는 고가의 가속기(Accelerator)가 데이터를 기다리는 상황을 방지할 수 있도록 충분한 총 처리량(Aggregate Throughput)이 필요하다. 여러 GPU가 이미지, 텐서(Tensor), 학습 샤드를 동시에 요청하면 단일 워크스테이션에서는 충분했던 저장 시스템이 병목(Bottleneck)이 될 수 있다. 따라서 병렬 파일 시스템(Parallel File System), 네트워크 연결 저장소(Network-Attached Storage), 로컬 NVMe 캐시(Local NVMe Cache), 객체 저장소(Object Storage)를 계층형 아키텍처(Hierarchical Architecture)로 결합하여 자주 사용하는 데이터를 연산 자원 가까이에 배치할 수 있다.

특히 작은 객체가 많이 포함된 워크로드에서는 지연시간(Latency)도 중요하다. 학습 프로세스는 매초 수천 번의 파일 열기와 메타데이터 연산을 수행할 수 있으므로 네임스페이스 성능(Namespace Performance)과 캐싱(Caching)이 중요해진다. 작은 샘플을 타르 샤드(Tar Shard), 데이터베이스 레코드(Database Record), 최적화된 데이터셋 형식으로 묶으면 메타데이터 부하를 줄일 수 있다. 그러나 이러한 패키징 방식은 데이터 검사, 디버깅(Debugging), 선택적 검색, 장기적인 데이터셋 유지관리와도 호환되어야 한다.

접근 아키텍처(Access Architecture)는 서로 다른 사용자와 컴퓨팅 환경도 지원해야 한다. 연구자는 워크스테이션에서 데이터셋을 대화형으로 탐색할 수 있고, 전처리 서버는 일괄 변환(Batch Transformation)을 수행하며, GPU 클러스터(GPU Cluster)는 높은 속도로 학습 데이터를 소비하고, 엣지 시스템(Edge System)은 검증을 위해 선택된 데이터 부분집합을 요구할 수 있다. 일관된 네임스페이스(Namespace), API 또는 데이터셋 추상화(Dataset Abstraction)를 사용하면 각 환경에서 독립적인 복사본을 생성하여 출처와 동기화 관리가 어려워지는 문제를 방지할 수 있다.

계층형 저장소(Tiered Storage)는 성능과 비용 사이의 균형을 맞추는 실용적인 방법을 제공한다. 자주 사용하는 학습 데이터셋은 고속 NVMe 또는 성능 중심의 NAS(Network-Attached Storage)에 배치하고, 사용 빈도가 낮은 데이터셋은 대용량 저장소나 객체 저장소에 유지할 수 있다. 과거 버전과 거의 사용하지 않는 원시 데이터(Raw Data)는 아카이브 계층(Archive Tier)으로 이동할 수 있다. 중요한 원칙은 계층 사이에서 데이터를 이동할 때 데이터셋 식별자, 메타데이터, 체크섬(Checksum), 버전 관계를 유지하는 것이다.

재현성(Reproducibility)은 일반적인 공유 폴더 방식으로는 충족하기 어려운 추가적인 요구사항을 만든다. 하나의 실험은 사용된 데이터의 정확한 데이터셋 버전(Dataset Version), 필터링 규칙(Filtering Rule), 전처리 구성(Preprocessing Configuration), 어노테이션 개정 버전(Annotation Revision), 학습·검증·테스트 분할(Train-Validation-Test Split)을 식별할 수 있어야 한다. 내용이 변경될 수 있는 "latest" 디렉터리만으로는 이를 보장할 수 없다. 따라서 실험이나 배포 모델과 연결된 데이터셋 버전은 불변(Immutable) 상태로 유지하거나 명시적으로 버전 관리해야 한다.

재현 가능한 데이터셋은 안정적인 식별자(Stable Identifier), 파일 위치, 체크섬, 레이블(Label), 데이터 분할 정보, 변환 정보(Transformation Information), 출처 정보(Provenance)를 포함하는 매니페스트(Manifest)로 표현할 수 있다. 매니페스트는 논리적인 데이터셋 식별자와 물리적인 저장 위치를 분리한다. 무결성과 식별 관계가 제어된 매핑과 검증을 통해 유지된다면 파일이 이후 로컬 디스크에서 NAS 또는 객체 저장소로 이동하더라도 동일한 데이터셋 버전을 계속 표현할 수 있다.

체크섬(Checksum)은 대규모 AI 저장소에서 특히 중요하다. 체크섬이 없다면 자동으로 발생하는 데이터 손상(Silent Corruption), 불완전한 전송, 우발적인 파일 교체, 동기화 실패가 학습 과정에서 예상하지 못한 결과가 나타날 때까지 발견되지 않을 수 있다. SHA-256과 같은 해시(Hash) 값을 이용하면 다운로드, 마이그레이션(Migration), 백업(Backup), 아카이빙(Archiving) 이후 파일을 검증할 수 있다. 매우 큰 데이터 집합에서는 계층형 매니페스트(Hierarchical Manifest)를 사용하여 객체, 샤드, 디렉터리, 데이터셋 수준의 체크섬을 기록할 수 있다.

데이터 출처 추적(Provenance)은 단순한 파일 무결성을 넘어 재현성을 확장한다. 팀은 원시 데이터가 어디에서 생성되었는지, 언제 수집되었는지, 어떤 센서 또는 시뮬레이터(Simulator)가 생성했는지, 어떤 전처리 파이프라인이 데이터를 변환했는지, 어떤 어노테이션 과정에서 레이블이 생성되었는지를 확인할 수 있어야 한다. 파생 데이터셋(Derived Dataset)은 상위 데이터셋(Parent Dataset)에 대한 참조를 유지하여 학습 결과물에서 원본 관측 데이터와 변환 이력까지 역으로 추적할 수 있어야 한다.

데이터셋 불변성(Dataset Immutability)이 오류를 수정할 수 없다는 의미는 아니다. 오류 수정 시 기존 상태를 조용히 덮어쓰는 대신 새로운 식별 가능한 버전을 생성하고, 실험 재구성이나 감사를 위해 필요한 경우 이전 상태도 보존해야 한다. 예를 들어 잘못된 객체 레이블을 수정할 때 어노테이션 파일을 단순 교체하는 대신 버전 1.0에서 버전 1.1을 생성할 수 있다. 그러면 각 버전으로 학습된 모델을 정확하고 독립적으로 복원 가능한 데이터 상태와 연결할 수 있다.

재현성은 결정론적 데이터셋 분할(Deterministic Dataset Partitioning)에도 의존한다. 데이터를 복사하거나 재구성할 때 학습, 검증, 테스트 샘플이 의도하지 않게 다시 할당되어서는 안 된다. 따라서 데이터 분할 정보는 변경 가능한 디렉터리 내용에서 동적으로 추론하기보다 버전 관리되는 메타데이터로 저장해야 한다. 특히 인접한 프레임이나 시퀀스가 데이터 유출(Data Leakage)을 발생시킬 수 있는 로보틱스 및 시계열 데이터셋(Temporal Dataset)에서는 분할 경계를 신중하게 관리해야 한다.

보안(Security)과 접근 제어(Access Control)는 사용성을 저해하지 않는 방식으로 운영되어야 한다. 원시 센서 데이터에는 기밀 환경, 사람의 이미지, 고객 정보, 독점적인 운영 데이터가 포함될 수 있다. 역할 기반 접근 제어(Role-Based Access Control)를 이용하면 관리자, 데이터셋 엔지니어, 연구자, 어노테이션 작업자, 외부 협력자의 권한을 구분할 수 있다. 적절한 데이터셋 또는 프로젝트 경계에 접근 정책을 적용하고 감사 기록(Audit Record)을 통해 주요 수정, 내보내기, 관리 작업을 확인할 수 있어야 한다.

저장 아키텍처는 원시 데이터(Raw Data), 정제 데이터(Curated Data), 파생 데이터(Derived Data), 실험 데이터(Experimental Data)를 구분해야 한다. 원시 데이터는 최초 획득 상태에 가장 가까운 형태이며 일반적으로 수정되지 않도록 강하게 보호해야 한다. 정제 데이터셋은 검증되고 구조화된 샘플을 포함하며, 파생 계층에는 크기가 조정된 이미지, 변환된 텐서, 임베딩(Embedding), 증강 샘플(Augmented Sample), 학습 샤드 등이 포함될 수 있다. 실험 캐시(Experimental Cache)는 필요할 경우 삭제하고 다시 생성할 수 있는 재현 가능한 결과물로 관리할 수 있다.

메타데이터(Metadata)는 이러한 저장 계층을 연결하는 핵심 요소가 된다. 사용자가 물리적인 경로를 기억하도록 하는 대신 데이터셋 카탈로그(Dataset Catalog)를 통해 센서 유형, 환경, 작업(Task), 수집 날짜, 어노테이션 상태, 라이선스(License), 품질 수준, 데이터셋 버전 등의 의미적 속성을 기술할 수 있다. 검색 가능한 메타데이터는 연구자가 거대한 디렉터리 트리를 직접 탐색하지 않고 필요한 데이터를 발견하도록 하며 자동화된 데이터셋 구성과 거버넌스(Governance)의 기반을 제공한다.

수명주기 관리(Lifecycle Management)는 AI 저장소가 중복 파일이 무제한으로 누적되는 공간으로 변하는 것을 방지한다. 정책을 통해 임시 전처리 결과의 만료 시점, 비활성 데이터셋의 저비용 저장 계층 이동 시점, 장기간 보존해야 하는 공개 데이터셋을 결정할 수 있다. 중복 제거(Deduplication)와 콘텐츠 주소 지정(Content-Addressable) 기술을 이용하면 저장 공간을 추가로 절약할 수 있지만, 삭제 여부는 보존된 원본 데이터와 처리 정의를 이용하여 해당 결과물을 안정적으로 재현할 수 있는지를 고려하여 결정해야 한다.

백업 및 재해 복구(Backup and Disaster Recovery) 전략은 모든 데이터를 동일하게 취급하기보다 데이터셋의 가치에 따라 설계해야 한다. 다시 획득하기 어려운 원시 기록, 사람이 직접 생성한 어노테이션, 매니페스트, 캘리브레이션 정보, 출처 메타데이터는 재생성 가능한 캐시보다 강력하게 보호할 필요가 있다. 서로 독립적인 저장 영역에 여러 복사본을 유지하여 핵심 자산을 보호할 수 있으며, 무결성 검증(Integrity Verification)을 통해 백업이 단순히 존재하는 것이 아니라 실제 복구에 사용할 수 있는 상태인지 확인해야 한다.

하이브리드 아키텍처(Hybrid Architecture)는 데이터가 엣지 장치(Edge Device), 연구실, 온프레미스 GPU 시스템(On-Premise GPU System), NAS 플랫폼, 클라우드 객체 저장소(Cloud Object Storage) 사이를 이동하는 로보틱스와 피지컬 AI(Physical AI) 환경에 적합하다. 엣지 시스템은 새롭게 수집된 데이터를 임시로 버퍼링(Buffering)하고, 중앙 저장소는 공식 데이터셋을 보존하며, 연산 노드는 현재 사용 중인 학습 데이터 부분집합을 캐싱할 수 있다. 이때 임시 복제본이 공식 데이터셋 버전과 혼동되지 않도록 명확한 데이터 소유권 규칙이 필요하다.

데이터셋 규모가 증가할수록 저장소는 독립적인 인프라 구성요소가 아니라 머신러닝 플랫폼(Machine Learning Platform)의 일부가 되어야 한다. 학습 파이프라인은 데이터셋 버전을 자동으로 확인하고, 실행 전에 매니페스트를 검증하며, 실험 메타데이터와 함께 데이터 계보(Data Lineage)를 기록하고, 처리 이후 새롭게 생성된 결과물을 등록할 수 있다. 이러한 통합은 수동 경로 관리를 줄이고 워크스테이션, 클러스터, 미래의 인프라 환경에서도 실험을 이동 가능하게 만든다.

성숙한 AI 데이터셋 저장 전략(AI Dataset Storage Strategy)은 궁극적으로 확장성(Scale), 접근성(Access), 재현성(Reproducibility)이라는 세 가지 긴밀하게 연결된 목표 사이의 균형을 맞춘다. 확장성은 증가하는 멀티모달 데이터(Multimodal Data)를 지속적으로 관리할 수 있도록 하고, 접근성은 연구자와 가속기에 데이터를 효율적으로 공급하며, 재현성은 중요한 모든 실험을 식별 가능한 입력 데이터로부터 다시 구성할 수 있도록 한다. 이러한 목표를 통합적으로 관리하면 저장소는 단순한 수동적 저장 공간을 넘어 지속 가능한 AI 개발을 지원하는 신뢰성 높은 기반으로 발전한다.

08.02 HuggingFace Datasets Format and Usage [w/Code]

허깅페이스 데이터셋(Hugging Face Datasets)은 머신러닝(Machine Learning)을 위한 데이터셋의 검색, 로딩, 처리, 공유, 재사용을 단순화하도록 설계된 라이브러리이자 생태계(Ecosystem)이다. 개발자가 압축 파일을 직접 다운로드하고 별도의 파서(Parser)를 구현하는 대신 표준화된 인터페이스를 통해 데이터셋에 접근하고 변환할 수 있다. 자연어, 비전(Vision), 오디오, 멀티모달(Multimodal), 그리고 점차 확대되고 있는 로보틱스(Robotics) 워크플로에서도 일관된 데이터 처리 방식을 제공한다.

핵심 추상화(Core Abstraction)는 정의된 열(Column)과 특징 유형(Feature Type)을 가진 구조화된 예제 집합을 표현하는 데이터셋 객체(Dataset Object)이다. 하나의 데이터셋에는 텍스트, 수치, 클래스 레이블(Class Label), 이미지, 오디오, 배열(Array), 식별자(Identifier), 중첩 구조(Nested Structure)가 포함될 수 있다. 데이터셋 딕셔너리(DatasetDict)는 이러한 모델을 확장하여 일반적으로 학습(Train), 검증(Validation), 테스트(Test)와 같은 여러 논리적 분할을 하나의 인터페이스로 구성함으로써 실험에서 일관된 데이터 분할 경계를 유지하도록 한다.

많은 허깅페이스 데이터셋은 내부 표현 방식으로 아파치 애로우(Apache Arrow)를 사용한다. 애로우(Arrow)는 효율적인 직렬화(Serialization), 메모리 매핑(Memory Mapping), 분석 연산을 지원하는 열 지향 메모리 형식(Column-Oriented Memory Format)을 제공하며 데이터를 반복적으로 파이썬 객체(Python Object)로 변환할 필요를 줄인다. 이러한 구조는 전체 데이터 집합을 시스템 메모리에 적재하지 않고도 필요한 부분에 접근할 수 있기 때문에 대규모 데이터셋에서 특히 유용하다.

데이터셋 스키마(Dataset Schema)는 각 열의 예상 데이터 유형과 의미를 정의하는 특징(Features)을 통해 표현된다. 기본 필드는 문자열(String), 정수(Integer), 부동소수점(Float), 불리언(Boolean)을 사용할 수 있으며, 특수 특징은 클래스 레이블, 이미지, 오디오, 시퀀스(Sequence), 중첩 레코드(Nested Record)를 표현할 수 있다. 명시적인 스키마는 다운스트림 파이프라인(Downstream Pipeline)이 임의의 파일 구조로부터 데이터 의미를 추론하지 않고 데이터가 어떻게 해석되어야 하는지 판단할 수 있게 한다.

라이브러리는 CSV, JSON, JSON 라인(JSON Lines), 파케이(Parquet), 텍스트 파일, 이미지, 오디오 컬렉션(Collection)과 같은 일반적인 형식에서 생성된 데이터셋을 지원한다. 따라서 기존 저장소의 데이터를 하나의 원본 형식으로 모두 변환하지 않고도 표준화된 데이터셋 인터페이스로 구성할 수 있다. 특히 파케이(Parquet)는 열 기반 저장(Columnar Storage), 압축(Compression), 선택적 읽기(Selective Reading)를 지원하므로 대규모 구조화 데이터의 저장 및 처리 효율성을 크게 향상시킬 수 있다.

데이터셋 로딩(Dataset Loading)은 일반적으로 로드 데이터셋(load_dataset) 인터페이스에서 시작하며, 공개된 데이터셋을 가져오거나 로컬 또는 원격 데이터 파일로부터 새로운 데이터셋을 구성할 수 있다. 구성 파라미터(Configuration Parameter)를 통해 부분집합(Subset), 구성(Configuration), 분할(Split), 특정 원본 파일을 선택할 수 있다. 로딩 이후에는 공통 API를 통해 데이터셋을 다루므로 실험이 서로 다른 데이터 소스로 이동할 때 필요한 데이터셋별 코드를 줄일 수 있다.

이 형식의 주요 장점 중 하나는 메모리 매핑 접근(Memory-Mapped Access)이다. 전체 데이터셋을 RAM으로 복사하는 대신 애로우 기반 데이터셋(Arrow-Backed Dataset)은 디스크에 저장된 데이터를 참조하고 필요할 때 레코드(Record)를 가져올 수 있다. 따라서 사용 가능한 메모리보다 큰 데이터셋도 일반적인 워크스테이션에서 처리할 수 있으며, 전처리나 학습 파이프라인이 동일한 원본 데이터셋에 반복적으로 접근할 때 불필요한 메모리 복제를 줄일 수 있다.

스트리밍(Streaming)은 매우 크거나 원격에 저장된 데이터 집합을 처리하기 위한 또 다른 방법이다. 스트리밍 모드(Streaming Mode)에서는 전체 데이터셋을 먼저 다운로드하지 않고 예제를 순차적으로 가져와 처리할 수 있다. 데이터셋이 수백 기가바이트에서 수 테라바이트 규모에 이르거나 전체 데이터 중 일부만 검사하고 처리하려는 경우 유용하다. 다만 스트리밍에서는 무작위 접근(Random Access)에 관한 일부 전제가 달라지므로 알고리즘도 이에 적합하게 설계해야 한다.

변환 연산(Transformation Operation)을 사용하면 완전히 별도의 수동 처리 시스템을 구축하지 않고도 데이터셋을 준비할 수 있다. 맵(map)과 같은 기능은 토큰화(Tokenization), 정규화(Normalization), 특징 추출(Feature Extraction), 필터링(Filtering), 메타데이터 생성 등을 데이터 예제에 적용할 수 있다. 필요한 경우 연산을 배치(Batch) 단위 또는 병렬로 수행할 수 있으므로 동일한 개념의 전처리 파이프라인을 소규모 실험 데이터와 대규모 운영 데이터 모두에 적용할 수 있다.

실제 AI 저장소에는 모든 실험에서 사용할 필요가 없는 샘플이 포함되는 경우가 많기 때문에 필터링(Filtering)이 중요하다. 데이터셋 연산을 이용하면 레이블, 메타데이터, 품질 지표(Quality Indicator), 센서 조건 또는 기타 기준에 따라 특정 예제를 선택할 수 있다. 결정론적 선택 규칙(Deterministic Selection Rule)과 필터링을 함께 사용하면 더 큰 원본 데이터셋과의 추적 가능한 관계를 유지하면서 특정 목적의 학습 데이터 집합을 정의할 수 있다.

재현성(Reproducibility)이 중요할 경우 셔플링(Shuffling)과 데이터 분할(Splitting)을 신중하게 처리해야 한다. 무작위 연산에는 명시적인 시드(Seed)를 사용하여 다른 실행에서도 동일한 샘플 순서나 분할을 재구성할 수 있도록 해야 한다. 기존의 공식 학습, 검증, 테스트 분할은 임의로 재구성하지 않고 식별 가능한 상태로 유지하는 것이 바람직하다. 시계열, 로보틱스 또는 연속 데이터에서는 시퀀스나 기록 세션(Recording Session)을 기준으로 분할하여 서로 밀접하게 관련된 프레임이 평가 경계를 넘어 데이터 유출(Data Leakage)을 일으키는 것도 방지할 수 있다.

데이터셋 지문(Dataset Fingerprint)은 변환을 통해 생성된 데이터셋 상태를 식별함으로써 재현성을 지원한다. 연산이 데이터셋을 변경하면 이전 데이터셋과 변환 과정에서 파생된 정보를 이용하여 결과 상태를 연결할 수 있다. 이 메커니즘은 캐싱(Caching)과 반복 계산을 효율화하지만, 장기적인 추적성이 필요한 경우에는 원본 리비전(Source Revision), 전처리 파라미터, 코드 버전(Code Version), 외부에서 관리되는 매니페스트(Manifest)도 함께 기록하는 것이 안정적이다.

캐싱(Caching)은 실질적인 데이터셋 활용에서 또 하나의 중요한 구성요소이다. 다운로드한 원본 자료와 처리된 애로우 표현(Arrow Representation)을 로컬에 저장하면 이후 실행에서 비용이 큰 네트워크 전송이나 데이터 변환을 반복하지 않아도 된다. 공유 GPU 환경에서는 대규모 데이터셋이 로컬 디스크 공간을 빠르게 소모할 수 있으므로 캐시 위치를 신중하게 설계해야 한다. 자주 사용하는 처리 데이터셋에는 고속 SSD 또는 NVMe 저장소가 특히 효과적이다.

허깅페이스 허브(Hugging Face Hub)는 버전 관리되는 파일, 메타데이터, 문서화, 협업 기능을 갖춘 데이터셋 저장소를 제공하여 데이터셋 라이브러리(Datasets Library)를 보완한다. 저장소에는 데이터 파일, 로딩 정보, README 문서, 데이터셋 카드(Dataset Card), 지원 리소스를 포함할 수 있다. 특정 리비전(Revision)을 명시적으로 참조할 수 있으므로 재현 가능한 실험에서 변경 가능한 최신 상태에만 의존하지 않고 알려진 데이터셋 버전을 사용할 수 있다.

데이터셋 카드(Dataset Card)는 데이터셋의 내용과 사용 방법을 설명하는 사람이 읽을 수 있는 문서를 제공한다. 유용한 문서에는 데이터 출처(Data Source), 수집 방법론(Collection Methodology), 지원 작업, 언어, 라이선스(License), 알려진 한계, 어노테이션 절차(Annotation Procedure), 잠재적 편향(Bias) 등이 포함될 수 있다. 연구자가 특정 실험에 데이터가 적합한지를 판단하려면 기술적인 저장 효율성뿐만 아니라 데이터의 맥락 정보(Contextual Information)도 필요하다.

대규모 데이터셋에서는 저장소 구성(Repository Organization)에 특별한 주의가 필요하다. 수백만 개의 개별 파일을 저장하면 메타데이터 연산이 비효율적으로 변하고 동기화 작업도 어려워질 수 있다. 파케이(Parquet)와 같은 형식의 대형 샤드(Shard)를 사용하면 구조화된 접근을 유지하면서 파일 수를 줄일 수 있다. 샤드 크기는 전송 효율, 병렬성(Parallelism), 선택적 검색, 다운로드 실패 복구, 목표 학습 환경과의 호환성 사이에서 균형을 이루도록 설계해야 한다.

이미지 데이터셋(Image Dataset)은 특수 이미지 특징(Image Feature)을 통해 이미지를 직접 표현하면서 관련 열에 레이블과 메타데이터를 함께 유지할 수 있다. 저장 설계에 따라 이미지 정보는 실제 파일을 참조하거나 데이터셋 중심 구조 내부에서 표현할 수 있다. 이러한 방식은 이미지, 클래스, 바운딩 박스 메타데이터(Bounding-Box Metadata), 획득 조건(Acquisition Condition), 기타 속성 사이의 관계를 유지하여 서로 분리된 폴더와 스프레드시트로 데이터를 관리하는 문제를 줄인다.

오디오와 멀티모달 데이터셋(Multimodal Dataset)도 유사한 원칙을 따른다. 오디오 샘플은 샘플링 정보(Sampling Information), 전사문(Transcript), 화자 메타데이터(Speaker Metadata), 작업 레이블과 연결할 수 있으며, 멀티모달 레코드는 텍스트, 이미지, 오디오, 센서 측정값, 구조화된 필드를 결합할 수 있다. 피지컬 AI(Physical AI)와 로보틱스에서는 이러한 모델을 이용해 동기화된 관측(Observation), 행동(Action), 작업 상태(Task State), 환경 메타데이터를 기술할 수 있지만 대규모 연속 센서 스트림은 별도의 보완 저장 아키텍처가 필요할 수 있다.

로보틱스 데이터셋(Robotics Dataset)은 의미 있는 학습 샘플이 독립적인 파일이 아니라 에피소드(Episode)나 궤적(Trajectory)일 수 있기 때문에 추가적인 복잡성을 가진다. 카메라 프레임, 깊이 관측, 로봇 상태, 행동, 타임스탬프(Timestamp), 캘리브레이션 데이터, 작업 설명 사이의 정렬 관계를 유지해야 한다. 허깅페이스 호환 표현은 메타데이터와 학습용 레코드를 구성하고, 대규모 원본 비디오, 포인트 클라우드, 고주파 센서 스트림은 외부 객체 저장소나 파일 저장소에 유지할 수 있다.

머신러닝 프레임워크(Machine Learning Framework)와의 통합은 데이터셋 표현을 단순한 저장 이상의 목적으로 활용할 수 있게 한다. 워크플로에 따라 데이터셋 레코드를 파이토치(PyTorch), 텐서플로(TensorFlow), 넘파이(NumPy), 판다스(pandas) 등의 라이브러리에서 사용할 수 있는 형태로 변환하거나 포맷팅(Formatting)할 수 있다. 이를 통해 데이터 검사와 전처리에서 모델 학습으로 이동할 때 로딩 로직을 반복해서 작성할 필요가 줄어들며, 탐색용 노트북과 자동화된 학습 파이프라인 사이의 차이도 감소한다.

성능은 여전히 데이터 표현 방식과 워크로드 사이의 관계에 따라 달라진다. 잘 구성된 애로우(Arrow) 또는 파케이 데이터셋은 효율적인 접근을 제공할 수 있지만, 샘플에 높은 비용의 디코딩(Decoding), 네트워크 전송, 수많은 무작위 읽기가 필요한 경우 GPU 학습 성능은 여전히 제한될 수 있다. 따라서 표준화된 데이터셋 형식이 모든 저장 병목을 자동으로 제거한다고 가정하기보다 학습 워커(Training Worker)까지 실제 데이터가 전달되는 종단 간 성능(End-to-End Performance)을 측정해야 한다.

기관이나 기업의 AI 인프라에서는 허깅페이스 데이터셋을 독립적인 다운로드 파일로 취급하기보다 광범위한 데이터 거버넌스 아키텍처(Data Governance Architecture)에 통합할 수 있다. 조직은 통제된 미러(Mirror), 승인된 리비전, 체크섬(Checksum), 매니페스트, 접근 정책, 내부 데이터셋 카탈로그(Dataset Catalog)를 운영할 수 있다. 공개 허브 저장소는 데이터 획득 원천으로 활용하고, 공식 내부 복사본은 학습, 감사(Audit), 장기적인 모델 유지관리에 필요한 정확한 버전을 보존할 수 있다.

기술적으로 쉽게 데이터를 로딩할 수 있더라도 보안(Security)과 라이선스(Licensing)는 중요하다. 데이터셋을 다운로드할 수 있다는 사실이 모든 상업적 사용, 연구, 재배포(Redistribution), 파생 사용(Derivative Use)을 자동으로 허용한다는 의미는 아니다. 따라서 데이터셋 메타데이터와 문서를 조직의 정책과 함께 검토해야 한다. 민감하거나 독점적인 데이터 집합은 유사한 기술적 형식을 사용하면서도 통제된 온프레미스(On-Premise) 또는 비공개 저장 환경에 유지할 수 있다.

허깅페이스 데이터셋은 모든 저장 기술을 대체하는 시스템이라기보다 표준화된 데이터 접근 및 처리 계층(Standardized Data Access and Processing Layer)으로 이해할 때 가장 효과적이다. NAS 시스템, 객체 저장소(Object Storage), NVMe 캐시, 아카이브 저장소(Archive Repository), 분산 저장소(Distributed Storage)는 실제 물리 데이터를 계속 저장하고 데이터셋 정의가 구조화된 논리적 접근을 제공할 수 있다. 이러한 분리를 통해 인프라가 변화하더라도 모든 학습 응용 프로그램이 물리적 저장 세부사항을 직접 이해하도록 만들 필요가 없다.

성숙한 AI 워크플로에서는 데이터셋 형식(Dataset Format), 버전(Version), 변환 이력(Transformation History), 저장 위치(Storage Location), 실험 식별자(Experiment Identity)가 하나의 재현 가능한 파이프라인으로 연결된다. 허깅페이스 데이터셋은 이러한 파이프라인에서 데이터를 표현하고, 로딩하고, 변환하고, 캐싱하고, 스트리밍하고, 공유하기 위한 실용적인 메커니즘을 제공한다. 체계적인 버전 관리(Versioning)와 저장 거버넌스(Storage Governance)를 결합하면 원시 데이터 저장소와 반복 가능한 모델 개발을 연결하는 확장 가능한 데이터 기반을 구축할 수 있다.

08.03 WebDataset: Large-Scale Image Dataset Efficient Storage [w/Code]

웹데이터셋(WebDataset)은 매우 대규모 이미지와 기타 샘플 중심 데이터(Sample-Oriented Data)를 효율적으로 학습하기 위해 설계된 데이터 표현 및 입력 파이프라인(Data Representation and Input Pipeline) 방식이다. 수백만 개의 학습 샘플을 각각 독립적인 파일로 열어 사용하는 대신 관련 샘플을 일반적으로 TAR 파일을 사용하는 순차적인 아카이브 샤드(Archive Shard)로 묶는다. 이러한 설계는 파일 시스템 메타데이터(Filesystem Metadata) 부하를 줄이고 로컬, 네트워크, 객체 기반 저장소(Object-Based Storage)에서 대규모 데이터셋을 더욱 쉽게 스트리밍할 수 있게 한다.

기존 이미지 데이터셋(Traditional Image Dataset)은 각 이미지를 독립적인 JPEG 또는 PNG 파일로 중첩 디렉터리(Nested Directory)에 구성하는 경우가 많다. 이러한 구조는 사람이 직접 데이터를 확인하기에는 편리하지만 데이터셋이 수백만 또는 수십억 개의 객체를 포함하면 비효율적이 된다. 학습 워커(Training Worker)는 디렉터리 검색, 파일 열기, 권한 확인, 메타데이터 요청을 반복적으로 수행해야 하며, 대규모 환경에서는 기본 저장소의 원시 대역폭(Raw Bandwidth)이 충분하더라도 이러한 작업이 병목(Bottleneck)이 될 수 있다.

웹데이터셋은 많은 샘플을 더 큰 TAR 샤드(TAR Shard)로 패키징하여 이러한 문제를 해결한다. 따라서 하나의 데이터셋은 shard-000001.tar, shard-000002.tar와 같은 수백 또는 수천 개의 번호가 지정된 아카이브로 구성될 수 있다. 각 샤드에는 여러 학습 샘플이 포함되므로 저장 시스템은 수많은 작은 개별 파일을 계속 열지 않고 비교적 큰 순차 읽기(Sequential Read)를 수행할 수 있다. 이러한 방식은 높은 처리량(High Throughput)이 필요한 머신러닝 워크로드에 적합하다.

샘플은 공유 키(Shared Key)를 통해 식별된다. 예를 들어 하나의 샘플은 이미지에 대한 000123.jpg, 클래스 레이블(Class Label)에 대한 000123.cls, 관련 메타데이터에 대한 000123.json으로 구성될 수 있다. 이러한 파일은 동일한 기본 키(Base Key)를 공유하기 때문에 입력 파이프라인은 하나의 논리적인 학습 예제(Logical Training Example)를 구성하는 요소로 해석할 수 있다. 이러한 규칙은 텍스트 캡션(Text Caption), 마스크(Mask), 깊이 맵(Depth Map), 텐서(Tensor), 센서 상태 등 다양한 모달리티(Modality)로 확장할 수 있다.

TAR는 구조적 오버헤드(Structural Overhead)가 비교적 낮은 단순한 순차 아카이브 형식(Sequential Archive Format)이기 때문에 이러한 접근 방식에 특히 적합하다. 웹데이터셋은 각각의 개별 샘플을 설명하기 위한 복잡한 중앙 데이터베이스(Centralized Database)를 반드시 필요로 하지 않는다. 대신 샤드로부터 샘플을 스트림(Stream) 형태로 읽을 수 있다. 이러한 단순성은 일반 디스크, NAS, 분산 파일 시스템(Distributed Filesystem), HTTP 서버, 클라우드 호환 객체 저장소(Cloud-Compatible Object Storage) 사이에서 데이터셋의 이동성을 높인다.

샤드 크기(Shard Size)는 중요한 아키텍처 결정 사항이다. 지나치게 작은 샤드는 웹데이터셋이 줄이려는 메타데이터와 연결 오버헤드(Connection Overhead)를 다시 증가시키며, 지나치게 큰 샤드는 전송 실패 복구, 캐싱(Caching), 데이터셋 업데이트, 병렬 분배(Parallel Distribution)의 유연성을 낮출 수 있다. 실질적인 샤드 크기는 하나의 고정된 값보다는 샘플 크기, 네트워크 특성, 저장 아키텍처, 워커 수, 운영 요구사항을 고려하여 결정해야 한다.

효율적인 샤드는 일반적으로 순차 전송의 장점을 얻을 수 있을 만큼 충분한 샘플을 포함하면서도 독립적인 저장 객체(Storage Object)로 관리할 수 있는 크기를 유지해야 한다. 이미지 중심 데이터셋에서는 수백 메가바이트에서 수 기가바이트 크기의 샤드가 흔한 설계 선택이지만 고정된 기준을 적용하기보다 실제 벤치마킹(Benchmarking)을 수행하는 것이 바람직하다. 객체 저장소 요청 비용, 네트워크 지연시간(Network Latency), 로컬 캐시 용량, 장애 복구 방식이 최적 구성에 영향을 줄 수 있다.

스트리밍(Streaming)은 웹데이터셋의 가장 중요한 특성 중 하나이다. 학습 워커는 전체 데이터셋의 다운로드와 압축 해제가 끝날 때까지 기다리지 않고 샤드 데이터가 도착하는 즉시 샘플을 처리하기 시작할 수 있다. 이는 원격 저장소에 위치하거나 로컬 저장 용량보다 큰 데이터셋에서 특히 유용하다. 따라서 GPU 클러스터(GPU Cluster)는 필요한 데이터의 활성 캐시(Active Cache)만 유지하면서 순환하는 샤드 스트림을 지속적으로 처리할 수 있다.

순차 접근(Sequential Access)은 저장소의 대역폭을 더욱 효율적으로 사용할 수 있게 한다. 하드 디스크, 네트워크 저장소, 객체 저장소는 일반적으로 매우 많은 작은 무작위 요청(Random Request)보다 지속적인 대용량 전송을 효율적으로 처리한다. NVMe 시스템은 무작위 접근을 훨씬 잘 처리할 수 있지만 초대규모 환경에서는 메타데이터 연산과 분산 조정(Distributed Coordination)이 여전히 큰 비용이 될 수 있다. 웹데이터셋은 수많은 세밀한 접근을 인프라가 효율적으로 처리할 수 있는 더 적은 수의 대규모 전송으로 변환한다.

병렬 학습(Parallel Training)에서는 샤드 분배(Shard Distribution)를 신중하게 설계해야 한다. 여러 워커가 동일한 학습 에포크(Epoch)에서 같은 데이터를 반복 처리하지 않도록 서로 다른 샤드 또는 샘플 시퀀스를 할당해야 한다. 데이터셋 파이프라인은 제어된 셔플링(Shuffling)을 적용하면서 샤드를 노드(Node)와 워커 사이에 분배할 수 있다. 샤드 자체가 데이터 할당과 병렬 소비(Parallel Consumption)의 편리한 단위가 되므로 분산 GPU 학습(Distributed GPU Training)에 적합하다.

스트리밍 시스템에서 셔플링은 전체 데이터셋을 메모리에 올린 후 무작위로 재배열하는 방식과 다르다. 웹데이터셋 파이프라인은 샤드 순서를 무작위화하고 데이터를 읽는 동안 샘플 수준의 셔플 버퍼(Shuffle Buffer)를 유지할 수 있다. 큰 버퍼는 일반적으로 더 강한 데이터 혼합을 제공하지만 더 많은 메모리가 필요하다. 재현 가능한 실험에서는 랜덤 시드(Random Seed), 샤드 목록, 워커 구성, 셔플 파라미터를 명시적으로 관리해야 한다.

데이터셋 매니페스트(Dataset Manifest)는 샤드 집합을 안정적으로 기술할 수 있다. 매니페스트에는 샤드 이름, 위치, 바이트 크기, 체크섬(Checksum), 샘플 수, 데이터셋 버전, 생성 정보를 기록할 수 있다. 이를 통해 논리적인 데이터셋 식별자(Logical Dataset Identity)를 TAR 파일의 물리적 저장 위치와 분리할 수 있다. 무결성과 데이터셋 구성 관계를 검증할 수 있다면 샤드를 로컬 디스크, NAS, 객체 저장소, 아카이브 시스템 사이에서 이동할 수 있다.

대규모 데이터셋은 여러 인프라 계층 사이에서 반복적으로 전송될 수 있기 때문에 체크섬(Checksum)이 특히 유용하다. 손상되거나 불완전한 하나의 샤드는 한 번에 수천 개의 학습 샘플에 영향을 줄 수 있다. 각 샤드에 SHA-256과 같은 강력한 해시(Hash)를 기록하면 생성, 마이그레이션(Migration), 다운로드, 복제(Replication), 백업 이후 무결성을 검증할 수 있다. 샤드 수준 검증은 일상적인 전송 과정에서 수백만 개의 개별 파일을 검사하는 것보다 운영 측면에서도 단순하다.

웹데이터셋은 이미지뿐만 아니라 멀티모달 샘플(Multimodal Sample)도 지원할 수 있다. 자율 로봇의 하나의 샘플에는 RGB 프레임, 깊이 표현(Depth Representation), 세그멘테이션 마스크(Segmentation Mask), 행동 벡터(Action Vector), 타임스탬프(Timestamp), JSON 메타데이터가 동일한 샘플 키를 공유하며 포함될 수 있다. 비전-언어 학습(Vision-Language Training)도 이미지와 텍스트 또는 토큰화된 어노테이션(Tokenized Annotation)을 결합할 수 있다. 중요한 설계 원칙은 동일한 논리적 예제에 속하는 구성요소가 아카이브 스트림 내부에서 식별 가능하도록 유지하는 것이다.

로보틱스(Robotics)와 피지컬 AI(Physical AI)에서는 샘플 경계(Sample Boundary)를 추가적으로 고려해야 한다. 독립 프레임은 자연스럽게 표현할 수 있지만 많은 작업은 에피소드(Episode), 궤적(Trajectory), 시간적으로 동기화된 관측(Temporally Synchronized Observation)에 의존한다. 샤드는 시퀀스 또는 대형 미디어 객체에 대한 참조를 포함하고 메타데이터가 시간적 관계를 설명하도록 구성할 수 있다. 매우 큰 연속 비디오, 라이다(LiDAR), 고주파 센서 스트림은 웹데이터셋 기반 학습 샘플과 전문 외부 형식을 결합하는 방식이 더 적합할 수 있다.

전처리(Preprocessing)는 일반적으로 샤드를 생성하기 전에 수행된다. 원시 이미지는 최종 학습 샤드에 기록되기 전에 검증, 크기 조정(Resizing), 표현 정규화, 레이블 할당, 메타데이터 결합 등의 처리를 수행할 수 있다. 하나의 버전이 공개된 이후에는 해당 샤드를 불변(Immutable) 상태로 관리하면 재현성을 단순화할 수 있다. 수정이나 개선된 전처리가 필요한 경우 기존 TAR 파일을 변경하기보다 새로운 데이터셋 버전을 생성하여 이전 실험 결과가 조용히 변경되는 것을 방지할 수 있다.

샤딩(Sharding)은 데이터 수명주기 관리(Data Lifecycle Management)도 개선할 수 있다. 원시 데이터(Raw Data)는 공식 저장소에 보존하고 정제된 학습 샘플(Curated Training Sample)은 반복적인 모델 학습에 최적화된 웹데이터셋 아카이브로 변환할 수 있다. 처리 로직이 변경되면 이러한 아카이브를 다시 생성할 수 있으므로 유일한 보존본이 아니라 파생 데이터 계층(Derived Data Layer)으로 관리할 수 있다. 학습 최적화 표현이 다시 획득할 수 없는 원본 센서 또는 이미지 데이터를 대체해서는 안 된다는 점이 중요하다.

로컬 캐싱(Local Caching)은 반복 학습의 성능을 크게 향상시킬 수 있다. 원격 샤드를 SSD 또는 NVMe 저장소에 다운로드하여 여러 에포크에서 재사용하면 네트워크 트래픽(Network Traffic)과 객체 저장소 요청을 줄일 수 있다. 캐시 정책(Cache Policy)은 저장 용량, 데이터셋 버전, 샤드 사용 빈도, 제거 정책(Eviction Policy)을 고려해야 한다. 다중 노드 환경에서는 캐시를 각 워커가 독립적으로 사용할지, 노드 내부에서 공유할지, 전체 클러스터에서 조정할지도 결정해야 한다.

객체 저장소(Object Storage)는 각각의 TAR 샤드가 비교적 큰 불변 객체(Immutable Object)가 되기 때문에 웹데이터셋의 자연스러운 백엔드(Backend)가 될 수 있다. 객체 기반 API와 호환되는 시스템은 수백만 개의 개별 이미지로 이루어진 거대한 디렉터리 트리를 유지하지 않고 샤드를 분배할 수 있다. HTTP 기반 전달 역시 순차적인 샤드 검색이 일반적인 네트워크 전송 방식 및 콘텐츠 캐싱(Content Caching) 인프라와 자연스럽게 대응되기 때문에 효과적으로 활용할 수 있다.

NAS 시스템도 샤딩의 이점을 얻을 수 있다. NFS 또는 SMB를 통해 수백만 번의 파일 열기와 닫기 작업을 처리하는 대신 NAS는 훨씬 적은 수의 대형 TAR 파일을 학습 노드에 제공할 수 있다. 이러한 방식이 모든 네트워크 병목을 제거하는 것은 아니지만 메타데이터 부하(Metadata Pressure)를 줄이고 실질적인 처리량을 향상시킬 수 있다. 성능은 실제 GPU 워커 수와 동시 네트워크 연결 수를 반영한 환경에서 검증해야 한다.

압축(Compression)은 저장 효율성과 무작위 또는 스트리밍 접근성 사이의 절충이 필요하다. JPEG와 같은 개별 이미지 파일은 이미 압축되어 있으므로 전체 TAR 아카이브를 추가로 압축해도 저장 공간 감소 효과가 제한적인 반면 선택적 접근과 스트리밍은 복잡해질 수 있다. 따라서 이미지 데이터셋에서는 비압축 TAR 샤드(Uncompressed TAR Shard)가 실용적인 경우가 많다. 다른 데이터 유형에서는 중복성, CPU 비용, 접근 요구사항에 따라 별도의 압축 전략이 유리할 수 있다.

장애 처리(Fault Handling)는 문제를 샤드 수준에서 격리할 수 있기 때문에 상대적으로 단순해진다. 하나의 전송이 실패하거나 특정 아카이브가 손상되면 전체 데이터셋을 다시 획득하지 않고 해당 샤드만 재시도, 교체 또는 격리(Quarantine)할 수 있다. 그러나 파이프라인은 비정상 샘플(Malformed Sample)의 처리 방법도 정의해야 한다. 지나치게 많은 오류를 조용히 건너뛰면 실제 학습 데이터 분포가 변경되고 데이터 품질 문제가 숨겨질 수 있기 때문이다.

웹데이터셋을 완전한 데이터 거버넌스 시스템(Data Governance System)으로 이해해서는 안 된다. 웹데이터셋은 주로 학습 예제의 효율적인 표현과 스트리밍 문제를 해결한다. 데이터셋 문서화, 접근 제어(Access Control), 라이선스(Licensing), 출처 추적(Provenance), 의미 기반 카탈로그(Semantic Catalog), 어노테이션 이력, 보존 정책은 별도의 보완 메커니즘이 필요하다. 안정적인 아키텍처는 웹데이터셋 샤드와 매니페스트, 버전 관리, 메타데이터 서비스, 실험 추적(Experiment Tracking), 조직 차원의 거버넌스를 함께 사용한다.

파이토치(PyTorch)와 유사한 학습 환경과의 통합을 통해 스트리밍된 샘플은 기존의 디렉터리 계층을 다시 구성하지 않고 디코딩(Decoding), 변환(Transformation), 배칭(Batching), 모델 입력 단계로 전달될 수 있다. 파이프라인 단계를 결합하면 데이터가 저장소에서 학습 워커까지 지속적으로 흐르도록 구성할 수 있다. 프리페칭(Prefetching)과 병렬 디코딩(Parallel Decoding)을 이용하면 데이터 준비와 GPU 연산을 중첩하여 가속기의 유휴 시간(Idle Time)을 줄일 수 있다.

성능 목표는 단순히 최대 디스크 처리량을 달성하는 것이 아니라 학습 준비가 완료된 배치(Training-Ready Batch)를 지속적으로 공급하는 것이다. 성능 측정에는 샤드 검색, 디코딩, 데이터 증강(Data Augmentation), CPU 사용률, 네트워크 처리량, 워커 동시성(Worker Concurrency), GPU 대기 시간을 포함해야 한다. 저장소 벤치마크가 초당 수 기가바이트의 성능을 보여도 이미지 디코딩이나 전처리가 가속기의 소비 속도를 따라가지 못하면 실제 모델 학습 활용률은 낮을 수 있다.

초대규모 환경에서 웹데이터셋은 물리적 저장소(Physical Storage)와 논리적 학습 데이터셋(Logical Training Dataset)을 분리하는 데 유용하다. 학습 구성은 수백만 개의 명시적인 파일 경로 대신 통제된 샤드 패턴(Shard Pattern)이나 매니페스트를 참조할 수 있다. 인프라 팀은 데이터셋 식별자를 유지하면서 샤드를 복제하거나 다른 저장소로 이동할 수 있으며, 연구자는 정확한 샤드 집합과 변환 구성을 기록하여 실험을 재현할 수 있다.

따라서 웹데이터셋은 대규모 샘플 집합으로 인해 파일 시스템, 네트워크 또는 객체 수(Object Count)가 병목이 되는 환경에서 특히 높은 가치를 제공한다. 수백만 개의 작은 독립 파일을 관리 가능한 순차 샤드(Sequential Shard)로 변환함으로써 메타데이터 연산을 줄이고 효율적인 스트리밍, 병렬 분배, 계층형 저장소(Hierarchical Storage) 활용을 가능하게 한다. 버전 관리, 매니페스트, 체크섬, 캐싱, 체계적인 전처리와 결합하면 대규모 AI 학습 데이터셋을 위한 확장 가능한 저장 계층(Scalable Storage Layer)을 구축할 수 있다.

08.04 LMDB: Fast Image Dataset Access [w/Code]

LMDB(Lightning Memory-Mapped Database)는 대규모 이미지 데이터셋에 대한 접근 성능을 향상시키기 위해 자주 사용되는 임베디드 키-값 데이터베이스(Embedded Key-Value Database)이다. 수백만 개의 이미지를 개별 파일로 열어 사용하는 대신 인코딩된 이미지, 레이블(Label), 메타데이터(Metadata)를 데이터베이스에 저장하고 간결한 키(Key)를 통해 검색할 수 있다. 이를 통해 반복적인 파일 시스템 메타데이터(Filesystem Metadata) 연산을 줄이고 고빈도 학습 데이터 접근을 위한 예측 가능한 인터페이스를 제공한다.

기존 이미지 폴더 방식은 파일을 직접 확인하고 조작하기 쉬우므로 소규모와 중간 규모의 데이터 집합에서는 효과적이다. 그러나 규모가 증가하면 학습 워커(Training Worker)가 엄청난 횟수의 파일 열기, 읽기, 닫기, 디렉터리 검색, 메타데이터 연산을 수행할 수 있다. 이러한 작업은 로컬 디스크에서도 상당한 비용을 발생시키며 공유 네트워크 저장소에서는 더욱 심각해져 저장소 대역폭이 충분해 보이더라도 CPU 또는 GPU가 데이터를 기다리는 상황이 발생할 수 있다.

LMDB는 메모리 매핑 데이터베이스 환경(Memory-Mapped Database Environment)을 통해 이러한 문제를 해결한다. 운영체제는 데이터베이스 페이지(Database Page)를 가상 메모리(Virtual Memory)에 매핑하고 자주 접근하는 페이지가 파일 시스템 페이지 캐시(Page Cache)의 이점을 자연스럽게 받을 수 있도록 한다. 애플리케이션은 키를 사용해 값을 요청하고 LMDB와 운영체제가 페이지 접근을 관리한다. 이 구조는 데이터 복사를 줄이고 개별 파일을 반복적으로 여는 과정에서 발생하는 상당한 오버헤드를 피할 수 있다.

일반적인 이미지 데이터셋은 순차 식별자(Sequential Identifier) 또는 안정적인 샘플 ID(Stable Sample ID)를 키로 사용할 수 있다. 값(Value)에는 JPEG 또는 PNG 바이트 스트림(Byte Stream)을 저장하고 별도의 키에 레이블, 크기, 어노테이션(Annotation), 메타데이터를 저장할 수 있다. 또는 하나의 논리적 샘플 전체를 직렬화(Serialize)하여 하나의 값에 저장할 수도 있다. 적절한 스키마(Schema)는 학습 과정에서 모든 구성요소를 함께 사용하는지 또는 개별 메타데이터 필드에 독립적으로 접근하는지에 따라 결정된다.

LMDB는 B+ 트리(B+ Tree)를 기반으로 하며 ACID 트랜잭션(Transaction) 의미 체계를 갖춘 정렬된 키-값 접근을 제공한다. 읽기는 일관된 데이터베이스 뷰(Database View)를 제공하는 트랜잭션을 통해 수행된다. 데이터베이스는 단일 쓰기자-다중 읽기자(Single-Writer, Multiple-Reader) 모델을 사용하므로 하나의 쓰기 트랜잭션만 환경을 변경하는 동안 많은 읽기 작업을 동시에 수행할 수 있다. 이러한 특성은 한 번 생성한 후 반복적으로 읽는 경우가 많은 학습 데이터셋에 특히 적합하다.

단일 쓰기자 모델(Single-Writer Model)은 데이터셋 구축 방법에도 영향을 미친다. 여러 전처리 워커가 조정 없이 동일한 환경에 독립적으로 기록하도록 하는 대신, 일반적으로 샘플 전처리는 병렬로 수행하고 최종 레코드(Record)는 제어된 하나의 쓰기 프로세스를 통해 기록한다. 데이터베이스 생성과 검증이 완료된 이후에는 학습 데이터셋을 불변(Immutable) 상태로 관리할 수 있으며 이를 통해 동시성(Concurrency), 재현성(Reproducibility), 백업(Backup), 배포(Deployment)를 단순화할 수 있다.

읽기 트랜잭션(Read Transaction)은 가볍지만 애플리케이션에서 올바르게 관리해야 한다. 장시간 유지되는 트랜잭션은 일관된 스냅샷(Snapshot)을 유지하며 쓰기 작업이 계속되는 환경에서는 오래된 데이터베이스 페이지가 회수되는 것을 방해할 수 있다. 읽기 전용 학습 데이터셋에서는 학습 중 데이터베이스가 변경되지 않기 때문에 일반적으로 문제가 적다. 그러나 트랜잭션의 수명과 워커 초기화 방식은 제어되지 않는 전역 상태(Global State)에 의존하기보다 명시적으로 설계하는 것이 바람직하다.

LMDB 환경에는 데이터베이스에서 사용할 수 있는 최대 주소 공간 범위를 정의하는 맵 크기(Map Size)가 설정된다. 데이터셋 생성자는 예상 레코드와 데이터베이스 오버헤드를 충분히 수용할 수 있는 값을 선택해야 한다. 64비트 시스템에서는 가상 주소 공간이 물리적 저장 공간보다 훨씬 크기 때문에 비교적 넉넉한 맵 크기를 예약할 수 있지만, 설정 값은 플랫폼 제약과 실제 배포 환경을 고려하여 결정해야 한다.

데이터 준비(Data Preparation)는 일반적으로 원본 이미지를 열거하고 데이터베이스에 삽입하기 전에 검증하는 과정에서 시작한다. 손상된 이미지, 일관되지 않은 레이블, 누락된 어노테이션, 중복 식별자는 최종 데이터베이스를 생성하기 전에 발견하는 것이 바람직하다. 허용된 각 샘플에는 결정론적 키(Deterministic Key)를 부여하고 트랜잭션 내부에서 기록한다. 대규모 데이터 수집 작업에서는 전체 구축 과정을 하나의 매우 큰 트랜잭션으로 처리하는 대신 일정한 레코드 단위로 커밋(Commit)할 수 있다.

데이터베이스 자체를 설명하는 메타데이터도 중요하다. 특수 레코드 또는 외부 매니페스트(External Manifest)를 사용하여 샘플 수, 스키마 버전, 클래스 매핑(Class Mapping), 원본 데이터셋 리비전(Source Dataset Revision), 전처리 파라미터, 생성 날짜, 체크섬(Checksum)을 보존할 수 있다. 이러한 정보가 없다면 빠른 데이터베이스라도 재현하기 어려울 수 있다. 따라서 저장 성능만 독립적인 목표로 다루기보다 명확한 데이터셋 식별자와 출처 추적(Provenance)을 함께 관리해야 한다.

이미지 학습에서는 완전히 디코딩된 텐서(Decoded Tensor)보다 압축된 이미지 바이트(Compressed Image Bytes)를 LMDB에 저장하는 방식이 일반적이다. JPEG 또는 PNG 데이터는 저장 공간과 입출력 대역폭을 적게 사용하고 검색 이후 디코딩을 수행할 수 있다. 반대로 디코딩 비용이 주요 병목이고 저장 용량에 여유가 있다면 전처리된 배열(Array)을 저장할 수도 있다. 적절한 방식은 저장 공간, 입출력 처리량, CPU 디코딩 능력, 데이터 증강(Data Augmentation), GPU 데이터 소비 속도 사이의 균형에 따라 결정된다.

무작위 접근(Random Access)은 머신러닝에서 LMDB가 제공하는 중요한 장점 중 하나이다. 학습 로더(Training Loader)는 셔플된 샘플 인덱스(Shuffled Sample Index)를 생성하고 이를 키로 변환한 후 대규모 아카이브 전체를 순차 검색하지 않고 해당 값을 직접 가져올 수 있다. 따라서 반복적인 무작위 샘플링(Random Sampling), 클래스 균형 샘플링(Balanced Class Sampling), 어려운 샘플 마이닝(Hard-Example Mining), 평가 과정의 결정론적 개별 레코드 접근이 필요한 워크로드에 적합하다.

순차 접근(Sequential Access)도 인접한 데이터베이스 페이지가 운영체제의 미리 읽기(Readahead)와 캐싱(Caching)의 이점을 받을 수 있기 때문에 효율적으로 수행될 수 있다. 정렬된 키를 사용하는 데이터셋은 예측 가능한 순회를 제공할 수 있지만 실제 물리적 페이지 배치는 데이터베이스 구조와 업데이트 이력에 따라 결정된다. 제어된 방식으로 생성된 불변 학습 데이터셋에서는 자주 변경되는 트랜잭션 데이터베이스보다 접근 특성을 일반적으로 더 쉽게 파악할 수 있다.

다중 프로세스 데이터 로딩(Multi-Process Data Loading)에서는 LMDB 환경을 여는 방식에 주의해야 한다. 딥러닝 프레임워크(Deep Learning Framework)는 일반적으로 여러 워커 프로세스를 실행하여 배치를 동시에 준비한다. 워커가 시작되기 전에 생성된 임의의 데이터베이스 객체를 무조건 공유하기보다 프레임워크와 플랫폼에 적합한 프로세스 안전 방식(Process-Safe Manner)으로 읽기 접근을 초기화하거나 환경을 열어야 한다. 읽기 전용(Read-Only) 옵션을 사용하면 불필요한 잠금이나 쓰기 관련 동작도 줄일 수 있다.

데이터셋의 상당 부분이 사용 가능한 메모리에 들어갈 수 있다면 데이터베이스 페이지가 운영체제 페이지 캐시에 유지되므로 반복되는 에포크(Epoch)의 처리 속도가 매우 빨라질 수 있다. 이것은 LMDB가 데이터베이스 전체를 RAM에 복사한다는 의미는 아니다. 메모리 매핑을 사용하면 운영체제가 어떤 페이지를 메모리에 유지하고 어떤 페이지를 제거할지 결정한다. 따라서 성능은 작업 집합 크기(Working-Set Size), RAM 용량, 경쟁 워크로드, 기본 저장장치의 속도에 영향을 받는다.

NVMe SSD는 낮은 지연시간(Latency)과 뛰어난 무작위 읽기 성능을 제공하므로 키 기반 샘플 검색과 잘 결합되어 LMDB의 백엔드로 특히 효과적이다. SATA SSD 역시 많은 워크로드에서 충분한 성능을 제공할 수 있다. 하드 디스크(HDD)는 파일 메타데이터 작업 감소의 이점을 받을 수 있지만 작업 집합이 캐시되지 않으면 기계적인 무작위 접근의 한계를 받는다. 따라서 저장소 벤치마크는 실제 데이터셋 크기와 샘플링 패턴을 반영해야 한다.

네트워크 파일 시스템(Network Filesystem)에서 LMDB를 사용하는 경우 로컬 저장소보다 더 신중한 접근이 필요하다. 메모리 매핑 데이터베이스 의미 체계, 파일 시스템 잠금(Filesystem Locking), 일관성 동작, 네트워크 장애 특성이 LMDB가 기대하는 운영 환경과 일치하지 않을 수 있다. 많은 학습 시스템에서는 중앙 저장소에 공식 데이터셋을 유지하고 검증된 LMDB 복사본을 집중적인 학습 전에 로컬 SSD 또는 NVMe로 스테이징(Staging)하는 아키텍처가 더 안전하다.

LMDB는 웹데이터셋(WebDataset)과 같은 샤드 스트리밍 형식(Shard-Streaming Format)과 개념적으로 다르다. 웹데이터셋은 대규모 순차 전송, 원격 스트리밍, 객체 저장소(Object Storage)에 자연스럽게 적합한 반면 LMDB는 인덱싱된 키-값 접근(Indexed Key-Value Access)과 데이터베이스 환경에서의 효율적인 무작위 검색을 제공한다. 어느 하나가 항상 우수한 것은 아니며 워크로드, 저장 백엔드, 데이터셋 규모, 네트워크 토폴로지(Network Topology), 필요한 접근 패턴에 따라 적합한 표현 방식이 결정된다.

예를 들어 클라우드 객체 저장소에 위치한 초대규모 데이터셋에서는 세밀한 데이터베이스 형태의 읽기를 수행하는 것보다 하나의 큰 객체를 다운로드하는 순차 샤드 스트리밍이 더 적합할 수 있다. 반면 로컬에 스테이징된 이미지 데이터셋을 반복적으로 학습하는 연구실 워크스테이션에서는 LMDB가 높은 효과를 제공할 수 있다. 하이브리드 아키텍처(Hybrid Architecture)에서는 목표 컴퓨팅 환경에 따라 공식 원시 데이터를 LMDB 데이터베이스 또는 웹데이터셋 샤드로 변환하여 사용할 수도 있다.

LMDB에는 이미지 바이트뿐만 아니라 다양한 데이터를 저장할 수 있다. 분류 레이블(Classification Label), 바운딩 박스(Bounding Box), 세그멘테이션 메타데이터(Segmentation Metadata), 캡션(Caption), 임베딩(Embedding), 캘리브레이션 파라미터(Calibration Parameter), 직렬화된 멀티모달 레코드(Serialized Multimodal Record)를 각 키와 연결할 수 있다. 그러나 매우 큰 연속 비디오, 포인트 클라우드(Point Cloud), 고주파 로보틱스 스트림은 전문적인 원본 형식으로 보존하고 LMDB에는 선택된 학습 샘플, 인덱스 또는 압축된 파생 표현을 저장하는 것이 더 적합할 수 있다.

로보틱스(Robotics)와 피지컬 AI(Physical AI) 워크로드에서는 추출된 관측 데이터(Observation)에 빠른 무작위 접근이 필요한 경우 LMDB를 활용할 수 있다. RGB 프레임, 깊이 이미지(Depth Image), 상태 벡터(State Vector), 행동(Action), 작업 식별자(Task Identifier), 타임스탬프(Timestamp)를 샘플 레코드로 직렬화하거나 서로 관련된 키를 통해 연결할 수 있다. 그러나 무작위 접근 효율성을 높이는 과정에서 순차 학습 작업에 필요한 에피소드(Episode)와 궤적(Trajectory)의 시간적 관계가 손실되지 않도록 해야 한다.

완성된 LMDB 데이터셋을 버전 관리된 결과물(Versioned Artifact)로 취급하면 재현성을 높일 수 있다. 학습이 시작된 이후에는 레코드를 조용히 변경하지 않아야 하며 레이블, 전처리, 필터링, 샘플 구성에 변화가 발생하면 새로운 데이터베이스 버전을 생성해야 한다. 매니페스트는 해당 버전을 원본 데이터, 코드 리비전(Code Revision), 구성(Configuration), 샘플 수, 무결성 정보와 연결하여 이전 실험을 다시 구성할 수 있도록 한다.

무결성 검증(Integrity Verification)은 여러 수준에서 수행할 수 있다. 데이터베이스 생성 전에 원본 파일을 검사하고 개별 레코드에 식별자나 해시(Hash)를 포함하며 완성된 데이터베이스 파일은 전송 이후 다시 검증할 수 있다. 대규모 환경에서는 파일 수준 체크섬(File-Level Checksum)을 사용하면 스테이징된 복사본을 간단하게 확인할 수 있다. 백업 과정에서는 일부 구성요소만 복사하지 않고 LMDB 환경을 구성하는 데 필요한 모든 파일을 함께 포함해야 한다.

용량 계획(Capacity Planning)에서는 원본 이미지 크기만 고려해서는 안 된다. 데이터베이스 페이지, 키, 메타데이터, 정렬(Alignment), 여유 공간 관리로 인해 추가적인 오버헤드가 발생하며 디코딩된 배열이나 직렬화된 배열을 저장하면 필요한 용량이 크게 증가할 수 있다. 수 테라바이트 규모의 전체 데이터셋을 처리하기 전에 대표적인 부분집합을 시험 변환하면 실제 용량을 추정할 수 있다. 구축, 검증, 마이그레이션을 위한 충분한 임시 저장 공간도 확보해야 한다.

데이터베이스 생성 속도는 지속적인 학습 성능보다 일반적으로 중요도가 낮다. 불변 학습 데이터베이스는 한 번 생성한 후 수많은 에포크와 실험에서 반복적으로 사용할 수 있기 때문이다. 그러나 구축 파이프라인(Construction Pipeline)은 작업 재시작(Restartability)과 검증 기능을 지원해야 한다. 대규모 변환 작업의 마지막 단계에서 전처리가 실패하더라도 완료된 입력 범위를 식별하고 어떤 레코드가 유효한지 수동으로 추측하지 않고 결정론적으로 다시 구축할 수 있어야 한다.

캐싱 및 스테이징 정책(Caching and Staging Policy)을 사용하면 클러스터 효율성을 더욱 향상시킬 수 있다. 중앙 NAS 또는 객체 저장소는 공식 원본 데이터셋(Canonical Source Dataset)을 보존하고 개별 학습 노드는 실험에 최적화된 로컬 LMDB 버전을 유지할 수 있다. 버전 식별자와 체크섬을 이용하면 필요한 데이터베이스가 이미 캐시되어 있는지 확인할 수 있다. 오래된 버전은 공식 원본 데이터에 영향을 주지 않으면서 저장 용량 정책에 따라 제거할 수 있다.

보안(Security)과 거버넌스(Governance)는 단순한 데이터 접근 속도와 별개의 문제로 관리해야 한다. 민감한 이미지를 포함한 LMDB 파일은 파일명이 아닌 키를 통해 접근한다고 하더라도 여전히 민감한 데이터이다. 따라서 파일 권한(File Permission), 필요한 경우 저장 데이터 암호화(Encryption at Rest), 통제된 스테이징, 감사 메커니즘(Audit Mechanism), 보존 규칙(Retention Rule), 데이터셋 라이선스(License)를 전체 저장 아키텍처의 일부로 관리해야 한다. 데이터베이스 패키징만으로 조직의 데이터 통제를 대체할 수는 없다.

성능 평가는 LMDB 조회 지연시간만 측정하기보다 전체 학습 입력 경로(Training Input Path)를 대상으로 수행해야 한다. 중요한 측정 항목에는 초당 레코드 수(Records per Second), 실질적인 이미지 처리량, 디코딩 시간, 데이터 증강 비용, 워커 사용률, 페이지 캐시 동작, 저장소 지연시간, GPU 유휴 시간이 포함된다. 데이터 로더 워커 수를 증가시키는 것도 CPU, 메모리, 저장장치 또는 동기화가 새로운 병목이 되기 전까지만 효과가 있다.

따라서 LMDB는 크고 대부분 변경되지 않는 데이터셋을 수많은 무작위 또는 인덱스 기반 읽기(Indexed Read)를 통해 반복적으로 접근하는 워크로드에서 가장 높은 가치를 제공한다. 메모리 매핑 접근, 트랜잭션 일관성(Transaction Consistency), 간결한 키-값 검색, 효율적인 동시 읽기를 결합함으로써 기존 이미지 디렉터리 방식의 오버헤드를 크게 줄일 수 있다. 로컬 SSD 또는 NVMe 스테이징, 결정론적 데이터셋 구축, 버전 관리, 무결성 검증과 함께 사용하면 AI 학습 데이터를 위한 안정적인 고속 저장 계층(High-Speed Storage Layer)을 구축할 수 있다.

08.05 MCAP Format: Robot Multi-Modal Data Storage Standard [w/Code]

MCAP은 로보틱스(Robotics)와 기타 데이터 집약적 시스템(Data-Intensive System)에서 생성되는 타임스탬프 기반의 이기종 메시지 스트림(Heterogeneous Message Stream)을 기록하기 위해 설계된 개방형 컨테이너 형식(Open Container Format)이다. 하나의 파일에 카메라, 라이다(LiDAR), 관성 측정 장치(IMU), 위성항법시스템(GNSS), 로봇 상태, 제어 시스템, 애플리케이션 소프트웨어의 메시지를 보존하면서 실험, 임무, 로봇 동작을 재구성하는 데 필요한 시간 및 채널 정보를 함께 유지할 수 있다.

로봇 데이터(Robotic Data)는 여러 비동기 데이터 소스(Asynchronous Source)에서 관측값이 지속적으로 생성되기 때문에 일반적인 이미지 또는 표 형식 데이터셋과 다르다. 카메라는 초당 수십 프레임, 관성 측정 장치는 수백 헤르츠(Hz), 제어 및 진단 토픽(Diagnostic Topic)은 서로 독립적인 주기로 동작할 수 있다. 따라서 유용한 기록 형식은 데이터 페이로드(Payload)뿐만 아니라 타임스탬프(Timestamp), 토픽 관계, 스키마(Schema), 이기종 스트림 사이의 순서도 함께 보존해야 한다.

MCAP은 스키마, 채널(Channel), 메시지(Message), 메타데이터(Metadata), 첨부 파일(Attachment), 통계(Statistics), 인덱스(Index) 및 기타 구조적 요소를 설명하는 레코드(Record)를 중심으로 정보를 구성한다. 스키마는 메시지 페이로드를 해석하는 방법을 설명하며 채널은 메시지를 토픽 및 인코딩(Encoding)과 연결한다. 이러한 분리를 통해 많은 메시지가 공통 구조 정의를 재사용할 수 있으므로 각각의 개별 샘플에 동일한 설명 정보를 반복해서 포함할 필요가 없다.

메시지는 핵심 시계열 데이터 레코드(Time-Series Data Record)를 구성한다. 각 메시지는 하나의 채널과 연결되며 인코딩된 페이로드와 함께 시간 정보를 포함한다. MCAP은 기록 시스템이 메시지가 발생했다고 판단하는 시간을 나타내는 로그 시간(Log Time)과 생산자가 메시지를 발행한 시간을 나타낼 수 있는 발행 시간(Publish Time)을 구분한다. 이러한 값을 보존하면 다운스트림 시스템(Downstream System)이 시간 관계를 분석하고 기록된 동작을 재구성하는 데 도움이 된다.

이 형식은 의도적으로 직렬화 방식에 독립적(Serialization-Neutral)으로 설계되었다. 관련 스키마와 채널 정보가 바이트(Byte)의 해석 방법을 설명할 수 있다면 서로 다른 직렬화 기술로 인코딩된 페이로드를 MCAP에 저장할 수 있다. 따라서 모든 로보틱스 플랫폼에 하나의 범용 애플리케이션 수준 메시지 정의를 강제하지 않으면서 ROS 메시지 인코딩, 프로토콜 버퍼(Protocol Buffers), JSON 스키마(JSON Schema), 플랫버퍼(FlatBuffers) 등의 표현 방식을 지원할 수 있다.

컨테이너(Container)와 메시지 인코딩(Message Encoding)의 이러한 분리는 장기간 운영되는 로보틱스 인프라에서 중요하다. 센서 인터페이스, 미들웨어(Middleware), 소프트웨어 프레임워크가 변화하더라도 컨테이너 형식은 안정적으로 유지할 수 있다. 따라서 하나의 기록 플랫폼은 서로 다른 메시지 계열을 공통 파일 구조에 보존할 수 있으며, 분석 도구는 채널 및 스키마 메타데이터를 확인하여 각 스트림에 적합한 디코더(Decoder)를 선택할 수 있다.

MCAP은 로보틱스 실험에서 여러 동기화 토픽(Synchronized Topic)을 사용하는 경우가 많기 때문에 ROS 환경과 특히 관련성이 높다. 카메라 이미지, 변환 정보(Transform), 관절 상태(Joint State), 내비게이션 출력, 포인트 클라우드(Point Cloud), 명령(Command), 진단 정보를 토픽 식별자와 타임스탬프를 유지하면서 함께 기록할 수 있다. 또한 MCAP은 ROS 2 도구에서 저장 옵션으로 활용될 수 있어 MCAP 컨테이너를 사용하면서 로스백(rosbag) 중심의 워크플로에 기록 데이터를 활용할 수 있다.

멀티모달 로봇 기록(Multimodal Robot Recording)에는 RGB 및 깊이 카메라, 라이다 포인트 클라우드, 레이더 관측, 관성 측정값, 휠 오도메트리(Wheel Odometry), GNSS 위치, 액추에이터 상태(Actuator State), 배터리 텔레메트리(Battery Telemetry), 플래너 출력(Planner Output), 운영자 명령 등이 포함될 수 있다. 이러한 스트림을 하나의 조정된 컨테이너에 유지하면 독립적으로 저장된 파일이 동기화 관계를 잃거나 취약한 파일명 규칙에 의존하여 시간 관계를 다시 구성해야 하는 위험을 줄일 수 있다.

컨테이너가 시간을 정확하게 보존하더라도 타임스탬프 품질(Timestamp Quality)은 여전히 중요하다. MCAP은 주변 시스템이 제공하는 타임스탬프를 기록할 수 있지만 데이터 획득 당시 시계가 제대로 동기화되지 않았다면 이를 자체적으로 수정할 수는 없다. 정밀 시간 프로토콜(PTP), 일반화 정밀 시간 프로토콜(gPTP), GNSS 기반 시간, 하드웨어 트리거(Hardware Trigger), 정밀하게 관리되는 시스템 시계를 사용하는 로봇 플랫폼은 시계 도메인(Clock Domain)과 동기화 메타데이터를 함께 보존하여 기록 정확도와 센서 시간 불확실성을 구분할 수 있도록 해야 한다.

청킹(Chunking)은 대규모 기록을 구성하는 중요한 메커니즘이다. 메시지를 청크(Chunk) 단위로 그룹화하면 저장 관리가 용이해지고 압축(Compression)과 인덱싱(Indexing)을 지원할 수 있다. 수 시간 동안 수행된 로봇 임무를 구조가 없는 개별 레코드의 연속으로 관리하는 대신 청크 기반 구조를 사용하면 메시지 수준의 시간 정보를 유지하면서 더 큰 논리적 단위로 압축, 검색, 인덱싱, 복구 작업을 효율적으로 수행할 수 있다.

압축은 적절한 데이터에서 저장 용량 요구량을 줄일 수 있다. MCAP은 지원되는 압축 방식을 통해 청크를 압축할 수 있지만 실제 효과는 페이로드 특성에 따라 달라진다. 이미 압축된 JPEG 또는 H.264 데이터는 추가 압축의 효과가 제한적일 수 있지만 구조화된 텔레메트리 또는 비압축 센서 레코드는 상당한 압축 효과를 얻을 수 있다. 따라서 CPU 비용, 쓰기 처리량(Write Throughput), 읽기 지연시간(Read Latency), 저장 용량을 함께 평가해야 한다.

인덱스(Index)를 사용하면 애플리케이션이 전체 기록을 처음부터 검색하지 않고도 필요한 데이터에 효율적으로 접근할 수 있다. 파일의 기록 및 인덱싱 방법에 따라 도구는 채널, 청크, 특정 시간 범위를 보다 효율적으로 찾을 수 있다. 이는 장애, 충돌, 위치 추정 이상(Localization Anomaly), 인식 이벤트(Perception Event) 주변의 짧은 구간만 필요한 경우처럼 수 시간의 불필요한 로봇 로그 전체를 읽을 필요가 없는 대규모 기록 분석에서 특히 유용하다.

요약 섹션(Summary Section)에는 완성된 파일을 이해하고 탐색하는 데 도움이 되는 인덱스, 통계 및 기타 정보를 포함할 수 있다. 이러한 구조를 통해 도구는 모든 메시지 페이로드를 읽기 전에 상위 수준의 정보를 확인할 수 있으므로 기록 이후의 분석 효율성이 향상된다. 기록 파일이 올바르게 마무리되면 순차 재생(Sequential Replay)뿐만 아니라 특정 채널이나 시간 구간을 선택적으로 조사하는 용도로도 사용할 수 있다.

메타데이터 레코드(Metadata Record)는 개별 고주파 메시지에 포함하기 어려운 상황 정보를 저장하는 방법을 제공한다. 로보틱스 데이터셋은 기록 파일에 로봇 식별자(Robot Identity), 임무 식별자(Mission Identifier), 환경, 소프트웨어 버전, 캘리브레이션 리비전(Calibration Revision), 운영자 정보, 실험 구성 등을 연결할 수 있다. 기술적으로 유효한 기록이라도 상황 정보가 부족하면 수개월 후 해석하기 어려울 수 있으므로 일관된 메타데이터 규칙이 중요하다.

첨부 파일(Attachment)을 사용하면 기록된 메시지 스트림과 함께 지원 파일을 보존할 수 있다. 예를 들어 캘리브레이션 파일, 구성 스냅샷(Configuration Snapshot), 지도(Map), 임무 설명, 기록을 해석하는 데 필요한 기타 결과물을 포함할 수 있다. 조직의 거버넌스 요구사항에 따라 이러한 파일을 직접 첨부하거나 외부에서 관리되는 결과물을 참조할 수 있지만 기록과 지원 자료 사이의 관계는 명확하고 재현 가능한 상태로 유지해야 한다.

MCAP은 순차 쓰기(Sequential Writing)를 지원하며 이는 온라인 로봇 데이터 획득(Online Robot Data Acquisition)에 필수적이다. 기록 장치는 최종 파일 내용을 미리 알지 못하더라도 로봇이 동작하는 동안 메시지를 계속 추가할 수 있다. 따라서 장시간 임무, 자율주행 차량 시험, 연구실 실험, 플릿 데이터 수집(Fleet Data Collection)에 적합하다. 다만 기록 장치는 전체 센서 데이터 전송률을 지속적으로 처리할 수 있는 충분한 저장 처리량을 확보해야 한다.

여러 고해상도 센서가 동시에 동작하면 쓰기 대역폭(Write Bandwidth) 요구량이 매우 높아질 수 있다. 여러 카메라, 고밀도 라이다, 레이더, 오디오, 고주파 상태 스트림을 함께 사용하면 압축 이전에 초당 수백 메가바이트의 데이터가 생성될 수 있다. 따라서 저장 계획에서는 드라이브의 광고상 최대 순차 처리량만 보는 것이 아니라 지속적인 전체 데이터 전송률, 순간적인 피크(Peak), 기록 시간, 안전 여유(Safety Margin)를 함께 계산해야 한다.

고속 로컬 NVMe 저장소는 낮은 지연시간으로 대규모 순차 쓰기를 처리할 수 있으므로 고대역폭 데이터 획득에 적합한 경우가 많다. 완성된 MCAP 기록은 이후 NAS, 객체 저장소(Object Storage), 아카이브 인프라로 이동할 수 있다. 획득 저장소(Acquisition Storage)와 장기 저장소(Long-Term Storage)를 분리하면 일시적인 네트워크 혼잡이 센서 기록을 중단시키는 위험을 줄이면서 임무 종료 후 중앙 집중식 데이터셋 관리가 가능하다.

대규모 임무는 하나의 거대한 기록 파일을 생성하기보다 여러 MCAP 파일로 분할할 수 있다. 파일 로테이션(File Rotation)은 기록 시간, 크기, 임무 단계, 운영 이벤트를 기준으로 수행할 수 있다. 작은 파일은 전송, 검증, 병렬 처리, 장애 격리를 단순화하지만 지나치게 작은 파일은 추가적인 메타데이터 오버헤드를 발생시킨다. 플릿 데이터 아키텍처에서는 분할된 파일을 하나의 논리적 세션(Logical Session)에 연결하는 결정론적 파일명과 매니페스트(Manifest) 규칙을 정의해야 한다.

하나의 MCAP 파일에는 다시 수집하기 어렵거나 불가능한 여러 센서 스트림이 포함될 수 있으므로 무결성 관리(Integrity Management)가 중요하다. SHA-256과 같은 파일 체크섬(File Checksum)을 이용하면 전송, 복제(Replication), 아카이빙 이후 기록을 검증할 수 있다. 데이터셋 매니페스트에는 파일명, 크기, 체크섬, 임무 ID, 시간 범위, 로봇 식별자, 소프트웨어 버전을 기록하여 물리적 파일이 서로 다른 저장 시스템으로 이동한 이후에도 대규모 데이터 집합을 감사 가능한 상태로 유지할 수 있다.

현장 로보틱스(Field Robotics)에서는 복구 동작(Recovery Behavior)도 중요하다. 전원 손실, 프로세스 종료, 저장장치 장애로 인해 정상적인 파일 마무리 작업 이전에 기록이 중단될 수 있다. MCAP 구조와 관련 도구는 복구 지향 워크플로(Recovery-Oriented Workflow)를 지원할 수 있지만 데이터 획득 시스템에서는 중단된 쓰기 시나리오를 명시적으로 시험해야 한다. 이론적으로 복구 가능한 형식이라는 사실만으로는 충분하지 않으며 실제 기록 장치, 파일 시스템, 운영 절차를 현실적인 장애 조건에서 검증해야 한다.

재생(Replay)은 구조화된 로봇 기록이 제공하는 가장 중요한 기능 중 하나이다. 기록된 토픽을 인식(Perception), 위치 추정(Localization), 경로 계획(Planning), 진단 소프트웨어에 다시 입력하여 실제 동작 중 발생했던 조건을 재현할 수 있다. 엔지니어는 동일한 센서 시퀀스에 새로운 알고리즘을 적용하거나 소프트웨어 리비전을 비교하고 물리적 임무를 다시 수행하지 않고도 장애를 조사할 수 있으므로 개발 효율성과 실험 반복성을 높일 수 있다.

AI 개발에서 MCAP은 공식적인 원시 또는 준원시 멀티모달 기록 계층(Authoritative Raw or Near-Raw Multimodal Recording Layer)으로 특히 유용하다. 학습 파이프라인은 MCAP 파일에서 동기화된 프레임, 포인트 클라우드, 상태-행동 쌍(State-Action Pair), 궤적(Trajectory), 이벤트 구간을 추출하여 모델 학습에 최적화된 형식으로 변환할 수 있다. 이후 웹데이터셋(WebDataset), LMDB, 파케이(Parquet), 텐서 중심 형식(Tensor-Oriented Format)을 파생 학습 표현으로 사용하면서 MCAP은 원본의 시간적 맥락을 보존할 수 있다.

데이터 획득 형식(Acquisition Format)과 학습 형식(Training Format)을 구분하는 것은 중요하다. 로봇 기록에 최적화된 형식은 시간, 스키마, 이기종 스트림을 보존해야 하지만 GPU 학습에 최적화된 형식은 배치 처리량(Batch Throughput)과 무작위 샘플 접근(Random Sample Access)을 우선한다. 하나의 표현 방식으로 두 문제를 모두 해결하려 하면 불필요한 절충이 발생할 수 있다. MCAP은 원본 데이터의 기준(Source Truth)을 보존하고 다운스트림 데이터셋은 개별 학습 작업에 맞게 특화할 수 있다.

피지컬 AI(Physical AI) 데이터셋은 관측(Observation)과 행동(Action)이 시간적으로 정렬되어야 하는 경우가 많기 때문에 이러한 계층형 아키텍처의 이점을 얻는다. 로봇 학습 파이프라인은 동일한 시간 구간의 카메라 프레임, 고유수용성 감각(Proprioception), 명령, 힘 측정값, 작업 어노테이션을 함께 사용해야 할 수 있다. MCAP은 기록된 스트림과 시간 관계를 보존하며 추출 파이프라인은 데이터셋 매니페스트에 기록된 결정론적 규칙을 통해 에피소드(Episode) 또는 궤적을 구성할 수 있다.

플릿 규모 데이터 수집(Fleet-Scale Collection)은 추가적인 운영 요구사항을 발생시킨다. 수백 대의 로봇이 하루 동안 많은 기록을 생성하면 파일 이름, 업로드 상태, 메타데이터 인덱싱, 보존, 데이터셋 선택이 중요해진다. 중앙 카탈로그(Central Catalog)는 모든 페이로드를 즉시 디코딩하지 않고 MCAP 메타데이터를 인덱싱하여 엔지니어가 분석할 데이터를 선택하기 전에 로봇, 임무, 소프트웨어 버전, 센서 구성, 위치 범주, 시간 범위를 기준으로 검색할 수 있게 한다.

보안(Security)과 개인정보 보호(Privacy)는 파일 수준뿐만 아니라 저장 시스템 전체 수준에서 적용해야 한다. 로봇 기록에는 사람의 이미지, 고객 환경, 시설 배치, 지리 정보, 독점적인 운영 데이터가 포함될 수 있다. 따라서 접근 제어(Access Control), 암호화(Encryption), 보존 정책(Retention Policy), 감사 로깅(Audit Logging), 통제된 외부 반출 절차를 MCAP 저장소와 함께 운영해야 한다. 개방형 파일 명세(Open File Specification)라는 사실이 기록된 콘텐츠까지 공개되어야 한다는 의미는 아니다.

스키마 진화(Schema Evolution)는 체계적으로 관리해야 한다. 소프트웨어 업데이트에 따라 새로운 필드가 추가되거나 메시지 정의가 변경되고 새로운 채널이 추가될 수 있다. MCAP은 스키마와 채널 정보를 기록하기 때문에 컨테이너 수준에서 파일을 자기 기술적(Self-Describing)으로 유지할 수 있지만 다운스트림 애플리케이션은 여전히 해당 스키마 버전을 이해해야 한다. 조직은 미래의 소프트웨어가 모든 과거 메시지를 자동으로 이해할 것이라고 가정하기보다 스키마 정의와 디코더 호환성을 보존해야 한다.

장기 보존(Long-Term Preservation)에서는 MCAP 파일 자체보다 더 많은 요소를 보존해야 한다. 과거 기록을 정확하게 해석하려면 디코더 소프트웨어, 스키마 정의, 캘리브레이션 데이터, 구성 파일, 매니페스트, 문서가 모두 필요할 수 있다. 컨테이너 안정성은 중요하지만 지속적인 재현성은 데이터 바이트를 둘러싼 의미적 맥락(Semantic Context)의 보존에 달려 있다. 따라서 버전 관리되는 지원 결과물도 데이터셋 아카이브의 중요한 구성요소가 된다.

따라서 MCAP은 단순한 이미지 데이터셋 형식이 아니라 타임스탬프 기반 멀티모달 로보틱스 데이터(Timestamped Multimodal Robotics Data)를 위한 표준화된 컨테이너 계층(Standardized Container Layer)으로 이해하는 것이 적절하다. 하나의 구조 안에서 이기종 채널, 스키마, 타임스탬프, 청킹, 압축, 인덱싱, 메타데이터, 첨부 파일을 결합하여 기록과 재생에 적합한 데이터 구조를 제공한다. 이러한 기능은 현대 로봇에서 생성되는 복잡한 센서 및 소프트웨어 스트림을 관리하기 위한 강력한 기반을 제공한다.

MCAP을 동기화된 시계(Synchronized Clock), 고처리량 데이터 획득 저장소, 체크섬, 매니페스트, 버전 관리 스키마(Versioned Schema), 중앙 카탈로그, 파생 AI 학습 형식과 결합하면 실제 로봇 동작과 재현 가능한 데이터 엔지니어링(Reproducible Data Engineering)을 연결할 수 있다. MCAP은 원시 멀티모달 데이터 획득과 다운스트림 분석, 시뮬레이션, 재생, 머신러닝 사이에 지속 가능한 경계를 제공하며 확장 가능한 로보틱스 및 피지컬 AI 데이터 파이프라인을 위한 중요한 저장 표준(Storage Standard)으로 활용할 수 있다.

08.06 Dataset Version Control: DVC / LakeFS [w/Code]

데이터셋 버전 관리(Dataset Version Control)는 버전 관리(Versioning), 재현성(Reproducibility), 브랜칭(Branching), 이력(History), 추적성(Traceability)과 같은 소프트웨어 공학 원칙을 인공지능과 머신러닝에 사용되는 데이터에 적용한다. 소스 코드와 달리 데이터셋은 수백만 개의 파일과 테라바이트(Terabyte) 또는 페타바이트(Petabyte) 규모의 데이터를 포함할 수 있으므로 일반적인 Git 저장소에 데이터 자체를 저장하는 것은 적합하지 않은 경우가 많다. DVC와 lakeFS는 상호 보완적인 버전 관리 아키텍처를 통해 이러한 문제를 해결한다.

AI 데이터셋은 수집(Collection), 정제(Cleaning), 레이블링(Labeling), 필터링(Filtering), 증강(Augmentation), 전처리(Preprocessing) 과정에서 지속적으로 변경된다. 작은 수정이라도 실제 학습 데이터 분포(Training Distribution)가 달라지기 때문에 모델 동작에 영향을 줄 수 있다. 따라서 모델 소스 코드만 기록하는 것으로는 재현성이 충분하지 않다. 신뢰할 수 있는 실험을 위해서는 특정 결과를 생성한 정확한 데이터셋 버전, 전처리 로직, 구성(Configuration), 모델 코드, 학습 파라미터를 식별할 수 있어야 한다.

데이터셋 식별자(Dataset Identity)는 dataset_final_v3_new와 같은 비공식적인 디렉터리 이름이 아니라 명시적인 엔지니어링 결과물(Engineering Artifact)로 관리해야 한다. 하나의 버전은 나중에 다시 참조할 수 있는 알려진 데이터 집합과 관련 메타데이터의 상태를 나타내야 한다. 안정적인 식별자(Stable Identifier), 커밋(Commit), 태그(Tag), 매니페스트(Manifest), 체크섬(Checksum), 출처 기록(Provenance Record)을 이용하면 학습, 평가, 검증 또는 배포 적합성 평가에 정확히 어떤 샘플이 사용되었는지 확인할 수 있다.

DVC(Data Version Control)는 Git 중심 워크플로(Git-Oriented Workflow)를 대규모 데이터셋과 머신러닝 결과물로 확장한다. 대용량 데이터 파일을 Git에 직접 커밋하는 대신 DVC는 해당 파일을 설명하는 경량 메타데이터(Lightweight Metadata)를 저장하고 실제 콘텐츠는 별도의 저장소에 유지한다. Git은 소스 코드와 함께 DVC 메타데이터를 버전 관리하므로 하나의 코드 커밋을 특정 데이터셋 상태와 연결할 수 있다.

DVC로 추적되는 파일 또는 디렉터리는 콘텐츠를 식별하는 데 필요한 정보를 포함한 메타데이터를 통해 표현된다. 콘텐츠 해시(Content Hash)를 이용하면 DVC가 변경을 감지하고 논리적 경로(Logical Path)를 저장된 객체와 연결할 수 있다. 따라서 대규모 데이터셋은 Git 객체 데이터베이스 외부에 유지하면서 개발자는 경량 메타데이터에 대해 브랜치, 커밋, 태그, 체크아웃(Checkout), 코드 리뷰(Code Review)와 같은 익숙한 작업 방식을 계속 사용할 수 있다.

DVC 원격 저장소(DVC Remote Storage)는 여러 워크스테이션, 서버 또는 학습 노드가 사용하는 공유 데이터 계층을 제공한다. 환경에 따라 원격 저장소는 클라우드 객체 저장소(Cloud Object Storage), SSH 접근 저장소, 네트워크 저장소 또는 기타 지원되는 백엔드(Backend)에 위치할 수 있다. 개발자는 Git을 통해 작은 메타데이터를 교환하고 필요한 경우 DVC를 통해 해당 대용량 데이터 객체를 로컬 작업 공간과 설정된 원격 저장소 사이에서 전송한다.

이러한 분리는 소스 코드와 데이터가 매우 다른 저장 특성을 가지기 때문에 중요하다. 소스 파일은 일반적으로 크기가 작고 줄 단위 차이(Line-Oriented Diff)를 활용하기에 적합하지만 데이터셋에는 대용량 바이너리 이미지, 비디오, 텐서(Tensor), 아카이브(Archive), 로봇 로그가 포함될 수 있다. DVC를 사용하면 Git은 코드와 메타데이터에 집중하고 전문화된 저장 인프라가 학습 데이터의 용량과 처리량 요구사항을 담당할 수 있다.

일반적인 워크플로는 프로젝트 작업 공간의 원시 데이터(Raw Data) 또는 정제 데이터(Curated Data)에서 시작한다. 데이터셋을 DVC에 추가하면 메타데이터가 생성되고 이를 Git에 커밋한다. 데이터 객체는 DVC 원격 저장소로 푸시(Push)하고 Git 저장소는 해당 참조를 보존한다. 다른 시스템은 코드 저장소를 복제(Clone)하고 필요한 Git 리비전(Revision)을 선택한 후 대응되는 데이터 객체를 가져와 기존 실험 환경을 재구성할 수 있다.

DVC는 데이터 처리 파이프라인(Data-Processing Pipeline)도 기술할 수 있다. 파이프라인 단계(Pipeline Stage)는 의존성(Dependency), 명령(Command), 파라미터(Parameter), 출력(Output)을 정의하여 파생 데이터셋(Derived Dataset)을 원본 데이터와 변환 로직에 연결한다. 의존성이나 파라미터가 변경되면 영향을 받는 단계를 식별하고 다시 실행할 수 있다. 이를 통해 데이터셋 준비 과정을 문서화되지 않은 스크립트 실행의 연속이 아니라 명시적이고 반복 가능한 계산 워크플로로 전환할 수 있다.

재현 가능한 파이프라인(Reproducible Pipeline)은 전처리에 크기 조정(Resizing), 필터링, 어노테이션 변환(Annotation Conversion), 학습-검증 데이터 분할(Train-Validation Splitting), 특징 추출(Feature Extraction), 멀티모달 동기화(Multimodal Synchronization)가 포함되는 경우 특히 중요하다. 최종 학습 디렉터리만으로는 해당 데이터가 어떻게 생성되었는지 설명할 수 없다. 의존성과 변환 단계를 기록하면 파생 결과물을 원시 입력, 소프트웨어 리비전, 생성 파라미터와 연결할 수 있다.

DVC는 데이터셋과 실험이 Git 저장소와 긴밀하게 연결되는 프로젝트 중심 머신러닝 워크플로(Project-Oriented Machine Learning Workflow)에 특히 적합하다. 개별 연구자나 소규모 팀은 전체 저장 아키텍처를 교체하지 않고도 DVC를 도입할 수 있다. 대규모 결과물은 바이너리 데이터에 적합한 저장 인프라에 유지하면서 데이터 버전이 소프트웨어 브랜치와 커밋을 따라가도록 구성하려는 경우 유용하다.

lakeFS는 다른 아키텍처 방향에서 데이터셋 버전 관리에 접근한다. 로컬 Git 워크플로를 외부 데이터 객체로 확장하는 대신 lakeFS는 객체 저장 환경(Object-Storage Environment)의 데이터에 Git과 유사한 버전 관리 의미 체계(Git-Like Versioning Semantics)를 제공한다. 저장소(Repository), 브랜치(Branch), 커밋, 병합(Merge), 태그 등의 개념을 대규모 객체 집합에 적용하여 데이터 엔지니어링 워크플로가 서로 격리된 논리적 버전에서 동작하도록 한다.

lakeFS 브랜치는 전체 수 테라바이트 데이터셋을 즉시 복제하지 않고도 데이터의 격리된 뷰(Isolated View)를 제공할 수 있다. 데이터 엔지니어는 새로운 객체 또는 수정된 객체를 브랜치에 기록하고 결과 상태를 검증한 후 승인된 변경 사항을 커밋하거나 병합할 수 있다. 이러한 쓰기 시 복사(Copy-on-Write) 중심 모델은 각 실험마다 모든 객체를 물리적으로 복사하는 것이 현실적으로 어려운 대규모 데이터 레이크(Data Lake)에서도 브랜칭을 실용적으로 사용할 수 있게 한다.

브랜칭은 실험적인 변환이 운영 데이터 또는 공식 데이터(Authoritative Data)를 즉시 변경하지 않도록 하기 때문에 데이터셋 준비 과정에서 유용하다. 팀은 새로운 레이블, 필터링 규칙, 전처리 로직, 데이터셋 가져오기(Import)를 위한 브랜치를 생성할 수 있다. 검증 작업은 결과 버전을 검사하고 승인된 변경 사항만 메인 데이터 계보(Data Lineage)에 병합할 수 있다. 실패한 실험은 안정적인 데이터셋 상태를 오염시키지 않고 폐기할 수 있다.

커밋(Commit)은 버전 관리된 데이터의 알려진 상태를 나타내는 불변 참조 지점(Immutable Reference Point)을 제공한다. 학습 작업은 변경 가능한 객체 저장 경로만 기록하는 대신 lakeFS 커밋 식별자를 기록할 수 있다. 이후 새로운 객체가 추가되거나 기존 데이터가 후속 워크플로를 통해 교체되더라도 논리적 데이터셋 참조가 조용히 변경되지 않기 때문에 나중에 실험을 재현하는 것이 더욱 안정적이다.

태그(Tag)는 중요한 불변 버전에 사람이 읽을 수 있는 이름을 지정할 수 있다. 예를 들어 모델 릴리스(Model Release)에 승인된 데이터셋을 릴리스용 태그와 연결하고 새로운 브랜치에서는 계속 개발을 진행할 수 있다. 태그는 이동하는 개발 브랜치가 아니라 특정 커밋 상태에 대한 안정적인 참조를 제공하므로 운영 적합성 검증, 벤치마킹(Benchmarking), 규제 증빙, 장기간 실험에 유용하다.

lakeFS는 객체 저장소를 중심으로 구축된 중앙 집중형 데이터 플랫폼(Centralized Data Platform)에 특히 적합하다. 대규모 조직은 원시, 정제, 레이블링, 학습 준비 영역에 매우 많은 객체를 저장할 수 있다. 데이터 레이크 계층에 버전 관리를 적용하면 각 애플리케이션이 독립적인 스냅샷 로직(Snapshot Logic)을 구현하지 않아도 분석, ETL, 머신러닝, 검증 시스템이 일관된 데이터셋 버전을 공유할 수 있다.

따라서 DVC와 lakeFS의 차이는 단순한 기능 차이보다 아키텍처적 차이에 가깝다. DVC는 Git 중심 머신러닝 프로젝트와 자연스럽게 통합되며 메타데이터와 외부 저장소를 이용해 대용량 파일을 추적한다. lakeFS는 버전 관리 의미 체계를 객체 저장 데이터 플랫폼에 더 가까이 배치한다. 프로젝트 수준 재현성과 플랫폼 수준 데이터 버전 관리가 모두 필요한 경우 두 방식을 선택적으로 결합할 수도 있다.

결합된 아키텍처(Combined Architecture)에서는 lakeFS가 중앙 객체 저장소의 공식 데이터셋과 변환을 관리하고 DVC가 프로젝트별 참조, 파생 결과물, 파라미터, 실험 의존성을 기록할 수 있다. 다만 실제 통합 구조는 안정적으로 운영할 수 있을 만큼 단순해야 한다. 책임 범위를 명확히 정의하지 않고 두 개의 버전 관리 계층을 도입하면 어떤 식별자가 공식 데이터셋 상태를 나타내는지 혼란이 발생할 수 있다.

체크섬과 콘텐츠 해시(Content Hash)는 신뢰할 수 있는 버전 관리의 핵심 요소이다. 파일 이름만으로는 두 데이터셋이 동일한 바이트를 포함한다는 사실을 증명할 수 없다. 해시 기반 식별(Hash-Based Identification)은 변경, 손상, 예상하지 못한 교체를 감지할 수 있다. 대규모 시스템에서는 내부적으로 서로 다른 해시 방식을 사용할 수 있지만 데이터셋 매니페스트는 논리적 버전, 물리적 객체, 전송된 복사본 사이의 검증 가능한 관계를 제공해야 한다.

버전 관리는 출처 추적(Provenance)도 보존해야 한다. 데이터셋 버전은 데이터가 어디에서 생성되었는지, 어떤 수집 프로세스(Ingestion Process)가 생성했는지, 어떤 변환이 적용되었는지, 어떤 어노테이션 리비전이 사용되었는지, 어떤 사용자 또는 프로세스가 결과 상태를 승인했는지를 확인할 수 있을 때 더욱 유용하다. 출처 추적은 버전 식별자를 단순한 기술적 스냅샷에서 감사 가능한 데이터셋 수명주기 기록으로 확장한다.

가능한 경우 원시 데이터는 불변(Immutable) 상태로 관리하는 것이 바람직하다. 원본 센서 기록, 이미지, 외부에서 획득한 데이터셋을 덮어쓰는 대신 처리 단계에서 새로운 정제 또는 파생 버전을 생성해야 한다. 이렇게 하면 이전 결과를 재현할 수 있으며 향상된 처리 알고리즘을 나중에 다시 적용할 수도 있다. 버전 관리 시스템은 통제되지 않은 변경을 허용하기보다 이러한 추가 및 파생(Append-and-Derive) 모델을 강화할 때 가장 효과적이다.

로보틱스(Robotics)와 피지컬 AI(Physical AI)에서는 데이터가 여러 표현을 거치기 때문에 데이터셋 계보(Dataset Lineage)의 중요성이 더욱 높아진다. 원시 MCAP 기록은 동기화되고 에피소드(Episode)로 분할될 수 있으며, 이미지가 추출되고 어노테이션되며, 궤적(Trajectory)이 필터링되고, 최종 샘플은 웹데이터셋(WebDataset), LMDB, 파케이(Parquet), 텐서 형식으로 변환될 수 있다. 각 변환은 원본 기록과 처리 구성까지 추적 가능해야 한다.

따라서 피지컬 AI 데이터셋은 계층형 버전 관리(Layered Versioning)를 사용할 수 있다. 획득 계층(Acquisition Layer)은 불변 로봇 기록을 보존하고, 정제 계층(Curated Layer)은 검증된 임무나 에피소드를 식별하며, 학습 계층(Training Layer)은 모델별 데이터 표현을 포함한다. 버전 식별자와 매니페스트가 이러한 계층을 연결하면 예상하지 못한 모델 동작을 학습 샘플에서 처리된 에피소드, 그리고 최종적으로 원본 로봇 기록까지 역으로 추적할 수 있다.

학습, 검증, 테스트 분할(Train, Validation, and Test Split) 역시 버전 관리해야 한다. 개별 샘플이 동일하더라도 분할 방식이 변경되면 보고되는 모델 성능이 달라질 수 있다. 따라서 분할 정의는 통제되지 않은 무작위 연산을 통해 매번 다시 생성하는 대신 명시적인 결과물로 저장해야 한다. 안정적인 샘플 식별자와 기록된 랜덤 시드(Random Seed)를 사용하면 여러 실험에서 동일한 데이터 분할을 재구성하고 검증할 수 있다.

데이터셋 버전 관리는 협업(Collaboration)도 지원한다. 여러 연구자가 수동으로 이름을 지정한 아카이브 파일을 교환하지 않고 서로 다른 전처리 규칙을 실험할 수 있다. 브랜치 또는 프로젝트 리비전은 의도된 데이터 상태를 전달하고 커밋은 검토 가능한 체크포인트(Checkpoint)를 제공한다. 팀은 새로운 데이터셋 버전을 공유 운영 워크플로에 승인하기 전에 메타데이터, 파이프라인 정의, 샘플 수, 검증 보고서를 비교할 수 있다.

지속적 통합(Continuous Integration) 개념도 데이터 변경에 적용할 수 있다. 데이터셋 브랜치나 리비전을 승인하기 전에 자동화된 검사를 통해 스키마 호환성(Schema Compatibility), 샘플 수, 중복률(Duplicate Rate), 누락 필드, 클래스 분포(Class Distribution), 데이터 손상, 어노테이션 유효성, 필수 메타데이터를 검증할 수 있다. 이를 통해 데이터 변경도 소프트웨어 변경과 유사한 품질 게이트(Quality Gate)를 통과하게 하여 잘못된 데이터가 비용이 큰 학습 작업에 조용히 유입되는 위험을 줄일 수 있다.

버전 관리를 도입하더라도 저장소 수명주기 관리(Storage Lifecycle Management)는 여전히 필요하다. 변환 과정에서 새로운 바이너리 객체가 생성되면 과거 데이터셋 상태가 상당한 저장 공간을 소비할 수 있다. 중복 제거(Deduplication), 쓰기 시 복사, 콘텐츠 주소 기반 저장(Content-Addressed Storage), 보존 정책(Retention Policy), 아카이브 계층(Archive Tier), 가비지 컬렉션(Garbage Collection)을 이용하여 데이터 증가를 제어할 수 있다. 장기 재현이 필요한 버전과 제거 가능한 임시 실험 상태를 구분해야 한다.

접근 제어(Access Control) 역시 버전 관리 구조와 일치해야 한다. 실험 브랜치를 생성할 권한이 있는 사용자가 운영 데이터셋을 수정하거나 승인할 권한까지 자동으로 가져서는 안 된다. 저장 권한, 저장소 역할(Repository Role), 보호 브랜치(Protected Branch), 검토 프로세스, 서비스 식별자(Service Identity)를 통해 실험과 승인된 변경을 분리할 수 있다. 기밀, 라이선스 제한, 고객 데이터 또는 안전 중요 데이터가 포함된 경우 이러한 분리는 더욱 중요하다.

백업(Backup)과 버전 관리는 서로 다른 문제를 해결한다. 버전 관리는 논리적 이력을 보존하지만 인프라 손실, 자격 증명 탈취, 저장소 삭제, 저장 시스템 장애까지 자동으로 보호하는 것은 아니다. 중요한 데이터셋 저장소에는 여전히 복제(Replication), 백업, 무결성 검증(Integrity Verification), 재해 복구(Disaster Recovery) 절차가 필요하다. 하나의 저장 시스템에만 존재하는 버전 이력은 여전히 단일 장애점(Single Point of Failure)이 된다.

성능 측면의 고려도 중요하다. 버전 관리 시스템이 데이터를 식별할 수 있다는 이유만으로 학습 작업이 느린 네트워크를 통해 거대한 데이터셋을 반복적으로 재구성해서는 안 된다. 자주 사용하는 버전은 로컬 NVMe 저장소에 스테이징(Staging)하거나 캐싱(Caching)할 수 있으며 공식적인 데이터 식별자는 DVC 또는 lakeFS에서 유지할 수 있다. 캐시는 삭제 가능한 데이터이며 버전 관리 저장소와 메타데이터가 필요할 때 어떤 데이터를 복원해야 하는지를 결정한다.

실험 추적(Experiment Tracking)은 데이터셋 버전을 모델 결과물과 함께 기록할 때 더욱 강력해진다. 하나의 학습 실행은 소스 코드 커밋, 데이터셋 버전, 파이프라인 구성, 하이퍼파라미터(Hyperparameter), 실행 환경 정보, 결과 모델 식별자를 함께 기록하는 것이 이상적이다. 모델이 실제 배포 단계에 도달하면 이러한 참조가 운영 동작을 학습에 사용된 정확한 데이터와 소프트웨어까지 연결하는 재현성 체인(Reproducibility Chain)을 형성한다.

따라서 데이터셋 버전 관리는 단순히 오래된 파일의 복사본을 유지하는 메커니즘이 아니다. 데이터 식별자, 이력, 변환, 실험, 저장 인프라 사이에 통제된 관계를 구축하는 것이다. DVC는 프로젝트 수준의 머신러닝 워크플로를 위한 실용적인 Git 중심 접근법을 제공하며, lakeFS는 대규모 객체 저장 데이터 플랫폼에 Git과 유사한 브랜칭과 커밋 개념을 제공한다.

불변 원시 데이터(Immutable Raw Data), 매니페스트, 해시, 재현 가능한 파이프라인, 자동화된 검증, 접근 제어, 실험 추적, 신뢰할 수 있는 백업과 결합하면 DVC와 lakeFS는 확장 가능한 AI 데이터 아키텍처(Scalable AI Data Architecture)의 중요한 구성요소가 될 수 있다. 이들의 핵심 가치는 특정 모델, 실험 또는 운영 결과를 정확히 어떤 데이터, 변환 과정, 버전 상태가 생성했는가라는 재현성의 핵심 질문에 명확하게 답할 수 있도록 하는 데 있다.

08.07 AI Dataset Access Optimization: Distributed Storage Cache [w/Code]

AI 데이터셋 접근 최적화(AI Dataset Access Optimization)는 연산이 저장장치 때문에 중단되지 않도록 CPU, GPU, 가속기(Accelerator)에 학습 데이터를 충분히 빠르게 공급하는 기술이다. 현대 데이터셋은 수십억 개의 샘플 또는 페타바이트(Petabyte) 규모의 이미지, 비디오, 포인트 클라우드(Point Cloud), 로봇 로그, 멀티모달 레코드(Multimodal Record)를 포함할 수 있다. 따라서 저장 용량만으로는 충분하지 않으며 저장 아키텍처는 예측 가능한 처리량(Throughput), 동시성(Concurrency), 데이터 지역성(Locality)을 제공해야 한다.

기본적인 성능 목표는 저장장치의 최대 표기 대역폭이 아니라 학습 준비가 완료된 배치(Training-Ready Batch)를 지속적으로 공급하는 것이다. 저장장치가 빠르더라도 파일 검색, 네트워크 지연시간, 디코딩, 압축 해제, 데이터 증강(Augmentation), 파이썬 데이터 로딩 작업자가 배치를 제때 공급하지 못하면 GPU가 유휴 상태가 될 수 있다. 따라서 데이터셋 접근은 물리적 저장소에서 가속기 메모리까지 이어지는 종단 간 파이프라인(End-to-End Pipeline)으로 분석해야 한다.

AI 워크로드(AI Workload)는 독특한 접근 패턴을 생성한다. 데이터 수집은 일반적으로 대규모 순차 쓰기를 발생시키고, 전처리는 전체 데이터셋을 반복적으로 검색할 수 있으며, 학습은 다수의 동시 작업자와 무작위 읽기를 결합한다. 평가는 고정된 부분집합에 대한 결정론적 접근(Deterministic Access)이 필요할 수 있다. 순차 전송에만 최적화된 저장소는 수천 개 작업자가 작고 무작위로 분산된 샘플을 동시에 요청할 때 성능이 크게 저하될 수 있다.

소형 파일 오버헤드(Small-File Overhead)는 대규모 이미지 데이터셋의 주요 문제이다. 수백만 개의 JPEG, PNG, 어노테이션(Annotation), 메타데이터 파일은 반복적인 디렉터리 검색, 열기(Open), 상태 확인(Stat), 읽기(Read), 닫기(Close) 작업을 발생시킨다. 저장 매체가 최대 대역폭에 도달하기 훨씬 전에 메타데이터 서버와 네트워크 파일 시스템이 병목이 될 수 있다. 샘플을 웹데이터셋(WebDataset) 샤드, LMDB 데이터베이스, 파케이(Parquet) 파일 등의 컨테이너로 패키징하면 이러한 작업을 크게 줄일 수 있다.

분산 저장소(Distributed Storage)는 여러 저장장치 또는 노드에 데이터를 분산하여 단일 서버의 한계를 넘어 용량과 전체 처리량을 확장한다. 병렬 파일 시스템(Parallel File System), 분산 파일 시스템(Distributed File System), 스케일아웃 NAS(Scale-Out NAS), 객체 저장 플랫폼(Object-Storage Platform)은 이러한 원리를 서로 다른 방식으로 구현한다. 적절한 아키텍처는 워크로드 특성, 일관성 요구사항, 장애 모델, 네트워크 토폴로지, 데이터셋 크기, 운영 복잡성에 따라 달라진다.

병렬 파일 시스템은 여러 컴퓨팅 노드가 높은 전체 대역폭과 공유 파일 시스템 네임스페이스(Shared Filesystem Namespace)를 필요로 할 때 유용하다. 데이터를 여러 저장 대상에 스트라이핑(Striping)하여 동시 읽기 작업이 여러 장치를 병렬로 사용할 수 있다. 성능은 디스크 수뿐만 아니라 메타데이터 서비스, 네트워크 대역폭, 스트라이프 설정, 클라이언트 동시성, 개별 데이터 객체의 크기와 분포에도 영향을 받는다.

객체 저장소(Object Storage)는 일반적인 파일 시스템 경로 대신 객체(Object)와 키(Key)를 기반으로 하는 다른 접근 모델을 제공한다. 대규모 불변 데이터셋(Immutable Dataset)에 대해 뛰어난 확장성을 제공하며 클라우드 및 데이터 레이크(Data Lake) 아키텍처와 자연스럽게 통합된다. AI 파이프라인은 객체를 직접 스트리밍하거나 대형 샤드에 접근하고 필요한 데이터셋을 로컬 저장소로 스테이징(Staging)할 수 있다. 데이터셋 형식이 지나치게 많은 소형 객체 요청을 피하도록 구성된 경우 특히 효과적이다.

스케일아웃 NAS는 친숙한 파일 시스템 의미 체계(Filesystem Semantics)를 유지하면서 저장 인프라 전반에 용량과 서비스를 분산한다. 연구팀, 어노테이션 시스템, 전처리 서버, GPU 클러스터가 공유 데이터에 접근하는 구조를 단순화할 수 있다. 그러나 대규모 순차 파일에서 좋은 성능을 보이는 NAS라도 수백 개 작업자가 무작위 메타데이터 작업과 소규모 읽기를 발생시키면 다른 특성을 보일 수 있으므로 실제 워크로드 시험이 필요하다.

네트워크(Network)는 저장 시스템의 일부이다. 고속 NVMe 어레이(Array)도 컴퓨팅 노드가 충분하지 않은 네트워크 링크를 통해 통신하면 최대 성능을 제공할 수 없다. 이더넷 속도, 스위칭 아키텍처, 오버서브스크립션(Oversubscription), 프로토콜 오버헤드, 지연시간, 패킷 손실, 다른 워크로드의 동시 트래픽이 실제 데이터셋 처리량에 영향을 준다. 따라서 저장 용량과 네트워크 용량은 하나의 통합 데이터 경로(Integrated Data Path)로 계획해야 한다.

데이터 지역성(Data Locality)은 자주 사용하는 데이터를 연산 장치 가까이에 배치하여 불필요한 네트워크 이동을 줄인다. 중앙 저장소가 공식 데이터셋(Authoritative Dataset)을 보존하는 동안 선택된 버전을 GPU 서버의 NVMe 또는 노드 로컬 SSD(Node-Local SSD)에 스테이징할 수 있다. 학습은 동일한 샘플을 네트워크를 통해 반복 전송하지 않고 로컬 복사본에서 읽는다. 일회성 로컬 복제본이 접근을 가속하더라도 중앙 데이터셋의 식별자가 공식 기준으로 유지된다.

캐싱(Caching)은 최근 또는 자주 접근한 데이터를 더 빠른 저장장치에 유지하여 이러한 지역성 원리를 확장한다. 캐시는 시스템 메모리, 로컬 NVMe, 공유 SSD 계층, 파일 시스템 캐시, 객체 저장 게이트웨이(Object-Storage Gateway), 애플리케이션 전용 데이터 로더에 존재할 수 있다. 최적의 캐시 계층은 데이터셋 크기, 재사용 빈도, 접근 분포, 사용 가능한 메모리, 네트워크 비용, 여러 학습 작업의 데이터 공유 여부에 따라 결정된다.

운영체제 페이지 캐시(OS Page Cache)는 가장 기본적인 투명 캐싱 계층(Transparent Caching Layer)이다. 자주 읽는 파일 시스템 페이지는 사용되지 않는 시스템 메모리에 유지되어 추가적인 물리 저장장치 접근 없이 제공될 수 있다. 데이터셋 작업 집합(Working Set)의 상당 부분이 RAM에 들어가는 경우 반복 에포크(Epoch)의 속도가 크게 향상될 수 있다. 그러나 다른 작업이 캐시 페이지를 축출(Evict)하면 성능이 급격히 변할 수 있으므로 페이지 캐시 효과를 보장된 저장 성능으로 간주해서는 안 된다.

로컬 NVMe 캐시(Local NVMe Cache)는 RAM보다 크고 지속적인 작업 집합을 제공한다. 학습을 시작하기 전에 필요한 데이터셋 샤드 또는 데이터베이스를 중앙 NAS나 객체 저장소에서 로컬 NVMe로 복사할 수 있다. 이후 학습 작업자는 로컬 저장장치의 지연시간으로 무작위 또는 순차 읽기를 수행한다. 공식 버전, 매니페스트, 무결성 정보가 중앙 저장소에 유지되므로 실험 종료 후 캐시는 삭제할 수 있다.

공유 캐싱 계층(Shared Caching Tier)은 여러 컴퓨팅 노드가 동일한 데이터셋을 사용하는 경우 반복적인 데이터 전송을 줄일 수 있다. 각 작업자가 원격 저장소에서 동일한 객체를 독립적으로 다운로드하는 대신 클러스터에 가까운 고성능 캐시가 자주 사용하는 데이터를 제공할 수 있다. 반복적인 파운데이션 모델(Foundation Model) 실험이나 공통 벤치마크 데이터셋에 유용하지만 캐시 용량과 축출 정책(Eviction Policy)은 추정이 아니라 실제 접근 빈도를 반영해야 한다.

캐시 정확성(Cache Correctness)은 캐시 속도만큼 중요하다. 캐시된 파일 이름만으로 해당 바이트가 실험에서 요청한 데이터셋 버전과 일치한다고 보장할 수 없다. 따라서 캐시 키(Cache Key)는 불변 객체 식별자, 해시(Hash), 버전 ID 또는 이에 준하는 정보를 포함해야 한다. 체크섬을 사용하여 스테이징된 복사본을 검증하고 매니페스트를 통해 특정 데이터셋 버전에 정확히 어떤 객체가 포함되는지 정의해야 한다. 변경 가능한 경로가 오래된 캐시 데이터를 자동으로 재사용해서는 안 된다.

프리페칭(Prefetching)은 가속기가 데이터를 필요로 하기 전에 향후 데이터를 요청하여 저장 지연시간을 숨긴다. 데이터 로더는 GPU가 현재 학습 단계를 실행하는 동안 디코딩되었거나 부분적으로 처리된 배치의 큐(Queue)를 유지할 수 있다. 효과적인 프리페칭은 저장 입출력(I/O), CPU 디코딩, 증강, 호스트-디바이스 전송(Host-to-Device Transfer), 가속기 연산을 중첩한다. 그러나 지나친 프리페칭은 샘플이 폐기되거나 접근 패턴이 변경될 때 메모리와 입출력을 낭비할 수 있다.

비동기 입출력(Asynchronous I/O)도 연산과 데이터 전송이 동시에 진행되도록 한다. 각 읽기 작업마다 학습 프로세스를 차단하는 대신 작업 프로세스나 스레드가 여러 샘플을 요청하고 완료된 작업부터 처리할 수 있다. 큐 깊이(Queue Depth)는 저장 백엔드 특성에 맞게 조정해야 한다. 동시성이 부족하면 장치가 유휴 상태가 되고 지나치게 높으면 경합(Contention), 지연시간, 메모리 사용량이 증가할 수 있다.

데이터 로더 병렬성(Data-Loader Parallelism)은 또 다른 주요 최적화 파라미터이다. 여러 작업 프로세스가 샘플 읽기, 디코딩, 변환, 배치 구성을 동시에 수행할 수 있다. 최적의 작업자 수는 CPU 코어, 저장 지연시간, 데이터셋 형식, 증강 비용, 가속기 속도에 따라 달라진다. 작업자 수를 무한히 증가시킨다고 처리량이 계속 증가하지 않으며 포화 이후에는 문맥 전환(Context Switching), 메모리 중복, 저장 경합, 메타데이터 부하가 증가할 수 있다.

데이터셋 샤딩(Dataset Sharding)은 대규모 데이터 집합을 독립적으로 읽을 수 있는 단위로 나누어 병렬 접근 성능을 향상시킨다. 작업자 또는 분산 학습 랭크(Distributed Training Rank)에 서로 다른 샤드를 할당하면 경합과 중복 읽기를 줄일 수 있다. 샤드 크기는 전송 효율, 병렬성, 복구 단위, 캐시 활용도, 셔플 품질 사이에서 균형을 맞춰야 한다. 지나치게 작은 샤드는 메타데이터 오버헤드를 다시 발생시키고 지나치게 큰 샤드는 분산 유연성과 장애 격리를 저하시킬 수 있다.

분산 학습(Distributed Training)은 데이터 접근에 또 다른 차원을 추가한다. 수백 개 GPU가 동시에 샘플을 요청하면 전체 대역폭 요구량이 크게 증가한다. 데이터셋 파티셔닝(Dataset Partitioning)은 통계적으로 적절한 셔플링을 유지하면서 불필요한 중복 읽기를 최소화해야 한다. 각 랭크에는 정의된 샘플 시퀀스 영역이 필요하며 재현성이 요구되는 경우 에포크 수준 재셔플링(Reshuffling)도 결정론적으로 수행되어야 한다.

무작위화(Randomization)는 저장 효율과 충돌할 수 있다. 수십억 개의 작은 파일에 완전히 무작위로 접근하면 많은 탐색과 원격 요청이 발생한다. 일반적인 절충 방법은 계층적 셔플링(Hierarchical Shuffling)으로, 먼저 샤드 순서를 무작위화하고 이후 메모리 버퍼 내부의 샘플을 셔플한다. 이를 통해 저장장치에서는 대부분 순차 읽기를 유지하면서 통계적으로 유용한 무작위성을 확보할 수 있다. 웹데이터셋 방식의 파이프라인은 이러한 접근 패턴에 적합하다.

압축(Compression)은 저장 및 네트워크 대역폭과 CPU 연산 사이의 절충 관계를 만든다. 압축 데이터셋은 이동해야 하는 바이트 수를 줄이지만 압축 해제 과정에서 프로세서 자원을 사용한다. 이미지와 비디오는 이미 압축 코덱(Codec)을 사용할 수 있지만 구조화된 센서 데이터나 수치 데이터는 추가 압축으로 상당한 효과를 얻을 수 있다. 최적의 선택은 시스템 병목이 네트워크, 저장 대역폭, CPU 디코딩, 가속기 데이터 소비 속도 중 어디에 있는지에 따라 달라진다.

반복되는 변환 작업이 학습 시간을 크게 차지한다면 전처리(Preprocessing)를 오프라인으로 이동할 수 있다. 비용이 큰 크기 조정, 형식 변환, 특징 추출, 동기화, 어노테이션 처리를 한 번 수행하고 결과를 파생 데이터셋(Derived Dataset)으로 저장할 수 있다. 저장 용량 사용은 증가하지만 모든 에포크에서 반복되는 CPU 연산을 줄일 수 있다. 데이터셋 버전 관리는 파생 표현을 원본 데이터 및 변환 구성과 연결해야 한다.

메모리 매핑(Memory Mapping)은 적절한 데이터셋 형식에서 애플리케이션이 가상 메모리를 통해 파일 기반 영역에 접근하도록 하여 성능을 향상시킬 수 있다. 운영체제는 필요한 페이지를 요청 시 로드하고 페이지 캐시를 통해 재사용할 수 있다. LMDB와 아파치 애로우(Apache Arrow) 같은 형식은 메모리 중심 접근 패턴을 효과적으로 활용할 수 있다. 실제 효과는 레코드 배치, 지역성, 작업 집합 크기, 기반 저장장치에 따라 달라진다.

로보틱스(Robotics)와 피지컬 AI(Physical AI) 데이터셋은 하나의 샘플에 RGB 이미지, 깊이, 라이다, 오디오, 고유수용성 감각(Proprioception), 행동(Action), 타임스탬프가 함께 포함될 수 있기 때문에 추가적인 문제가 발생한다. 각 모달리티를 독립적인 원격 파일에서 읽으면 지연시간이 누적된다. MCAP 같은 컨테이너 형식은 원시 동기화 스트림을 보존하고 파생된 에피소드 중심 또는 샤드 기반 형식은 선택된 모달리티를 효율적인 모델 학습 구조로 재구성할 수 있다.

실용적인 피지컬 AI 아키텍처는 공식 저장소(Authoritative Storage)와 학습 저장소(Training Storage)를 분리할 수 있다. 원시 MCAP 로그와 검증된 데이터셋은 중앙 NAS 또는 객체 저장소에 유지하고 전처리를 통해 선택된 데이터를 웹데이터셋, LMDB, 파케이 또는 텐서 중심 표현으로 변환한다. 자주 사용하는 학습 버전은 로컬 NVMe에 스테이징하여 GPU 노드가 공식 원본을 변경하지 않고 최적화된 데이터에 접근하도록 할 수 있다.

계층형 저장소(Tiered Storage)는 데이터 가치와 접근 빈도를 저장 비용 및 성능에 대응시킨다. 활성 학습 데이터셋은 NVMe 또는 고성능 분산 저장소에 배치하고, 웜 데이터셋(Warm Dataset)은 대용량 NAS나 객체 저장소에 유지하며, 사용하지 않는 과거 버전은 저비용 아카이브 계층으로 이동할 수 있다. 데이터셋 카탈로그와 버전 식별자를 사용하면 논리적 식별자와 출처 정보를 잃지 않고 데이터를 저장 계층 사이에서 이동할 수 있다.

대규모 클러스터에서는 스케줄링(Scheduling)도 데이터 인식형(Data-Aware)으로 구성할 수 있다. 학습 작업을 사용 가능한 GPU만 기준으로 할당하는 대신 요청된 데이터셋이 이미 캐시된 위치를 고려할 수 있다. 기존 복사본 가까이에서 연산을 실행하면 시작 시간과 네트워크 트래픽을 줄일 수 있다. 향후 워크로드를 알고 있다면 자주 요청되는 데이터셋을 예상되는 컴퓨팅 자원 가까이에 사전 스테이징할 수도 있다.

저장 병목은 GPU 또는 모델 문제로 잘못 판단되는 경우가 많기 때문에 모니터링(Monitoring)이 필수적이다. 유용한 측정값에는 GPU 사용률, 데이터 로더 대기시간, 초당 샘플 수, 저장 처리량, IOPS, 메타데이터 작업, 네트워크 사용률, 캐시 적중률(Cache Hit Rate), CPU 디코딩 사용률, 큐 깊이, 배치 준비 지연시간 등이 포함된다. 디스크 대역폭만 관찰하면 가속기 데이터 공급 부족의 다양한 원인을 파악하기 어렵다.

벤치마킹(Benchmarking)은 합성 순차 시험에만 의존하지 않고 실제 워크로드를 재현해야 한다. 의미 있는 벤치마크는 대표적인 샘플 크기, 데이터 형식, 작업자 수, 증강, 셔플 동작, 네트워크 경로, 동시 GPU 수를 사용해야 한다. 콜드 캐시(Cold Cache)와 웜 캐시(Warm Cache) 실행도 구분해야 한다. 전체 작업 집합이 메모리에 들어간 이후에만 매우 빠르게 보이는 시스템을 실제 저장 성능으로 오해해서는 안 된다.

분산 저장 파이프라인에서는 장애 처리(Failure Handling)도 고려해야 한다. 저장 노드, 네트워크 링크, 캐시 장치, 전처리 작업자는 서로 독립적으로 장애가 발생할 수 있다. 복제, 재시도 정책(Retry Policy), 체크섬, 멱등적 스테이징(Idempotent Staging), 재개 가능한 전송(Resumable Transfer), 결정론적 매니페스트를 사용하면 데이터셋을 조용히 변경하지 않고 파이프라인을 복구할 수 있다. 캐시된 복사본은 항상 공식 원본에서 다시 생성할 수 있어야 한다.

성능이 주요 목표인 경우에도 보안(Security)은 중요하다. 로컬 캐시와 임시 스테이징 영역은 중앙 접근 제어 외부에 민감한 데이터의 추가 복사본을 만들 수 있다. 따라서 암호화(Encryption), 권한(Permission), 정리 정책(Cleanup Policy), 감사 가능성(Auditability), 데이터셋별 보존 규칙을 캐시 계층에도 적용해야 한다. 성능 최적화가 거버넌스 모델을 우회하는 관리되지 않는 복제본을 생성해서는 안 된다.

비용 최적화(Cost Optimization)는 고가의 고성능 저장소와 실제 활용률 사이의 균형을 필요로 한다. 모든 과거 데이터셋을 NVMe에 영구적으로 유지하는 것은 경제적이지 않은 경우가 많으며 모든 학습 샘플을 원격 아카이브 저장소에서 가져오는 것도 운영상 비효율적이다. 잘 설계된 저장 계층은 자주 사용하는 데이터를 빠른 계층으로 승격하고 비활성 버전은 낮은 비용의 계층으로 이동시키면서 공식 위치에 대한 재현 가능한 참조를 유지한다.

따라서 가장 효과적인 아키텍처는 분산 용량(Distributed Capacity)과 체계적으로 설계된 데이터 지역성을 결합한다. 중앙 객체 저장소, NAS 또는 분산 저장소가 내구성과 공유 접근을 제공하고 로컬 NVMe와 메모리 캐시는 낮은 지연시간의 작업 집합을 제공한다. 샤딩과 최적화된 데이터 형식은 메타데이터 오버헤드를 줄이고 프리페칭과 병렬 데이터 로더는 입출력과 연산을 중첩하며 버전 인식 매니페스트(Version-Aware Manifest)는 성능 향상이 데이터 정확성을 훼손하지 않도록 보장한다.

AI 데이터셋 접근 최적화는 궁극적으로 저장장치 사양 자체가 아니라 가속기 생산성(Accelerator Productivity)을 기준으로 평가해야 한다. 목표는 GPU가 필요로 하기 전에 데이터가 안정적으로 도착하고 데이터셋 식별자가 재현 가능하게 유지되며 컴퓨팅 노드를 확장하더라도 새로운 입출력 병목이 즉시 발생하지 않는 파이프라인을 구축하는 것이다. 분산 저장소와 지능형 캐싱(Intelligent Caching)을 결합하면 대규모 AI 데이터셋을 수동적인 아카이브에서 고처리량 계산 자원(High-Throughput Computational Resource)으로 전환할 수 있다.

08.08 AI Dataset Checksum Integrity Verification Automation [w/Code]

AI 데이터셋 무결성 검증(AI Dataset Integrity Verification)은 학습, 평가, 아카이빙(Archival), 재현(Reproduction)에 사용되는 데이터 바이트가 의도했던 데이터와 정확히 동일한지를 보장하는 과정이다. 대규모 데이터셋은 데이터 획득 시스템, 워크스테이션, NAS, 객체 저장소(Object Storage), GPU 클러스터, 아카이브 사이를 빈번하게 이동한다. 체계적인 검증이 없다면 조용한 데이터 손상(Silent Corruption), 불완전한 전송, 우발적인 교체, 파일 누락이 비용이 큰 실험이 실패할 때까지 발견되지 않을 수 있다.

체크섬(Checksum)은 파일 내용으로부터 계산되는 간결한 값으로 데이터 변경을 탐지하는 데 사용된다. SHA-256과 같은 암호학적 해시 함수(Cryptographic Hash Function)는 아주 작은 변경만 발생해도 매우 높은 확률로 서로 다른 다이제스트(Digest)를 생성하므로 데이터셋 무결성 검증에 적합하다. 체크섬은 파일 내용을 설명하는 것이 아니라 나중에 다시 계산하여 예상값과 비교할 수 있는 재현 가능한 지문(Fingerprint)을 제공한다.

체크섬은 파일명, 파일 크기, 수정 시간(Modification Timestamp)과 구분해야 한다. 두 파일은 동일한 이름과 크기를 가지면서 서로 다른 데이터를 포함할 수 있으며 복사 또는 복원 과정에서 타임스탬프가 변경될 수도 있다. 이러한 속성도 유용한 메타데이터이지만 바이트 수준의 동일성을 강하게 증명하지는 못한다. 콘텐츠에서 직접 계산한 체크섬은 저장 또는 전송된 파일이 기록된 기준과 일치하는지 판단하는 훨씬 강력한 근거를 제공한다.

무결성 검증은 데이터가 관리되는 데이터셋 수명주기(Dataset Lifecycle)에 처음 진입할 때부터 시작해야 한다. 데이터 획득이나 다운로드 이후 파일을 공식 원본 데이터(Authoritative Source Data)로 승인하기 전에 검증해야 한다. 시스템은 체크섬을 계산하고 파일 크기와 논리적 경로를 기록하며 관련 메타데이터를 연결하여 이러한 값을 매니페스트(Manifest)에 저장할 수 있다. 이후 작업에서는 전송 성공 여부를 단순히 신뢰하는 대신 이 기준 정보를 사용하여 복사본을 검증할 수 있다.

데이터셋 매니페스트(Dataset Manifest)는 무결성 목록(Integrity Inventory)의 역할을 한다. 각 항목은 논리적 파일 또는 객체, 예상 크기, 체크섬, 데이터셋 버전, 저장 위치, 선택적인 출처 정보(Provenance)를 식별할 수 있다. 대규모 환경에서는 샤드 식별자(Shard Identifier), 샘플 수, 시간 범위, 로봇 임무 ID, 스키마 버전, 데이터 획득 세션도 포함할 수 있다. 매니페스트는 논리적 데이터셋 식별자와 파일의 물리적 위치를 분리한다.

SHA-256은 강력한 충돌 저항성(Collision Resistance)을 제공하고 운영체제, 프로그래밍 언어, 객체 저장 도구, 데이터 관리 플랫폼에서 광범위하게 지원되기 때문에 널리 사용된다. 대부분의 AI 데이터셋 워크플로에서 SHA-256의 목적은 기밀성(Secrecy)이 아니라 무결성 검증이다. 일반적으로 해시는 매니페스트와 함께 저장할 수 있지만 민감한 데이터셋 메타데이터에 대한 접근은 여전히 조직의 보안 및 개인정보 보호 요구사항을 따라야 한다.

중요한 데이터 이동 이후에는 항상 검증을 수행하는 것이 바람직하다. 데이터 획득 SSD에서 NAS로 복사한 파일은 원본 해시와 비교할 수 있으며 NAS 복사본을 객체 저장소나 아카이브 미디어로 이전한 후 다시 검증할 수 있다. 이를 통해 검증된 전송 체인(Verified Transfer Chain)을 구축한다. 원본과 대상의 체크섬이 일치하면 데이터 이동 과정에서 바이트가 변경되지 않았다는 근거를 확보할 수 있다.

대용량 파일은 전체 파일을 메모리에 로드하지 않고 스트리밍 체크섬 계산(Streaming Checksum Calculation)을 사용해야 한다. 해시 함수는 데이터를 블록 단위로 점진적으로 처리할 수 있으므로 메모리 요구량이 파일 크기에 거의 영향을 받지 않는다. 이는 수 기가바이트 규모의 비디오, MCAP 로봇 로그, 웹데이터셋(WebDataset) TAR 샤드, 데이터베이스 파일, 대형 아카이브에서 중요하다. 주요 제한 요소는 저장장치 읽기 처리량, CPU 해싱 속도, 네트워크 전송 특성이 된다.

병렬 체크섬 생성(Parallel Checksum Generation)은 많은 독립 파일을 포함하는 데이터셋의 검증 속도를 높일 수 있다. 여러 작업 프로세스가 서로 다른 파일을 동시에 해싱할 수 있으며 SSD나 분산 저장소에서 특히 효과적일 수 있다. 그러나 지나친 병렬 처리는 디스크, 메타데이터 서버, 네트워크 링크, CPU 자원을 포화시켜 오히려 성능을 떨어뜨릴 수 있다. 따라서 검증 동시성은 기반 저장 시스템의 특성에 맞게 조정해야 한다.

소형 파일 데이터셋(Small-File Dataset)은 반대의 문제를 가진다. 각각의 JPEG 또는 어노테이션 파일에 대한 해시 계산 자체는 저렴할 수 있지만 수백만 개 파일을 여는 과정에서 상당한 메타데이터 오버헤드가 발생한다. 데이터를 불변 샤드(Immutable Shard)나 데이터베이스 컨테이너로 패키징하면 검증해야 하는 물리 객체 수를 줄일 수 있다. 이후 컨테이너 수준과 필요한 경우 개별 샘플 또는 레코드 수준에서 무결성을 관리할 수 있다.

계층적 무결성 모델(Hierarchical Integrity Model)은 대규모 데이터셋에 유용하다. 개별 파일 또는 객체에 해시를 부여하고 데이터셋 매니페스트가 해당 해시를 기록한다. 이후 매니페스트 자체를 다시 해싱하여 전체 데이터셋 상태를 나타내는 간결한 지문을 생성할 수 있다. 머클 트리(Merkle Tree)와 같은 트리 기반 구조는 해시를 계층적으로 결합하여 매우 큰 데이터 집합에서 차이를 효율적으로 비교하고 위치를 식별할 수 있도록 한다.

머클 트리는 리프 데이터(Leaf Data)를 해시로 표현하고 자식 해시를 반복적으로 결합하여 최종적으로 루트 해시(Root Hash)를 생성한다. 데이터셋이 변경되면 영향을 받은 트리 경로의 해시도 함께 변경된다. 따라서 시스템은 간결한 루트 식별자를 사용하여 대규모 데이터 집합을 비교하고 서로 다른 분기만 조사할 수 있다. 구체적인 구현은 시스템마다 다르지만 콘텐츠 주소 기반 저장(Content-Addressed Storage), 분산 동기화, 불변 데이터셋 스냅샷에 유용한 개념이다.

무결성 검증은 손상된 파일뿐만 아니라 누락된 파일과 예상하지 못한 파일도 탐지해야 한다. 현재 존재하는 파일의 해시만 비교하면 불완전한 복사본을 발견하지 못할 수 있다. 자동화된 검증은 전체 예상 매니페스트와 실제 대상을 비교하여 누락된 객체, 예상하지 못한 추가 객체, 중복 논리 식별자, 크기 불일치, 체크섬 실패를 식별해야 한다. 데이터셋 완전성(Dataset Completeness) 역시 무결성의 일부이다.

부분 전송(Partial Transfer)은 명시적으로 처리해야 한다. 중단된 다운로드나 네트워크 복사는 정상적인 파일명을 가지지만 내용이 불완전한 파일을 남길 수 있다. 임시 확장자, 원자적 이름 변경(Atomic Rename), 전송 상태 기록, 재개 가능한 복사 메커니즘(Resumable Copy Mechanism)을 사용하면 불완전한 데이터와 완료된 객체를 구분할 수 있다. 전송 완료와 무결성 검증이 모두 성공하기 전에는 파일을 공식 데이터셋 매니페스트에 포함해서는 안 된다.

수백 기가바이트에서 페타바이트 규모의 데이터에서는 수동 검증이 확장되지 않기 때문에 자동화(Automation)가 필수적이다. 수집 파이프라인(Ingestion Pipeline)은 다운로드 후 자동으로 해시를 계산하고 매니페스트를 생성하며 필수 파일을 검증한 다음 검증된 데이터를 신뢰할 수 있는 저장소로 이동할 수 있다. 전송 작업은 원본을 삭제하기 전에 대상 복사본을 검증하고 예약된 백그라운드 작업은 중요한 데이터셋을 주기적으로 감사하여 예상하지 못한 변경이나 저장장치 열화를 탐지할 수 있다.

자동화된 검증 워크플로는 기계 판독 가능한 결과(Machine-Readable Result)를 생성해야 한다. 단순히 터미널에 PASS 또는 FAIL을 출력하는 대신 검증 시간, 데이터셋 버전, 파일 수, 전체 바이트, 성공한 해시 수, 누락 파일, 불일치, 오류, 소프트웨어 버전을 기록할 수 있다. 이러한 기록은 감사 추적(Audit Trail)을 형성하며 모니터링 시스템이 반복적으로 발생하는 장애나 무결성 문제와 연관된 저장 구성요소를 식별하도록 한다.

멱등적 검증(Idempotent Verification)은 자동화를 더욱 안전하게 만든다. 동일한 검증 프로세스를 반복 실행하더라도 올바른 데이터셋 내용을 수정하거나 일관되지 않은 상태를 생성해서는 안 된다. 이미 검증된 파일은 그대로 유지하고 실패한 항목만 다시 시도하며 불완전한 작업은 기록된 체크포인트(Checkpoint)에서 재개할 수 있다. 이러한 특성은 검증을 처음부터 다시 시작하면 수 시간이 걸릴 수 있는 장시간 데이터 전송에서 특히 중요하다.

데이터셋 버전 관리(Dataset Version Control)와 체크섬은 서로를 보완한다. 버전 식별자는 실험에서 기대하는 논리적 데이터셋 상태를 나타내며 해시는 실제 물리 파일이 해당 상태와 일치하는지 검증한다. DVC, lakeFS, 객체 저장소 버전 관리, Git 메타데이터 또는 사용자 정의 매니페스트가 논리적 이력을 보존할 수 있지만 체크섬 검증은 저장된 바이트가 예상하지 못하게 변경되지 않았다는 독립적인 근거를 제공한다.

불변 데이터셋(Immutable Dataset)은 무결성 관리를 단순화한다. 하나의 데이터셋 버전이 확정되면 이상적으로는 파일을 직접 수정하지 않아야 한다. 수정 사항은 새로운 해시와 새로운 매니페스트를 갖는 새로운 버전으로 생성한다. 이를 통해 과거 체크섬이 현재 콘텐츠를 나타내는지에 대한 모호성을 방지할 수 있다. 불변성은 식별자가 안정적인 바이트를 계속 가리키므로 캐싱, 복제, 동기화, 실험 재현도 더욱 신뢰할 수 있게 한다.

객체 저장소는 업로드 또는 검색 과정에서 무결성 관련 메타데이터와 플랫폼별 검증 기능을 제공할 수 있지만 애플리케이션 수준 데이터셋 검증(Application-Level Dataset Verification)도 여전히 중요하다. 플랫폼 체크섬은 업로드 방식과 서비스 구현에 따라 서로 다른 알고리즘이나 의미 체계를 사용할 수 있다. 명시적으로 정의된 해시 알고리즘을 사용하는 데이터셋 자체의 매니페스트를 유지하면 로컬 디스크, NAS, 클라우드 서비스, 아카이브에 걸쳐 이식 가능한 검증 방법을 확보할 수 있다.

로보틱스(Robotics)와 피지컬 AI(Physical AI) 데이터셋은 데이터를 다시 수집하는 데 많은 비용이 들거나 재수집 자체가 불가능할 수 있기 때문에 무결성이 특히 중요하다. 하나의 로봇 임무에는 동기화된 카메라, 라이다(LiDAR), 관성 측정 장치(IMU), 위성항법시스템(GNSS), 오디오, 상태, 행동 스트림이 포함될 수 있다. 하나의 기록 손상만으로 전체 멀티모달 에피소드가 무효화될 수 있으므로 원시 MCAP 파일, 캘리브레이션 결과물, 지도, 구성, 임무 메타데이터를 하나의 일관된 데이터 획득 패키지(Acquisition Package)로 검증해야 한다.

파생 데이터셋(Derived Dataset)은 자체적인 무결성 기록이 필요하다. MCAP에서 이미지를 추출하거나 동기화된 에피소드를 생성하고, 샘플을 웹데이터셋 샤드로 변환하거나 LMDB 데이터베이스 및 파케이(Parquet) 테이블을 생성하면 새로운 물리적 바이트가 만들어진다. 이러한 출력은 새로운 체크섬과 매니페스트를 가져야 하며 출처 기록을 통해 원본 버전과 변환 파라미터에 연결되어야 한다. 원본 해시만으로 변환된 데이터를 검증할 수는 없다.

학습 캐시(Training Cache) 역시 정확성이 중요한 경우 검증해야 한다. 로컬 NVMe 복사본은 삭제 가능한 데이터로 간주할 수 있지만 손상된 캐시는 발견되기 전에 모델 학습에 영향을 줄 수 있다. 버전 인식 캐시 키(Version-Aware Cache Key)와 체크섬을 결합하면 학습 작업을 시작하기 전에 스테이징된 데이터를 검증할 수 있다. 실패한 캐시 항목은 실험을 오염시키는 대신 삭제하고 공식 저장소에서 다시 생성할 수 있다.

아카이브 검증(Archive Verification)은 저장 매체 열화, 우발적 수정, 불완전한 백업, 관리상의 오류와 같은 장기적인 위험을 다룬다. 중요한 데이터셋 버전은 체크섬을 다시 계산하고 보존된 매니페스트와 비교하여 주기적으로 감사할 수 있다. 검증 주기는 모든 데이터셋을 동일한 간격으로 비효율적으로 전체 검색하기보다 데이터 가치, 저장 기술, 중복성(Redundancy), 복구 요구사항을 고려하여 결정해야 한다.

복제(Replication)와 무결성을 혼동해서는 안 된다. 여러 복사본은 가용성(Availability)을 제공하지만 손상된 데이터도 여러 위치로 정상적으로 복제될 수 있다. 각 복제본은 신뢰할 수 있는 알려진 체크섬과 연결되어야 하며 이를 통해 동일하게 복제된 손상 데이터와 정상 복제본을 구분할 수 있다. 불일치가 발생하면 검증된 복제본 또는 공식 원본을 이용하여 손상된 복사본을 재구성할 수 있다.

검증 실패(Verification Failure)가 발생했을 때 즉시 자동 삭제하기보다 통제된 복구(Remediation) 절차를 실행해야 한다. 불일치는 데이터 손상, 불완전한 전송, 잘못된 데이터셋 버전, 소프트웨어 오류, 승인되지 않은 변경을 의미할 수 있다. 시스템은 의심스러운 파일을 격리(Quarantine)하고 진단 정보를 보존하며 신뢰할 수 있는 대체 원본을 식별하고 복구 작업을 기록해야 한다. 올바른 원본을 명확하게 판단할 수 있는 경우에만 자동 복구가 적절하다.

보안 모니터링(Security Monitoring)은 무결성 검증을 이용하여 예상하지 못한 변경을 탐지할 수 있지만 체크섬 자체가 인증(Authentication)을 제공하는 것은 아니다. 공격자가 데이터셋과 저장된 체크섬을 모두 변경할 수 있다면 단순 비교가 성공할 수도 있다. 높은 보증 수준이 필요한 시스템에서는 제한된 권한, 디지털 서명(Digital Signature), 신뢰할 수 있는 메타데이터 저장소 등을 통해 매니페스트를 보호하여 기준 무결성 정보가 조용히 교체되지 않도록 해야 한다.

디지털 서명은 무결성 정보에 진위성(Authenticity)을 추가한다. 신뢰할 수 있는 프로세스가 검증 후 데이터셋 매니페스트에 서명하면 이후 시스템은 매니페스트가 변경되지 않았는지와 승인된 서명자가 생성했는지를 함께 검증할 수 있다. 이는 통제된 데이터셋 릴리스, 규제 환경, 외부 데이터 교환, 바이트 수준 정확성과 함께 출처 및 승인이 중요한 안전 중요 로보틱스(Safety-Critical Robotics)에서 유용할 수 있다.

검증은 성능과 균형을 맞춰야 한다. 단순히 해시를 다시 계산하기 위해 페타바이트 데이터를 읽으면 저장 대역폭, CPU 시간, 에너지, 운영 자원을 상당히 소비한다. 시스템은 자연스러운 데이터 이동 과정에서 검증하거나 중요 버전을 우선 처리하고 증분 감사(Incremental Audit), 변경 객체 검증, 낮은 사용률 시간대의 정밀 검색(Deep Scan)을 활용할 수 있다. 무결성 전략은 최대 검증 빈도가 항상 최적이라고 가정하기보다 위험 기반(Risk-Based)으로 설계해야 한다.

모니터링은 데이터 플랫폼 전체의 무결성 상태를 요약할 수 있다. 유용한 지표에는 검증된 바이트, 검증 처리량, 체크섬 실패, 누락 파일, 예상하지 못한 객체, 재시도 횟수, 손상된 복제본, 매니페스트 생성 후 경과 시간, 마지막 감사 이후 경과 시간 등이 포함된다. 대시보드와 경고(Alert)를 사용하면 무결성을 가끔 수행하는 수동 작업이 아니라 AI 데이터 인프라의 관찰 가능한 운영 속성(Observable Operational Property)으로 전환할 수 있다.

따라서 완전한 자동화 파이프라인은 신뢰할 수 있는 순서를 따를 수 있다. 데이터를 수집하고 구조를 검증하며 해시를 계산하고 매니페스트를 생성한 다음 전송을 검증하고 데이터셋 버전을 등록하며 복제 또는 아카이빙한 후 중요한 복사본을 주기적으로 감사한다. 파생 변환도 새로운 매니페스트를 생성하면서 동일한 과정을 반복하고 원본 버전과의 연결을 유지한다. 이를 통해 모든 중요한 데이터셋 상태를 독립적으로 식별하고 검증할 수 있다.

체크섬 자동화(Checksum Automation)의 목표는 단순히 해시 파일을 생성하는 것이 아니다. 실험에서 사용한 데이터셋이 완전하고 변경되지 않았으며 올바른 버전이고 신뢰할 수 있는 원본까지 추적 가능하다는 증거를 구축하는 것이다. 매니페스트, 암호학적 해시, 불변 버전, 자동화된 검증, 감사 기록, 통제된 복구를 통합하면 데이터셋 무결성을 AI 엔지니어링 워크플로의 반복 가능한 특성으로 만들 수 있다.

확장 가능한 AI 및 피지컬 AI 시스템에서 이러한 검증 계층은 저장 신뢰성(Storage Reliability)과 과학적 재현성(Scientific Reproducibility)을 연결한다. 기반 데이터가 바이트 및 버전 수준에서 재현 가능할 때만 모델 역시 신뢰성 있게 재현할 수 있다. 따라서 자동화된 체크섬 및 무결성 검증은 대규모 데이터셋의 전체 수명주기에 걸친 신뢰 가능한 이동, 캐싱, 변환, 백업, 아카이빙, 재사용을 위한 기반을 제공한다.

08.09 AI Dataset Storage Cost Optimization

AI 데이터셋 저장 비용 최적화(AI Dataset Storage Cost Optimization)는 AI 워크로드에 필요한 성능, 내구성(Durability), 접근성(Accessibility), 재현성(Reproducibility)을 유지하면서 전체 저장 비용을 최소화하는 과정이다. 대규모 데이터셋은 원시 데이터 획득, 전처리, 증강(Augmentation), 파생 형식(Derived Format), 실험 복사본, 백업을 거치면서 테라바이트(Terabyte)에서 페타바이트(Petabyte) 규모로 증가할 수 있다. 따라서 비용 관리는 단순히 저렴한 저장장치를 구매하는 것이 아니라 데이터 수명주기 아키텍처(Data Lifecycle Architecture)를 필요로 한다.

데이터셋 저장의 실제 비용은 테라바이트당 가격을 넘어선다. 조직은 저장 하드웨어 또는 서비스 비용, 복제(Replication), 백업, 네트워크 전송, 검색 비용(Retrieval Fee), 전력, 냉각, 랙 공간, 관리, 유지보수뿐만 아니라 데이터가 충분히 빠르게 공급되지 않아 발생하는 컴퓨팅 시간 손실도 고려해야 한다. 저비용 저장 계층이라도 느린 접근으로 고가의 GPU 자원이 반복적으로 유휴 상태가 된다면 전체적으로는 더 비싼 선택이 될 수 있다.

데이터셋의 가치와 접근 빈도(Access Frequency)에 따라 저장 위치를 결정해야 한다. 학습에 활발하게 사용되는 데이터는 높은 처리량과 낮은 지연시간이 필요하지만 가끔 접근하는 데이터셋은 용량 중심 저장소(Capacity-Oriented Storage)에 배치할 수 있다. 재현성을 위해 주로 보존하는 과거 버전은 아카이브 시스템으로 이동할 수 있다. 이를 통해 저장 성능과 비용을 실제 워크로드 요구사항에 맞추는 계층형 아키텍처(Tiered Architecture)를 구성할 수 있다.

일반적인 저장 계층은 핫(Hot), 웜(Warm), 콜드(Cold), 아카이브(Archive)로 구성된다. 핫 데이터는 GPU 시스템과 가까운 NVMe 또는 고성능 분산 저장소에 배치할 수 있다. 웜 데이터는 대용량 NAS나 객체 저장소(Object Storage)를 사용할 수 있으며 콜드 데이터셋은 더 저렴한 저장소로 이동한다. 장기 아카이브는 즉각적인 접근이 필요하지 않은 중요한 과거 버전을 현실적으로 가능한 가장 낮은 비용으로 보존한다.

핫 저장소(Hot Storage)에는 높은 성능의 이점을 실제로 얻는 데이터만 유지해야 한다. 모든 원시 데이터셋, 과거 모델 입력, 사용하지 않는 실험 데이터를 NVMe에 영구적으로 저장하면 고가의 용량이 낭비된다. 활성 학습 버전, 자주 재사용되는 전처리 결과, 임시 작업 집합(Working Set)이 더 적합한 대상이다. 자동화된 정책을 통해 접근 빈도가 감소한 데이터는 낮은 계층으로 이동하고 필요할 때 다시 높은 계층으로 승격할 수 있다.

로컬 NVMe 캐시(Local NVMe Cache)는 공식 저장소(Authoritative Storage)와 고성능 학습 접근을 분리하는 유용한 방법이다. 중앙 NAS 또는 객체 저장소는 내구성 있는 데이터셋 버전을 유지하고 학습 노드는 선택된 데이터를 로컬 NVMe로 스테이징(Staging)할 수 있다. 로컬 복사본은 공식 원본에서 재현할 수 있으므로 실험 이후 삭제할 수 있다. 이를 통해 모든 데이터셋을 동시에 저장할 수 있는 고가의 공유 고성능 저장소를 구축할 필요성을 줄인다.

캐싱(Caching)은 반복적인 데이터 이동을 제거할 때 가장 경제적이다. 자주 접근하는 샤드(Shard)나 데이터베이스 파일을 컴퓨팅 자원 가까이에 유지하면 네트워크 트래픽과 원격 검색 작업을 줄일 수 있다. 캐시 정책은 접근 빈도, 데이터셋 크기, 재사용 가능성, 학습 일정과 같은 측정 가능한 신호를 사용해야 한다. 재사용 가능성이 낮은 데이터를 고가의 캐시 용량에 계속 유지하는 것은 경제적 효과가 거의 없다.

중복 데이터셋(Duplicate Dataset)은 불필요한 저장 용량 증가의 주요 원인이다. 연구자는 흔히 final, final2, backup, processed 또는 실험별 이름으로 여러 복사본을 생성한다. 콘텐츠 해시(Content Hash)와 매니페스트(Manifest)를 사용하면 파일명이 달라도 동일한 파일이나 객체를 식별할 수 있다. 저장 아키텍처가 지원하는 경우 중복 제거(Deduplication)와 콘텐츠 주소 기반 저장(Content-Addressed Storage)을 통해 여러 논리적 데이터셋 참조가 동일한 물리적 콘텐츠를 공유할 수 있다.

버전 관리(Version Control)는 완전한 물리적 복사본 대신 데이터셋 상태를 논리적으로 표현하여 통제되지 않은 복제를 줄일 수 있다. DVC는 프로젝트 리비전(Project Revision) 사이에서 콘텐츠 주소 기반 객체를 재사용할 수 있으며 lakeFS는 전체 데이터셋을 즉시 복사하지 않고 객체 저장소에 브랜칭 의미 체계(Branching Semantics)를 제공할 수 있다. 버전 인식 워크플로(Version-Aware Workflow)는 수 테라바이트 규모의 디렉터리가 수동으로 복제되는 현상을 제한하면서 안전한 실험을 가능하게 한다.

쓰기 시 복사(Copy-on-Write) 기술은 데이터셋 브랜칭 비용을 더욱 줄일 수 있다. 새로운 논리적 버전은 처음에는 기존 객체를 참조하고 객체가 변경될 때만 추가적인 물리 데이터를 저장한다. 이는 대규모 데이터셋의 일부만 수정하는 실험에서 특히 유용하다. 수 테라바이트 데이터를 복제하여 몇 개의 파일만 변경하는 대신 플랫폼은 공유 데이터를 그대로 유지하고 변경된 부분만 추가로 저장할 수 있다.

압축(Compression)은 물리적 저장 용량을 줄이고 네트워크 전송 요구량도 감소시킬 수 있다. 경제적 효과는 데이터 유형에 따라 달라진다. 텍스트, 구조화된 메타데이터, 수치 배열, 일부 센서 스트림은 효과적으로 압축할 수 있지만 JPEG 이미지와 인코딩된 비디오는 이미 상당한 압축이 적용되어 있을 수 있다. 압축 방식은 용량 절감, CPU 비용, 압축 해제 지연시간, 학습 처리량을 함께 고려하여 결정해야 한다.

데이터 형식(Data Format)은 저장 및 운영 오버헤드에 영향을 주기 때문에 비용에도 직접적인 영향을 미친다. 수백만 개의 작은 파일은 파일 시스템 메타데이터 자원을 소비하고 원격 저장소에서 많은 요청을 발생시킨다. 샘플을 웹데이터셋(WebDataset) 샤드, 파케이(Parquet) 파일, LMDB 데이터베이스 또는 적절한 컨테이너로 패키징하면 객체 수, 메타데이터 작업, 요청 비용, 데이터 로딩 오버헤드를 줄이면서 학습 효율도 향상시킬 수 있다.

파생 데이터셋(Derived Dataset)에는 명시적인 보존 정책(Retention Policy)이 필요하다. 전처리 이미지, 크기 조정된 변형, 임베딩(Embedding), 변환된 어노테이션, 동기화된 에피소드, 학습 샤드는 원시 데이터보다 더 많은 공간을 차지할 수도 있다. 일부 파생 데이터는 재생성 비용이 높아 보존할 가치가 있지만 다른 출력은 쉽게 다시 만들 수 있다. 무엇을 보존할지 결정하기 전에 재계산 비용(Recomputation Cost)과 장기 저장 비용을 비교해야 한다.

재계산(Recomputation) 자체도 하나의 저장 최적화 전략이다. 불변 원시 데이터(Immutable Raw Data)와 버전 관리된 처리 코드에서 몇 시간 안에 결정론적으로 다시 생성할 수 있는 파생 데이터셋이라면 모든 과거 복사본을 영구 저장할 필요가 없을 수 있다. 반대로 수 주의 GPU 연산이 필요하거나 더 이상 사용할 수 없는 외부 의존성을 요구하는 결과는 보존하는 편이 더 저렴할 수 있다. 올바른 결정은 전체 재생성 비용과 운영 위험에 따라 달라진다.

파생 데이터가 존재한다는 이유만으로 원시 데이터(Raw Data)를 자동으로 삭제해서는 안 된다. 원본 센서 기록이나 외부에서 획득한 데이터셋은 다시 얻을 수 없을 수 있으며 향후 개선된 전처리를 적용하는 기반이 된다. 더 적절한 방식은 공식 원시 데이터를 저비용의 내구성 있는 저장소에 보존하면서 현재 사용 중인 파생 표현만 빠른 계층에 유지하는 것이다. 이를 통해 보존 가치와 즉각적인 성능 요구사항을 분리할 수 있다.

로보틱스(Robotics)와 피지컬 AI(Physical AI) 시스템은 여러 카메라, 라이다(LiDAR), 레이더, 오디오, 텔레메트리(Telemetry), 제어 스트림이 동시에 동작하기 때문에 특히 많은 저장 용량을 생성할 수 있다. 따라서 플릿 운영(Fleet Operation) 과정에서 원시 MCAP 기록이 빠르게 증가할 수 있다. 보존 정책은 희귀 이벤트, 장애, 엣지 케이스(Edge Case), 벤치마크 경로, 검증된 학습 에피소드를 보존하고 반복적이고 일반적인 기록은 다른 방식으로 관리하도록 임무의 가치를 분류할 수 있다.

선택적 보존(Selective Retention)은 미래의 학습 가치를 파괴하지 않도록 신중하게 관리해야 한다. 단순히 데이터 생성 시점만 기준으로 자동 삭제하면 나중에 중요해질 수 있는 희귀 상황을 제거할 수 있다. 메타데이터 기반 정책은 임무 유형, 센서 구성, 이벤트 희귀성(Event Rarity), 어노테이션 상태, 품질 점수, 모델 불확실성(Model Uncertainty), 규제 요구사항, 동등한 데이터 존재 여부 등을 고려할 수 있다. 비용 최적화는 단순히 바이트 수를 줄이는 것이 아니라 정보 다양성(Informational Diversity)을 보존해야 한다.

데이터셋 카탈로그(Dataset Catalog)는 각 데이터셋의 내용과 존재 이유를 파악할 수 있기 때문에 수명주기 결정을 쉽게 만든다. 메타데이터는 소유자, 원본, 버전, 크기, 생성일, 마지막 접근 시점, 보존 등급, 재생성 비용, 관련 모델, 법적 제약을 설명할 수 있다. 카탈로그가 없다면 어떤 파일을 안전하게 아카이브하거나 제거할 수 있는지 판단하기 어렵기 때문에 조직은 불필요한 데이터까지 계속 보존하는 경향이 있다.

객체 저장소 수명주기 정책(Object Storage Lifecycle Policy)은 데이터의 생성 시점이나 접근 패턴에 따라 저장 클래스 사이의 이동을 자동화할 수 있다. 자주 사용하는 객체는 표준 저장소에 유지하고 오래되거나 비활성 상태인 객체는 저비용 클래스로 전환할 수 있다. 그러나 검색 지연시간, 최소 보존 기간, 작업 비용, 검색 비용은 서비스별로 다르므로 수명주기 규칙은 단순한 기가바이트당 가격 비교가 아니라 실제 워크로드 특성을 반영해야 한다.

클라우드 외부 전송(Cloud Egress)은 대규모 데이터셋이 클라우드 저장소에서 외부 GPU 인프라나 다른 리전(Region)으로 반복 이동할 때 상당한 비용이 될 수 있다. 학습 아키텍처는 공식 데이터와 컴퓨팅 자원의 상대적인 위치를 고려해야 한다. 연산을 데이터 가까이 이동하거나 통제된 로컬 캐시를 유지하고 원시 파일 대신 최적화된 샤드를 전송하면 반복적인 네트워크 비용과 학습 시작 시간을 줄일 수 있다.

온프레미스 저장소(On-Premises Storage)는 다른 비용 구조를 가진다. 하드웨어 구매 비용은 초기 단계에서 명확하게 나타나지만 전력, 냉각, 드라이브 교체, 네트워킹, 백업 용량, 관리, 사용되지 않는 예약 용량도 총소유비용(Total Cost of Ownership, TCO)에 포함된다. 따라서 클라우드와 온프레미스 저장소를 비교할 때는 내구성, 성능, 복제, 활용률, 운영 인력, 예상 장비 수명에 대해 동등한 가정을 사용해야 한다.

하이브리드 저장소(Hybrid Storage)는 이러한 경제 모델을 결합할 수 있다. 자주 사용하는 데이터셋은 온프레미스 GPU 가까이에 있는 로컬 NAS 또는 고성능 저장소에 유지하고 비활성 버전은 확장 가능한 객체 저장소나 아카이브 저장소에 배치할 수 있다. 데이터는 워크로드 요구에 따라 환경 사이를 이동한다. 하이브리드 전략은 데이터셋 식별자, 매니페스트, 체크섬, 전송 자동화가 모든 위치에서 일관되게 유지될 때 효과적이다.

복제 정책(Replication Policy)은 비용에 직접적인 영향을 준다. 모든 데이터셋을 세 개의 완전한 복사본으로 유지하면 높은 중복성을 제공하지만 백업이나 버전 오버헤드를 고려하기 전부터 원시 용량 요구량이 세 배로 증가할 수 있다. 중요한 원시 데이터에는 여러 복제본이 필요할 수 있지만 재현 가능한 캐시에는 그렇지 않다. 중복성은 하나의 고정된 복제 계수가 아니라 데이터 가치, 복구 목표, 장애 영역(Failure Domain), 재생성 가능성을 기준으로 결정해야 한다.

백업 정책(Backup Policy)도 대체 불가능한 데이터와 재현 가능한 결과물을 구분해야 한다. 원시 획득 데이터, 수작업으로 생성된 어노테이션, 매니페스트, 캘리브레이션 기록, 승인된 데이터셋 릴리스에는 강력한 백업이 필요할 수 있다. 임시 캐시, 신뢰할 수 있는 원본에서 다시 받을 수 있는 공개 데이터셋, 쉽게 재생성할 수 있는 전처리 결과는 상대적으로 낮은 수준의 보호만 필요할 수 있다. 백업 자원은 손실 시 실질적인 운영 피해를 발생시키는 정보에 집중해야 한다.

무결성 검증(Integrity Verification)은 조직이 여러 개의 불확실한 백업을 유지하는 대신 소수의 잘 관리된 복사본을 신뢰할 수 있게 하여 비용 최적화를 지원한다. 체크섬과 매니페스트를 통해 아카이브 또는 전송된 데이터셋이 완전하게 유지되고 있는지 확인할 수 있다. 검증이 없으면 어떤 복사본이 올바른지 확신할 수 없어 불필요한 복사본을 유지하게 된다. 적절한 중복성을 갖춘 검증된 공식 복사본이 여러 개의 문서화되지 않은 복제본보다 관리하기 쉽다.

가비지 컬렉션(Garbage Collection)은 유지되는 데이터셋 버전에서 더 이상 참조하지 않는 물리적 객체를 제거한다. 콘텐츠 주소 기반 또는 버전 관리 시스템에서는 논리적 브랜치를 삭제해도 다른 버전이 동일한 객체를 참조할 수 있으므로 기반 데이터가 즉시 제거되지 않을 수 있다. 안전한 가비지 컬렉션은 도달 가능한 객체(Reachable Object)를 식별하고 보존 기간을 준수하며 보호된 버전을 유지하고 공유 콘텐츠가 실수로 삭제되지 않도록 보호 장치를 제공해야 한다.

보존 일정(Retention Schedule)은 서로 다른 데이터 종류를 얼마 동안 유지할지 정의해야 한다. 임시 전처리 결과는 수일 또는 수주, 실험 데이터셋은 수개월, 승인된 학습 릴리스는 수년, 대체 불가능한 원시 데이터는 훨씬 더 오랫동안 유지할 수 있다. 정확한 기간은 과학적, 계약적, 규제적, 운영적 요구사항에 따라 달라진다. 명시적인 정책은 조직의 관성으로 인해 저장 용량이 무기한 증가하는 것을 방지한다.

비용 배부(Chargeback) 또는 비용 가시화(Showback) 메커니즘을 통해 각 팀이 사용하는 저장 용량을 확인할 수 있다. 프로젝트, 데이터셋, 소유자, 저장 계층, 접근 빈도별로 용량을 보고하면 사용하지 않는 자원과 비정상적으로 비용이 높은 워크플로를 식별할 수 있다. 목적은 단순한 회계 처리가 아니라 엔지니어가 복사본 생성, 임시 결과 장기 보존, 환경 간 대규모 데이터 반복 전송이 발생시키는 비용을 이해하도록 하는 것이다.

모니터링(Monitoring)은 용량뿐만 아니라 경제적 동작도 추적해야 한다. 유용한 지표에는 전체 저장 바이트, 증가율, 중복 비율, 저장 계층별 바이트, 캐시 적중률(Cache Hit Rate), 비활성 데이터 비율, 검색량, 네트워크 전송량, 복제 오버헤드, 아카이브 증가량, 데이터셋별 예상 비용이 포함된다. 이러한 지표를 GPU 활용률과 함께 분석하면 저장 비용 절감이 더 큰 컴퓨팅 비용을 발생시키고 있는지 확인할 수 있다.

페타바이트 규모에서는 자동화(Automation)가 필수적이다. 수명주기 엔진(Lifecycle Engine)은 관리자가 개별 디렉터리를 직접 검사하지 않아도 비활성 데이터를 이동하고 임시 캐시를 만료시키며 참조되지 않는 객체를 식별하고 아카이브 복사본을 검증하며 보고서를 생성할 수 있다. 자동화된 작업은 정책 기반이고 감사 가능해야 하며 가치가 높거나 대체 불가능한 데이터를 파괴적으로 처리할 때는 보호된 데이터셋 버전과 승인 절차를 적용해야 한다.

비용 효율적인 피지컬 AI 파이프라인(Physical AI Pipeline)은 불변 원시 MCAP 기록을 내구성 있는 대용량 저장소에 보존하고 정제된 임무 및 에피소드 버전을 데이터셋 버전 관리 시스템에서 유지할 수 있다. 활성 부분집합은 웹데이터셋 또는 LMDB 학습 형식으로 변환하고 해당 표현을 로컬 NVMe에 스테이징할 수 있다. 학습이 끝나면 삭제 가능한 캐시는 제거하지만 매니페스트를 통해 나중에 정확히 동일한 데이터셋을 다시 구성할 수 있다.

따라서 경제적 목표는 단순한 저장 테라바이트당 비용이 아니라 유용한 AI 워크로드당 비용(Cost per Useful AI Workload)이 되어야 한다. 더 빠른 저장소가 가속기 활용률을 크게 향상시킨다면 높은 비용이 정당화될 수 있으며 검색 빈도가 낮은 데이터에는 저렴한 아카이브 저장소가 적합하다. 저장 결정은 용량, 접근 빈도, 데이터 이동, 재계산, GPU 시간, 내구성, 운영 인력의 상호작용을 함께 고려해야 한다.

AI 데이터셋 저장 비용 최적화는 궁극적으로 체계적인 데이터 수명주기 관리(Data Lifecycle Management)에 달려 있다. 계층화(Tiering), 캐싱, 중복 제거, 압축, 버전 관리, 선택적 보존, 가비지 컬렉션, 자동화된 이동은 매니페스트, 체크섬, 카탈로그, 재현 가능한 파이프라인과 결합할 때 가장 효과적으로 동작한다. 이러한 요소를 함께 적용하면 가치 있는 데이터를 보존하면서 불필요한 복사본을 제거하고 각 데이터셋을 현재 역할에 적합한 저장소에 배치할 수 있다.

성숙한 아키텍처는 저장 비용을 데이터셋 수명주기에 따라 변화하는 동적 속성(Dynamic Property)으로 취급한다. 데이터는 획득에서 활성 처리, 학습, 재사용, 보존, 최종 만료 단계로 이동하지만 논리적 식별자는 안정적으로 유지된다. 공식 데이터와 삭제 가능한 고성능 복사본을 분리하고 측정 가능한 데이터 가치와 접근 수요에 맞춰 저장 계층을 배치하면 AI 조직은 저장 비용이 통제 불가능하게 증가하지 않도록 하면서 데이터셋 규모를 지속적으로 확장할 수 있다.

08.10 Robot Foundation Model Pretraining Dataset Management Case

로봇 파운데이션 모델(Robot Foundation Model) 사전학습(Pretraining)은 기존 인식 모델 학습보다 훨씬 큰 규모와 복잡성을 가진 데이터셋 관리(Dataset Management)를 요구한다. 하나의 모델이 로봇 시연, 원격조작(Teleoperation), 자율주행 궤적, 이미지, 비디오, 깊이 정보, 언어 명령, 고유수용감각(Proprioception), 힘 신호, 행동(Action), 시뮬레이션으로부터 학습할 수 있다. 따라서 데이터셋 관리는 동기화된 멀티모달 경험을 보존하면서 대규모 분산 학습을 지원해야 한다.

기본적인 학습 단위는 독립적인 이미지보다 에피소드(Episode) 또는 궤적(Trajectory)인 경우가 많다. 하나의 에피소드는 초기화에서 작업 실행을 거쳐 성공 또는 실패에 이르는 과정을 나타내며 관측, 행동, 타임스탬프, 언어 명령, 로봇 상태, 환경 맥락을 포함할 수 있다. 개별 프레임을 무작위로 분리하면 행동 예측과 정책 학습에 필요한 시간적·인과적 정보가 손실될 수 있으므로 데이터셋 시스템은 이러한 관계를 보존해야 한다.

로봇 데이터는 이기종 로봇 형상(Heterogeneous Embodiment)에서 생성된다. 매니퓰레이터는 관절 수, 그리퍼 설계, 작업 공간, 제어 주파수, 카메라 배치, 행동 표현이 서로 다를 수 있으며 이동 로봇은 위치추정, 내비게이션, 속도, 지도 정보까지 추가한다. 따라서 파운데이션 모델 데이터셋에는 각 로봇의 고유 특성을 유지하면서 모든 로봇을 잘못된 동일 물리 표현으로 강제하지 않는 공통 논리 스키마(Common Logical Schema)가 필요하다.

실용적인 표준 스키마(Canonical Schema)는 관측(Observation), 행동(Action), 작업 정보(Task Information), 로봇 형상 메타데이터(Embodiment Metadata), 시간 정보를 분리한다. 관측에는 RGB, 깊이, 포인트 클라우드(Point Cloud), 촉각 측정, 관절 상태, 엔드 이펙터 자세(End-Effector Pose)가 포함될 수 있다. 행동에는 관절 명령, 직교좌표 목표, 그리퍼 상태, 이동 베이스 명령이 포함되며 작업 메타데이터는 명령, 성공 기준, 장면 맥락, 객체, 에피소드 결과를 설명한다.

멀티모달 스트림은 서로 다른 주파수로 동작하므로 시간 동기화(Time Synchronization)가 매우 중요하다. 카메라는 초당 수십 프레임을 생성할 수 있지만 관절 인코더와 제어기는 훨씬 높은 주파수로 동작할 수 있다. 데이터셋 구축에서는 타임스탬프, 동기화 허용 오차, 보간 정책(Interpolation Policy), 누락 샘플 처리, 기준 시계(Reference Clock)를 정의해야 한다. 시간 정렬이 잘못되면 개별 센서 데이터가 정상이어도 모델이 관측과 행동 사이의 잘못된 관계를 학습할 수 있다.

원시 획득 데이터(Raw Acquisition Data)는 모델 학습용 데이터(Model-Ready Training Data)와 분리하여 유지해야 한다. MCAP과 같은 로봇 로그는 스키마와 타임스탬프를 포함하여 고정밀 센서 및 제어 스트림을 보존할 수 있다. 이후 처리 파이프라인은 신호를 동기화하고 관측을 선택하며 행동을 정규화하고 에피소드를 생성하며 언어 설명을 연결한 후 승인된 결과를 분산 사전학습에 최적화된 형식으로 변환할 수 있다. 이러한 분리는 향후 새로운 전처리 방법에서도 원본 증거를 다시 활용할 수 있게 한다.

데이터셋 수집(Ingestion)은 구조 및 무결성 검증(Integrity Validation)에서 시작된다. 각 기록은 필수 토픽, 유효한 타임스탬프, 예상 센서 주파수, 캘리브레이션 가용성, 파일 완전성, 체크섬을 검사할 수 있다. 손상된 스트림, 불가능한 로봇 상태, 누락된 행동, 심각한 동기화 오류가 포함된 에피소드는 정제 데이터 집합(Curated Corpus)에 들어가기 전에 표시되어야 한다. 자동화된 검증은 저품질 데이터 획득 문제가 고비용 학습까지 조용히 전파되는 것을 방지한다.

품질 관리(Quality Management)는 기술적 유효성과 행동적 유용성(Behavioral Usefulness)을 구분해야 한다. 기술적으로 완전한 에피소드라도 유휴 구간, 반복 동작, 실패한 시연, 위험한 행동, 모호한 명령, 의도한 작업과 관련 없는 행동을 포함할 수 있다. 모든 궤적을 동일한 가치로 취급하는 대신 품질 파이프라인은 성공 여부, 실패 원인, 작업자 개입, 동작 품질, 작업 관련성, 센서 품질, 어노테이션 신뢰도를 나타내는 레이블을 부여할 수 있다.

실패 데이터(Failure Data)를 자동으로 폐기해서는 안 된다. 로봇 파운데이션 모델은 적절하게 식별되고 적합한 학습 목적 함수에 사용된다면 실패한 행동, 복구 행동, 충돌, 도달 불가능한 자세, 계획 오류를 이해하는 데 도움을 받을 수 있다. 데이터셋 관리는 실패 의미론(Failure Semantics)을 보존하여 학습 시스템이 이러한 에피소드를 성공 시연과 무의식적으로 혼합하지 않고 의도적으로 포함, 제외 또는 가중할 수 있도록 해야 한다.

대규모 사전학습은 다양성 관리(Diversity Management)도 필요로 한다. 수백만 개의 궤적을 포함한 데이터셋이라도 대부분이 동일한 로봇, 환경, 객체, 시점 또는 작업을 나타낸다면 여전히 편협할 수 있다. 메타데이터는 로봇 형상, 작업 계열, 장면, 객체 범주, 센서 구성, 작업자, 필요한 경우 지역, 성공 상태, 획득 방식별 분석을 지원해야 한다. 따라서 데이터셋 규모는 단순한 데이터 양뿐 아니라 커버리지(Coverage)와 다양성을 함께 평가해야 한다.

불균형 데이터셋(Imbalanced Dataset)은 지배적인 로봇이나 작업이 규모는 작지만 중요한 영역을 압도하게 만들 수 있다. 샘플링 정책은 로봇 형상, 작업, 환경, 품질, 희귀도에 따라 가중치를 부여할 수 있다. 데이터셋 매니페스트(Manifest)는 디렉터리 크기나 우연한 파일 순서에 의존하지 않고 재현 가능한 혼합 구성을 정의할 수 있다. 하나의 학습 실행은 어떤 데이터셋을 어떤 비율과 필터링 규칙으로 결합했는지 정확하게 설명할 수 있어야 한다.

교차 로봇 형상 학습(Cross-Embodiment Training)은 신중한 정규화(Normalization)를 요구한다. 서로 다른 로봇의 관절 공간 행동은 직접적으로 동일하지 않으며 직교좌표 명령도 서로 다른 좌표계 규약이나 제어 시간 범위를 사용할 수 있다. 전처리는 물리적으로 의미가 있는 경우 신호를 공통 표현으로 매핑하면서 원래의 로봇별 데이터와 변환 메타데이터를 유지할 수 있다. 목표는 각 로봇을 해석하는 데 필요한 정보를 제거하지 않으면서 상호운용성(Interoperability)을 확보하는 것이다.

언어 지도(Language Supervision)는 또 다른 관리 계층을 추가한다. 명령은 작업자, 작업 정의, 사람의 어노테이션, 자동 생성 설명, 멀티모달 모델 등에서 생성될 수 있다. 데이터셋 레코드는 이러한 출처를 구분하고 언어, 신뢰도, 생성 방법, 수정 이력(Revision History)을 보존해야 한다. 그렇지 않으면 합성 설명과 검증된 사람의 명령을 구분할 수 없게 되어 이후의 품질 분석과 필터링이 어려워질 수 있다.

시뮬레이션(Simulation)은 더 낮은 데이터 획득 비용으로 작업 및 환경의 커버리지를 확대할 수 있지만 시뮬레이션 데이터와 실제 데이터는 구분 가능한 상태로 유지해야 한다. 메타데이터에는 시뮬레이터 버전, 장면 자산, 물리 설정, 랜덤화 파라미터, 제어기 구성, 생성 절차를 기록할 수 있다. 학습 혼합 과정에서 시뮬레이션과 실제 경험의 비율을 의도적으로 조절하고 서로 다른 데이터 분포를 무의식적으로 혼합하지 않으면서 전이 성능(Transfer Behavior)을 측정할 수 있다.

모델 학습용 데이터셋은 여러 처리 단계를 거치므로 변환 계보(Transformation Lineage)가 필수적이다. 하나의 원시 기록은 동기화된 에피소드, 정규화된 궤적, 필터링된 시연, 토큰화된 시퀀스, 최종 학습 샤드로 변환될 수 있다. 모든 파생 버전은 원본 데이터셋, 처리 코드, 파라미터, 스키마 버전, 변환 시간을 식별해야 한다. 이를 통해 예상하지 못한 모델 동작을 데이터 파이프라인을 따라 원인까지 추적할 수 있다.

불변 데이터셋 버전(Immutable Dataset Version)은 실험을 위한 안정적인 참조를 제공한다. 사전학습 릴리스가 승인되면 내용을 조용히 수정해서는 안 된다. 수정 사항, 새로운 에피소드, 개선된 어노테이션, 변경된 정규화는 새로운 버전을 생성해야 한다. 버전 식별자를 매니페스트 및 체크섬과 결합하면 활성 데이터셋이 계속 발전하더라도 수개월 후 특정 모델 학습 실행을 재현할 수 있다.

로보틱스에서는 학습 및 평가 분리(Training and Evaluation Separation)에 특별한 주의가 필요하다. 무작위 프레임 단위 분할은 동일한 궤적의 인접 프레임을 학습 세트와 평가 세트에 동시에 배치하여 심각한 데이터 누수(Data Leakage)를 발생시킬 수 있다. 동일한 장면에서 반복 시연이 존재한다면 에피소드 단위 분할도 충분하지 않을 수 있다. 평가 목적에 따라 세션, 환경, 객체, 작업자, 작업 구성, 데이터 획득 캠페인을 분리할 수 있다.

근접 중복 탐지(Near-Duplicate Detection)는 평가 무결성을 보호하면서 저장 효율도 높인다. 반복 시연은 파일 해시가 다르더라도 거의 동일한 시각적 시퀀스나 궤적을 포함할 수 있다. 지각적 유사도(Perceptual Similarity), 궤적 유사도, 메타데이터 관계, 세션 식별자를 이용하여 중복을 탐지할 수 있다. 정확한 체크섬은 동일한 바이트를 탐지하며 의미적 또는 지각적 방법은 경험 수준에서의 중복을 처리한다.

대규모 환경에서는 공식 데이터셋(Authoritative Dataset)과 학습 최적화 표현(Training-Optimized Representation)을 분리해야 한다. 내구성 있는 객체 저장소 또는 대용량 NAS는 검증된 에피소드와 불변 릴리스를 유지하고 웹데이터셋(WebDataset) 샤드, 파케이(Parquet) 테이블, LMDB 데이터베이스 또는 텐서 중심 형식은 효율적인 학습 소비를 제공할 수 있다. 로컬 NVMe 캐시는 통제되지 않은 또 하나의 공식 복사본이 되지 않으면서 활성 샤드를 GPU 노드 가까이에 배치할 수 있다.

샤딩 전략(Sharding Strategy)은 분산 학습 성능에 큰 영향을 미친다. 샤드는 수백만 번의 메타데이터 작업을 피할 만큼 충분히 커야 하지만 효율적으로 분배, 셔플, 재시도, 캐싱할 수 있을 정도로 작아야 한다. 시간적 연속성이 중요한 경우 에피소드 경계를 유지해야 한다. 매니페스트에는 샤드 구성, 에피소드 수, 바이트 크기, 체크섬, 스키마 버전, 샘플링 메타데이터를 기록하여 분산 작업자가 결정론적인 데이터셋 릴리스를 사용할 수 있도록 한다.

데이터 로딩(Data Loading)은 가속기의 처리량을 지속적으로 충족해야 한다. GPU 클러스터는 중앙 저장소가 수많은 작은 파일을 공급하는 속도보다 빠르게 샘플을 처리할 수 있으므로 프리페칭(Prefetching), 병렬 리더, 비동기 전송, 로컬 캐싱, 순차적 샤드 접근이 중요하다. 성능은 저장장치 대역폭만이 아니라 실제 공급되는 초당 학습 배치와 가속기 활용률로 측정해야 한다. 이론적으로 빠른 파일 시스템이라도 디코딩이나 동기화가 병목이라면 충분하지 않다.

로봇 파운데이션 모델 데이터셋은 페타바이트 규모에 도달할 수 있으므로 수명주기 관리(Lifecycle Management)가 경제적으로 필수적이다. 자주 사용하는 사전학습 릴리스는 고성능 저장 계층에 배치하고 오래된 검증 버전은 대용량 또는 아카이브 저장소로 이동할 수 있다. 재현 가능한 임시 변환 데이터와 캐시는 자동으로 만료할 수 있다. 대체 불가능한 원시 시연, 어노테이션, 캘리브레이션 기록, 릴리스 매니페스트에는 더 강력한 보존 및 백업 정책이 필요하다.

데이터셋 카탈로그(Dataset Catalog)는 물리적 저장소 위에 검색 가능한 제어 계층(Control Plane)을 제공한다. 연구자는 로봇, 작업, 환경, 센서 구성, 행동 표현, 라이선스, 품질 수준, 언어 데이터 존재 여부, 획득 기간을 기준으로 데이터셋을 검색할 수 있어야 한다. 카탈로그는 사용자가 내부 디렉터리나 버킷 구조를 이해할 필요 없이 불변 버전과 저장 위치를 참조할 수 있도록 한다.

내부 기록, 공개 로봇 데이터셋, 시뮬레이션 자산, 외부 라이선스 데이터를 결합하면 거버넌스(Governance)가 중요해진다. 각 데이터 원본은 재배포, 상업적 사용, 출처 표시, 개인정보 보호, 보존과 관련하여 서로 다른 조건을 가질 수 있다. 출처 메타데이터(Provenance Metadata)는 파생 데이터셋까지 이어져야 하며 대규모 사전학습 혼합 과정에서 각 구성 요소가 가진 법적·운영적 제약이 사라지지 않도록 해야 한다.

로봇이 사람이 존재하는 환경에서 동작하는 경우 개인정보 보호(Privacy)와 보안 제어(Security Control)가 필요할 수 있다. 카메라, 오디오, 위치, 상호작용 데이터는 로보틱스 연구 목적으로 수집되더라도 민감한 정보를 포함할 수 있다. 배치 환경에 따라 접근 제어, 비식별화(De-Identification), 암호화, 감사 기록, 보존 규칙을 적용해야 한다. 데이터셋 사용 편의성이 원본 기록과 관련된 거버넌스 요구사항을 우회해서는 안 된다.

사전학습 릴리스(Pretraining Release)는 대규모 컴퓨팅 작업에 제공되기 전에 자동화된 게이트(Automated Gate)를 통과해야 한다. 검증 과정에서는 스키마 호환성, 필수 메타데이터, 체크섬 무결성, 분할 데이터 누수, 누락 샤드, 잘못된 행동, 동기화 품질, 데이터셋 통계, 정책 제약을 검사할 수 있다. 게이트에 실패하면 상당한 컴퓨팅 자원을 소비한 후 다중 노드 학습이 문제를 발견하는 대신 릴리스 등록 단계에서 차단되어야 한다.

관찰 가능성(Observability)은 데이터셋 관리와 모델 학습을 연결한다. 시스템은 어떤 샤드가 읽혔는지, 캐시 적중률, 손상된 샘플, 디코딩 실패, 데이터 원본별 샘플링 비율, 데이터 로더 지연시간, 가속기 대기시간을 기록할 수 있다. 이러한 지표를 통해 모델이 의도한 데이터 혼합을 실제로 소비했는지 확인하고 인프라 문제가 학습 중 실질적인 샘플링 분포를 변경했는지 파악할 수 있다.

대표적인 피지컬 AI 파이프라인(Physical AI Pipeline)은 로봇 플릿, 원격조작 스테이션, 시뮬레이션, 외부 데이터셋에서 시작할 수 있다. 원시 기록은 검증된 저장소로 들어가 체크섬과 출처 메타데이터를 부여받고 동기화된 에피소드로 변환된다. 이후 품질 필터링, 어노테이션, 정규화, 다양성 분석, 버전 관리, 데이터 분할 생성을 거쳐 승인된 사전학습 릴리스를 만들고 이를 분산 학습 샤드로 변환한다.

학습 과정에서는 릴리스 매니페스트가 정확한 데이터셋 구성을 정의하고 저장 및 캐싱 계층이 샤드를 GPU 작업자에게 전달한다. 학습이 끝난 후에는 모델 체크포인트, 학습 구성, 데이터셋 버전, 혼합 정의(Mixture Definition), 전처리 코드, 평가 결과를 서로 연결하여 유지해야 한다. 이를 통해 데이터셋을 익명의 파일 집합으로 취급하는 대신 실제 로봇 경험에서 특정 파운데이션 모델 체크포인트까지 이어지는 증거 사슬(Evidence Chain)을 구축할 수 있다.

로봇 파운데이션 모델 데이터셋 관리의 핵심 목표는 가능한 한 많은 로봇 동작 시간을 단순히 축적하는 것이 아니다. 목표는 출처와 변환 과정이 추적 가능한 신뢰성 있고 다양하며 시간적으로 정확하고 버전 관리되며 효율적으로 접근 가능한 경험 집합을 구축하는 것이다. 데이터 규모는 데이터셋을 이해하고 재현하며 통제하고 학습 인프라에 안정적으로 공급할 수 있을 때 비로소 실질적인 가치를 갖는다.

성숙한 아키텍처는 로봇 경험(Robot Experience)을 관리되는 데이터 제품(Managed Data Product)으로 취급한다. 원시 증거는 보존되고 파생 표현은 재현 가능하며 에피소드에는 의미적 맥락과 로봇 형상 정보가 포함되고 릴리스는 불변으로 유지된다. 또한 학습 데이터 혼합은 명시적으로 정의되고 인프라는 무결성과 성능을 지속적으로 검증한다. 이러한 체계는 모델 행동을 결정하는 데이터에 대한 통제력을 잃지 않으면서 로봇, 작업, 환경, 컴퓨팅 시스템 전반으로 로봇 파운데이션 모델 사전학습을 확장할 수 있도록 한다.


저자: Richard Minsoo Go

LinkedIn: Richard Minsoo Go

Top comments (0)