STATERA Library · Series 09 · Volume 06 · Chapter 02 · KR
Source: https://github.com/Statera-Library/09_Vol_06_Physical_AI_Hardware_Software_Co_Design/blob/main/Chapter_02_Compute_Platforms_for_Physical_AI/Chapter_02_Compute_Platforms_for_Physical_AI_KR.md
Volume 06. Physical AI Hardware Software Co Design
Chapter 02. Compute Platforms for Physical AI
02.01. Physical AI Compute Requirements
물리적 AI(Physical AI)의 컴퓨팅 요구사항(Compute Requirements)은 컴퓨팅을 독립적인 소프트웨어 자원이 아니라 물리적 시스템의 근본적인 구성요소로 바라보는 것에서 시작한다. 로봇은 실제 환경에서 지속적으로 센서 관측을 세계 이해(World Understanding), 의사결정(Decision Making), 계획(Planning), 제어 명령(Control Action)으로 변환해야 한다. 따라서 컴퓨팅 요구사항은 하드웨어 사양만으로 결정해서는 안 되며, 작업(Task), 환경(Environment), 로봇의 구현 형태(Embodiment), 센싱 구성(Sensing Configuration), AI 모델(AI Model), 제어 구조(Control Architecture), 지연시간 목표(Latency Target), 전력 예산(Power Budget), 안전 요구사항(Safety Requirements)을 함께 고려하여 도출해야 한다.
첫 번째 요구사항은 작업부하(Workload)의 정의이다. 물리적 AI는 인식(Perception), 위치추정(Localization), 매핑(Mapping), 센서 융합(Sensor Fusion), 예측(Prediction), 월드 모델링(World Modeling), 계획(Planning), 제어(Control), 통신(Communication), 모니터링(Monitoring), 안전 기능(Safety Functions)을 동시에 실행할 수 있다. 각각의 작업은 병렬성(Parallelism), 메모리 접근 패턴(Memory Access Pattern), 수치 정밀도(Numerical Precision), 업데이트 주기(Update Frequency), 지연시간 민감도(Latency Sensitivity)에서 서로 다른 특성을 갖는다. 따라서 컴퓨팅 플랫폼은 하나의 AI 모델에 필요한 계산량이 아니라 전체 작업부하와 그 시간적 관계(Temporal Relationships)를 기준으로 선정해야 한다.
실시간 동작(Real-Time Behavior)은 물리적 AI를 기존의 오프라인 AI 추론 시스템과 근본적으로 구분한다. 어떤 모델이 오프라인 벤치마크에서 높은 처리량(Throughput)을 달성하더라도, 로봇에 필요한 시간 안에 응답하지 못한다면 실제 시스템에는 적합하지 않을 수 있다. 따라서 컴퓨팅 요구사항은 센싱(Sensing)에서 행동(Action)까지의 종단간 지연시간(End-to-End Latency)을 고려해야 하며, 여기에는 센서 취득(Sensor Acquisition), 전처리(Preprocessing), 추론(Inference), 데이터 이동(Data Movement), 의사결정(Decision Making), 계획(Planning), 통신(Communication), 제어(Control)가 포함된다. 결정론적 타이밍(Deterministic Timing), 제한된 지연시간(Bounded Latency), 낮은 지터(Jitter)는 최대 이론적 TOPS나 FLOPS보다 더 중요할 수 있다.
센싱 시스템(Sensing System)은 계산 요구량을 강하게 결정한다. 여러 대의 카메라(Camera), LiDAR, 레이더(Radar), IMU, GNSS, 그리고 자기 상태 센서(Proprioceptive Sensors)는 서로 다른 해상도(Resolution), 주파수(Frequency), 형식(Format), 동기화 요구사항(Synchronization Requirements)을 가진 이기종 데이터 스트림을 생성한다. 센서의 수나 해상도를 증가시키면 인식 성능을 향상시킬 수 있지만, 동시에 메모리 트래픽(Memory Traffic), 전처리 비용(Preprocessing Cost), 융합 복잡도(Fusion Complexity), AI 추론 부하(AI Inference Load)도 증가한다. 따라서 물리적 AI의 컴퓨팅 크기 산정(Compute Sizing)은 모델 복잡도뿐만 아니라 전체 센서-컴퓨팅 데이터 경로(Sensor-to-Compute Data Path)와 정보를 시스템 내부에서 이동시키는 데 필요한 대역폭(Bandwidth)을 함께 고려해야 한다.
AI 작업부하의 특성(AI Workload Characteristics) 역시 적절한 컴퓨팅 구조(Compute Architecture)를 결정한다. 기존 CPU는 운영체제 서비스, 순차적 로직(Sequential Logic), 시스템 오케스트레이션(Orchestration), 그리고 많은 제어 기능을 수행하는 데 효과적이며, GPU는 높은 병렬 처리가 가능한 신경망 추론(Neural Network Inference)과 멀티모달 처리(Multimodal Processing)에 적합하다. NPU와 특수 AI 가속기(Specialized AI Accelerators)는 지원되는 모델에 대해 효율적인 추론을 제공할 수 있으며, MCU는 결정론적인 저수준 제어(Low-Level Control)에 여전히 중요하다. 따라서 물리적 AI는 자연스럽게 서로 다른 프로세서가 전체 작업 중 서로 다른 부분을 수행하는 이기종 컴퓨팅(Heterogeneous Computing) 구조로 발전한다.
컴퓨팅 요구사항은 지능의 계층(Hierarchy of Intelligence)에 따라서도 달라진다. 저수준 제어(Low-Level Control)는 높은 업데이트 주기에서 예측 가능하고 비교적 작은 계산을 요구하는 반면, 인식(Perception)과 멀티모달 이해(Multimodal Understanding)는 훨씬 더 많은 병렬 처리를 요구할 수 있다. 월드 모델(World Model)과 고급 추론(Advanced Reasoning)은 시간적 상태(Temporal State)를 표현하고 미래의 결과를 예측하거나 여러 행동 대안을 평가해야 하기 때문에 더 큰 계산량을 요구할 수 있다. VLA(Vision-Language-Action) 및 파운데이션 모델(Foundation Model) 작업부하는 메모리 용량(Memory Capacity), 메모리 대역폭(Memory Bandwidth), 가속기 요구사항(Accelerator Requirements)을 더욱 증가시킬 수 있으므로 작업 분할(Workload Partitioning)이 필수적이다.
메모리(Memory)와 데이터 이동(Data Movement)은 순수한 계산 성능만큼 중요해질 수 있다. 대규모 모델, 고해상도 센서 스트림, 중간 특징 맵(Intermediate Feature Maps), BEV 표현(BEV Representations), 월드 모델 상태(World Model States), 멀티모달 임베딩(Multimodal Embeddings)은 센서, 메모리, 프로세서, 가속기 사이에서 지속적으로 이동한다. 메모리 용량이나 대역폭이 충분하지 않으면 이론적인 가속기 성능을 충분히 활용할 수 없다. 따라서 컴퓨팅 요구사항에는 메모리 크기(Memory Size), 메모리 대역폭, 캐시 동작(Cache Behavior), 인터커넥트 대역폭(Interconnect Bandwidth), 저장장치 처리량(Storage Throughput), 그리고 이기종 처리 요소 사이의 데이터 전송 비용을 포함해야 한다.
물리적 제약조건(Physical Constraints)은 또 다른 요구사항 계층을 만든다. 이동 로봇에 탑재되는 엣지 컴퓨터(Edge Computer)는 전기적 전력(Electrical Power), 배터리 용량(Battery Capacity), 열 방출(Thermal Dissipation), 물리적 부피(Physical Volume), 중량(Mass), 냉각 능력(Cooling Capability), 환경적 강건성(Environmental Robustness)의 제약 안에서 동작해야 한다. 더 강력한 프로세서는 추론 성능을 향상시킬 수 있지만 동시에 작동 시간을 감소시키거나 열 부하(Thermal Load)를 증가시킬 수 있다. 따라서 컴퓨팅 선택은 성능(Performance), 지연시간(Latency), 에너지 소비(Energy Consumption), 열 안정성(Thermal Stability), 비용(Cost), 크기(Size), 신뢰성(Reliability), 유지보수성(Maintainability) 사이의 시스템 수준 트레이드오프(System-Level Tradeoff)가 된다.
필요한 컴퓨팅 수준은 계산이 어디에서 수행되는가에 따라서도 달라진다. 시간에 민감한 인식(Perception), 로컬 계획(Local Planning), 제어(Control), 안전 기능(Safety Functions)은 통신 지연이나 네트워크 장애가 물리적 동작을 손상시키지 않도록 일반적으로 로봇 자체의 엣지 컴퓨팅(On-Robot Edge Computing)이 필요하다. 반면 대규모 학습(Training), 대규모 시뮬레이션(Massive Simulation), 모델 개발(Model Development), 플릿 수준 학습(Fleet-Level Learning), 고비용 추론(Heavy Reasoning)은 연결성과 운영 요구사항이 허용되는 경우 온프레미스(On-Premise) 또는 클라우드(Cloud) 인프라에 할당할 수 있다. 이로 인해 하나의 중앙 집중형 컴퓨터가 아니라 계층적 컴퓨팅 구조(Hierarchical Compute Architecture)가 형성된다.
컴퓨팅 요구사항은 성능 저하 운용(Degraded Operation)과 고장(Failure)도 고려해야 한다. 물리적 AI는 모든 가속기(Accelerator), 센서(Sensor), 네트워크 연결(Network Connection), 소프트웨어 구성요소(Software Component)가 항상 정상적인 용량으로 작동한다고 가정해서는 안 된다. 시스템은 반드시 유지되어야 하는 핵심 작업과 계산량이 부족할 경우 축소(Reduce), 지연(Delay), 단순화(Simplify), 또는 비활성화(Disable)할 수 있는 비핵심 작업을 구분해야 한다. 따라서 점진적 성능 저하(Graceful Degradation), 대체 처리(Fallback Processing), 이중화(Redundancy), 작업 우선순위화(Workload Prioritization)는 단순히 소프트웨어 구현의 문제가 아니라 컴퓨팅 요구사항의 일부가 된다.
마지막으로 컴퓨팅 크기 산정(Compute Sizing)은 반복적인 공동 설계(Co-Design) 과정으로 다루어야 한다. 초기 요구사항은 임무(Mission)와 시스템 아키텍처(System Architecture)에서 도출하고, 이를 측정 가능한 작업부하(Workload), 지연시간(Latency), 메모리(Memory), 대역폭(Bandwidth), 전력(Power), 열(Thermal) 예산으로 변환한 후 대표적인 하드웨어에서 프로파일링(Profiling)을 통해 검증해야 한다. 그 결과를 바탕으로 모델 최적화(Model Optimization), 하드웨어 선정(Hardware Selection), 작업 분할(Workload Partitioning), 아키텍처 수정(Architectural Revision)을 반복해야 한다. 이러한 방식에서 물리적 AI 컴퓨팅은 단순히 더 빠른 프로세서를 선택하는 문제가 아니라, 인식(Perception), 월드 모델링(World Modeling), 추론(Reasoning), 계획(Planning), 제어(Control), 안전(Safety)이 로봇의 물리적 한계 안에서 함께 작동하도록 계산 자원을 종합적으로 설계하는 문제이다.
02.02. MCU CPU GPU NPU and AI Accelerators
물리적 AI 시스템(Physical AI Systems)은 제어(Control), 인식(Perception), 추론(Reasoning), 안전(Safety)이 서로 다른 타이밍과 작업부하 특성에서 동작하기 때문에 다양한 형태의 연산(Computation)을 필요로 한다. 모든 기능에 최적인 하나의 프로세서는 존재하지 않는다. 따라서 컴퓨팅 구조(Compute Architecture)는 결정성(Determinism), 병렬성(Parallelism), 메모리 요구사항(Memory Requirements), 지연시간(Latency), 전력 소비(Power Consumption), AI 작업부하(AI Workload) 특성에 따라 여러 종류의 프로세서를 조합한다. MCU, CPU, GPU, NPU 및 기타 AI 가속기(AI Accelerators)는 서로 배타적인 선택지가 아니라 이기종 컴퓨팅 시스템(Heterogeneous Computing System)을 구성하는 상호 보완적인 요소로 이해해야 한다.
마이크로컨트롤러 유닛(MCU, Microcontroller Unit)은 주로 결정론적인 저수준 제어(Deterministic Low-Level Control)에 사용된다. 모터 제어(Motor Control), 액추에이터 인터페이스(Actuator Interface), 실시간 입출력(Real-Time I/O), 안전 기능(Safety Functions), 센서 인터페이스(Sensor Interfaces)와 같이 예측 가능한 실행과 매우 엄격하게 제한된 타이밍이 필요한 작업에 적합하다. MCU는 일반적으로 GPU나 AI 가속기에 비해 계산 능력이 낮지만, 그 중요성은 신뢰성(Reliability), 결정론적 동작(Deterministic Behavior), 낮은 전력 소비(Low Power Consumption), 물리적 하드웨어와의 직접적인 상호작용(Direct Hardware Interaction)에 있다. 따라서 물리적 AI 시스템에서 MCU는 상위 수준의 AI 계산이 사용할 수 없거나 과부하 상태가 되더라도 필수적인 제어 및 안전 기능을 유지할 수 있다.
중앙처리장치(CPU, Central Processing Unit)는 범용 계산(General-Purpose Computation)과 시스템 조정(System Coordination)을 담당한다. 운영체제 기능(Operating-System Functions), 미들웨어(Middleware), 통신(Communication), 진단(Diagnostics), 오케스트레이션(Orchestration), 위치추정(Localization), 계획(Planning) 및 다양한 알고리즘과 순차적 또는 중간 수준의 병렬 처리가 필요한 작업에 적합하다. MCU와 비교하면 CPU는 훨씬 높은 유연성과 소프트웨어 실행 능력을 제공하며, GPU와 달리 대규모 병렬 수치 계산(Massively Parallel Numerical Computation)에 주로 최적화되어 있지는 않다. 따라서 CPU는 일반적으로 센서, AI 가속기, 제어 소프트웨어 및 시스템 서비스를 연결하는 조정 계층(Coordination Layer)의 역할을 수행한다.
그래픽처리장치(GPU, Graphics Processing Unit)는 높은 수준의 병렬 계산(Highly Parallel Computation)을 위해 설계되었으며, 특히 신경망 추론(Neural-Network Inference), 인식(Perception), 멀티모달 처리(Multimodal Processing), 예측(Prediction) 및 대량의 유사한 수학적 연산을 포함하는 작업에 효과적이다. 최신 물리적 AI 시스템은 여러 카메라 스트림(Camera Streams), LiDAR 표현(LiDAR Representations), BEV 특징(BEV Features), 신경망 임베딩(Neural-Network Embeddings), 월드 모델(World Model) 계산 및 기타 AI 작업부하를 처리하기 위해 GPU를 사용할 수 있다. 그러나 GPU의 성능은 메모리 용량(Memory Capacity), 메모리 대역폭(Memory Bandwidth), 전력 소비, 열 관리(Thermal Management), 지연시간 요구사항(Latency Requirements)과 함께 고려해야 한다. 높은 이론적 처리량(Theoretical Throughput)이 반드시 적절한 실시간 로봇 성능(Real-Time Robot Performance)을 보장하는 것은 아니기 때문이다.
신경망처리장치(NPU, Neural Processing Unit)와 전용 AI 가속기(Dedicated AI Accelerators)는 보다 특화된 신경망 계산(Neural-Network Computation)에 초점을 둔다. 일반적인 AI 연산에 최적화된 하드웨어 구조를 구현함으로써 높은 추론 효율(Inference Efficiency)을 제공하고 범용 프로세서에 가해지는 계산 및 에너지 부담을 줄일 수 있다. 이러한 특성은 전력(Power), 열 용량(Thermal Capacity), 물리적 크기(Physical Size), 배터리 사용시간(Battery Runtime)이 제한되는 임베디드(Embedded) 및 엣지(Edge) 물리적 AI 시스템에 특히 유리하다. 그러나 실제 효과는 모델 호환성(Model Compatibility), 지원 연산자(Supported Operators), 수치 정밀도(Numerical Precision), 컴파일러 지원(Compiler Support), 메모리 구조(Memory Architecture), 그리고 대상 작업부하를 가속기에 얼마나 효율적으로 매핑할 수 있는지에 따라 달라진다.
이러한 프로세서들의 차이는 단순히 계산 성능(Computational Performance)이 아니라 어떤 종류의 작업을 수행하는가에 따라 결정된다. MCU는 결정론적 저수준 제어(Deterministic Low-Level Control)를 강조하고, CPU는 시스템 관리(System Management)와 범용 계산(General Computation)을 담당하며, GPU는 병렬 추론(Parallel Inference)과 멀티모달 처리를 강조하고, NPU 또는 전용 가속기는 효율적인 AI 추론(Efficient AI Inference)에 초점을 둔다. 이러한 역할이 절대적으로 고정되는 것은 아니며, 최신 시스템에서는 하나의 작업 중 일부를 여러 프로세서에 분산할 수도 있다. 중요한 설계 원칙은 각각의 작업을 필요한 성능, 타이밍 특성, 에너지 효율, 소프트웨어 유연성을 가장 적절하게 제공하는 처리 자원에 배치하는 것이다.
물리적 AI는 결과적으로 MCU, CPU, GPU, NPU 및 기타 가속기가 통합된 컴퓨팅 구조로 동작하는 이기종 컴퓨팅(Heterogeneous Computing)의 이점을 얻는다. 일반적인 시스템에서는 저수준 제어와 안전 기능을 MCU에서 유지하고, 미들웨어와 시스템 조정을 CPU에서 수행하며, 계산량이 큰 인식 및 월드 모델 작업을 GPU에서 처리하고, 선택된 신경망 연산을 NPU에 할당할 수 있다. 이러한 분할(Partitioning)은 모든 작업을 하나의 프로세서에 집중시키지 않고 계산 능력(Computational Capability), 실시간 요구사항(Real-Time Requirements), 전력 제한(Power Limitations), 열 제약(Thermal Constraints), 신뢰성 요구사항(Reliability Requirements) 사이의 균형을 맞출 수 있도록 한다.
컴퓨팅 요소(Compute Element)의 선택은 물리적 AI 처리 계층(Physical AI Processing Hierarchy)과도 밀접하게 연결된다. 센서 취득(Sensor Acquisition)과 저수준 인터페이스(Low-Level Interfaces)는 결정론적 처리를 필요로 할 수 있으며, 인식(Perception)과 센서 융합(Sensor Fusion)은 상당한 병렬 계산을 요구할 수 있다. 위치추정(Localization), 매핑(Mapping), 계획(Planning), 시스템 오케스트레이션(System Orchestration)은 유연한 CPU 자원을 필요로 할 수 있으며, 고급 인식(Advanced Perception), 예측(Prediction), 월드 모델링(World Modeling), 멀티모달 AI(Multimodal AI)는 GPU 또는 NPU 가속을 필요로 할 수 있다. 이러한 구조는 제어 계산(Control Computation)과 AI 계산(AI Computation)을 필요한 경우 분리하면서도 메모리, 인터커넥트(Interconnect), 미들웨어(Middleware), 소프트웨어 인터페이스(Software Interfaces)를 통해 긴밀하게 연결하는 계층적 컴퓨팅 구조(Layered Compute Structure)를 만든다.
메모리(Memory)와 데이터 이동(Data Movement)은 각 프로세서의 실제 가치를 결정하는 데 추가적인 영향을 미친다. 강력한 GPU나 NPU라도 센서 데이터, 중간 특징(Intermediate Features), 모델 파라미터(Model Parameters), 추론 결과(Inference Results)를 효율적으로 전달할 수 없다면 이론적인 성능을 발휘할 수 없다. 따라서 물리적 AI는 메모리 용량(Memory Capacity), 메모리 대역폭(Memory Bandwidth), 캐시 계층(Cache Hierarchy), 인터커넥트 대역폭(Interconnect Bandwidth), 저장장치 처리량(Storage Throughput), 데이터 이동 비용(Data Movement Cost)을 함께 고려해야 한다. 컴퓨팅 구조는 인식, 월드 모델링, 계획, 제어, 안전 기능에 필요한 데이터 가용성(Data Availability)을 유지하면서 불필요한 데이터 이동을 최소화해야 한다.
프로세서 선정(Processor Selection)은 실시간 동작(Real-Time Operation)과 성능 저하 상황(Degraded Conditions)도 고려해야 한다. 고성능 가속기는 뛰어난 AI 처리량을 제공할 수 있지만, 필수적인 로봇 제어의 단일 고장점(Single Point of Failure)이 되어서는 안 된다. 핵심 기능(Critical Functions)은 적절한 대체 기능(Fallback Mechanisms)을 유지해야 하며, 계산량이 많지만 중요도가 낮은 작업은 자원이 제한될 경우 축소(Reduce), 지연(Delay), 또는 비활성화(Disable)할 수 있어야 한다. 이를 통해 열 스로틀링(Thermal Throttling), 가속기 고장(Accelerator Failure), 과도한 작업부하(Excessive Workload), 통신 문제(Communication Problems)가 발생하더라도 시스템은 필수적인 동작을 유지할 수 있다. 따라서 컴퓨팅 구조는 이중화(Redundancy), 고장 격리(Fault Containment), 점진적 성능 저하(Graceful Degradation)와 직접적으로 연결된다.
궁극적으로 MCU, CPU, GPU, NPU 및 AI 가속기는 독립적으로 부품을 선정하는 것이 아니라 하드웨어-소프트웨어 공동 설계(Hardware--Software Co-Design)를 통해 선택해야 한다. 필요한 작업부하(Workload), 지연시간(Latency), 메모리(Memory), 대역폭(Bandwidth), 전력(Power), 열적 한계(Thermal Limits), 안전 요구사항(Safety Requirements), 배치 구조(Deployment Architecture)를 바탕으로 계산 작업을 어떻게 분할할 것인지 결정해야 한다. 이후 실제 물리적 AI 작업부하를 사용하여 구현된 시스템을 프로파일링(Profiling)하고 최적화해야 한다. 목표는 하나의 프로세서 성능을 최대화하는 것이 아니라 결정론적 제어(Deterministic Control), 범용 계산(General Computation), 병렬 AI 추론(Parallel AI Inference), 효율적인 가속(Efficient Acceleration)이 함께 작동하여 신뢰성 높은 실시간 물리적 지능(Real-Time Physical Intelligence)을 구현하는 균형 잡힌 이기종 시스템(Balanced Heterogeneous System)을 만드는 것이다.
02.03. Embedded AI Computers
임베디드 AI 컴퓨터(Embedded AI Computers)는 로봇과 기타 물리적 시스템(Physical Systems)에 의미 있는 AI 처리를 직접 제공하도록 설계된 컴퓨팅 플랫폼(Computing Platform)이다. 대규모 외부 인프라에 의존할 수 있는 기존 컴퓨터와 달리, 임베디드 AI 컴퓨터는 크기(Size), 전력(Power), 열 용량(Thermal Capacity), 지연시간(Latency), 신뢰성(Reliability), 환경 조건(Environmental Conditions) 등의 제약 안에서 동작해야 한다. 그 목적은 안전한 물리적 동작에 필요한 실시간 특성(Real-Time Behavior)을 유지하면서 센싱(Sensing), 인식(Perception), 추론(Inference), 계획(Planning), 시스템 조정(System Coordination)에 충분한 로컬 지능(Local Intelligence)을 제공하는 것이다.
임베디드 AI 컴퓨터의 핵심적인 특징은 컴퓨팅(Computing), 메모리(Memory), 인터페이스(Interfaces), AI 가속(AI Acceleration)을 하나의 소형 플랫폼에 통합하는 것이다. 일반적인 시스템은 운영체제 기능(Operating-System Functions)과 범용 계산(General Computation)을 위한 CPU와 신경망 추론(Neural-Network Inference)을 위한 GPU, NPU 또는 전용 가속기(Dedicated Accelerator)를 함께 사용할 수 있다. 또한 MCU, 센서(Sensors), 저장장치(Storage), 네트워크(Networks), 액추에이터(Actuators)와 직접 통신할 수 있다. 이러한 통합은 불필요한 데이터 이동(Data Movement)을 줄이고 AI 작업부하(AI Workload)를 실제 데이터가 발생하는 물리적 위치에 가깝게 실행할 수 있도록 하며, 이는 주변 환경에 지속적으로 반응해야 하는 로봇에서 특히 중요하다.
임베디드 AI 컴퓨터는 저수준 실시간 제어기(Low-Level Real-Time Controller)와 고성능 컴퓨팅 인프라(High-Performance Computing Infrastructure) 사이에서 중요한 위치를 차지한다. MCU 또는 실시간 프로세서(Real-Time Processor)는 결정론적인 모터 제어(Motor Control), 안전 모니터링(Safety Monitoring), 시간에 민감한 입출력(Time-Critical I/O)을 담당하고, 임베디드 AI 컴퓨터는 상위 수준의 인식(Perception), 위치추정(Localization), 매핑(Mapping), 센서 융합(Sensor Fusion), 계획(Planning), AI 추론(AI Inference)을 처리한다. 이러한 분리는 각 계층이 독립적으로 동작한다는 의미가 아니다. 두 계층은 적절한 타이밍(Timing)과 고장 격리 경계(Fault-Containment Boundary)를 유지하면서 정의된 인터페이스를 통해 상태(State), 명령(Commands), 진단(Diagnostics), 피드백(Feedback)을 교환해야 한다.
임베디드 AI 컴퓨터의 선택은 프로세서 사양(Processor Specification)이 아니라 로봇의 작업부하(Workload)에서 시작해야 한다. 카메라 스트림(Camera Streams), LiDAR, 레이더(Radar), IMU, GNSS, 엔코더(Encoders) 및 기타 센서는 입력되는 데이터의 양을 결정하며, 인식 모델(Perception Models), 위치추정, 매핑, 계획, AI 추론은 필요한 계산량(Computational Demand)을 결정한다. 플랫폼은 이러한 작업부하를 동시에 처리하기에 충분한 CPU 성능, 가속기 성능(Accelerator Capability), 메모리 용량, 메모리 대역폭(Memory Bandwidth), 저장장치 처리량(Storage Throughput), 입출력 대역폭(I/O Bandwidth)을 제공해야 한다. 벤치마크에서 강력해 보이는 플랫폼이라도 메모리 또는 I/O 구조가 병목(Bottleneck)이 된다면 실제 시스템에는 적합하지 않을 수 있다.
실시간 지연시간(Real-Time Latency)은 또 다른 핵심 요구사항이다. 물리적 AI는 제한된 시간 안에 관측(Observations)을 의사결정(Decisions)과 행동(Actions)으로 변환해야 한다. 따라서 임베디드 AI 컴퓨터는 예측 가능한 실행(Predictable Execution), 효율적인 데이터 전송(Efficient Data Transfer), 하드웨어 가속(Hardware Acceleration), 적절한 스케줄링(Scheduling)을 지원해야 한다. 중요한 지표는 단순한 최대 추론 처리량(Peak Inference Throughput)이 아니라 센서 취득(Sensor Acquisition), 전처리(Preprocessing), 추론(Inference), 통신(Communication), 계획(Planning), 제어(Control)를 포함하는 전체 센싱-행동 경로(Sensing-to-Action Path)이다. 과도한 지연시간이나 타이밍 지터(Timing Jitter)는 AI 모델 자체의 정확도가 높더라도 로봇의 실제 동작에 직접적인 영향을 줄 수 있다.
전력(Power)과 열 효율(Thermal Efficiency)은 임베디드 AI 컴퓨터가 일반적으로 이동 플랫폼(Mobile Platform)에 탑재되기 때문에 특히 중요하다. 계산에 사용되는 모든 와트(Watt)는 배터리 소모(Battery Depletion)와 열 발생(Heat Generation)에 영향을 미치며, 열 스로틀링(Thermal Throttling)은 작업부하가 증가하는 바로 그 순간에 계산 성능을 감소시킬 수 있다. 따라서 플랫폼 선정에서는 AI 성능(AI Performance), 에너지 효율(Energy Efficiency), 냉각 능력(Cooling Capability), 물리적 부피(Physical Volume), 중량(Weight), 작동 시간(Operating Runtime) 사이의 균형이 필요하다. 이러한 이유로 특수 AI 가속기(Specialized AI Accelerator)와 고효율 임베디드 프로세서(Efficient Embedded Processor)는 절대적인 계산 성능이 더 낮더라도 훨씬 큰 컴퓨팅 플랫폼보다 적합할 수 있다.
임베디드 AI 컴퓨터는 또한 엣지 지능(Edge Intelligence)의 중요한 기반을 제공한다. 로컬 추론(Local Inference)을 사용하면 외부 서버나 클라우드(Cloud)와의 통신이 불가능하거나 지연되거나 바람직하지 않은 상황에서도 로봇이 계속 동작할 수 있다. 이는 야외, 산업 환경 또는 연결성이 간헐적인 장소에서 자율 로봇(Autonomous Robot)을 운용할 때 특히 중요하다. 임베디드 플랫폼은 안전에 중요한 작업과 실시간 작업을 로컬에서 실행하고, 대규모 학습(Large-Scale Training), 대규모 시뮬레이션(Massive Simulation), 플릿 학습(Fleet Learning), 모델 개발(Model Development)은 온프레미스(On-Premise) 또는 클라우드 인프라에 유지할 수 있다. 이를 통해 로봇 엣지 컴퓨팅(Robot-Edge Computing)과 외부 컴퓨팅 자원(External Computing Resources) 사이의 계층적 관계(Hierarchical Relationship)가 형성된다.
소프트웨어와 하드웨어 지원(Software and Hardware Support)은 함께 고려해야 한다. 임베디드 AI 플랫폼은 운영체제(Operating System), 드라이버(Drivers), 미들웨어(Middleware), 추론 런타임(Inference Runtime), 가속기 라이브러리(Accelerator Libraries), 개발 도구(Development Tools), 지원되는 AI 모델(Supported AI Models)이 실제 하드웨어를 효율적으로 활용할 수 있을 때만 유용하다. 필요한 신경망 연산자(Neural-Network Operators)가 지원되지 않거나 데이터가 호환되지 않는 처리 장치 사이에서 반복적으로 이동해야 한다면 하드웨어 가속은 실질적인 이점을 거의 제공하지 못할 수 있다. 따라서 플랫폼 선정에서는 모델 변환(Model Conversion), 최적화(Optimization), 런타임 실행(Runtime Execution), 하드웨어 인터페이스(Hardware Interfaces), 모니터링(Monitoring), 업데이트(Updates), 장기적인 유지보수성(Long-Term Maintainability)을 포함한 전체 배포 스택(Deployment Stack)을 고려해야 한다.
신뢰성(Reliability)과 성능 저하 상황(Degraded Operation) 역시 임베디드 AI 컴퓨팅의 핵심 특성이다. 임베디드 컴퓨터가 안전을 유지해야 하는 기능의 단일 고장점(Single Point of Failure)이 되어서는 안 된다. 핵심 제어(Critical Control)와 안전 기능(Safety Functions)은 독립적인 MCU 또는 실시간 제어기(Real-Time Controller)를 필요로 할 수 있으며, AI 컴퓨터는 상위 수준의 지능(Higher-Level Intelligence)을 제공할 수 있다. 계산 자원이 과부하되거나 가속기에 고장이 발생하면 중요도가 낮은 작업부하를 축소하거나 비활성화하는 동시에 필수 기능은 대체 메커니즘(Fallback Mechanisms)을 통해 계속 수행할 수 있어야 한다. 이러한 구조는 점진적 성능 저하(Graceful Degradation), 고장 격리(Fault Containment), 비정상 상황(Abnormal Conditions)에서도 지속적인 안전 운용을 지원한다.
따라서 임베디드 AI 컴퓨터는 독립적인 상용 부품(Isolated Commercial Component)으로 선택하기보다는 하드웨어-소프트웨어 공동 설계(Hardware--Software Co-Design)를 통해 선정해야 한다. 설계 과정은 임무 요구사항(Mission Requirements), 환경(Environment), 로봇 구현 형태(Robot Embodiment), 센서 구성(Sensor Configuration), AI 작업부하(AI Workload), 지연시간 목표(Latency Targets), 전력 예산(Power Budget), 안전 요구사항(Safety Requirements)에서 시작한다. 이러한 요구사항을 컴퓨팅(Compute), 메모리(Memory), 대역폭(Bandwidth), 열(Thermal), 입출력(I/O) 예산으로 변환한 다음 플랫폼을 선정하고 작업부하를 분할한다. 이후 대상 하드웨어에서 대표적인 작업부하를 프로파일링(Profiling)하여 모델, 소프트웨어, 하드웨어를 반복적으로 최적화해야 한다.
결과적으로 임베디드 AI 플랫폼은 물리적 세계(Physical World)와 상위 수준 지능(Higher-Level Intelligence)을 연결하는 컴퓨팅 기반(Computational Foundation)이 된다. 센서는 지속적으로 관측(Observations)을 제공하고, 임베디드 컴퓨팅은 이를 의미 있는 상태(States)와 예측(Predictions)으로 변환하며, 계획(Planning)과 추론(Reasoning)은 적절한 대응을 결정하고, 제어 시스템(Control Systems)은 이러한 결정을 물리적 행동(Physical Actions)으로 변환한다. 따라서 잘 설계된 플랫폼은 단순히 AI 추론 속도를 최대화하는 것이 아니라 물리적 AI가 실제 세계에서 지속적으로 작동하는 데 필요한 실시간 성능(Real-Time Performance), 에너지 효율(Energy Efficiency), 신뢰성(Reliability), 안전성(Safety), 확장성(Scalability), 유지보수성(Maintainability)을 균형 있게 제공해야 한다.
02.04. High Performance Edge AI Platforms
고성능 엣지 AI 플랫폼(High-Performance Edge AI Platforms)은 물리적 AI(Physical AI)의 계산 요구사항이 소형 임베디드 모듈(Compact Embedded Modules)의 실질적인 처리 능력을 넘어설 때 임베디드 컴퓨팅을 확장하는 역할을 한다. 이러한 플랫폼은 로봇이나 물리적 시스템 가까이에서 고도화된 인식(Perception), 센서 융합(Sensor Fusion), 예측(Prediction), 월드 모델(World Model), 계획(Planning), 멀티모달 AI(Multimodal AI) 작업부하를 직접 실행하도록 설계된다. 목적은 단순히 더 많은 계산 능력을 제공하는 것이 아니라, 높은 처리량(Throughput)과 함께 적절한 지연시간(Latency), 전력 소비(Power Consumption), 열 특성(Thermal Behavior), 신뢰성(Reliability), 물리적 제약조건(Physical Constraints)을 만족하여 고도화된 AI가 실제 환경에서 지속적으로 동작하도록 하는 것이다.
고성능 엣지 플랫폼은 일반적으로 강력한 CPU와 하나 이상의 GPU, NPU 또는 전용 AI 가속기(AI Accelerators), 그리고 대용량·고속 메모리(Large and Fast Memory)와 고대역폭 입출력(High-Bandwidth I/O)을 결합한다. 이러한 구조에서는 범용 시스템 기능을 CPU에서 유지하는 동시에 계산량이 많은 신경망 및 멀티모달 작업부하를 병렬 가속기(Parallel Accelerators)에서 실행할 수 있다. 여러 카메라 스트림, LiDAR 데이터, 레이더 및 기타 센서 정보는 상당한 데이터 트래픽을 발생시킬 수 있기 때문에 고속 인터커넥트(High-Speed Interconnect)와 메모리 시스템이 매우 중요하다. 따라서 플랫폼은 기존 컴퓨터에 단순히 가속기를 추가하는 방식이 아니라 통합된 컴퓨팅 시스템(Integrated Compute System)으로 설계되어야 한다.
엣지에서 고성능 컴퓨팅을 사용하는 가장 중요한 이유는 물리적 관측(Physical Observation)과 지능적 행동(Intelligent Action) 사이의 거리를 줄이는 것이다. 로봇은 여러 센서 스트림을 처리하고, 공간 표현(Spatial Representation)을 구축하며, 객체를 탐지하고 추적하고, 자신의 상태를 추정하고, 미래 상태를 예측하고, 엄격한 시간 제약 안에서 계획 결정을 내려야 할 수 있다. 모든 원시 데이터를 원격 서버로 전송하면 통신 지연시간(Communication Latency), 대역폭 요구사항(Bandwidth Requirements), 연결성 의존성(Connectivity Dependence), 운영상의 위험(Operational Risks)이 발생한다. 로컬 고성능 컴퓨팅은 중요한 인식 및 의사결정 작업을 로봇 가까이에서 수행할 수 있도록 하며, 즉각적인 응답이 필요하지 않은 작업에는 외부 인프라를 사용할 수 있도록 한다.
컴퓨팅 구조는 물리적 AI 작업부하의 계층(Hierarchy of Physical AI Workloads)을 반영해야 한다. 저수준 제어(Low-Level Control)와 안전 기능(Safety Functions)은 전용 실시간 제어기(Real-Time Controller)에 유지할 수 있으며, 고성능 엣지 컴퓨터는 계산량이 많은 인식(Perception), 위치추정(Localization), 매핑(Mapping), 센서 융합(Sensor Fusion), 예측(Prediction), 계획(Planning), AI 추론(AI Inference)을 처리한다. GPU 또는 가속기는 높은 병렬 처리가 가능한 신경망 작업부하를 실행하고, CPU는 미들웨어(Middleware), 운영체제 서비스(Operating-System Services), 통신(Communication), 진단(Diagnostics), 유연한 범용 계산(General-Purpose Computation)이 필요한 알고리즘을 조정할 수 있다. 이러한 분할은 각 처리 자원을 해당 계산 특성에 맞게 사용하는 이기종 구조(Heterogeneous Architecture)를 형성한다.
엣지 AI 작업부하의 규모가 증가함에 따라 메모리 용량(Memory Capacity)과 대역폭(Bandwidth)은 특히 중요해진다. 최신 인식 및 월드 모델 파이프라인(World-Model Pipelines)은 여러 개의 고해상도 센서 스트림, 중간 특징 표현(Intermediate Feature Representations), BEV 구조, 신경망 파라미터(Neural-Network Parameters), 시간적 상태(Temporal States), 멀티모달 임베딩(Multimodal Embeddings)을 유지해야 할 수 있다. 메모리 대역폭이 충분하지 않으면 이론적인 계산 능력이 높더라도 가속기가 충분히 활용되지 못할 수 있다. 따라서 고성능 엣지 플랫폼은 메모리 계층(Memory Hierarchy), 대역폭, 캐시 동작(Cache Behavior), 가속기 접근(Accelerator Access), 저장장치 처리량(Storage Throughput), 고속 인터커넥트를 신중하게 고려해야 한다. 효율적인 데이터 이동(Efficient Data Movement)은 원시 프로세서 성능을 높이는 것만큼 중요할 수 있다.
실시간 성능(Real-Time Performance)은 가속기 처리량만으로 평가해서는 안 되며 전체 센싱-행동 파이프라인(Sensing-to-Action Pipeline)을 기준으로 평가해야 한다. 센서 취득(Sensor Acquisition), 동기화(Synchronization), 전처리(Preprocessing), 메모리 전송(Memory Transfer), 추론(Inference), 후처리(Post-Processing), 위치추정, 추론(Reasoning), 계획, 통신, 제어가 모두 종단간 지연시간(End-to-End Latency)에 영향을 미친다. 따라서 고성능 엣지 플랫폼은 작업부하 변동을 흡수할 수 있는 충분한 계산 여유(Computational Margin)를 제공하면서 예측 가능한 타이밍(Predictable Timing)을 유지해야 한다. 낮은 지연시간과 제한된 지터(Limited Jitter)는 물리적 시스템에서 특히 중요하다. 지연된 정보는 로봇의 행동 안전성과 효과에 직접적인 영향을 줄 수 있기 때문이다.
전력(Power)과 열(Thermal) 제약은 고성능 엣지 컴퓨팅을 일반적인 워크스테이션이나 데이터센터 컴퓨팅과 구분한다. 일반적으로 가속기 성능을 높이면 전력 소비와 열 발생도 증가하며, 이동 로봇은 제한된 배터리 용량과 냉각 능력을 가진다. 열 스로틀링(Thermal Throttling)은 지속적인 작업부하 상황에서 성능을 더욱 감소시킬 수 있다. 따라서 플랫폼 설계에서는 계산 능력(Computational Capability), 에너지 효율(Energy Efficiency), 냉각 구조(Cooling Architecture), 인클로저 제약(Enclosure Constraints), 배터리 작동 시간(Battery Runtime), 환경 조건(Environmental Conditions) 사이의 균형을 맞춰야 한다. 동적 작업부하 관리(Dynamic Workload Management)를 사용하면 환경이 안정적인 상황에서는 불필요한 계산을 줄이고, 복잡한 인식이나 추론이 필요한 상황에서는 더 많은 계산 자원을 할당할 수 있다.
고성능 엣지 플랫폼은 성숙한 소프트웨어 생태계(Software Ecosystem)도 필요로 한다. 하드웨어는 운영체제(Operating System), 드라이버(Drivers), 미들웨어(Middleware), AI 런타임(AI Runtimes), 가속기 라이브러리(Accelerator Libraries), 모델 최적화 도구(Model-Optimization Tools), 모니터링 기능(Monitoring Mechanisms), 개발 환경(Development Environments)의 지원을 받아야 한다. 신경망 모델은 엣지에서 효율적인 성능을 얻기 위해 모델 변환(Model Conversion), 양자화(Quantization), 가지치기(Pruning), 레이어 융합(Layer Fusion), 커널 최적화(Kernel Optimization) 또는 기타 하드웨어 인식 변환(Hardware-Aware Transformations)을 필요로 할 수 있다. 따라서 플랫폼의 실제 능력은 실리콘 사양(Silicon Specifications)뿐만 아니라 전체 소프트웨어 스택이 하드웨어를 얼마나 효과적으로 활용할 수 있는지에 의해 결정된다.
엣지 플랫폼은 또한 계층적 컴퓨팅 구조(Hierarchical Computing Architecture)에 참여해야 한다. 실시간 추론(Real-Time Inference), 안전에 중요한 인식(Safety-Critical Perception), 로컬 계획(Local Planning), 자율 운용(Autonomous Operation)은 연결이 간헐적이거나 사용할 수 없는 상황에서도 로봇에서 계속 이용할 수 있어야 한다. 온프레미스(On-Premise) 또는 클라우드(Cloud) 인프라는 모델 학습(Model Training), 대규모 시뮬레이션(Large-Scale Simulation), 플릿 학습(Fleet Learning), 고비용 추론(Heavy Reasoning), 데이터 분석(Data Analytics), 모델 관리(Model Management), 소프트웨어 업데이트(Software Updates)를 제공할 수 있다. 데이터는 학습과 분석을 위해 상위 인프라로 이동할 수 있으며, 최적화된 모델과 구성 정보(Configuration Information)는 배포를 위해 다시 하위 시스템으로 이동할 수 있다. 이러한 분리를 통해 모든 계산 작업을 로봇 내부에서 실행하지 않고도 로봇이 로컬 자율성(Local Autonomy)을 유지할 수 있다.
고성능 엣지 컴퓨터가 로봇 지능의 중심이 되면 신뢰성(Reliability), 보안(Security), 점진적 성능 저하(Graceful Degradation)가 필수적이다. AI 가속기 또는 고수준 컴퓨팅 플랫폼의 고장이 안전을 유지해야 하는 기능까지 비활성화하지 않도록 시스템을 설계해야 한다. 독립적인 실시간 제어기(Independent Real-Time Controllers), 워치독 메커니즘(Watchdog Mechanisms), 대체 알고리즘(Fallback Algorithms), 센서 이중화(Redundant Sensing), 상태 모니터링(Health Monitoring), 통제된 작업부하 축소(Controlled Workload Reduction)는 필수적인 운용을 유지하는 데 도움을 줄 수 있다. 계산 자원이 과부하되면 중요도가 낮은 작업부하는 축소하거나 중단할 수 있으며, 안전 및 제어 기능은 우선순위를 유지해야 한다. 따라서 컴퓨팅 구조는 전체 신뢰성 및 안전 전략(Reliability and Safety Strategy)의 일부가 된다.
고성능 엣지 플랫폼의 선정은 하드웨어-소프트웨어 공동 설계(Hardware--Software Co-Design) 문제로 다루어야 한다. 요구사항은 로봇의 임무(Mission), 환경(Environment), 센서 구성(Sensor Configuration), AI 모델, 지연시간 목표(Latency Targets), 전력 예산(Power Budget), 열적 한계(Thermal Limits), 안전 요구사항(Safety Requirements), 향후 작업부하(Future Workload)에서 도출해야 한다. 이후 후보 플랫폼은 제조사가 제공하는 벤치마크 수치에만 의존하지 않고 대표적인 실제 작업부하를 사용하여 평가해야 한다. 프로파일링(Profiling)을 통해 추론 처리량(Inference Throughput), 종단간 지연시간, 메모리 사용량(Memory Utilization), I/O 대역폭, 전력 소비, 열 특성, 실제 운용 조건에서의 지속 성능(Sustained Performance)을 측정해야 한다.
최종적인 목표는 가장 강력한 컴퓨터가 아니라 균형 잡힌 엣지 지능 플랫폼(Balanced Edge Intelligence Platform)을 구축하는 것이다. 성공적인 시스템은 고도화된 물리적 AI를 위한 충분한 계산 능력을 제공하면서 실시간 동작(Real-Time Behavior), 에너지 효율(Energy Efficiency), 열 안정성(Thermal Stability), 신뢰성(Reliability), 보안(Security), 유지보수성(Maintainability)을 유지해야 한다. 따라서 고성능 엣지 컴퓨팅은 소형 임베디드 AI(Compact Embedded AI)와 대규모 온프레미스 또는 클라우드 인프라 사이를 연결하는 중요한 가교이며, 로봇이 실제 물리적 환경에서 점점 더 정교한 인식, 월드 모델링(World Modeling), 추론, 계획, 자율 행동(Autonomous Behavior)을 직접 수행할 수 있도록 하는 핵심 기반이 된다.
02.05. GPU Based Physical AI Computing
GPU 기반 컴퓨팅(GPU-Based Computing)은 많은 인식(Perception), 예측(Prediction), 월드 모델(World Model), 멀티모달(Multimodal) 작업부하가 대규모 병렬 처리가 가능한 연산을 포함하기 때문에 물리적 AI(Physical AI)의 핵심적인 접근 방식이다. GPU는 대규모 텐서(Large Tensor)를 대상으로 대규모 병렬 처리(Massive Parallel Processing)와 높은 처리량(High Throughput)을 제공함으로써 CPU 기반 시스템 연산을 보완한다. 따라서 물리적 AI 구조에서 GPU는 단순히 더 빠른 프로세서가 아니라 복잡한 AI 모델이 물리적 시스템 가까이에서 동작하도록 하면서 지속적인 환경 이해(Environmental Understanding)와 의사결정(Decision Making)에 필요한 처리량을 제공하는 특수 연산 엔진(Specialized Computational Engine)이다.
GPU의 근본적인 장점은 유사한 수치 연산(Numerical Operations)을 동시에 대량으로 실행할 수 있다는 데 있다. 신경망(Neural Networks)은 행렬 곱셈(Matrix Multiplication), 합성곱(Convolution), 텐서 변환(Tensor Transformation), 어텐션 연산(Attention Operations) 및 기타 계산을 포함하며, 이러한 연산은 자연스럽게 높은 병렬성(Parallelism)을 갖는다. 따라서 GPU는 신경망 추론(Neural-Network Inference), 인식(Perception), 센서 융합(Sensor Fusion), 멀티모달 처리(Multimodal Processing), 월드 모델 계산(World-Model Computation)에 특히 적합하다. 첨부된 구조에서는 GPU를 MCU, CPU, NPU 및 전용 가속기(Dedicated Accelerators)와 함께 더 넓은 컴퓨팅 계층(Compute Hierarchy)에 배치하며, GPU 컴퓨팅이 독립적인 해결책이 아니라 이기종 물리적 AI 시스템(Heterogeneous Physical AI System)의 하나의 구성요소임을 강조한다.
물리적 AI 파이프라인(Physical AI Pipeline)에서 GPU 연산은 원시 센서 데이터(Raw Sensor Data)를 점점 더 의미 있는 표현(Meaningful Representations)으로 변환하는 과정을 지원할 수 있다. 카메라 이미지(Camera Images), LiDAR 정보, 레이더 관측(Radar Observations) 및 기타 센서 스트림은 특징(Features), 공간 표현(Spatial Representations), BEV 표현(BEV Representations), 멀티모달 임베딩(Multimodal Embeddings)으로 처리될 수 있다. 이러한 표현은 이후 인식, 위치추정(Localization), 예측, 월드 모델링(World Modeling), 계획(Planning)을 지원할 수 있다. 이러한 단계에는 대규모 텐서와 동시에 처리해야 하는 여러 데이터 스트림이 포함될 수 있기 때문에 GPU 가속은 AI 추론을 간헐적인 백그라운드 작업으로 처리하는 것이 아니라 지속적인 처리를 유지하는 데 필요한 계산 처리량(Computational Throughput)을 제공할 수 있다.
GPU 기반 물리적 AI 컴퓨팅은 여러 인식 및 AI 작업부하가 동시에 실행되어야 하는 경우 특히 유용하다. 로봇은 여러 카메라를 처리하면서 LiDAR, 위치추정, 객체 추적(Object Tracking), 센서 융합, 예측 및 기타 신경망 모델을 동시에 처리할 수 있다. GPU는 이러한 작업부하 중 높은 병렬 처리가 가능한 부분을 실행하고, CPU는 운영체제 서비스(Operating-System Services), 미들웨어(Middleware), 통신(Communication), 오케스트레이션(Orchestration), 진단(Diagnostics) 및 기타 범용 기능을 담당할 수 있다. 이러한 분할은 각 프로세서가 가장 적합한 유형의 계산을 수행하도록 하며 효과적인 이기종 컴퓨팅 구조(Heterogeneous Computing Architecture)를 형성한다.
GPU 컴퓨팅의 실제 성능은 메모리(Memory)와 데이터 이동(Data Movement)에 크게 의존한다. 대규모 신경망과 고해상도 센서 스트림은 상당한 메모리 용량과 대역폭을 요구할 수 있으며, 중간 특징 맵(Intermediate Feature Maps)과 모델 파라미터(Model Parameters)는 메모리와 GPU 사이에서 지속적으로 이동해야 한다. 데이터가 가속기에 충분히 빠르게 전달되지 못하면 이론적인 계산 능력이 높더라도 GPU가 충분히 활용되지 않을 수 있다. 따라서 물리적 AI에서는 메모리 계층(Memory Hierarchy), 대역폭(Bandwidth), 캐시 동작(Cache Behavior), 고속 인터커넥트(High-Speed Interconnects), 저장장치 처리량(Storage Throughput), 효율적인 전송 방식(Efficient Transfer Mechanisms)을 고려해야 한다. GPU 성능은 독립적인 사양이 아니라 전체 데이터 경로(Data Path)의 일부로 평가해야 한다.
실시간 동작(Real-Time Operation)은 추가적인 요구사항을 제시한다. GPU는 높은 추론 처리량(Inference Throughput)을 제공할 수 있지만, 물리적 AI는 센싱(Sensing)에서 인식(Perception), 추론(Reasoning), 계획(Planning), 행동(Action)으로 이어지는 전체 과정에서 예측 가능한 종단간 동작(End-to-End Behavior)을 필요로 한다. 센서 취득(Sensor Acquisition), 전처리(Preprocessing), 데이터 전송(Data Transfer), GPU 실행(GPU Execution), 후처리(Post-Processing), 통신(Communication), 제어(Control)가 모두 전체 지연시간(Total Latency)에 영향을 준다. 따라서 GPU 사용률(Utilization)은 계산량이 많은 작업이 시간에 민감한 기능에 허용할 수 없는 지연이나 타이밍 변동(Timing Variation)을 발생시키지 않도록 관리해야 한다. GPU는 계산 가속을 제공하되 결정론적 제어(Deterministic Control)와 안전 기능(Safety Functions)은 고수준 AI 처리와 적절하게 분리되어야 한다.
전력(Power)과 열 특성(Thermal Behavior) 역시 중요하다. GPU 기반 컴퓨팅은 상당한 전력을 소비하고 많은 열을 발생시킬 수 있기 때문이다. 이는 배터리 용량(Battery Capacity), 냉각 능력(Cooling Capability), 물리적 부피(Physical Volume), 중량(Weight)이 제한된 이동 로봇에서 특히 큰 제약이 된다. 지속적인 GPU 작업부하는 열 스로틀링(Thermal Throttling)을 발생시켜 장시간 운용 중 성능을 감소시킬 수도 있다. 따라서 물리적 AI 플랫폼은 GPU 성능과 전력 효율(Power Efficiency), 열 설계(Thermal Design), 냉각 솔루션(Cooling Solutions), 배터리 사용시간(Battery Runtime), 예상 운용 환경(Expected Operating Environment) 사이의 균형을 맞춰야 한다. 가장 강력한 GPU가 반드시 최선의 선택은 아니며, 필요한 운용 지속시간이나 열 안정성을 달성하지 못한다면 적합하지 않을 수 있다.
GPU 컴퓨팅은 월드 모델과 고급 멀티모달 AI(Advanced Multimodal AI)의 증가하는 계산 요구사항도 지원한다. 월드 모델 파이프라인은 시간적 관측(Temporal Observations), 공간 표현, 잠재 상태(Latent States), 예측, 미래 궤적(Future Trajectories)을 처리할 수 있으며, 멀티모달 시스템은 시각 정보(Visual Information), 기하 정보(Geometric Information), 언어(Language), 자기수용감각(Proprioception)을 결합할 수 있다. 이러한 작업부하는 대규모 텐서와 반복적인 병렬 연산을 포함할 수 있기 때문에 GPU 가속은 처리량과 모델 실행 모두에서 유용하다. 물리적 AI가 더욱 풍부한 예측 및 추론 구조로 발전함에 따라 GPU 성능은 물리적 환경에 대한 상세한 내부 표현(Internal Representation)을 유지하는 시스템의 능력과 점점 더 밀접하게 연결된다.
GPU와 NPU 또는 기타 AI 가속기(AI Accelerators)의 관계는 경쟁 관계라기보다 상호 보완적인 관계로 다루어야 한다. NPU는 지원되는 신경망 연산에 대해 매우 효율적인 추론을 제공할 수 있는 반면, GPU는 더 넓은 프로그래밍 가능성(Programmability), 대규모 텐서 처리 성능, 다양한 AI 작업부하에 대한 유연성을 제공한다. 전용 가속기는 특정 도메인의 연산(Domain-Specific Operations)을 추가로 최적화할 수 있다. 따라서 어떤 연산을 GPU, NPU, CPU, MCU 또는 특수 가속기에서 실행할지는 작업부하-컴퓨팅 매핑(Workload-to-Compute Mapping)에 따라 결정해야 한다. 첨부된 컴퓨팅 구조에서는 이러한 매핑을 공동 설계(Co-Design) 문제로 명시하고 있으며, 성능, 지연시간, 전력, 메모리, 열, 신뢰성(Reliability), 안전 요구사항에 따라 작업부하를 분할해야 함을 강조한다.
GPU 배포는 계층적 컴퓨팅(Hierarchical Computing)의 이점도 얻을 수 있다. 시간에 민감한 제어와 안전 기능은 전용 실시간 프로세서(Real-Time Processor)에 유지하고, GPU는 로봇에서 계산량이 많은 인식, 예측, 월드 모델 및 기타 AI 작업부하를 수행할 수 있다. 온프레미스(On-Premise) 또는 클라우드(Cloud) 인프라는 즉각적인 물리적 응답이 필요하지 않은 학습(Training), 대규모 시뮬레이션(Large-Scale Simulation), 플릿 학습(Fleet Learning), 기타 고비용 계산 작업을 제공할 수 있다. 이러한 구조를 통해 GPU가 탑재된 엣지 시스템(Edge System)은 로컬 지능(Local Intelligence)을 유지하면서도 더 큰 컴퓨팅 자원과 협력할 수 있다. 또한 필수적인 추론과 자율 기능을 로봇 가까이에서 유지함으로써 오프라인 또는 간헐적 연결(Intermittent Connectivity) 상황에서도 동작할 수 있다.
GPU 기반 물리적 AI 컴퓨팅의 효과는 궁극적으로 하드웨어-소프트웨어 공동 설계(Hardware--Software Co-Design)와 작업부하 인식 최적화(Workload-Aware Optimization)에 달려 있다. 모델 구조(Model Architecture), 수치 정밀도(Numerical Precision), 배치 전략(Batching Strategy), 메모리 배치(Memory Layout), 데이터 전송(Data Transfer), 가속기 라이브러리(Accelerator Libraries), 추론 런타임(Inference Runtime), 스케줄링(Scheduling)이 모두 실제 성능에 영향을 미친다. 플랫폼은 이론적인 GPU 사양에만 의존하지 않고 대표적인 물리적 AI 작업부하를 사용하여 프로파일링(Profiling)해야 한다. 성능(Performance), 지연시간(Latency), 메모리 사용량(Memory Utilization), 전력 소비(Power Consumption), 열 특성(Thermal Behavior), 지속 처리량(Sustained Throughput)을 함께 평가해야 한다. 목표는 GPU 사용률 자체를 최대화하는 것이 아니라 GPU 연산을 균형 잡힌 시스템에 통합하여 실시간 인식, 예측, 세계 이해(World Understanding), 계획, 자율 행동(Autonomous Behavior)을 적절한 효율성(Efficiency), 신뢰성(Reliability), 안전성(Safety)과 함께 제공하는 것이다.
02.06. Heterogeneous Computing
이기종 컴퓨팅(Heterogeneous Computing)은 서로 다른 계산 작업이 타이밍(Timing), 병렬성(Parallelism), 유연성(Flexibility), 전력(Power), 신뢰성(Reliability)에 대해 근본적으로 서로 다른 요구사항을 가지기 때문에 물리적 AI(Physical AI)의 핵심적인 아키텍처이다. 모든 기능을 하나의 프로세서에 집중시키는 대신 MCU, CPU, GPU, NPU 및 전용 AI 가속기(Dedicated AI Accelerators)와 같은 여러 컴퓨팅 요소에 작업부하를 분산한다. 목표는 각 작업을 가장 효과적으로 실행할 수 있는 처리 엔진에 작업을 배치하면서 모든 요소가 하나의 통합된 물리적 지능 시스템(Physical Intelligence System)으로 협력하도록 하는 것이다.
기본 원리는 작업부하-컴퓨팅 매핑(Workload-to-Compute Mapping)이다. 높은 주파수와 결정론적 특성이 필요한 제어는 자연스럽게 MCU에 할당하고, 시스템 관리(System Management), 미들웨어(Middleware), 오케스트레이션(Orchestration), 통신(Communication), 범용 알고리즘(General-Purpose Algorithms)은 CPU에서 처리한다. 인식(Perception)과 비전 작업부하(Vision Workloads)는 GPU의 대규모 병렬 처리 능력(Massive Parallelism)을 활용하고, 효율적인 신경망 추론(Neural-Network Inference)은 NPU에 할당할 수 있다. 비전 처리(Vision Processing), DSP 기능, SLAM, 코덱(Codec), 로봇 특화 연산(Robotics-Specific Computation)과 같은 특수 작업은 전용 가속기에서 구현할 수 있다. 이러한 매핑은 컴퓨팅 자원이 비효율적으로 사용되는 것을 방지하고 보다 균형 잡힌 시스템 아키텍처(System Architecture)를 제공한다.
MCU는 이기종 시스템의 결정론적 기반(Deterministic Foundation)을 제공한다. 모터 제어(Motor Control), 안전 기능(Safety Functions), 센서 인터페이스(Sensor Interfaces), 실시간 입출력(Real-Time I/O), 기타 고주파 제어 루프(High-Rate Control Loops)는 예측 가능한 타이밍(Predictable Timing)을 필요로 하며 복잡한 고수준 AI 프로세서에 전적으로 의존해서는 안 된다. CPU는 유연한 조정 계층(Flexible Coordination Layer)을 제공하며 운영체제 서비스(Operating-System Services), 미들웨어, 통신, 진단(Diagnostics), 위치추정(Localization), 매핑(Mapping), 계획(Planning), 시스템 오케스트레이션을 관리한다. 이러한 기능 분리는 시간에 민감한 제어(Time-Critical Control)를 안정적으로 유지하면서 고수준 지능(Higher-Level Intelligence)이 독립적으로 발전할 수 있도록 한다.
GPU와 NPU는 AI 연산 계층(AI Computation Layer)에서 서로 다르면서도 상호 보완적인 역할을 수행한다. GPU는 신경망 추론, 인식, 센서 융합(Sensor Fusion), 멀티모달 처리(Multimodal Processing), 월드 모델 계산(World-Model Computation)과 같은 대규모 병렬 작업부하에 효과적이다. NPU는 일반적으로 효율적인 신경망 추론을 위해 최적화되어 있으며, 특히 지원되는 모델을 높은 와트당 성능(Performance per Watt)으로 실행할 수 있을 때 유리하다. 전용 AI 가속기는 특정 연산이나 특정 도메인(Domain)에 대한 계산을 추가적으로 특화할 수 있다. 따라서 하나의 AI 프로세서가 모든 작업에 최적이라고 가정하기보다는 작업부하의 특성에 따라 적절한 가속기를 선택해야 한다.
이러한 컴퓨팅 요소들은 공유된 하드웨어 및 통신 구조(Shared Hardware and Communication Architecture)를 통해 함께 동작해야 한다. 센서는 카메라(Camera), LiDAR, IMU 및 기타 관측 정보를 제공하고, 액추에이터(Actuators)는 컴퓨팅 시스템으로부터 명령을 전달받는다. 이들 사이에서는 PCIe, NVLink, AXI, CAN, Ethernet과 같은 고속 인터커넥트(High-Speed Interconnect)가 데이터와 제어 정보를 교환하는 경로를 제공한다. 메모리(Memory), 저장장치(Storage), 네트워크(Networking), 안전 모니터링(Safety Monitoring)은 프로세서 주변의 지원 인프라를 구성한다. 아키텍처는 불필요한 데이터 전송을 최소화하면서 필요한 데이터가 필요한 시간에 적절한 컴퓨팅 요소에 도달하도록 해야 한다.
따라서 메모리와 대역폭은 이기종 컴퓨팅의 핵심 요소이다. GPU나 NPU가 상당한 이론적 계산 능력을 갖고 있더라도 센서 데이터, 모델 파라미터(Model Parameters), 중간 특징(Intermediate Features), 추론 결과(Inference Results)가 시스템을 통해 효율적으로 이동하지 못하면 실제 성능이 제한될 수 있다. 공유 메모리(Shared Memory), DDR 또는 LPDDR, 캐시 계층(Cache Hierarchies), 저장장치, 고속 인터커넥트를 함께 고려해야 한다. 효율적인 데이터 배치(Data Placement)와 전송은 통신 오버헤드(Communication Overhead)를 줄이고, 계산 엔진이 데이터를 기다리기보다 지속적으로 작업을 수행하도록 한다.
실시간 동작(Real-Time Behavior)을 위해서는 타이밍 영역(Timing Domain)을 신중하게 분리해야 한다. 고주파 제어는 인식, 계획 또는 월드 모델 계산과 상당히 다른 주파수에서 동작할 수 있다. 이기종 아키텍처는 각 처리 요소가 적절한 시간 규모(Timing Scale)에서 동작하면서 제어된 인터페이스를 통해 상태(State)와 명령(Commands)을 교환할 수 있도록 한다. 결정론적인 MCU 제어는 고수준 AI 계산에서 작업부하가 변동하더라도 계속 안정적으로 동작할 수 있다. 이러한 분리는 점진적 성능 저하(Graceful Degradation)도 지원한다. 계산량이 많은 기능을 축소하거나 중단하더라도 필수적인 제어 및 안전 기능까지 반드시 비활성화할 필요는 없기 때문이다.
전력과 열 제약(Power and Thermal Constraints)은 이기종 컴퓨팅의 필요성을 더욱 강화한다. 모든 작업을 가장 강력한 프로세서에서 실행하면 에너지 소비(Energy Consumption), 열 발생(Heat Generation), 시스템 비용(System Cost)이 증가할 수 있다. 대신 가벼운 작업은 효율적인 프로세서에 유지하고 계산량이 많은 작업은 필요한 경우에만 GPU나 가속기를 활성화할 수 있다. 이러한 접근은 성능(Performance)과 에너지 효율(Energy Efficiency)의 균형을 맞추면서 배터리 용량(Battery Capacity), 냉각 능력(Cooling Capability), 물리적 크기(Physical Size), 열적 한계(Thermal Limits)를 충족할 수 있도록 한다. 또한 동적 작업부하 할당(Dynamic Workload Allocation)과 에너지 인식 운용(Energy-Aware Operation)을 위한 기반을 제공한다.
신뢰성(Reliability)을 확보하기 위해서는 이기종 컴퓨팅을 대체 처리(Fallback)와 고장 격리(Fault Containment) 메커니즘을 포함하도록 설계해야 한다. 안전한 운용을 위협할 수 있는 경우 핵심 기능(Critical Functions)이 하나의 프로세서에 의존해서는 안 된다. 독립적인 제어 경로(Independent Control Paths), 워치독 모니터링(Watchdog Monitoring), 중복 처리 또는 센싱(Redundant Processing or Sensing), 대체 알고리즘(Fallback Algorithms), 점진적 성능 저하를 통해 가속기가 고장나거나 계산 자원이 과부하되더라도 필수 기능을 유지할 수 있다. 아키텍처는 지속적으로 사용할 수 있어야 하는 기능과 비정상 상황에서 축소, 지연 또는 비활성화할 수 있는 기능을 구분해야 한다.
이기종 컴퓨팅은 또한 공동 설계(Co-Design)와 최적화를 위한 자연스러운 기반을 제공한다. 설계 과정은 작업부하와 요구사항을 정의하고, 후보 컴퓨팅 요소 사이에서 작업부하를 분할하며, 적절한 하드웨어를 선택하고, 대표적인 작업부하를 사용하여 전체 시스템을 프로파일링(Profiling)하는 과정에서 시작한다. 그 결과를 사용하여 작업 분할과 하드웨어-소프트웨어 구성(Hardware--Software Configuration)을 최적화한 후 이러한 과정을 반복한다. 성능과 처리량(Performance and Throughput), 지연시간과 결정성(Latency and Determinism), 전력과 에너지 효율, 메모리와 대역폭, 열 특성(Thermal Behavior), 폼팩터(Form Factor), 비용(Cost), 확장성(Scalability), 신뢰성, 안전성을 서로 독립적으로 최적화하는 것이 아니라 함께 평가해야 한다.
결과적으로 만들어지는 아키텍처는 단순히 서로 다른 프로세서를 모아 놓은 것이 아니라 물리적 AI를 위한 통합된 계산 패브릭(Coordinated Computational Fabric)이다. 센서, MCU, CPU, GPU, NPU, 전용 가속기, 메모리, 저장장치, 네트워크, 안전 모니터링, 액추에이터가 정의된 데이터 및 제어 경로(Data and Control Paths)를 통해 협력한다. 핵심 원칙은 올바른 작업부하를 올바른 컴퓨팅 엔진(Right Computational Engine)에 배치하고 각 엔진이 효율적으로 협력하도록 하는 것이다. 이를 통해 물리적 AI 시스템은 로봇의 물리적 제약 안에서 필요한 실시간 성능(Real-Time Performance), 계산 효율(Computational Efficiency), 에너지 효율(Energy Efficiency), 신뢰성, 안전성, 확장성, 적응성(Adaptability)을 동시에 달성할 수 있다.
02.07. Control Compute vs AI Compute
제어 컴퓨팅(Control Compute)과 AI 컴퓨팅(AI Compute)은 물리적 AI 시스템(Physical AI System)에서 서로 구분되지만 긴밀하게 협력하는 계산 영역으로 다루어야 한다. 제어 컴퓨팅은 주로 결정론적 타이밍(Deterministic Timing), 물리적 안정성(Physical Stability), 액추에이터 명령(Actuator Commands), 안전(Safety), 지속적인 피드백(Continuous Feedback)에 집중하는 반면, AI 컴퓨팅은 인식(Perception), 예측(Prediction), 월드 모델링(World Modeling), 추론(Reasoning), 상위 수준의 의사결정(Higher-Level Decision Making)에 집중한다. 따라서 아키텍처는 필요한 경우 이러한 책임을 분리하면서도 두 영역 사이에 명확하게 정의된 데이터 및 명령 경로(Data and Command Paths)를 유지해야 한다.
제어 컴퓨팅은 물리적 하드웨어에 가까운 위치에서 동작하며 AI 작업부하(AI Workload)의 변동과 관계없이 안정적으로 계속 실행되어야 하는 기능을 담당한다. 모터 제어(Motor Control), 액추에이터 제어(Actuator Control), 센서 인터페이스(Sensor Interfaces), 샘플링(Sampling), 안전 모니터링(Safety Monitoring), 워치독 기능(Watchdog Functions), 비상 정지(Emergency Stop) 동작, 안전 상태(Safe State) 또는 대체 운용(Fallback Operation)은 자연스럽게 이 영역에 속한다. 이러한 기능은 일반적으로 결정론적 실행(Deterministic Execution)과 높은 주파수의 타이밍(High-Frequency Timing)을 필요로 하며, MCU 또는 전용 실시간 제어기(Dedicated Real-Time Controller)에서 실행되는 경우가 많다. 이 영역의 주요 목적은 최대 계산 처리량(Maximum Computational Throughput)이 아니라 예측 가능한 물리적 동작(Predictable Physical Behavior)이다.
AI 컴퓨팅은 데이터 집약적인 지능(Data-Intensive Intelligence)에 적합한 다른 계산 규모에서 동작한다. 인식 추론(Perception Inference), 객체 및 장면 이해(Object and Scene Understanding), 특징 추출(Feature Extraction), 월드 모델 업데이트(World-Model Updates), 예측(Prediction), 복잡한 추론(Complex Reasoning), 멀티모달 융합(Multimodal Fusion), 전역 계획(Global Planning), 정책 또는 VLA 실행(Policy or VLA Execution)은 상당히 많은 계산 자원을 필요로 할 수 있다. 따라서 GPU, NPU 및 AI 가속기(AI Accelerators)가 이 영역에 적합하다. 이러한 작업은 저수준 제어보다 실행 시간이 더 가변적일 수 있지만, 대규모 모델과 센서 데이터를 효율적으로 처리하기 위해 높은 처리량(High Throughput)을 필요로 한다.
이 두 영역 사이에는 중요한 엣지 제어 및 융합 계층(Edge Control and Fusion Layer)이 존재한다. CPU 또는 실시간 운영 환경(Real-Time Operating Environment)은 센서 드라이버(Sensor Drivers)와 동기화(Synchronization), 상태 추정(State Estimation), SLAM, 센서 융합, 로봇 상태 관리(Robot State Management), 단거리 로컬 계획(Short-Horizon Local Planning), 궤적 추적(Trajectory Tracking), 상태 모니터링(Health Monitoring)을 관리할 수 있다. 이 계층은 결정론적 제어 영역(Deterministic Control Domain)과 계산량이 많은 AI 영역(Computationally Intensive AI Domain)을 연결한다. 중간 주파수의 실시간 규모(Medium-Frequency Real-Time Scale)에서 동작함으로써 센서 정보를 통합하고 일관된 로봇 상태(Coherent Robot State)를 유지한 후, 상위 수준의 AI 계산이 보다 넓은 범위의 예측이나 의사결정을 수행하도록 할 수 있다.
제어 컴퓨팅과 AI 컴퓨팅의 분리는 근본적으로 타이밍 문제(Timing Problem)이다. 물리적 AI에는 밀리초 단위로 측정되는 고주파 제어(High-Frequency Control)부터 중간 주파수의 추정 및 계획, 그리고 저주파 또는 비동기 AI 처리(Low-Frequency or Asynchronous AI Processing)에 이르기까지 여러 시간 규모(Time Scale)가 존재한다. 액추에이터 명령이 필요할 때마다 제어 루프(Control Loop)가 대규모 AI 모델의 추론이 끝날 때까지 기다리도록 해서는 안 된다. 대신 아키텍처는 종단간 타이밍 예산(End-to-End Timing Budget)을 설정하고, 제어에 중요한 경로(Control-Critical Path)는 제한되고 예측 가능한 상태를 유지하는 동시에 AI 작업부하는 적절한 타이밍 영역(Timing Domain)에서 동작하도록 해야 한다.
데이터 흐름(Data Flow)과 통신(Communication)은 두 계산 영역을 연결한다. 센서 정보는 CSI, USB 또는 PCIe와 같은 고속 인터페이스(High-Speed Interface)를 통해 입력된 후 공유 메모리(Shared Memory), 버퍼(Buffer), 프로세서 간 통신(Inter-Processor Communication) 메커니즘을 거칠 수 있다. 상태 및 명령 정보는 PCIe, CAN 또는 Ethernet과 같은 인터페이스를 통해 교환된 후 액추에이터에 전달될 수 있다. 아키텍처는 고주파 결정론적 제어 경로(High-Frequency Deterministic Control Path)를 중간 주파수 데이터 경로(Medium-Frequency Data Path), 저주파 또는 백그라운드 경로(Low-Frequency or Background Path), 대체 또는 안전 경로(Fallback or Safety Path)와 구분해야 한다. 이러한 분리는 계산량이 많은 AI 작업부하가 필수적인 제어 기능을 차단하는 것을 방지하는 데 도움을 준다.
메모리(Memory)와 데이터 이동(Data Movement)은 제어 컴퓨팅과 AI 컴퓨팅의 경계에서 특히 중요하다. AI 처리는 대규모 특징 맵(Feature Maps), 모델 파라미터(Model Parameters), 센서 표현(Sensor Representations), 시간적 상태(Temporal States)를 필요로 할 수 있는 반면, 제어는 작지만 중요한 상태 정보(Critical State Information)에 적시에 접근해야 한다. 불필요한 복사(Copying), 버퍼링(Buffering), 프로세서 간 통신은 지연시간(Latency)과 지터(Jitter)를 증가시킬 수 있다. 따라서 데이터 지역성(Data Locality), 메모리 소유권(Memory Ownership), 버퍼링, 큐잉(Queuing), 캐시 동작(Cache Behavior), 효율적인 인터커넥트(Efficient Interconnect)는 컴퓨팅 분할(Compute Partition)과 함께 설계해야 한다. 목표는 AI에 충분한 데이터를 제공하면서도 제어 경로를 짧고 예측 가능하게 유지하는 것이다.
전력(Power)과 열 관리(Thermal Management) 역시 제어 컴퓨팅과 AI 컴퓨팅의 분할에 영향을 준다. AI 가속기는 고부하 추론 과정에서 상당한 전력을 소비할 수 있는 반면, 제어 프로세서는 비교적 예측 가능한 전력 수준에서 지속적으로 동작해야 할 수 있다. 두 영역을 분리하면 필수적인 제어를 방해하지 않으면서 계산량이 많은 AI 작업부하를 동적으로 관리할 수 있다. 전력 예산은 컴퓨팅, 센서, 통신, 액추에이터 사이에 할당할 수 있으며, 냉각 및 열적 한계는 배터리 용량(Battery Capacity)과 작동 시간(Runtime)과 함께 고려해야 한다. 에너지 인식 추론(Energy-Aware Inference)은 높은 수준의 AI 활동이 필요하지 않은 상황에서 불필요한 계산을 추가로 줄일 수 있다.
신뢰성(Reliability)과 안전(Safety)은 제어 컴퓨팅과 AI 컴퓨팅 사이에 명확한 경계를 유지해야 하는 또 다른 중요한 이유이다. AI 영역에서 발생하는 고장(Failure), 과부하(Overload), 열적 이상(Thermal Event), 소프트웨어 문제(Software Problem)가 필수적인 제어 또는 안전 기능을 자동으로 비활성화해서는 안 된다. 독립적인 제어 경로(Independent Control Paths), 워치독(Watchdogs), 고장 감지(Fault Detection), 대체 알고리즘(Fallback Algorithms), 이중화(Redundancy), 안전 상태 메커니즘(Safe-State Mechanisms)을 통해 로봇이 성능이 저하되더라도 제어 가능한 상태(Controlled Degraded State)로 계속 동작할 수 있도록 할 수 있다. 과부하 상황에서는 고수준 AI 기능을 축소, 지연 또는 중단할 수 있지만, 결정론적 제어와 안전 기능은 우선순위를 유지해야 한다.
제어 컴퓨팅과 AI 컴퓨팅 사이의 경계를 모든 기능을 엄격하게 분리하는 것으로 해석해서는 안 된다. AI의 의사결정은 궁극적으로 물리적 행동에 영향을 주고, 물리적 상태와 액추에이터 피드백은 다시 다음 AI 계산에 영향을 주기 때문에 두 영역은 지속적으로 협력해야 한다. AI는 목표(Goals), 정책(Policies), 궤적(Trajectories), 행동 명령(Action Commands)을 생성할 수 있으며, 제어 시스템은 이러한 출력을 물리적으로 유효한 액추에이터 동작(Physically Valid Actuator Behavior)으로 변환하고 상태 및 피드백 정보를 다시 전달한다. 이러한 구조는 계산(Computation), 지능(Intelligence), 제어(Control)가 독립적인 하위 시스템으로 동작하는 것이 아니라 서로 조정되는 폐루프 물리 시스템(Closed Physical Loop)을 형성한다.
최종적인 분할은 하드웨어-소프트웨어 공동 설계(Hardware--Software Co-Design)를 통해 결정해야 한다. 설계 과정은 작업 목표(Task Objectives), 환경(Environment), 구현 형태(Embodiment), AI 모델 요구사항(AI Model Requirements), 지연시간 및 정확도 목표(Latency and Accuracy Targets), 전력 및 열적 한계(Power and Thermal Limits), 안전 및 신뢰성 요구사항(Safety and Reliability Requirements), 비용 및 크기 제약(Cost and Size Constraints)에서 시작한다. 이후 기능을 적절한 제어, 엣지, AI 또는 백그라운드 영역에 할당하고 하드웨어 선정(Hardware Selection), 소프트웨어 분할(Software Partitioning), 통합(Integration), 검증(Validation), 시험(Testing), 반복적인 프로파일링(Profiling)을 수행한다. 핵심 원칙은 올바른 기능을 올바른 하드웨어에, 올바른 시간 규모에서 배치하면서 올바른 데이터 흐름과 신뢰성 경계를 유지하는 것이다.
잘 설계된 물리적 AI 시스템은 모든 계산을 AI 컴퓨팅이 수행하도록 하지 않는다. 대신 결정론적 제어(Deterministic Control)는 안정적인 물리적 기반(Stable Physical Foundation)을 제공하고, 엣지 컴퓨팅(Edge Computing)은 상태 추정과 조정을 제공하며, AI 컴퓨팅은 상위 수준의 인식, 예측, 추론, 계획을 제공한다. 이러한 계층적 관계를 통해 시스템은 높은 AI 능력(High AI Capability)과 예측 가능한 제어(Predictable Control), 점진적 성능 저하, 안전성, 에너지 효율(Energy Efficiency), 실시간 물리적 동작(Real-Time Physical Behavior)을 함께 달성할 수 있다. 결과적으로 물리적 AI의 지능은 AI 컴퓨팅만으로 만들어지는 것이 아니라 제어(Control), 컴퓨팅(Computation), 센싱(Sensing), 소프트웨어(Software), 구현 형태(Embodiment)가 서로 조정되어 상호작용하는 과정에서 발생한다.
02.08. Perception and Multimodal Compute
인식(Perception)과 멀티모달 컴퓨팅(Multimodal Computing)은 물리적 AI(Physical AI)의 핵심적인 계산 계층을 형성한다. 로봇은 서로 다른 형태의 관측 정보를 통합하여 물리적 세계에 대한 일관된 이해(Coherent Understanding)로 변환해야 하기 때문이다. 카메라(Camera), LiDAR, 레이더(Radar), IMU, 오디오(Audio), 언어(Language), 지도(Maps), 자기수용감각(Proprioception) 등의 센서는 서로 다르고 상호 보완적인 정보를 제공한다. 따라서 컴퓨팅 구조는 서로 다른 해상도(Resolution), 업데이트 주기(Update Rate), 표현 방식(Representation), 타이밍 특성(Timing Characteristics)을 가진 여러 데이터 스트림을 처리하면서 이들 사이의 관계를 유지해야 한다.
각 센싱 모달리티(Sensing Modality)는 서로 다른 계산 요구사항과 고유한 강점을 가진다. 비전(Vision)은 외형(Appearance), 형상(Shape), 움직임(Motion), 깊이(Depth), 맥락(Context) 정보를 제공하는 반면, LiDAR는 3차원 구조(Three-Dimensional Structure)와 거리를 제공한다. 레이더는 일부 환경 조건에서 더 높은 강건성(Robustness)을 가지면서 거리와 속도 정보를 제공하며, 오디오는 소리 이벤트(Sound Events)와 방향(Direction)을 제공한다. 자기수용감각은 로봇의 내부 상태(Internal State)를 설명하고, 언어는 의미적 지시(Semantic Instructions)나 작업 목표(Task Goals)를 제공할 수 있다. 멀티모달 컴퓨팅은 모든 센서 입력을 동일한 데이터로 취급하는 것이 아니라 이러한 상호 보완적인 특성을 유지해야 한다.
인식 파이프라인(Perception Pipeline)은 일반적으로 원시 신호(Raw Signals)를 점점 더 추상적인 표현(Abstract Representations)으로 변환한다. 센서 데이터는 먼저 보정(Calibration), 동기화(Synchronization), 필터링(Filtering), 정규화(Normalization) 및 기타 전처리 작업을 거친다. 이후 각 모달리티는 유용한 특징(Features)을 추출하는 모달리티별 인코더(Modality-Specific Encoder)를 통해 처리될 수 있다. 따라서 비전, LiDAR, 레이더, 오디오, 언어, 자기수용감각은 정렬(Alignment)과 융합(Fusion)을 수행하기 전에 서로 다른 특징 표현(Feature Representations)을 생성할 수 있다. 이러한 단계적 처리를 통해 시스템은 각 모달리티의 특성을 존중하면서 공통의 계산 표현(Common Computational Representation)을 위한 정보를 준비할 수 있다.
멀티모달 정렬(Multimodal Alignment)은 중요한 계산 요구사항이다. 서로 다른 센서가 동일한 좌표계(Coordinate System), 시간 규모(Time Scale), 의미 구조(Semantic Structure)로 세계를 표현하지 않기 때문이다. 공간적 정렬(Spatial Alignment)은 관측 정보를 공통 기준 좌표계(Common Reference Frame)에 연결하고, 시간적 정렬(Temporal Alignment)은 서로 다른 시점에 수집된 측정값을 연결하며, 의미적 정렬(Semantic Alignment)은 동일한 객체나 사건에 대한 서로 다른 표현 사이의 관계를 설정한다. 동기화, 보정 또는 대응 관계(Correspondence)의 오류는 이후 인식 및 계획 단계로 전파될 수 있다. 따라서 정렬은 단순한 전처리 과정이 아니라 핵심적인 계산 기능으로 다루어야 한다.
융합(Fusion)은 모달리티별 정보를 보다 완전한 공유 표현(Shared Representation)으로 변환한다. 초기 융합(Early Fusion)은 저수준 신호를 결합할 수 있고, 중간 융합(Intermediate Fusion)은 각 모달리티를 먼저 인코딩한 후 특징을 결합할 수 있으며, 후기 융합(Late Fusion)은 서로 독립적으로 생성된 예측이나 의사결정을 결합할 수 있다. 중간 융합은 각 모달리티가 통합되기 전에 특화된 처리를 필요로 하는 경우 특히 유용하다. 어텐션 메커니즘(Attention Mechanisms)과 트랜스포머 기반 구조(Transformer-Based Architectures)는 모달리티 토큰(Modality Tokens) 사이의 관계를 학습하여 어떤 정보가 중요한지 판단하고 서로 다른 증거가 공유 표현에 어떻게 영향을 미쳐야 하는지를 결정할 수 있다.
결과로 생성되는 공유 표현은 단순히 압축된 정보가 아니라 현실에 기반하고 실제 행동에 활용될 수 있어야 한다. 여기에는 객체(Objects), 공간적 관계(Spatial Relationships), 기하학(Geometry), 지도(Maps), 시간적 맥락(Temporal Context), 로봇 상태(Robot State), 불확실성(Uncertainty), 작업 관련 정보(Task-Relevant Information)가 포함될 수 있다. 이러한 표현은 객체 인식(Object Recognition), 위치추정(Localization), 추적(Tracking), 장면 이해(Scene Understanding), 이벤트 탐지(Event Detection), 예측(Prediction), 계획(Planning) 등의 후속 인식 결과를 지원할 수 있다. 따라서 계산의 목적은 단순히 센서 스트림을 결합하는 것이 아니라 의사결정과 물리적 행동을 지원할 수 있는 내부 표현(Internal Representation)을 구축하는 것이다.
멀티모달 인식(Multimodal Perception)은 단일 모달리티 인식(Single-Modality Perception)보다 훨씬 더 높은 계산량을 요구한다. 여러 센서 스트림에 대해 전처리, 인코딩, 정렬, 융합, 시간적 처리(Temporal Processing), 추론을 동시에 수행해야 할 수 있다. 고해상도 이미지, 밀집 포인트 클라우드(Dense Point Clouds), 비디오 시퀀스(Video Sequences), 오디오 신호, 로봇 상태 정보는 대규모 데이터와 중간 표현을 생성할 수 있다. 따라서 GPU와 기타 병렬 가속기(Parallel Accelerators)는 텐서 중심의 인식 및 융합 작업에 특히 유용하며, CPU와 전용 프로세서는 오케스트레이션(Orchestration), 인터페이스, 동기화, 특수 연산을 처리할 수 있다.
메모리 대역폭(Memory Bandwidth)과 데이터 이동(Data Movement)은 모달리티의 수가 증가할수록 더욱 중요해진다. 중간 특징(Intermediate Features)은 인코더, 융합 모듈(Fusion Modules), 메모리 시스템, AI 가속기 사이에서 이동해야 할 수 있으며, 시간적 정보(Temporal Information)는 연속적인 관측 사이에서 유지되어야 할 수 있다. 불필요한 복사(Copying)나 비효율적인 데이터 전송은 충분한 연산 성능이 존재하더라도 지연시간과 대역폭 병목(Bandwidth Bottleneck)을 발생시킬 수 있다. 따라서 인식 컴퓨팅(Perception Compute)은 메모리 용량, 메모리 대역폭, 고속 인터커넥트(High-Speed Interconnects), 버퍼링(Buffering), 데이터 지역성(Data Locality)을 함께 설계하여 계산 자원이 지속적으로 활용되도록 해야 한다.
강건한 멀티모달 컴퓨팅(Robust Multimodal Computing)은 불완전하거나 노이즈가 많거나 서로 충돌하거나 누락된 정보도 처리할 수 있어야 한다. 카메라는 어두운 환경이나 가림(Occlusion)의 영향을 받을 수 있고, LiDAR는 환경 조건에 의해 성능이 저하될 수 있으며, 레이더는 모호한 측정값을 제공할 수 있고, 개별 센서는 일시적으로 고장날 수 있다. 또한 서로 다른 모달리티가 동일한 물리적 사건에 대해 서로 다른 판단을 내릴 수도 있다. 따라서 시스템은 불확실성 추정(Uncertainty Estimation), 신뢰도 인식 융합(Confidence-Aware Fusion), 증거 가중치(Evidence Weighting), 모달리티 신뢰성 평가(Modality Reliability Assessment), 점진적 성능 저하(Graceful Degradation)를 필요로 한다. 하나의 모달리티의 신뢰성이 낮아지면 다른 사용 가능한 모달리티가 충분한 증거를 제공하여 유용한 인식과 안전한 동작을 유지할 수 있어야 한다.
계산 요구사항은 인식 자체를 넘어 확장된다. 멀티모달 표현(Multimodal Representations)은 더 넓은 물리적 AI 루프(Physical AI Loop)의 입력이 되기 때문이다. 통합된 정보(Unified Information)는 메모리(Memory), 어텐션(Attention), 추론(Reasoning), 월드 모델링(World Modeling), 계획(Planning), 내비게이션(Navigation), 조작(Manipulation), 인간-로봇 상호작용(Human-Robot Interaction), 행동 생성(Action Generation)을 지원할 수 있다. 이후 로봇은 행동을 실행하고 그 결과로 발생한 물리적 변화를 관측하며, 새로운 관측 정보를 다시 인식 시스템으로 전달한다. 따라서 멀티모달 컴퓨팅은 인식이 지속적으로 행동에 영향을 미치고 행동이 다음 계산 주기에서 이용 가능한 관측 정보를 변화시키는 폐루프 센서-모터 시스템(Closed Sensorimotor Loop)에 참여한다.
따라서 인식과 멀티모달 컴퓨팅은 하드웨어-소프트웨어 공동 설계(Hardware--Software Co-Design)를 통해 설계해야 한다. 필요한 센서 모달리티, 해상도, 업데이트 주기, 지연시간 목표, AI 모델, 융합 전략(Fusion Strategy), 메모리 용량, 대역폭, 전력 예산(Power Budget), 안전 요구사항(Safety Requirements)이 함께 컴퓨팅 구조를 결정해야 한다. 고주파 전처리(High-Rate Preprocessing)와 결정론적 인터페이스(Deterministic Interfaces)는 센서 가까이에 유지할 수 있으며, GPU 또는 NPU 자원은 계산량이 많은 인코더와 융합 모델을 실행할 수 있다. 최종 아키텍처는 대표적인 멀티모달 작업부하를 사용하여 검증하고 지연시간, 처리량, 메모리 사용량, 전력 소비, 강건성, 센서 성능 저하 상황에서의 동작을 평가해야 한다.
멀티모달 컴퓨팅의 궁극적인 목적은 서로 다른 감각 신호(Heterogeneous Sensory Signals)를 물리적으로 현실에 기반한 이해(Grounded Understanding)로 변환하여 지능적인 물리적 행동(Intelligent Physical Behavior)을 지원하는 것이다. 성공적인 시스템은 단순히 더 많은 정보를 인식하는 것이 아니라 어떤 증거가 중요한지를 판단하고, 시간과 공간에 걸쳐 정보를 정렬하며, 불확실성을 해결하고, 유용한 공유 표현을 구축하며, 그 표현을 예측, 추론, 계획, 제어에 제공해야 한다. 이러한 의미에서 인식 컴퓨팅(Perception Compute)은 물리적 세계와 로봇 내부 지능(Internal Intelligence)을 연결하는 계산적 가교(Computational Bridge)이며, 더욱 풍부한 이해, 더욱 강건한 의사결정, 더욱 안전한 자율 행동(Safer Autonomous Action)을 가능하게 한다.
02.09. World Model and VLA Compute Requirements
월드 모델(World Model)과 비전-언어-행동(VLA, Vision-Language-Action) 컴퓨팅은 인식(Perception), 물리적 이해(Physical Understanding), 언어(Language), 예측(Prediction), 추론(Reasoning), 행동(Action)을 연결해야 하기 때문에 물리적 AI(Physical AI)의 보다 높은 수준의 계산 계층을 구성한다. 월드 모델은 물리적 세계가 어떻게 변화하는지를 예측하고, VLA 모델은 의도(Intent)를 해석하고 행동을 제안한다. 이 둘의 통합은 기존의 인식보다 훨씬 더 많은 계산을 필요로 한다. 시스템이 내부 표현(Internal Representation)을 유지하고, 시간적 맥락(Temporal Context)을 바탕으로 추론하며, 가능한 미래를 평가하고, 실제 로봇 및 로봇의 구현 형태(Embodiment)와 연결된 상태에서 행동을 생성해야 하기 때문이다.
월드 모델은 물리적 상태(Physical State)를 표현하고 그 상태의 변화를 예측하기 위한 계산을 필요로 한다. 내부 표현에는 기하학(Geometry), 객체(Objects), 의미론(Semantics), 움직임(Motion), 점유(Occupancy), 상호작용(Interactions), 행동 가능성(Affordances), 불확실성(Uncertainty), 로봇 자기 상태(Robot Self-State) 등이 포함될 수 있다. 이후 동역학 모델(Dynamics Model)은 객체의 움직임, 접촉 효과(Contact Effects), 점유 변화 및 특정 행동에 따른 기타 결과와 같은 미래 상태를 추정한다. 따라서 컴퓨팅 구조는 월드 모델링을 하나의 정적인 추론 작업으로 취급하는 것이 아니라 표현 학습(Representation Learning)과 시간적 예측(Temporal Prediction)을 모두 지원해야 한다.
VLA 컴퓨팅은 시각적 이해(Visual Understanding), 언어 이해(Language Understanding), 의미론(Semantics), 작업 추론(Task Reasoning), 행동 생성(Action Generation)을 연결함으로써 또 하나의 계산 차원을 추가한다. 모델은 명령(Instructions)을 해석하고, 목표(Goals)를 이해하며, 작업을 분해하고, 제약조건(Constraints)과 맥락(Context)을 고려하고, 스킬(Skills), 정책(Policies) 또는 행동 시퀀스(Action Sequences)를 생성해야 한다. 이러한 기능은 대규모 멀티모달 모델(Large Multimodal Models)과 상당한 메모리 용량(Memory Capacity)을 필요로 할 수 있다. 따라서 컴퓨팅 플랫폼은 인식뿐만 아니라 멀티모달 융합(Multimodal Fusion), 언어 처리(Language Processing), 추론(Reasoning), 행동 예측(Action Prediction)을 위해서도 충분한 가속기 성능(Accelerator Performance)을 제공해야 한다.
가장 중요한 아키텍처적 특징은 월드 모델과 VLA 모델 사이의 공유 관계(Shared Relationship)이다. 두 모델을 반드시 완전히 독립적인 모델로 취급할 필요는 없다. 공유 잠재 월드 공간(Shared Latent World Space)을 사용하면 두 모델 사이에서 물리적 정보가 흐를 수 있으며, 월드 모델은 물리적 상태와 예측된 결과를 제공하고 VLA는 의미적 이해(Semantic Understanding), 목표(Goals), 행동 제안(Action Proposals)을 제공할 수 있다. 이러한 양방향 관계(Bidirectional Relationship)를 통해 언어와 작업 의도가 물리적 현실에 기반을 두도록 할 수 있으며, 동시에 물리적 예측이 VLA 모델이 제안하는 행동을 제약하도록 할 수 있다.
결과적인 계산 작업부하는 자연스럽게 상상-평가-행동(Imagine--Evaluate--Act) 과정으로 구성된다. 목표나 명령은 VLA 모델에 의해 해석되고, VLA는 후보 행동(Candidate Actions)이나 계획(Plans)을 생성한다. 이후 월드 모델은 이러한 행동을 가상으로 전개(Imaginative Rollout)하고 가능한 미래 상태(Future States)를 예측한다. 이러한 미래 상태는 목표 달성 정도(Goal Progress), 성공 확률(Success Probability), 위험 및 충돌(Risks and Collisions), 에너지 또는 비용(Energy or Cost), 불확실성(Uncertainty) 등에 따라 평가될 수 있다. 시스템은 적절한 행동을 선택하여 로봇에서 실행하고, 그 결과 상태를 관측한 다음, 행동을 반복하기 전에 월드 표현(World Representation)을 업데이트한다.
이 과정은 단순한 반응형 추론(Reactive Inference)보다 훨씬 높은 계산 요구사항을 만든다. 실제 행동을 실행하기 전에 여러 가능한 미래를 평가해야 할 수 있기 때문이다. 여러 후보 행동을 여러 미래 시점에 걸쳐 전개한다면 후보 행동의 수, 예측 시간 지평(Prediction Horizon), 월드 상태의 복잡도(World-State Complexity), 모델 크기(Model Size)에 따라 계산량이 증가한다. 따라서 효율적인 물리적 AI 시스템은 잠재 공간 예측(Latent-Space Prediction), 계층적 계획(Hierarchical Planning), 행동 청크화(Action Chunking), 선택적 롤아웃(Selective Rollout), 캐싱(Caching), 모델 최적화(Model Optimization), 적응형 계산(Adaptive Computation)과 같은 메커니즘을 필요로 하며, 이를 통해 상상 계산(Imagination)을 실용적인 수준으로 유지할 수 있다.
시간적 계산(Temporal Computation)은 또 다른 핵심 요구사항이다. 월드 모델은 t, t+1, t+2 및 더 긴 시간 지평에 걸쳐 상태 전이(State Transitions)를 표현해야 하며, VLA 시스템 역시 과거 관측(Historical Observations), 이전 행동(Previous Actions), 작업 진행 상태(Task Progress), 시간적 맥락을 필요로 할 수 있다. 따라서 컴퓨팅 구조는 과도한 데이터 이동 없이 시간적 표현(Temporal Representations)을 유지할 수 있도록 충분한 메모리 용량과 대역폭을 필요로 한다. 장기 예측(Long-Horizon Prediction)과 행동 생성을 수행해야 하는 경우 고속 가속기(High-Speed Accelerators), 효율적인 어텐션 메커니즘(Efficient Attention Mechanisms), 상태 공간 또는 순환 구조(State-Space or Recurrent Structures), 신중하게 설계된 시간적 메모리(Temporal Memory)가 중요해질 수 있다.
메모리 요구사항(Memory Requirements)은 특히 심각해질 수 있다. 월드 모델과 VLA 시스템은 멀티모달 관측(Multimodal Observations), 잠재 상태(Latent States), 모델 파라미터(Model Parameters), 행동 후보(Action Candidates), 예측된 미래(Predicted Futures), 불확실성 표현(Uncertainty Representations)을 동시에 유지해야 할 수 있기 때문이다. 대규모 모델은 상당한 가속기 메모리(Accelerator Memory)를 필요로 할 수 있으며, 롤아웃 기반 추론(Rollout-Based Reasoning)은 유지하거나 다시 생성해야 하는 중간 상태(Intermediate States)의 양을 증가시킬 수 있다. 따라서 컴퓨팅 크기 산정(Compute Sizing)은 순수한 계산 성능과 함께 메모리 용량, 메모리 대역폭, 캐시 동작(Cache Behavior), 데이터 지역성(Data Locality), 가속기 인터커넥트(Accelerator Interconnect)를 함께 고려해야 한다. 높은 TOPS를 제공하는 플랫폼이라도 메모리 또는 데이터 이동이 주요 병목이 되면 충분하지 않을 수 있다.
월드 모델과 VLA 컴퓨팅은 신중한 하드웨어 분할(Hardware Partitioning)도 필요로 한다. 저수준 제어(Low-Level Control)와 안전 기능(Safety)은 결정론적 제어기(Deterministic Controller)에 유지하고, CPU는 동기화(Synchronization), 상태 추정(State Estimation), 미들웨어(Middleware), 오케스트레이션(Orchestration), 로컬 계획(Local Planning)을 관리할 수 있다. GPU, NPU 또는 전용 가속기(Dedicated Accelerators)는 대규모 멀티모달 모델, 월드 모델 추론(World-Model Inference), 예측, 추론, VLA 계산을 실행할 수 있다. 보다 많은 계산이 필요한 학습(Training), 대규모 시뮬레이션(Large-Scale Simulation), 플릿 학습(Fleet Learning), 모델 개발(Model Development)은 온프레미스(On-Premise) 또는 클라우드(Cloud) 인프라에 유지할 수 있다. 이를 통해 실시간 물리 기능은 로컬에 유지하면서 계산량이 많은 지능을 여러 수준의 컴퓨팅 자원에 분산할 수 있는 계층적 구조(Hierarchical Architecture)가 만들어진다.
불확실성(Uncertainty)은 단순히 모델의 출력으로만 취급하지 말고 컴퓨팅 요구사항에 포함해야 한다. 월드 모델은 부분 관측(Partial Observability), 익숙하지 않은 환경(Unfamiliar Environments), 희귀 사건(Rare Events), 제한적인 학습 데이터(Limited Training Data)에서 서로 다른 신뢰 수준의 미래 예측을 생성할 수 있다. 시스템은 예측된 결과뿐만 아니라 그 결과의 불확실성도 비교하여 보수적인 행동(Conservative Actions)을 선택하거나, 추가 정보를 수집하거나, 확신이 충분하지 않은 경우 지원을 요청할 수 있어야 한다. 따라서 불확실성 인식 계산(Uncertainty-Aware Computation)은 예측, 평가, 메모리, 의사결정 로직에 대한 요구사항을 증가시키지만 안전성과 강건성(Robustness)을 크게 향상시킬 수 있다.
교차 구현 형태(Cross-Embodiment) 동작은 또 다른 요구사항을 만든다. 일반적인 월드 모델은 서로 다른 로봇에 공통적으로 적용되는 정보를 표현하면서도, 행동 모델은 각 로봇의 구현 형태별 능력(Embodiment-Specific Capability)을 고려할 수 있어야 한다. 공유 월드 표현은 특정 로봇과 독립적으로 객체, 기하학, 점유, 의미론, 움직임, 상호작용, 불확실성을 표현할 수 있다. 이후 VLA 시스템은 구현 형태를 조건으로 행동 생성을 수행하여, 서로 다른 로봇이 동일한 기본적인 월드 이해(World Understanding)를 사용하면서도 서로 다른 물리적 행동을 생성하도록 할 수 있다. 이러한 구조는 확장 가능한 표현(Scalable Representation), 메모리, 모델 재사용(Model Reuse), 효율적인 적응(Efficient Adaptation)의 중요성을 높인다.
컴퓨팅 구조는 궁극적으로 개별 모델의 벤치마크가 아니라 폐루프 물리 시스템(Closed Physical Loop)으로 평가해야 한다. 중요한 측정 항목에는 모델 정확도(Model Accuracy), 예측 품질(Prediction Quality), 작업 성공률(Task Success), 추론 처리량(Inference Throughput), 종단간 지연시간(End-to-End Latency), 메모리 사용량(Memory Utilization), 대역폭(Bandwidth), 전력 소비(Power Consumption), 열 특성(Thermal Behavior), 불확실성 보정(Uncertainty Calibration), 복구 능력(Recovery Capability), 안전 위반(Safety Violations) 등이 포함된다. 월드 모델과 VLA 시스템에서는 단순한 추론 속도보다 유용한 미래를 상상하고 효과적인 행동을 선택할 수 있는 능력이 더 중요하다. 따라서 하드웨어와 소프트웨어는 실제 물리적 작업과 배포 환경(Deployment Conditions)을 중심으로 공동 최적화해야 한다.
월드 모델과 VLA 컴퓨팅 요구사항은 인식 중심 AI(Perception-Oriented AI)에서 예측 및 행동 중심의 물리적 지능(Predictive and Action-Oriented Physical Intelligence)으로 전환하는 것을 의미한다. 시스템은 명령과 물리적 세계를 이해하고, 내부 상태를 유지하며, 세계가 어떻게 변화할 수 있는지를 상상하고, 목표와 제약조건을 바탕으로 추론하며, 행동을 선택하고, 이를 안전하게 실행하고, 그 결과로 얻은 경험에서 학습해야 한다. 따라서 필요한 컴퓨팅 구조는 GPU 또는 NPU 가속, 대용량·고속 메모리, 효율적인 인터커넥트, 실시간 엣지 컴퓨팅(Real-Time Edge Computing), 확장 가능한 온프레미스 또는 클라우드 자원을 통합해야 한다. 목표는 단순히 더 큰 모델을 사용하는 것이 아니라 예측적 상상(Predictive Imagination), 현실에 기반한 추론(Grounded Reasoning), 장기 계획(Long-Horizon Planning), 신뢰성 있는 물리적 행동(Reliable Physical Action)을 지원할 수 있는 충분한 계산 능력을 확보하는 것이다.
02.10. Memory Bandwidth and Data Movement
메모리 대역폭(Memory Bandwidth)과 데이터 이동(Data Movement)은 물리적 AI(Physical AI)의 핵심적인 제약요소이다. 프로세서가 충분한 속도로 데이터를 공급받고 처리하며 결과를 반환할 수 있을 때에만 계산 성능(Computational Performance)이 실제 가치로 이어지기 때문이다. 현대 로봇은 카메라(Camera), LiDAR, 레이더(Radar), IMU, 엔코더(Encoders) 및 기타 센서로부터 지속적으로 정보를 생성하며, AI 모델은 동시에 대규모 중간 표현(Intermediate Representations)과 시간적 상태(Temporal States)를 생성한다. 따라서 컴퓨팅 구조는 메모리 용량(Memory Capacity), 대역폭(Bandwidth), 지연시간(Latency), 캐싱(Caching), 버퍼링(Buffering), 데이터 지역성(Data Locality)을 서로 독립적인 요소가 아니라 함께 고려해야 한다.
물리적 AI 작업부하(Physical AI Workloads)는 센서에서 인식(Perception), 융합(Fusion), 월드 모델링(World Modeling), 계획(Planning), 제어(Control), 액추에이션(Actuation)으로 이어지는 지속적인 데이터 흐름을 만든다. 센서 스트림은 CSI, USB, PCIe, Ethernet 또는 기타 인터페이스를 통해 입력된 후 저장되고, 동기화되고, 변환되며, CPU, GPU, NPU 또는 전용 가속기(Dedicated Accelerator)에 전달될 수 있다. 모든 데이터 전송은 잠재적인 지연시간, 대역폭 소비, 동기화 오버헤드(Synchronization Overhead)를 발생시킨다. 따라서 아키텍처는 불필요한 복사나 반복적인 변환 없이 정보가 적절한 컴퓨팅 요소에 전달되도록 효율적인 데이터 경로(Data Path)를 구성해야 한다.
메모리 용량은 AI 시스템이 얼마나 많은 정보와 중간 상태를 계속 유지할 수 있는지를 결정한다. 대규모 인식 모델(Large Perception Models), 멀티모달 인코더(Multimodal Encoders), BEV 표현(BEV Representations), 특징 맵(Feature Maps), 월드 모델 상태(World-Model States), 시간적 이력(Temporal Histories), VLA 모델은 모두 상당한 메모리를 필요로 할 수 있다. 용량이 부족하면 데이터가 메모리 계층(Memory Levels) 사이에서 반복적으로 전송되거나 다시 생성되어야 하므로 지연시간이 증가하고 효율성이 감소한다. 따라서 메모리 용량은 모델 파라미터, 센서 해상도, 시간적 맥락(Temporal Context), 배치 또는 스트림 요구사항, 예상되는 미래 작업부하 증가를 기준으로 산정해야 한다.
메모리 대역폭은 프로세서와 메모리 사이에서 데이터가 얼마나 빠르게 이동할 수 있는지를 결정한다. GPU나 NPU가 매우 높은 계산 처리량(Computational Throughput)을 제공하더라도 모델 파라미터, 특징 맵 또는 센서 데이터를 충분히 빠르게 공급받지 못하면 그 능력이 충분히 활용되지 않을 수 있다. 이 경우 계산 성능을 높여도 실제 성능 향상이 거의 없는 메모리 제한 작업부하(Memory-Bound Workload)가 발생한다. 따라서 물리적 AI 플랫폼은 캐시(Cache), 시스템 메모리(System Memory), 가속기 메모리(Accelerator Memory), 고속 인터커넥트(High-Speed Interconnect)를 포함하는 전체 메모리 계층에서 충분한 대역폭을 확보해야 한다.
메모리 계층(Memory Hierarchy)은 서로 다른 데이터가 서로 다른 접근 패턴(Access Patterns)과 타이밍 요구사항을 가지기 때문에 특히 중요하다. 자주 재사용되는 데이터는 캐시의 이점을 얻을 수 있으며, 대규모 모델 파라미터와 특징 표현은 대용량 시스템 메모리 또는 가속기 메모리를 필요로 할 수 있다. 공유 버퍼(Shared Buffers)는 프로세서 사이의 불필요한 데이터 중복을 줄일 수 있으며, 신중하게 설계된 소유권(Ownership)과 동기화 메커니즘은 일관되지 않은 상태(Inconsistent State)를 방지한다. 따라서 효과적인 메모리 관리는 용량, 대역폭, 지역성, 캐싱, 버퍼링, 일관성(Coherency)을 결합하여 자주 접근되는 정보가 이를 필요로 하는 프로세서 가까이에 유지되도록 해야 한다.
데이터 이동 자체가 계산보다 더 큰 제약이 될 수 있다. 센서 정보가 CPU 메모리, GPU 메모리, NPU 메모리 및 기타 버퍼 사이에서 반복적으로 복사되면 각 전송은 대역폭을 소비하고 동기화 지연을 발생시킬 수 있다. 하드웨어와 소프트웨어 아키텍처가 지원한다면 제로 카피(Zero-Copy) 또는 공유 메모리(Shared Memory) 방식을 사용하여 불필요한 전송을 줄일 수 있다. 직접 메모리 접근(DMA, Direct Memory Access), 효율적인 버퍼링, 비동기 전송(Asynchronous Transfer), 파이프라인 실행(Pipeline Execution)을 통해 데이터 이동과 계산을 중첩시킬 수도 있다. 목표는 가속기에 유용한 데이터가 지속적으로 공급되도록 하면서 통신 오버헤드를 최소화하는 것이다.
고속 인터커넥트(High-Speed Interconnect)는 컴퓨팅 요소와 메모리 자원을 연결하는 물리적 경로를 제공한다. PCIe, NVLink, CXL, Ethernet, CAN 및 기타 시스템 링크는 아키텍처에 따라 서로 다른 역할을 수행할 수 있다. 고대역폭 링크는 대규모 AI 텐서와 가속기 간 통신에 중요하며, 결정론적 링크(Deterministic Link)는 제어 및 안전에 중요한 경로에 중요하다. 따라서 인터커넥트의 선택은 최대 전송률(Peak Transfer Rate)만을 기준으로 해서는 안 되며 대역폭, 지연시간, 지터(Jitter), 토폴로지(Topology), 신뢰성, 동기화, 작업부하 특성을 함께 고려해야 한다.
실시간 물리적 AI(Real-Time Physical AI)는 메모리와 데이터 이동에 추가적인 제약을 부여한다. 인식, 추정(Estimation), 계획, 제어는 서로 다른 시간 규모(Timing Scale)에서 동작하며 과도한 버퍼링이나 메모리 경합(Memory Contention)은 예측하기 어려운 지연시간과 지터를 발생시킬 수 있다. 고주파 제어 경로(High-Frequency Control Path)는 짧고 결정론적으로 유지해야 하는 반면, 계산량이 많은 AI 경로는 더 큰 버퍼와 유연한 스케줄링(Flexible Scheduling)을 사용할 수 있다. 아키텍처는 대규모 AI 데이터 전송이 시간에 민감한 기능을 차단하지 않도록 해야 하며, 안전 및 제어 작업에 충분한 대역폭과 메모리 접근 우선순위(Memory Access Priority)를 보장해야 한다.
메모리와 데이터 이동은 전력(Power) 및 열 특성(Thermal Behavior)에도 영향을 준다. 메모리와 프로세서 사이에서 데이터를 이동하는 데에도 에너지가 소비되며, 비효율적인 전송은 계산 사용률이 높지 않더라도 시스템 전력을 증가시킬 수 있다. 반복적인 데이터 이동은 메모리 컨트롤러(Memory Controller), 인터커넥트, 가속기의 작업량을 증가시키고 열 발생에도 기여한다. 데이터 지역성, 모델 압축(Model Compression), 양자화(Quantization), 효율적인 배칭(Efficient Batching), 스트리밍(Streaming), 작업부하 배치(Workload Placement)를 통해 불필요한 데이터 이동을 줄일 수 있다. 따라서 메모리 최적화는 성능뿐만 아니라 배터리 작동시간(Battery Runtime), 열 안정성(Thermal Stability), 지속적인 AI 운용에도 기여한다.
물리적 AI가 기존의 인식에서 멀티모달 월드 모델(Multimodal World Model)과 VLA 시스템으로 발전하면서 요구사항은 더욱 증가한다. 여러 센서 스트림은 대규모 특징 표현을 생성할 수 있으며, 월드 모델은 시간적 상태와 예측된 미래(Predicted Futures)를 유지한다. VLA 시스템은 추가적으로 대규모 언어 및 멀티모달 모델 파라미터, 행동 후보(Action Candidates), 맥락 정보를 필요로 할 수 있다. 이러한 작업부하는 메모리 용량과 대역폭 요구사항을 모두 증가시킨다. 따라서 컴퓨팅 플랫폼의 크기를 결정할 때는 TOPS나 FLOPS만을 기준으로 하여 하드웨어를 선택하지 말고 가속기 성능과 함께 메모리 동작을 평가해야 한다.
메모리 아키텍처는 로봇, 엣지 서버(Edge Server), 온프레미스(On-Premise) 인프라, 클라우드(Cloud)에 걸친 계층적 배포(Hierarchical Deployment)도 지원해야 한다. 즉각적인 자율 운용에 필요한 실시간 데이터는 로봇 가까이에 유지해야 하며, 대규모 데이터셋, 모델 체크포인트(Model Checkpoints), 학습 정보(Training Information), 과거 플릿 데이터(Historical Fleet Data)는 더 큰 용량의 인프라에 저장할 수 있다. 데이터 업로드 및 모델 다운로드 경로는 사용 가능한 연결성과 대역폭을 기준으로 설계해야 한다. 연결성이 간헐적인 경우에도 로봇은 지속적인 외부 데이터 이동에 의존하지 않고 자율 운용을 계속할 수 있도록 충분한 로컬 메모리와 컴퓨팅 능력을 유지해야 한다.
최종적인 목표는 계산(Computation)과 데이터 이동(Data Movement)이 하나의 통합 시스템으로 동작하도록 만드는 것이다. 하드웨어 선정, 메모리 계층, 가속기 구조, 인터커넥트, 소프트웨어 스케줄링, 모델 설계, 데이터 배치(Data Layout), 작업부하 분할(Workload Partitioning)을 함께 최적화해야 한다. 대표적인 작업부하를 프로파일링하여 주요 병목이 계산(Compute), 메모리 용량, 대역폭, 지연시간, 동기화 또는 통신 중 어디에 있는지를 확인해야 한다. 이후 데이터 배치, 버퍼링, 스케줄링, 모델 정밀도(Model Precision), 하드웨어 할당을 반복적으로 개선할 수 있다. 물리적 AI에서는 올바른 데이터를 올바른 컴퓨팅 엔진 가까이에 올바른 시간에 배치하는 것이 순수한 계산 능력을 높이는 것만큼 중요하다.
02.11. Compute Redundancy and Fallback
계산 중복성(Compute Redundancy)과 대체 운용(Fallback)은 물리적 AI(Physical AI)의 핵심 요소이다. 로봇은 기본 계산 경로(Primary Computing Path)가 항상 사용 가능하다고 가정할 수 없기 때문이다. AI 작업부하(AI Workload)는 소프트웨어 오류(Software Fault), 프로세서 고장(Processor Failure), 메모리 오류(Memory Error), 통신 손실(Communication Loss), 열적 한계(Thermal Limit), 과부하(Overload), 예상하지 못한 센서 성능 저하(Sensor Degradation) 등을 경험할 수 있다. 따라서 컴퓨팅 아키텍처는 비정상 상태를 감지하고, 고장을 격리하며, 필수 기능을 유지하고, 대체 운용 모드(Alternative Operating Mode)로 전환할 수 있는 메커니즘을 포함해야 한다. 목적은 단순히 하드웨어를 이중화하는 것이 아니라, 선호되는 계산 경로를 사용할 수 없게 되었을 때에도 로봇이 안전하고 유용하게 동작하도록 유지하는 것이다.
중복성(Redundancy)은 실제로 지속적인 가용성이 필요한 기능을 식별하는 것에서 시작한다. 모든 AI 작업부하가 중복 구현을 필요로 하는 것은 아니다. 안전에 중요한 제어(Safety-Critical Control), 필수 상태 추정(Essential State Estimation), 비상 동작(Emergency Behavior), 로봇을 안전 상태(Safe State)로 전환하는 데 필요한 기능은 중요도가 낮은 인식이나 고수준 추론보다 더 강력한 보호가 필요하다. 따라서 물리적 AI 아키텍처는 안전성과 운용상의 중요도에 따라 작업부하를 분류하고, 각 등급에 적절한 중복성, 모니터링(Monitoring), 대체 운용 메커니즘을 할당해야 한다.
기본 계산 경로(Primary Compute Path)는 일반적으로 가장 높은 성능을 제공하며 선호되는 AI 모델 또는 하드웨어 가속기(Hardware Accelerator)를 실행한다. 모니터링 계층(Monitoring Layer)은 프로세서 상태, 모델 실행, 메모리 동작, 타이밍, 통신, 열 상태(Thermal Condition), 시스템 출력(System Output)을 지속적으로 평가한다. 기본 경로가 정상 상태를 유지하면 정상 운용이 계속된다. 비정상 상태가 감지되면 모니터링 계층은 시스템이 정상 운용을 계속할지, 작업부하를 줄일지, 계산을 전환할지, 성능 저하 모드(Degraded Mode)로 진입할지, 또는 안전 상태로 전환할지를 결정하는 데 필요한 정보를 제공한다.
대체 계산(Fallback Computing)은 기본 AI 경로가 요구되는 조건을 만족할 수 없을 때 대안을 제공한다. 대체 경로는 더 단순한 모델, 다른 프로세서, 독립적인 제어기(Independent Controller), 대체 알고리즘(Alternative Algorithm), 또는 축소된 기능 집합(Reduced Set of Capabilities)을 사용할 수 있다. 예를 들어 계산 자원이 과부하되면 복잡한 인식 또는 추론 모델을 더 단순하면서 검증된 모델(Validated Model)로 대체할 수 있다. 중요한 원칙은 대체 동작을 고장 발생 이후에 즉흥적으로 결정하는 것이 아니라 사전에 설계해야 한다는 것이다. 또한 배포 전에 대체 경로의 성능과 한계를 충분히 이해해야 한다.
계산 중복성은 여러 아키텍처 수준에서 존재할 수 있다. 시스템 전체의 컴퓨팅 플랫폼을 이중화할 수도 있고, 독립적인 안전 제어기(Independent Safety Controller)를 제공할 수도 있으며, CPU와 NPU 경로와 같이 서로 다른 프로세서에 대체 경로를 구성할 수도 있고, 특정 기능만 선택적으로 중복할 수도 있다. 중복성은 소프트웨어를 통해서도 구현할 수 있으며, 서로 독립적인 알고리즘이 대체 추정값이나 의사결정을 제공하도록 할 수 있다. 적절한 중복성 수준은 고장 발생 시 영향, 요구되는 가용성(Availability), 비용, 전력, 물리적 공간, 시스템 복잡성에 따라 달라진다. 따라서 중복성은 단순히 프로세서를 추가하는 것이 아니라 시스템 수준의 절충(System-Level Trade-Off)으로 다루어야 한다.
상태 모니터링(Health Monitoring)은 중복성을 실제 운용에서 유용하게 만드는 메커니즘이다. 시스템은 컴퓨팅 사용률(Compute Utilization), 메모리 오류(Memory Errors), 통신 상태(Communication Status), 타이밍 동작(Timing Behavior), 열 상태, 가속기 가용성(Accelerator Availability), 핵심 소프트웨어 상태를 관찰해야 한다. 또한 출력이 예상 범위(Expected Range)를 유지하는지, AI 시스템이 비정상적인 동작을 나타내는지도 모니터링할 수 있다. 모니터링 기능은 기본 AI 작업부하의 고장이 동일한 고장을 감지하는 시스템의 능력을 방해하지 않도록 충분히 독립적으로 동작해야 한다. 이를 통해 고장 감지(Fault Detection)와 대체 운용으로의 통제된 전환(Controlled Transition)을 위한 기반을 마련할 수 있다.
고장 격리(Fault Containment)는 중복성과 밀접하게 연결되어 있다. 고장은 시스템에서 가능한 한 작은 영역 안에 머물러야 하며 안전에 중요한 기능으로 전파되어서는 안 된다. 제어 경로(Control Paths), AI 작업부하, 통신 채널(Communication Channels), 전력 또는 열 영역(Power or Thermal Domains)을 분리하여 과부하된 GPU나 고장 난 AI 프로세스가 저수준 제어기를 자동으로 비활성화하지 않도록 할 수 있다. 독립적인 안전 제어기와 결정론적 제어 경로(Deterministic Control Path)는 기본 AI 계산이 복잡하거나 가변적이거나 모든 운용 조건에서 보장하기 어려운 경우 특히 중요하다.
점진적 성능 저하(Graceful Degradation)는 로봇이 안전한 운용을 즉시 상실하지 않고 기능을 축소할 수 있도록 한다. 계산 과부하 상황에서는 시스템이 인식 해상도를 낮추거나, 모델 실행 주파수를 감소시키거나, 중요하지 않은 추론을 중단하거나, 예측 시간 지평(Prediction Horizon)을 단축하거나, 선택된 작업부하를 다른 계산 자원으로 이동할 수 있다. 열적 제약이 발생하면 심각한 스로틀링(Throttling)이 발생하기 전에 계산 강도를 낮출 수 있다. 통신이 손실되면 외부 시스템에 의존하는 기능을 중단하면서도 로컬 자율 운용(Local Autonomy)을 계속할 수 있다. 따라서 시스템은 사용 가능한 자원에 따라 지능 수준(Level of Intelligence)을 변경하면서 필수적인 제어 및 안전 기능을 유지한다.
대체 운용은 성능이 저하된 센서와 환경 조건도 고려해야 한다. 계산 신뢰성(Compute Reliability)은 인식 신뢰성(Perception Reliability)과 완전히 분리될 수 없기 때문이다. 카메라는 어둠, 가림(Occlusion), 날씨의 영향으로 신뢰성이 낮아질 수 있는 반면 LiDAR, 레이더 또는 다른 센서는 계속 사용할 수 있다. 하나의 기본 인식 파이프라인이 특정 하나의 모달리티에 의존한다면, 임무 및 안전 요구사항이 허용하는 경우 사용 가능한 다른 증거에 기반한 대체 경로를 제공해야 한다. 이는 계산 중복성을 센서 중복성(Sensor Redundancy), 멀티모달 융합(Multimodal Fusion), 불확실성 추정(Uncertainty Estimation), 성능 저하 모드 인식(Degraded-Mode Perception)과 연결한다.
타이밍(Timing)은 대체 운용에서 또 다른 핵심적인 요소이다. 결국 정확한 답을 생성하더라도 필요한 제어 또는 계획 시간 내에 응답할 수 없는 백업 시스템은 적합하지 않을 수 있다. 따라서 대체 경로에도 자체적인 지연시간 예산(Latency Budget), 실행 보장(Execution Guarantee), 통신 경로가 필요하다. 아키텍처는 하드 실시간 안전 기능(Hard Real-Time Safety Functions)과 결정성이 낮은 AI 작업부하(Less Deterministic AI Workloads)를 구분해야 하며, 고장 복구(Failure Recovery)가 허용할 수 없는 지연이나 타이밍 지터(Timing Jitter)를 발생시키지 않도록 해야 한다. 점진적 성능 저하는 성능이 저하된 모드에서도 물리적으로 제어 가능하고 예측 가능한 경우에만 성공적인 것으로 볼 수 있다.
전력(Power)과 열(Thermal) 제약도 중복성 설계에 영향을 주어야 한다. 고성능 GPU 또는 기타 가속기를 이중화하면 전력 소비, 냉각 요구사항(Cooling Requirements), 크기, 중량, 비용이 크게 증가할 수 있다. 따라서 백업 경로(Backup Path)가 항상 기본 경로와 동일한 계산 능력을 가질 필요는 없다. 더 작고 효율적인 프로세서만으로도 필수적인 인식, 상태 추정, 제어 또는 안전 정지(Safe-Stop) 동작을 유지하기에 충분할 수 있다. 설계 목표는 최대 성능을 완전히 이중화하는 데 필요한 지속적인 비용을 부담하지 않으면서 필요한 성능 저하 운용 모드(Degraded Operating Modes)를 지원할 수 있는 충분한 백업 능력을 제공하는 것이다.
계산 중복성과 대체 운용은 궁극적으로 독립적인 하드웨어 기능이 아니라 전체 물리적 AI 시스템의 일부로 검증해야 한다. 시험에서는 프로세서 과부하, 메모리 고장, 통신 손실, 열적 제약, 센서 성능 저하, 소프트웨어 고장, 예상하지 못한 작업부하 증가 등을 의도적으로 발생시켜야 한다. 시스템은 이러한 고장을 감지하고, 격리하며, 백업 또는 성능 저하 운용으로 적절하게 전환하는 것을 보여주어야 한다. 평가에는 복구 시간(Recovery Time), 남아 있는 기능(Remaining Capability), 지연시간, 안전 동작(Safety Behavior), 전력 소비, 복구가 불가능한 경우 로봇이 의도된 안전 상태에 도달하는지가 포함되어야 한다.
결과적인 아키텍처는 단순한 기본 경로 대 백업 경로(Primary-versus-Backup)의 구조라기보다 계산 능력의 계층(Hierarchy of Computational Capability)으로 볼 수 있다. 정상 운용에서는 가장 높은 성능의 경로를 사용하고, 상태와 성능을 지속적으로 모니터링한다. 자원이 제한되면 성능 저하 경로(Degraded Path)가 필수적인 지능을 유지하며, 독립적인 제어 또는 안전 경로(Independent Control or Safety Path)는 가장 기본적인 물리적 동작을 보장한다. 이러한 계층 구조를 통해 물리적 AI 시스템은 부분적인 고장 상황에서도 유용한 상태를 유지하면서 계산상의 고장이 직접적인 물리적 위험으로 전환되는 것을 방지할 수 있다. 따라서 중복성과 대체 운용은 하드웨어-소프트웨어 공동 설계(Hardware--Software Co-Design)의 필수적인 요소가 되며, 안전하고 신뢰성 높고 유지보수 가능하며 확장 가능한 로봇 지능(Robot Intelligence)을 지원한다.
02.12. Compute Platform Sizing [w/Code]
물리적 AI(Physical AI)의 컴퓨팅 플랫폼 크기 산정(Compute Platform Sizing)은 프로세서 사양에서 시작하는 것이 아니라 임무(Mission)에서 시작한다. 필요한 플랫폼은 로봇의 작업(Task), 운용 환경(Operating Environment), 구현 형태(Embodiment), 센서 구성(Sensor Configuration), 지연시간 목표(Latency Targets), 전력 예산(Power Budget), 안전 요구사항(Safety Requirements), 예상 자율성 수준(Autonomy Level)을 바탕으로 결정해야 한다. 따라서 창고용 AMR, 실외 자율주행 차량, 4족 보행 로봇, 고성능 연구 플랫폼은 유사한 AI 모델을 사용하더라도 매우 다른 컴퓨팅 아키텍처를 필요로 할 수 있다. 플랫폼 크기 산정에서는 하드웨어를 선택하기 전에 무엇을 계산해야 하는지, 언제 계산해야 하는지, 어디에서 계산해야 하는지를 먼저 결정해야 한다.
첫 번째 단계는 물리적 AI 시스템에서 발생하는 전체 작업부하(Workload)를 특성화하는 것이다. 인식(Perception), 위치추정(Localization), 센서 융합(Sensor Fusion), 계획(Planning), 제어(Control), 월드 모델링(World Modeling), VLA 추론(VLA Inference), 통신(Communication), 진단(Diagnostics), 시스템 관리(System Management)를 함께 고려해야 한다. 각각의 작업부하는 처리량(Throughput), 지연시간(Latency), 결정성(Determinism), 메모리(Memory), 대역폭(Bandwidth), 계산 유연성(Computational Flexibility)에 대해 서로 다른 요구사항을 가진다. 고주파 제어는 결정론적인 MCU를 필요로 할 수 있는 반면, 인식은 GPU 또는 NPU 가속을 필요로 할 수 있다. 월드 모델과 VLA 작업부하는 특히 시간적 맥락(Temporal Context)과 예측적 추론(Predictive Reasoning)이 포함될 경우 훨씬 더 큰 계산 및 메모리 요구사항을 만들 수 있다.
작업부하 산정(Workload Estimation)은 평균 계산량(Average Computational Demand)과 최대 계산량(Peak Computational Demand)을 모두 고려해야 한다. 로봇은 안정적인 환경에서는 상대적으로 낮은 인식 복잡도로 동작할 수 있지만, 장애물, 동적 객체(Dynamic Agents), 비정상적인 사건이 발생하면 갑자기 훨씬 더 많은 계산을 필요로 할 수 있다. 마찬가지로 카메라, LiDAR, 레이더, 위치추정, 매핑(Mapping), 계획, AI 추론이 동시에 실행되면 정상 작업부하를 일시적으로 초과하는 계산 피크가 발생할 수 있다. 따라서 플랫폼 크기는 낙관적인 평균 작업부하에 맞추는 것이 아니라 적절한 성능 여유(Performance Margin)를 포함하여 결정해야 한다. 필요한 여유는 임무 중요도(Mission Criticality), 환경 변동성(Environmental Variability), 향후 모델 증가(Model Growth), 일시적인 계산 과부하의 결과를 고려하여 결정해야 한다.
메모리 크기 산정(Memory Sizing)은 계산 크기 산정과 함께 수행해야 한다. 모델 파라미터(Model Parameters), 중간 특징 맵(Intermediate Feature Maps), 센서 버퍼(Sensor Buffers), BEV 표현(BEV Representations), 시간적 이력(Temporal Histories), 월드 모델 상태(World-Model States), VLA 컨텍스트(VLA Context), 운영체제 서비스(Operating-System Services)는 모두 메모리를 소비한다. 메모리가 부족하면 추가적인 데이터 이동(Data Movement)이 발생하거나 필요한 규모로 모델을 실행할 수 없게 된다. 메모리 대역폭(Memory Bandwidth) 역시 중요하다. 데이터가 충분히 빠르게 공급되지 않으면 가속기가 충분히 활용되지 않을 수 있기 때문이다. 따라서 메모리 용량, 대역폭, 캐시 동작(Cache Behavior), 가속기 메모리(Accelerator Memory), 시스템 메모리(System Memory), 인터커넥트 대역폭(Interconnect Bandwidth)을 하나의 메모리 하위 시스템(Memory Subsystem)으로 평가해야 한다.
이후 작업부하는 이기종 컴퓨팅 아키텍처(Heterogeneous Computing Architecture)에 분할하여 배치해야 한다. MCU 자원은 결정론적인 저수준 제어(Low-Level Control), 안전 기능(Safety Functions), 실시간 입출력(Real-Time I/O), 워치독 동작(Watchdog Operations)에 적합하다. CPU는 시스템 관리, 로직(Logic), 오케스트레이션(Orchestration), 통신, 미들웨어(Middleware), 범용 계산(General-Purpose Computation)을 제공한다. GPU는 병렬 추론(Parallel Inference), 인식, 멀티모달 처리(Multimodal Processing), 계산량이 많은 AI 작업부하에 효과적이며, NPU와 전용 가속기(Dedicated Accelerators)는 지원되는 모델에 대해 효율적인 추론을 제공할 수 있다. 목적은 모든 프로세서의 사양을 최대화하는 것이 아니라 각 작업부하를 가장 적합한 계산 자원에 배치하는 것이다.
전체 플랫폼을 크기 산정할 때에는 계층적 컴퓨팅(Hierarchical Compute)도 고려해야 한다. 실시간 인식, 계획, 제어, 안전 기능은 일반적으로 로봇 또는 엣지 시스템(Edge System)에 유지해야 한다. 온프레미스(On-Premise) 인프라는 플릿 관리(Fleet Management), 데이터 처리(Data Processing), 모델 서빙(Model Serving), 시뮬레이션(Simulation), 대규모 추론(Large-Scale Inference)을 제공할 수 있으며, 클라우드(Cloud) 인프라는 학습(Training), 대규모 시뮬레이션, 모델 개발(Model Development), 플릿 학습(Fleet Learning)을 지원할 수 있다. 따라서 크기 산정 과정에서는 어떤 작업부하가 로컬에서 실행되어야 하고 어떤 작업부하를 상위 수준의 인프라로 이전할 수 있는지를 결정해야 한다. 오프라인 자율성(Offline Autonomy)이 필요한 경우 외부 연결이 불가능하더라도 충분한 로컬 자원을 확보해야 한다.
지연시간과 결정성은 또 다른 주요 크기 산정 제약조건이다. 전체 시스템 지연시간(Total System Latency)은 단순히 신경망 추론 시간(Neural-Network Inference Time)만을 의미하지 않는다. 센서 취득(Sensor Acquisition), 동기화(Synchronization), 전처리(Preprocessing), 데이터 전송(Data Transfer), 추론, 후처리(Post-Processing), 계획, 통신, 액추에이터 응답(Actuator Response)이 모두 포함된다. 아키텍처는 종단간 지연시간 예산(End-to-End Latency Budget)을 만족하면서 지터(Jitter)를 제어하고 제어 루프에 적절한 타이밍을 유지해야 한다. 이론적인 처리량이 매우 높은 플랫폼이라도 통신, 메모리 접근, 스케줄링(Scheduling), 추론 시간의 변동성으로 인해 허용할 수 없는 타이밍 특성이 발생한다면 적합하지 않을 수 있다.
전력과 열 제약(Power and Thermal Constraints)은 온보드 컴퓨팅 플랫폼(Onboard Compute Platform)의 크기에 물리적인 한계를 설정한다. 컴퓨팅 시스템은 센서, 통신 장비, 액추에이터, 냉각 시스템(Cooling System), 기타 로봇 하위 시스템과 에너지를 공유해야 한다. GPU 또는 가속기 성능을 높이면 AI 성능이 향상될 수 있지만 동시에 전력 소비와 열 발생도 증가한다. 따라서 플랫폼 크기 산정에서는 계산 전력(Compute Power), 전체 시스템 전력(Total System Power), 열적 한계(Thermal Limits), 냉각 능력(Cooling Capability), 배터리 용량(Battery Capacity), 예상 작동시간(Runtime)을 함께 평가해야 한다. 동적 전력 관리(Dynamic Power Management)와 에너지 인식 추론(Energy-Aware Inference)을 통해 현재의 임무와 작업부하에 따라 계산 자원을 조절할 수 있다.
물리적 크기(Physical Size), 중량(Weight), 비용(Cost), 신뢰성(Reliability), 유지보수성(Maintainability)도 크기 산정 결정에 포함해야 한다. 강력한 컴퓨팅 플랫폼은 더 큰 냉각 시스템, 추가적인 전력 변환(Power Conversion), 더 강한 기계적 패키징(Mechanical Packaging), 더 비싼 부품을 필요로 할 수 있다. 이동 로봇에서는 추가 중량이 에너지 소비와 차량 동역학(Vehicle Dynamics)에 영향을 줄 수 있기 때문에 컴퓨팅 하드웨어 자체를 넘어서는 간접적인 비용도 발생한다. 따라서 적절한 설계 여유(Engineering Margin)를 확보하면서 요구되는 성능, 안전성, 열 안정성, 신뢰성, 향후 확장 요구사항을 만족할 수 있는 가장 작고 효율적인 아키텍처를 선택하는 것이 바람직하다.
계산 중복성(Compute Redundancy)과 대체 운용(Fallback) 요구사항은 필요한 플랫폼 용량을 추가로 증가시킬 수 있다. 안전에 중요한 기능은 독립적인 제어 경로(Independent Control Path)를 필요로 할 수 있으며, 중요한 AI 기능은 성능 저하 운용(Degraded Operation)을 위해 대체 모델이나 프로세서를 필요로 할 수 있다. 기본 GPU 플랫폼과 동일한 성능의 GPU를 반드시 중복할 필요는 없다. 더 작은 CPU, NPU, MCU 또는 검증된 대체 모델(Validated Fallback Model)만으로도 축소된 운용에 필요한 충분한 능력을 제공할 수 있다. 따라서 플랫폼 크기 산정은 이상적인 정상 운용 조건만을 기준으로 하는 것이 아니라 정상 운용, 성능 저하 운용, 고장 복구(Failure Recovery), 안전 상태 동작(Safe-State Behavior)을 모두 고려해야 한다.
크기 산정 과정은 반복적인 공동 설계(Co-Design) 워크플로로 구현해야 한다. 먼저 임무와 시스템 요구사항을 정의하고, 계산량, 메모리, 대역폭, 저장장치를 포함하는 작업부하를 산정한다. 이후 작업부하를 MCU, CPU, GPU, NPU 및 엣지-온프레미스-클라우드(Edge--On-Premise--Cloud) 계층에 배분한다. 후보 하드웨어 플랫폼은 성능, 전력, 열, 비용, 신뢰성 요구사항을 기준으로 선정한다. 구현 이후에는 대표적인 작업부하를 사용하여 전체 시스템을 프로파일링(Profiling)하고 지연시간, 처리량, 메모리 사용량, 전력, 열 특성(Thermal Behavior), 통신 오버헤드(Communication Overhead)를 측정한다. 그 결과를 이용하여 아키텍처를 수정하고 이러한 과정을 반복한다.
이론적인 하드웨어 사양만으로는 전체 물리적 AI 시스템의 성능을 정확하게 예측하기 어렵기 때문에 프로파일링이 필수적이다. 실제 작업부하는 대표적인 센서 주기(Sensor Rate), 모델 구성(Model Configuration), 환경 조건, 동시 프로세스(Concurrent Processes), 지속적인 운용 시간(Sustained Operating Period)을 적용하여 측정해야 한다. 프로파일링을 통해 주요 제약이 계산 처리량, 메모리 대역폭, 데이터 이동, 통신, 열 스로틀링(Thermal Throttling), 스케줄링 또는 소프트웨어 오버헤드(Software Overhead) 중 어디에 있는지를 확인해야 한다. 이후 실제 시스템 측정값을 기반으로 하드웨어 선정과 모델 최적화(Model Optimization)를 함께 수행해야 하며, TOPS, FLOPS 또는 제조사가 제공하는 벤치마크 결과만을 기준으로 해서는 안 된다.
올바르게 크기가 산정된 컴퓨팅 플랫폼은 충분한 실시간 성능(Real-Time Performance), 에너지 효율(Energy Efficiency), 열 안정성(Thermal Stability), 신뢰성, 안전성, 비용 효율성(Cost Effectiveness), 확장성(Scalability), 유지보수성을 제공해야 한다. 목표는 가능한 한 가장 강력한 컴퓨터를 만드는 것이 아니라 로봇의 물리적 제약 안에서 인식하고, 이해하고, 판단하고, 행동할 수 있는 균형 잡힌 계산 시스템(Balanced Computational System)을 구축하는 것이다. 따라서 컴퓨팅 플랫폼 크기 산정은 하드웨어-소프트웨어 공동 설계의 핵심적인 활동이 된다. AI 모델, 작업부하 분할, 메모리 구조, 가속기, 실시간 제어, 엣지 인프라, 전력 시스템, 열 설계, 대체 운용 전략이 하나의 일관된 물리적 AI 플랫폼으로 수렴해야 한다.
02.13. Future Physical AI Compute
미래의 물리적 AI 컴퓨팅(Future Physical AI Compute)은 고정된 용량과 특정 작업에 특화된 가속에서 벗어나, 확장 가능하고 적응적이며 지속적으로 통합되는 계산 아키텍처(Computational Architecture)로 발전해야 한다. 제공된 구조에서는 이 주제가 컴퓨팅 요구사항(Compute Requirements), 이기종 프로세서(Heterogeneous Processors), 임베디드 및 고성능 엣지 플랫폼(Embedded and High-Performance Edge Platforms), AI 가속(AI Acceleration), 제어- AI 분리(Control--AI Separation), 멀티모달 인식(Multimodal Perception), 월드 모델(World Model)과 VLA, 메모리와 데이터 이동(Memory and Data Movement), 중복성과 대체 운용(Redundancy and Fallback), 컴퓨팅 플랫폼 크기 산정(Compute Platform Sizing)에 이어지는 내용으로 배치된다. 따라서 미래의 컴퓨팅은 단순히 "더 많은 TOPS"를 의미하는 것이 아니라 인식(Perception), 예측(Prediction), 추론(Reasoning), 행동(Action), 학습(Learning), 안전(Safety), 물리적 제약(Physical Constraints)을 하나의 통합된 계산 구조로 발전시키는 다음 단계로 이해해야 한다.
주요한 발전 방향은 정적인 작업부하 실행(Static Workload Execution)에서 적응형 컴퓨팅(Adaptive Computation)으로의 전환이다. 미래의 로봇은 항상 최대 수준의 AI 계산을 필요로 하지 않는다. 계산 자원은 환경의 복잡도(Environmental Complexity), 불확실성(Uncertainty), 작업 난이도(Task Difficulty), 예측 시간 지평(Prediction Horizon), 가용 에너지(Available Energy)에 따라 변화해야 한다. 단순한 장면에서는 경량 인식(Lightweight Perception)과 제어를 사용할 수 있지만, 모호하거나 안전에 중요한 상황에서는 추가 모델, 장시간 추론(Longer Reasoning), 월드 모델 롤아웃(World-Model Rollouts), 고해상도 센싱(High-Resolution Sensing)을 활성화할 수 있다. 이를 위해서는 런타임 작업부하 스케줄링(Runtime Workload Scheduling), 동적 모델 선택(Dynamic Model Selection), 적응형 추론(Adaptive Inference), 통합 전력 관리(Coordinated Power Management)가 필요하며, 이를 통해 계산 강도가 실제 물리적 환경의 정보 및 의사결정 요구사항을 따라가도록 해야 한다.
미래의 컴퓨팅 아키텍처는 또한 점점 더 이기종화(Heterogeneous)될 것이다. MCU, CPU, GPU, NPU, 전용 가속기(Dedicated Accelerators), 특화 메모리(Specialized Memory), 고속 인터커넥트(High-Speed Interconnects)는 하나의 범용 프로세서로 통합되기보다는 서로 다른 역할을 계속 수행할 것이다. 결정론적 제어(Deterministic Control)와 안전 기능은 예측 가능한 상태로 유지되어야 하며, AI 가속기는 점점 더 복잡해지는 인식, 멀티모달 융합(Multimodal Fusion), 월드 모델링, 추론, VLA 추론(VLA Inference)을 처리하게 될 것이다. 따라서 중요한 아키텍처적 발전 방향은 이기종 컴퓨팅 요소 사이의 더욱 긴밀한 협력이며, 작업 배치는 단순히 프로세서의 종류가 아니라 지연시간, 처리량, 전력, 메모리, 신뢰성, 안전 요구사항에 따라 결정되어야 한다.
모델과 시간적 표현(Temporal Representations)이 증가함에 따라 메모리와 데이터 이동의 중요성도 더욱 커질 것이다. 미래의 물리적 AI 시스템은 멀티모달 관측(Multimodal Observations), 지속적인 월드 상태(Persistent World States), 에피소드 경험(Episodic Experiences), 의미적 지식(Semantic Knowledge), 재사용 가능한 스킬(Reusable Skills), 장기 예측(Long-Horizon Predictions)을 유지할 수 있다. 이에 따라 메모리 용량, 대역폭, 지역성(Locality), 캐싱(Caching), 인터커넥트 성능이 핵심적인 아키텍처 자원이 된다. 효율적인 아키텍처는 자주 사용되는 정보를 이를 필요로 하는 컴퓨팅 엔진 가까이에 유지하고, 불필요한 데이터 이동을 줄이며, 필요한 경우 압축된 표현(Compressed Representations)이나 잠재 표현(Latent Representations)을 활용하게 될 것이다. 따라서 미래의 컴퓨팅 플랫폼은 연산 처리량(Arithmetic Throughput)뿐만 아니라 메모리 아키텍처와 데이터 패브릭(Data Fabric)에 의해서도 정의될 것이다.
월드 모델과 VLA 시스템은 계산 요구사항의 성격 자체를 더욱 변화시킬 것이다. 미래의 로봇은 단순히 현재 환경을 인식하는 것을 넘어 물리적 상태(Physical State)를 표현하고, 가능한 미래를 예측하며, 후보 행동(Candidate Actions)을 평가하고, 명령을 이해하며, 목표와 제약조건을 바탕으로 추론하고, 행동을 선택해야 한다. 장기 예측과 여러 후보 롤아웃(Multiple Candidate Rollouts)은 계산량을 빠르게 증가시킬 수 있다. 따라서 미래의 플랫폼은 효율적인 예측 계산(Predictive Computation), 선택적 롤아웃(Selective Rollout), 계층적 추론(Hierarchical Reasoning), 적응형 추론(Adaptive Inference), 그리고 예측이나 추론이 중요해지는 상황에서 추가 자원을 할당할 수 있는 하드웨어-소프트웨어 협력(Hardware--Software Coordination)을 필요로 한다. 목표는 지속적인 최대 계산이 아니라 유용한 물리적 지능(Useful Physical Intelligence)을 구현하는 것이다.
학습(Learning)은 점점 더 외부 학습 환경에만 남아 있는 기능이 아니라 배포된 컴퓨팅 아키텍처(Deployed Compute Architecture)의 일부가 될 것이다. 미래의 방향에는 지도학습(Supervised Learning), 자기지도학습(Self-Supervised Learning), 강화학습(Reinforcement Learning), 모방학습(Imitation Learning), 파운데이션 모델 기반 학습(Foundation-Model-Based Learning), 지속적 학습(Continual Learning), 메타학습(Meta-Learning) 등이 포함된다. 지속적 학습은 로봇이 운용 경험을 통해 적응하도록 하며, 메타학습은 새로운 작업이나 환경에 더 빠르게 적응하도록 지원할 수 있다. 이를 위해서는 모델 업데이트(Model Updating), 경험 관리(Experience Management), 메모리 유지(Memory Management), 유용한 지식의 망각 방지(Prevention of Knowledge Loss)를 위한 계산 자원이 필요하다. 제공된 미래 아키텍처는 평생 학습(Lifelong Learning)과 온라인 적응(Online Adaptation)을 더욱 고도화된 물리적 AI 시스템으로 발전하기 위한 핵심 요소로 연결하고 있다.
따라서 지속적인 메모리(Persistent Memory)는 컴퓨팅의 중요한 보완 요소가 될 것이다. 미래의 로봇은 즉각적인 추론을 위한 작업 메모리(Working Memory), 과거 경험을 위한 에피소드 메모리(Episodic Memory), 일반적인 지식을 위한 의미 메모리(Semantic Memory), 재사용 가능한 행동을 위한 스킬 라이브러리(Skill Library)를 유지할 수 있다. 이러한 메모리 시스템은 원시 관측(Raw Observations)으로부터 정보를 반복적으로 재구성해야 하는 필요성을 줄이고, 다양한 작업과 환경에 걸친 적응을 지원할 수 있다. 따라서 컴퓨팅 아키텍처는 메모리의 증가, 지연시간(Latency), 신뢰성(Reliability)을 관리하면서 지식을 효율적으로 저장하고 검색하고 업데이트하고 통합하는 메커니즘을 제공해야 한다. 이는 파라미터만을 중심으로 하는 지능(Parameter-Only Intelligence)에서 벗어나 컴퓨팅과 지속적 메모리가 하나의 통합된 아키텍처로 동작하는 방향으로의 전환을 의미한다.
엣지(Edge), 온프레미스(On-Premise), 클라우드(Cloud) 컴퓨팅 역시 더욱 긴밀하게 통합될 것이다. 실시간 인식, 제어, 안전, 필수 자율 기능은 로봇 또는 인접한 엣지 자원에 유지하고, 대규모 학습, 시뮬레이션, 모델 개발, 플릿 학습(Fleet Learning), 고비용 추론(Heavy Reasoning)은 온프레미스 또는 클라우드 인프라를 활용할 수 있다. 미래의 시스템은 지연시간, 연결성(Connectivity), 에너지, 개인정보 보호(Privacy), 보안(Security), 계산 요구량에 따라 작업부하를 어디에서 실행할지 동적으로 결정하게 될 것이다. 간헐적인 연결(Intermittent Connectivity)이 발생하더라도 자율성이 사라져서는 안 되며, 로봇은 충분한 로컬 능력을 유지하고 연결이 가능해졌을 때 데이터나 모델을 동기화해야 한다.
미래의 컴퓨팅 아키텍처는 또한 점점 더 강건하고 복원력 있는 구조(Resilient Architecture)가 되어야 한다. 계산 복잡성이 증가함에 따라 프로세서, 메모리, 통신, 모델, 센서, 열 시스템의 고장이 더욱 중요한 문제가 된다. 따라서 중복성(Redundancy), 고장 격리(Fault Containment), 런타임 모니터링(Runtime Monitoring), 불확실성 정량화(Uncertainty Quantification), 대체 모델(Fallback Models), 점진적 성능 저하(Graceful Degradation)를 나중에 추가하는 기능이 아니라 아키텍처 자체에 통합해야 한다. 미래의 로봇은 자원이나 신뢰도가 충분하지 않을 때 계산 복잡도를 줄이고, 프로세서를 전환하며, 추론 주파수를 낮추거나, 안전 운용 모드(Safe Operating Mode)로 진입할 수 있어야 한다. AI 능력이 더욱 정교해지더라도 신뢰성(Reliability)은 시스템의 고유한 특성으로 유지되어야 한다.
에너지 효율(Energy Efficiency)은 단순한 하드웨어 최적화가 아니라 아키텍처의 핵심적인 목표가 될 것이다. 미래의 로봇은 실제 배터리, 열, 크기, 중량 제약 안에서 점점 더 정교한 계산을 수행해야 한다. 이는 적응형 계산, 고비용 모델의 선택적 활성화(Selective Activation), 효율적인 메모리 이동, 특화 가속기, 필요한 경우의 저정밀도 추론(Lower-Precision Inference), 로컬과 원격 자원 사이의 작업부하 이동(Workload Migration)을 촉진할 것이다. 따라서 가장 강력한 플랫폼이 반드시 가장 뛰어난 플랫폼은 아니다. 필요한 지능을 단위 에너지당 충분히 제공하면서도 지연시간, 신뢰성, 안전성을 유지하는 플랫폼이 더욱 중요하다.
물리적 AI 컴퓨팅의 발전은 결과적으로 반응형 계산(Reactive Computation)에서 예측형(Predictive), 적응형(Adaptive), 그리고 궁극적으로 범용 물리적 지능(General-Purpose Physical Intelligence)으로의 발전 과정으로 이해할 수 있다. 제공된 로드맵은 인식과 규칙 기반 행동에서 머신러닝 기반 인식 및 학습 제어(Machine-Learning Perception and Learning Control)로, 이후 월드 모델과 자율성을 기반으로 하는 물리적 AI(Physical AI)로, 그리고 물리적 세계에서 점점 더 범용적인 지능으로 발전하는 방향을 설명한다. 컴퓨팅 아키텍처 역시 동일한 방향으로 발전해야 한다. 즉, 고정된 파이프라인(Fixed Pipeline)에서 벗어나 작업과 환경에 따라 계산, 메모리, 추론, 학습을 동적으로 할당하는 시스템으로 발전해야 한다.
궁극적으로 미래의 물리적 AI 컴퓨팅은 센싱(Sensing), 인식, 월드 모델링, 메모리, 추론, 계획, 제어, 행동, 학습, 적응을 연결하는 통합 계산 패브릭(Unified Computational Fabric)이 되어야 한다. 성공 여부는 TOPS, FLOPS 또는 모델 크기만으로 평가해서는 안 되며, 실시간 능력(Real-Time Capability), 에너지 효율, 적응성(Adaptability), 강건성(Robustness), 안전성, 신뢰성, 확장성(Scalability), 다양한 로봇과 환경에서의 운용 능력을 함께 평가해야 한다. 장기적인 방향은 특정 작업에 특화된 자동화(Task-Specific Automation)에서 범용 물리적 AI(General-Purpose Physical AI)로의 전환이다. 즉, 물리적 세계의 시간, 에너지, 계산, 메모리, 안전, 구현 형태(Embodiment)라는 제약 안에서 인식하고, 이해하고, 추론하고, 행동하고, 학습하고, 지속적으로 적응할 수 있는 시스템으로 발전하는 것이다.
저자: Richard Minsoo Go
LinkedIn: Richard Minsoo Go
















Top comments (0)