STATERA Library · Series 09 · Volume 06 · Chapter 00 · KR
Source: https://github.com/Statera-Library/09_Vol_06_Physical_AI_Hardware_Software_Co_Design/blob/main/Chapter_00_Introduction/Chapter_00_Introduction_KR.md
Volume 06. Physical AI Hardware Software Co Design
Chapter 00. Introduction
00.01. Why Hardware Software Co Design Matters
하드웨어와 소프트웨어의 공동 설계(hardware and software co-design)가 중요한 이유는 물리적 인공지능(Physical AI)을 물리적 플랫폼과 독립적으로 작동하는 AI 모델로 이해할 수 없기 때문이다. 로봇은 센서(sensors)를 통해 환경을 인식하고, 컴퓨팅 하드웨어(computing hardware)를 통해 정보를 처리하며, 소프트웨어(software)를 통해 의사결정을 내리고, 액추에이터(actuators)를 통해 물리적 행동을 수행한다. 따라서 최종 시스템의 품질은 이러한 요소들이 하나의 통합된 시스템으로 어떻게 상호작용하는지에 의해 결정된다. 강력한 모델만으로는 충분하지 않으며, 하드웨어가 필요한 시간 특성(timing), 에너지 효율(energy efficiency), 신뢰성(reliability), 물리적 응답성을 만족하면서 모델을 실행할 수 있어야 한다.
기존의 소프트웨어 개발에서는 하드웨어를 고정된 실행 플랫폼(execution platform)으로 간주하고 그 위에서 소프트웨어를 나중에 최적화하는 경우가 많았다. 그러나 물리적 인공지능(Physical AI)에서는 계산(computation)이 물리적 세계와 직접 결합되어 있기 때문에 이러한 분리는 점점 효과적이지 않게 된다. 센서 업데이트 속도(sensor update rate), 액추에이터 동역학(actuator dynamics), 통신 지연(communication delay), 메모리 대역폭(memory bandwidth), 프로세서 성능(processor capability), 배터리 용량(battery capacity), 열적 한계(thermal limits)는 모두 AI 시스템이 실제로 수행할 수 있는 기능을 변화시킬 수 있다. 따라서 아키텍처는 AI 모델 자체를 중심으로 설계하기보다는 전체적인 감지(sensing), 계산(computation), 의사결정(decision), 행동(action)의 순환 구조를 중심으로 설계되어야 한다.
첫 번째 중요한 원칙은 시스템 요구사항(system requirements)이 물리적 작업과 환경에서 출발해야 한다는 것이다. 실내에서 작동하는 자율이동로봇(autonomous mobile robot)은 실외 자율이동로봇(outdoor AMR), 모바일 매니퓰레이터(mobile manipulator), 4족보행 로봇(quadruped), 휴머노이드(humanoid), 또는 공중 로봇(aerial robot)과 서로 다른 요구사항을 가진다. 지형(terrain), 속도(speed), 탑재하중(payload), 장애물 특성(obstacle characteristics), 요구 정밀도(required precision), 안전 제약(safety constraints), 작동 시간(operating duration)은 필요한 센싱(sensing), 컴퓨팅(computing), 구동(actuation), 통신(communication) 능력을 결정한다. 따라서 하드웨어와 소프트웨어의 선택은 서로 독립적으로 이루어지기보다 임무(mission)를 기반으로 도출되어야 한다.
AI 모델과 컴퓨팅 플랫폼(computing platform) 역시 함께 선택되어야 한다. 어떤 모델이 오프라인 벤치마크(offline benchmark)에서 뛰어난 정확도를 제공하더라도 계산 비용(computational cost), 메모리 사용량(memory consumption), 지연시간(latency), 전력 요구량(power demand) 때문에 실시간 배포(real-time deployment)가 불가능할 수 있다. 반대로 AI 작업량을 이해하기 전에 저전력 임베디드 플랫폼(low-power embedded platform)을 먼저 선택하면 인식(perception), 예측(prediction), 계획(planning), 추론(reasoning)의 능력이 제한될 수 있다. 공동 설계(co-design)는 모델의 복잡도(model complexity)와 이용 가능한 계산 자원(computational resources) 사이에서 적절한 균형을 찾아 물리적 시스템의 실제 제약 안에서 지능이 작동할 수 있도록 한다.
하드웨어와 소프트웨어의 상호작용은 계산을 넘어선다. 센서는 AI가 이용할 수 있는 정보를 결정하며, 센서 배치(sensor placement), 시야(field of view), 해상도(resolution), 탐지 거리(range), 업데이트 속도(update rate), 동기화(synchronization), 대역폭(bandwidth)은 인식의 품질과 시점에 영향을 준다. 액추에이터 역시 위치(position), 속도(velocity), 토크(torque), 힘(force), 가속도(acceleration), 컴플라이언스(compliance), 응답시간(response time)의 한계를 통해 물리적으로 가능한 행동 공간(action space)을 정의한다. 따라서 AI 시스템은 센서가 무엇을 관찰할 수 있는지뿐만 아니라 액추에이터가 실제로 무엇을 수행할 수 있는지도 고려해야 한다.
물리적 인공지능(Physical AI)의 능력이 향상될수록 시스템 수준의 트레이드오프(system-level tradeoffs)는 피할 수 없게 된다. 계산 성능(compute performance)을 높이면 인식이나 추론 능력이 향상될 수 있지만 전력 소비(power consumption), 열 부하(thermal load), 비용(cost), 시스템 중량(system weight)이 증가할 수 있다. 센서를 추가하면 강건성(robustness)과 환경 이해(environmental understanding)가 향상될 수 있지만 대역폭, 처리 요구량, 통합 복잡도(integration complexity), 전력 요구량도 증가한다. 더 높은 액추에이터 성능은 이동성과 조작 능력을 향상시킬 수 있지만 기계적 복잡성과 에너지 소비를 증가시킨다. 공동 설계는 개별 부품을 독립적으로 최적화하기보다 이러한 트레이드오프를 시스템 수준에서 평가할 수 있는 프레임워크를 제공한다.
성능(performance)은 비용(cost), 전력(power), 안전(safety)과 분리해서 생각할 수 없다. 높은 AI 정확도를 달성하더라도 과도한 에너지를 소비한다면 작동 시간이 허용되지 않을 수 있다. 고성능 컴퓨터가 지나치게 많은 열을 발생시키면 열 스로틀링(thermal throttling)이 발생하여 예상했던 추론 성능(inference performance)을 잃을 수 있다. 저비용 아키텍처(low-cost architecture)는 안전한 작동에 필요한 이중화(redundancy)나 고장 격리(fault containment)를 충분히 제공하지 못할 수도 있다. 따라서 물리적 인공지능(Physical AI)은 지능(intelligence), 실시간 성능(real-time performance), 에너지 효율(energy efficiency), 신뢰성(reliability), 비용(cost), 열적 거동(thermal behavior), 안전성(safety)을 포함한 여러 차원을 동시에 최적화해야 한다.
학습(training)과 추론(inference)은 서로 다른 시스템 요구사항을 만들기 때문에 동일한 작업량으로 취급해서는 안 된다. 학습은 일반적으로 대규모 계산 자원(large-scale computational resources), 높은 메모리 용량(high memory capacity), 막대한 데이터 이동(massive data movement), 장시간 처리를 요구한다. 반면 로봇에서의 추론은 실시간 제약(real-time constraints), 결정론적 타이밍(deterministic timing), 제한된 전력(limited power), 열적 제약(thermal restrictions), 간헐적인 연결성(intermittent connectivity)을 만족해야 한다. 이러한 차이는 학습과 무거운 추론은 강력한 인프라에서 수행하고, 시간에 민감한 지능(time-critical intelligence)은 물리적 시스템 가까이에 유지하는 계층적 아키텍처(hierarchical architecture)로 자연스럽게 이어진다.
로봇 플랫폼의 다양성(robot platform diversity)은 공동 설계를 더욱 중요하게 만든다. 동일한 AI 능력이라도 서로 다른 기계 구조(mechanical structure), 센서 구성(sensing configuration), 컴퓨팅 자원(compute resources), 배터리 용량(battery capacity), 통신 조건(communication conditions)을 가진 플랫폼에서 작동해야 할 수 있다. 하나의 하드웨어 구성만을 위해 설계된 아키텍처는 확장하거나 다른 플랫폼으로 이전하기 어려워질 수 있다. 따라서 모듈성(modularity)과 명확한 하드웨어-소프트웨어 인터페이스(hardware-software interfaces)가 중요하며, 이를 통해 인식(perception), 월드 모델링(world modeling), 계획(planning), 제어(control), AI 구성요소가 서로 다른 물리적 구현(physical embodiment)에서도 호환성을 유지하면서 발전할 수 있다.
실시간 동작(real-time behavior) 역시 공동 설계가 필요한 핵심적인 이유이다. 물리적 인공지능은 감지(sensing), 인식(perception), 월드 이해(world understanding), 계획(planning), 제어(control), 작동(actuation)이 지속적으로 순환하는 구조로 작동하며, 각각의 과정은 적절한 시간 범위 안에서 수행되어야 한다. 과도한 지연시간(latency)이나 시간적 지터(timing jitter)는 정확한 AI 모델이라도 이미 오래된 정보를 기반으로 의사결정을 내리게 만들 수 있다. 따라서 중요한 지표는 모델 정확도(model accuracy)만이 아니라 계산(computation), 메모리 접근(memory access), 통신(communication), 스케줄링(scheduling), 액추에이터 응답(actuator response)을 모두 포함하는 종단 간 감지-행동 성능(end-to-end sensing-to-action performance)이다.
전력과 열적 거동(power and thermal behavior)은 지능 자체의 일부로 고려되어야 한다. 배터리로 작동하는 로봇에서는 모든 센서, 프로세서, 통신 장치, 액추에이터가 에너지를 소비하며 이는 임무 지속시간(mission duration)에 영향을 준다. 높은 AI 작업량은 열 발생량을 증가시키고 열 스로틀링(thermal throttling)을 유발하여 시스템이 가장 높은 계산 성능을 필요로 하는 순간에 오히려 성능을 감소시킬 수 있다. 따라서 동적 작업량 관리(dynamic workload management), 이기종 컴퓨팅(heterogeneous computing), 선택적 추론(selective inference), 엣지와 외부 인프라 사이의 적절한 역할 분담은 AI 아키텍처의 필수적인 요소가 될 수 있다.
실제 공동 설계 과정(co-design process)은 물리적 임무(physical mission)와 환경에서 시작하여 요구사항(requirements), 구현 형태(embodiment), 센싱(sensing), 컴퓨팅(computing), AI 모델, 소프트웨어 분할(software partitioning), 구동(actuation), 전력(power), 열적 거동(thermal behavior), 안전(safety), 검증(validation)을 상호 연결된 설계 문제로 다루면서 진행된다. 미리 정해진 AI 모델을 어떤 하드웨어에서 실행할 것인지 묻는 대신, 필요한 행동을 달성하기 위해 전체 물리적 인공지능 시스템을 어떻게 구성해야 하는지를 묻는 것이 더욱 유용하다. 이러한 관점은 이후에 다루게 될 공동 설계 원칙(co-design principles), 컴퓨팅 플랫폼(compute platforms), 액추에이터 및 센서 통합(actuator and sensor integration), 엣지-클라우드 아키텍처(edge-cloud architectures), 실시간 제약(real-time constraints), 전력 및 열적 한계(power and thermal limitations), 참조 아키텍처(reference architectures), 실제 사례 연구(practical case studies)의 기반을 마련한다.
00.02. Physical AI as a Cyber Physical System
물리적 인공지능(Physical AI)은 인공지능이 센싱(sensing), 컴퓨팅(computation), 통신(communication), 제어(control), 물리적 행동(physical action)과 긴밀하게 결합된 사이버-물리 시스템(cyber-physical system, CPS)으로 이해하는 것이 가장 적절하다. 디지털 인공지능(Digital AI)은 물리적 환경을 직접 변화시키지 않고 출력을 생성할 수 있지만, 물리적 인공지능(Physical AI)은 지속적으로 세상을 관찰하고, 그 상태를 해석하고, 의사결정을 내리고, 액추에이터(actuator)를 통해 그 세계에 영향을 주어야 한다. 따라서 물리적 인공지능의 지능은 AI 모델 자체에서만 발생하는 것이 아니라 계산 과정과 물리적 동역학(physical dynamics)의 상호작용에서 발생한다.
사이버-물리 시스템(cyber-physical system)은 소프트웨어(software), 컴퓨팅(computing), 데이터(data), 지능(intelligence)으로 구성되는 사이버 계층(cyber layer)과 기계 구조(mechanical structure), 센서(sensors), 액추에이터(actuators), 에너지 시스템(energy systems), 주변 환경(environment)으로 구성되는 물리 계층(physical layer)을 연결한다. 이 연결은 양방향으로 이루어진다. 센서는 물리적 세계의 정보를 사이버 시스템으로 전달하고, 제어 명령(control commands)과 의사결정(decisions)은 다시 물리적 세계로 전달된다. 물리적 인공지능(Physical AI)은 여기에 학습(learning), 예측(prediction), 추론(reasoning), 적응(adaptation)을 추가하여 사전에 정의된 명령만 실행하는 것이 아니라 변화하는 조건에 대응할 수 있도록 한다.
핵심 메커니즘은 지속적인 인식-행동 루프(perception-to-action loop)이다. 센서는 환경과 로봇의 내부 상태를 관찰하고, 컴퓨팅은 관측값을 표현(representation)으로 변환하며, AI와 기존 알고리즘(classical algorithms)은 이러한 표현을 해석하여 상태를 추정하고, 변화를 예측하고, 행동을 계획하고, 제어 명령을 결정한다. 이후 액추에이터는 이러한 명령을 실제 움직임이나 조작으로 변환한다. 그 결과로 변화한 물리적 상태는 다시 센서를 통해 관찰되며 피드백(feedback)을 형성한다. 이러한 폐루프(closed loop)는 물리적 인공지능을 물리적 결과와 독립적으로 작동하는 소프트웨어와 근본적으로 다르게 만든다.
물리적 세계는 더 나은 알고리즘만으로 제거할 수 없는 제약을 부과한다. 모터(motor)는 토크(torque), 속도(speed), 가속도(acceleration), 열 용량(thermal capacity)에 한계가 있다. 배터리(battery)는 이용 가능한 에너지와 작동 시간을 제한한다. 센서는 유한한 탐지 거리(range), 해상도(resolution), 업데이트 속도(update rate), 잡음(noise), 불확실성(uncertainty)을 가진다. 기계 구조는 관성(inertia), 진동(vibration), 마찰(friction), 컴플라이언스(compliance), 변형(deformation)을 발생시킨다. 통신 네트워크는 지연시간(latency)과 잠재적인 장애(failure)를 발생시킨다. 따라서 사이버-물리 기반 물리적 인공지능 시스템은 이러한 물리적 제약 안에서 지속적으로 의사결정을 내려야 한다.
센싱 계층(sensing layer)은 시스템과 현실 세계를 연결한다. 카메라(cameras), LiDAR, 레이더(radar), 깊이 센서(depth sensors), 관성측정장치(IMU), 휠 엔코더(wheel encoders), GNSS 수신기(GNSS receivers) 및 기타 센서는 환경과 로봇 자체에 대한 상호 보완적인 관측을 제공한다. 이러한 관측은 자유 공간(free space), 장애물(obstacles), 표면(surfaces), 사람(people), 차량(vehicles), 인프라(infrastructure), 움직임(motion), 시스템 상태(system state)에 대한 정보로 변환될 수 있다. 따라서 센싱의 가치는 단순히 센서 자체의 성능으로 결정되는 것이 아니라, 전체 센서 구성이 위치추정(localization), 인식(perception), 계획(planning), 제어(control), 안전(safety)에 필요한 정보를 제공할 수 있는지에 의해 결정된다.
컴퓨팅 계층(computational layer)은 원시 관측값(raw observations)을 실행 가능한 지식(actionable knowledge)으로 변환한다. 임베디드 프로세서(embedded processors)는 결정론적인 제어(deterministic control)와 안전 기능(safety functions)을 처리할 수 있으며, CPU, GPU, NPU 또는 기타 가속기(accelerators)는 인식, 예측, 월드 모델링(world modeling), 계획, 고수준 추론(higher-level reasoning)을 실행할 수 있다. 적절한 분할은 지연시간(latency), 계산량(computational demand), 전력 소비(power consumption), 신뢰성(reliability), 연결성(connectivity)에 따라 달라진다. 따라서 물리적 인공지능 아키텍처는 컴퓨팅을 고립된 소프트웨어 자원으로 취급할 수 없다. 충분하지 않거나 지연된 컴퓨팅은 물리적 행동에 직접적인 영향을 줄 수 있기 때문에 컴퓨팅 능력 자체가 물리적 시스템의 일부가 된다.
제어(control)와 액추에이션(actuation)은 사이버-물리 연결을 완성한다. 고수준 AI는 목적지(destination), 전략(strategy), 원하는 행동(desired behavior)을 결정할 수 있지만, 저수준 제어 시스템(low-level control systems)은 이를 실제로 수행 가능한 명령으로 변환해야 한다. 모터 제어기(motor controllers), 조향 시스템(steering systems), 브레이크(brakes), 매니퓰레이터(manipulators) 및 기타 액추에이터는 각각 고유한 동역학(dynamics)과 제약조건(constraints)에 따라 작동한다. 따라서 효과적인 물리적 인공지능은 AI 기반 의사결정과 함께 기존의 상태 추정(estimation), 제어(control), 계획(planning), 안전(safety) 메커니즘을 결합한다. 이러한 전통적인 로봇공학 기능은 구조(structure), 시간적 예측 가능성(timing predictability), 공학적으로 설계하고 검증할 수 있는 행동을 제공하기 때문에 여전히 중요하다.
시간(time)은 사이버-물리 관계의 근본적인 차원이다. 계산이 수행되는 동안에도 세계는 변화할 수 있기 때문에, 이미 오래된 관측값에 기반한 정확한 의사결정도 여전히 안전하지 않은 행동을 만들어낼 수 있다. 따라서 센싱 지연(sensing latency), 처리 지연(processing latency), 통신 지연(communication latency), 계획 지연(planning latency), 액추에이터 응답(actuator response)을 함께 고려해야 한다. 중요한 질문은 AI 모델이 정답을 생성할 수 있는가만이 아니라, 물리적 상황이 변화하기 전에 전체 시스템이 필요한 시간 안에 감지하고(sense), 이해하고(understand), 결정하고(decide), 행동할 수 있는가이다.
피드백(feedback)은 또한 물리적 인공지능을 본질적으로 동적인 시스템(dynamic system)으로 만든다. 시스템이 수행한 행동은 환경을 변화시키며, 변화된 환경은 다시 다음 관측값이 된다. 예를 들어 로봇이 가속하면 자신의 위치, 관측 시점과 시야, 센서 측정값, 에너지 소비, 미래의 계획 가능성이 동시에 변화한다. 매니퓰레이터가 물체와 접촉하면 물체 자체가 변화하고 센서에서 측정되는 힘도 변화한다. 따라서 AI 시스템은 입력을 출력으로 변환하는 정적인 함수(static function)가 아니라 지속적으로 변화하는 동적 시스템의 일부로 작동해야 한다.
따라서 안전(safety)과 신뢰성(reliability)은 하나의 AI 모델만의 속성이 아니라 시스템 전체의 속성(system properties)이다. AI 인식 모델은 비정상적인 환경 때문에 실패할 수 있으며, 위치추정 시스템(localization system)은 센서 성능 저하나 지도 변화 때문에 실패할 수 있다. 통신이 중단되거나 컴퓨팅 자원이 과부하될 수 있으며, 액추에이터가 고장날 수도 있다. 강건한 사이버-물리 아키텍처(robust cyber-physical architecture)는 이러한 상태를 감지하고, 장애를 격리하고(contain failures), 성능을 점진적으로 저하시키며(degrade gracefully), 안전한 대체 동작(safe fallback behavior)을 제공해야 한다. 제품 수준의 자율성(product-level autonomy)은 통제된 환경에서 성공적인 시연을 수행하는 것보다 지속적인 안전성, 신뢰성, 유지보수성(maintainability), 사이버보안(cybersecurity), 운영 성능(operational performance)을 요구한다.
사이버보안(cybersecurity)은 물리적 인공지능 시스템이 동시에 계산 시스템(computational system)이면서 물리적 기계(physical machine)이기 때문에 특히 중요하다. 비인가된 접근(unauthorized access)은 지도(map), 임무 정보(mission information), 소프트웨어 업데이트(software updates), 카메라(cameras), 플릿 명령(fleet commands), 심지어 물리적 움직임(physical motion)에도 영향을 줄 수 있다. 따라서 보안 신원(security identity), 접근 제어(access control), 보호된 통신(protected communication), 소프트웨어 무결성(software integrity), 네트워크 분할(network segmentation), 취약점 관리(vulnerability management), 사고 대응(incident response)은 단순한 정보보안 기능이 아니다. 사이버 침해(cyber compromise)가 궁극적으로 물리적 결과를 초래할 수 있기 때문에 이러한 기능들은 물리적 시스템 보호의 일부가 된다.
사이버-물리 관점(cyber-physical perspective)은 자율성을 평가하는 방식도 변화시킨다. 자율성(autonomy)은 하나의 AI 모델이 하나의 작업을 수행할 수 있는 능력이 아니라, 전체 시스템이 환경을 인식하고, 자신의 상태를 추정하고, 임무의 맥락을 이해하고, 행동을 계획하고 제어하며, 변화에 대응하고, 주변 시스템과 통신하고, 정의된 운용 영역(operational domain) 안에서 안전한 작동을 유지하는 통합된 능력이다. 예를 들어 자율이동로봇(autonomous mobile robot)은 기계 설계(mechanical design), 전력 시스템(electrical power), 임베디드 컴퓨팅(embedded computing), 센서, 제어 소프트웨어(control software), 인공지능, 통신 네트워크, 안전 기능(safety functions)을 하나의 제품으로 통합한다.
이러한 관점은 물리적 인공지능에서 하드웨어-소프트웨어 공동 설계(hardware-software co-design)의 기반을 제공한다. 지능을 사이버-물리 루프(cyber-physical loop)의 일부로 인식하게 되면 하드웨어 결정(hardware decisions), 소프트웨어 아키텍처(software architecture), AI 모델 선택(AI model selection), 센서 구성(sensor configuration), 액추에이터 능력(actuator capability), 컴퓨팅 자원(computing resources), 전력 소비(power consumption), 열적 거동(thermal behavior), 통신(communication), 지연시간(latency), 안전(safety)을 더 이상 독립적으로 최적화할 수 없다. 목표는 사이버 지능(cyber intelligence)과 물리적 구현(physical embodiment)이 지속적으로 서로를 지원하는 완전한 시스템을 설계하는 것이다. 따라서 물리적 인공지능은 단순히 로봇 안에 AI를 넣는 것이 아니라, 계산(computation), 구현 형태(embodiment), 환경(environment), 행동(action)의 상호작용에서 능력이 발생하는 통합된 사이버-물리 지능 시스템(integrated cyber-physical intelligence system)이다.
00.03. From AI Model to Physical AI System
AI 모델(AI model)은 물리적 인공지능 시스템(Physical AI system)을 구성하는 하나의 요소일 뿐이다. 학습된 신경망(neural network)은 객체를 인식하고, 상태를 추정하고, 미래의 조건을 예측하거나, 행동을 생성할 수 있지만, 이러한 능력은 물리적 플랫폼에 연결되기 전까지는 계산적인 능력에 머문다. 물리적 인공지능(Physical AI)은 모델의 출력이 센서(sensors), 컴퓨팅 하드웨어(computing hardware), 소프트웨어 미들웨어(software middleware), 제어 시스템(control systems), 액추에이터(actuators), 전력 시스템(power systems), 기계적 구현(mechanical embodiment)과 통합될 때 시작된다. 따라서 이러한 전환은 모델 수준의 성능(model-level performance)에서 실제 세계의 시스템 수준 행동(system-level behavior)으로 이동하는 과정을 필요로 한다.
첫 번째 단계는 물리적 임무(physical mission) 안에서 AI 모델이 무엇을 수행해야 하는지를 정의하는 것이다. 이미지 분류(image classification)를 위해 설계된 모델은 자율주행(autonomous navigation), 조작(manipulation), 동적 제어(dynamic control)를 지원하는 모델과 근본적으로 다른 요구사항을 가진다. 물리적 작업(physical task)은 무엇을 인식하고, 예측하고, 결정하고, 실행해야 하는지를 결정하며, 운용 환경(operating environment)은 필요한 강건성(robustness), 지연시간(latency), 정밀도(precision), 안전성(safety)을 결정한다. 따라서 물리적 인공지능 개발은 기존 AI 모델을 출발점으로 삼기보다 임무와 환경 요구사항(mission and environment requirements)에서 시작되어야 한다.
작업이 정의되면 모델은 적절한 인식 및 센싱 아키텍처(perception and sensing architecture)에 연결되어야 한다. 실제 로봇이 제공하는 입력은 기존 AI 벤치마크(AI benchmarks)에서 사용되는 깨끗한 입력과 거의 다르다. 카메라(camera)는 조명 변화(illumination changes)를 경험할 수 있고, LiDAR는 희소하거나 잡음이 포함된 측정값(sparse or noisy measurements)을 생성할 수 있으며, 레이더(radar)는 모호한 관측값(ambiguous observations)을 제공할 수 있고, IMU 또는 엔코더(encoder) 측정값은 드리프트(drift)를 일으킬 수 있다. 따라서 여러 센서는 동기화(synchronization), 보정(calibration), 융합(fusion)되고 AI 모델이 실제로 사용할 수 있는 표현(representation)으로 변환되어야 한다. 이에 따라 모델은 독립적인 입력-출력 함수(input-output function)가 아니라 더 큰 센싱 파이프라인(sensing pipeline)의 일부가 된다.
이후 컴퓨팅 플랫폼(computing platform)은 전체 AI 작업량(AI workload)과 물리적 배포 제약(physical deployment constraints)에 따라 선택되어야 한다. CPU, GPU, NPU, MCU 및 기타 가속기(accelerators)는 하나의 로봇 안에서 서로 다른 기능을 수행할 수 있다. 고수준 인식(high-level perception)이나 월드 모델링(world modeling)은 상당한 병렬 계산(parallel computation)을 요구할 수 있는 반면, 안전이 중요한 제어(safety-critical control)는 전용 프로세서(dedicated processors)에서 결정론적인 실행(deterministic execution)을 요구할 수 있다. 메모리 용량(memory capacity), 대역폭(bandwidth), 데이터 이동(data movement), 추론 지연시간(inference latency), 전력 소비(power consumption), 열적 한계(thermal limits)는 모두 특정 모델이 실제로 배포 가능한지를 결정할 수 있다.
모델의 출력은 또한 물리적으로 의미 있는 행동(physically meaningful actions)으로 변환되어야 한다. 신경망(neural network)은 웨이포인트(waypoint), 속도 명령(velocity command), 궤적(trajectory), 파지 자세(grasp pose), 고수준 정책(high-level policy)을 생성할 수 있지만, 로봇은 여전히 그 출력을 실행하기 위해 계획(planning), 제어(control), 액추에이터 관리(actuator management), 피드백 메커니즘(feedback mechanisms)을 필요로 한다. 물리적 플랫폼은 가속도(acceleration), 속도(velocity), 토크(torque), 힘(force), 조향각(steering angle), 안정성(stability), 접촉 거동(contact behavior)에 대한 한계를 가진다. 따라서 AI 모델은 임의의 행동을 명령할 수 없으며, 출력 공간(output space)은 물리적 구현(embodiment)의 능력과 제약에 맞게 정렬되어야 한다.
소프트웨어 아키텍처(software architecture)는 AI 모델과 물리적 하드웨어 사이의 통합 계층(integration layer)을 제공한다. 인식(perception), 위치추정(localization), 월드 모델링(world modeling), 계획(planning), 제어(control), 진단(diagnostics), 안전(safety), 통신(communication), AI 추론(AI inference)은 명확하게 정의된 인터페이스(interfaces)를 통해 정보를 교환해야 한다. 일부 기능은 임베디드 프로세서(embedded processors)에서 높은 주파수로 실행될 수 있는 반면, 다른 기능은 GPU 또는 외부 컴퓨팅 인프라(external computing infrastructure)에서 낮은 주파수로 실행될 수 있다. 이러한 아키텍처는 데이터 일관성(data consistency), 시간 관계(timing relationships), 고장 격리(fault isolation), 예측 가능한 동작(predictable behavior)을 유지하면서 필요에 따라 AI 구성요소가 독립적으로 발전할 수 있도록 해야 한다.
모델에서 시스템으로의 전환은 성능을 측정하는 방법도 변화시킨다. 모델 정확도(model accuracy), 손실(loss), 벤치마크 점수(benchmark scores)는 여전히 유용하지만 물리적 성능(physical performance)을 완전히 설명하지는 못한다. 전체 시스템은 감지-행동 지연시간(sensing-to-action latency), 제어 안정성(control stability), 작업 완료(task completion), 에너지 소비(energy consumption), 외란에 대한 회복(recovery from disturbances), 환경 변화에 대한 강건성(robustness to environmental variation), 안전성(safety)과 같은 지표를 사용하여 평가되어야 한다. 독립적으로는 우수한 모델이라도 시간 지연(timing delays), 센서 불확실성(sensor uncertainty), 액추에이터의 한계(actuator limitations), 분포 변화(distribution shifts), 시스템 구성요소 간 상호작용 때문에 통합 후에는 실패할 수 있다.
실시간 동작(real-time behavior)은 특히 중요하다. 물리적 시스템은 계산이 수행되는 동안에도 지속적으로 작동하기 때문이다. AI 모델에는 상당한 처리 시간이 필요할 수 있지만, 로봇이 항상 최적의 답을 기다릴 수 있는 것은 아니다. 인식(perception), 상태 추정(state estimation), 예측(prediction), 계획(planning), 제어(control)은 서로 다른 시간적 요구사항(timing requirements)에 따라 구성되어야 한다. 중요한 제어 및 안전 기능(critical control and safety functions)은 결정론적인 실행(deterministic execution)을 요구할 수 있으며, 계산량이 많은 추론(more computationally intensive reasoning)은 비동기(asynchronously) 또는 더 낮은 주파수로 실행될 수 있다. 이에 따라 지능은 시간적 요구사항과 계산 요구사항에 따라 분산되는 계층적 아키텍처(layered architecture)가 형성된다.
전력(power), 열적 거동(thermal behavior), 통신(communication)은 AI 모델이 실제 물리적 인공지능 능력으로 전환될 수 있는지를 추가로 결정한다. 과도한 계산을 요구하는 모델은 배터리 작동시간(battery runtime)을 감소시키거나 열 스로틀링(thermal throttling)을 유발할 수 있다. 클라우드에 의존하는 모델(cloud-dependent model)은 통신이 중단되면 사용할 수 없게 될 수 있다. 따라서 물리적 인공지능은 온보드 엣지 컴퓨팅(onboard edge computing), 온프레미스 인프라(on-premise infrastructure), 클라우드 시스템(cloud systems) 사이에서 작업량을 분할(workload partitioning)해야 하는 경우가 많다. 시간에 민감한 기능(time-critical functions)은 로봇에 충분히 가까운 위치에 유지되어야 하며, 대규모 학습(heavy training), 플릿 분석(fleet analytics), 장기 학습(long-term learning)과 같은 비핵심 작업은 로봇 외부에서 수행할 수 있다.
안전(safety)과 신뢰성(reliability)은 배포 이후에 추가하는 것이 아니라 전환 과정에서부터 통합되어야 한다. AI 예측은 본질적으로 불확실하며, 센서는 고장날 수 있고, 컴퓨팅 자원은 과부하될 수 있으며, 통신은 중단될 수 있고, 액추에이터는 예상하지 못한 방식으로 작동할 수 있다. 따라서 실제 배포 가능한 물리적 인공지능 시스템은 모니터링(monitoring), 고장 감지(fault detection), 대체 동작(fallback behavior), 필요한 경우의 이중화(redundancy), 통제된 성능 저하(controlled degradation)를 필요로 한다. 안전 기능(safety functions)은 AI가 생성한 행동을 제한하거나, 물리적 조건이 모델 학습 당시의 가정을 벗어날 경우 이를 재정의할 수 있는 독립적인 메커니즘(independent mechanisms)을 필요로 할 수 있다.
최종적인 전환은 검증된 모델과 통합된 프로토타입에서 지속적으로 작동하는 물리적 인공지능 제품(Physical AI product)으로 이동하는 것이다. 실제 배포에서는 변화하는 환경(changing environments), 하드웨어 편차(hardware variation), 유지보수 요구사항(maintenance requirements), 소프트웨어 업데이트(software updates), 운영 데이터(operational data), 장기적인 성능 모니터링(long-term performance monitoring)이 발생한다. 모듈형 인터페이스(modular interfaces)와 재사용 가능한 아키텍처(reusable architecture)가 중요해지는 이유도 여기에 있다. 동일한 지능이 서로 다른 로봇 크기, 탑재하중, 센서 구성, 응용 분야에서 작동해야 할 수 있기 때문이다. 따라서 AI 모델, 센서, 컴퓨팅 플랫폼 또는 제어 구성요소가 변경될 때마다 전체 시스템을 다시 설계하지 않고도 지속적인 개선을 지원할 수 있어야 한다.
궁극적으로 AI 모델에서 물리적 인공지능 시스템으로 이동한다는 것은 설계의 단위를 모델에서 전체적인 인식-계산-의사결정-행동 시스템(perception-computation-decision-action system)으로 변화시키는 것을 의미한다. AI 모델은 지능(intelligence)을 제공하지만, 물리적 구현(embodiment)은 물리적 능력(physical capability)을 제공하고, 센서는 현실 세계와의 연결(connection to reality)을 제공하며, 컴퓨팅은 실행(execution)을 제공하고, 제어는 안정성(stability)을 제공하며, 액추에이터는 물리적 결과(physical consequences)를 만들어낸다. 성공적인 물리적 인공지능은 이러한 요소들이 실제 세계의 제약 안에서 지능이 유용하게 유지될 수 있도록 공동으로 설계될 때 만들어진다. 이것이 바로 이후의 공동 설계 원칙(co-design principles)이 요구사항(requirements), 구현 형태(embodiment), AI와 하드웨어의 공동 선택(AI and hardware co-selection), 분할(partitioning), 트레이드오프(tradeoffs), 모듈성(modularity), 이중화(redundancy), 고장 격리(fault containment)에 초점을 맞추는 이유이다.
00.04. Hardware Software AI Interaction
하드웨어(hardware), 소프트웨어(software), 인공지능(artificial intelligence)은 물리적 인공지능(Physical AI)에서 서로 독립적인 엔지니어링 영역이 아니라 긴밀하게 결합된 하나의 시스템으로 상호작용한다. 하드웨어는 시스템이 무엇을 감지하고, 계산하고, 통신하고, 물리적으로 실행할 수 있는지를 결정하며, 소프트웨어는 이러한 자원을 어떻게 조정할지를 결정한다. AI는 인식(perception), 예측(prediction), 추론(reasoning), 적응(adaptation) 능력을 추가하지만, 실제 능력은 그것이 작동하는 하드웨어와 소프트웨어 환경에 의해 결정된다. 따라서 효과적인 물리적 인공지능(Physical AI)은 컴퓨팅(computing), 센싱(sensing), 소프트웨어 아키텍처(software architecture), AI 모델, 제어(control), 물리적 행동(physical action)의 상호작용에서 형성된다.
센서(sensors)는 하드웨어와 AI 소프트웨어 사이의 첫 번째 주요 상호작용 지점을 형성한다. 카메라(cameras), LiDAR, 레이더(radar), IMU, 엔코더(encoders) 및 기타 센싱 장치는 서로 다른 해상도(resolution), 탐지 거리(range), 업데이트 속도(update rate), 잡음 특성(noise characteristics), 시간적 거동(timing behavior)을 가진 측정값을 생성한다. 소프트웨어는 이러한 서로 다른 신호를 동기화되고 활용 가능한 표현(representation)으로 변환해야 하며, AI 모델은 인식(perception)과 월드 이해(world understanding)에 어떤 정보가 중요한지를 결정한다. 따라서 센서 선택(sensor selection), 배치(placement), 동기화(synchronization), 융합(fusion), 대역폭(bandwidth), 계산 부하(computational load)는 독립적인 하드웨어 결정이 아니라 AI 시스템 설계의 일부가 된다.
컴퓨팅 하드웨어(computing hardware)는 소프트웨어와 AI 작업량(AI workloads)을 실행하기 위한 환경을 제공한다. 마이크로컨트롤러(MCU)는 결정론적인 저수준 기능(deterministic low-level functions)을 수행할 수 있고, CPU는 일반적인 로봇 소프트웨어를 조정할 수 있으며, GPU나 NPU는 인식(perception), 예측(prediction), 월드 모델링(world modeling) 또는 기타 AI 작업량을 가속할 수 있다. 이러한 프로세서 간의 상호작용은 메모리 용량(memory capacity), 대역폭(bandwidth), 데이터 이동(data movement), 운영체제 동작(operating-system behavior), 통신 인터페이스(communication interfaces)에 따라 달라진다. 주변 소프트웨어 아키텍처가 데이터를 효율적으로 공급하지 못하거나 필요한 시간 제약(timing constraints)을 만족하지 못한다면, 더 강력한 프로세서를 사용하는 것만으로 더 나은 물리적 인공지능 시스템이 만들어지는 것은 아니다.
소프트웨어(software)는 하드웨어 자원과 AI 능력을 연결하는 조정 계층(coordination layer)으로 작동한다. 디바이스 드라이버(device drivers)는 하드웨어 신호를 표준화된 데이터로 변환하고, 미들웨어(middleware)는 모듈 사이에서 정보를 전달하며, 애플리케이션 소프트웨어(application software)는 위치추정(localization), 인식(perception), 계획(planning), 제어(control), 임무 로직(mission logic), 진단(diagnostics), AI 추론(AI inference)을 조정한다. 이러한 아키텍처는 시간 특성(timing), 데이터 일관성(data consistency), 고장 격리(fault isolation), 명확한 인터페이스(clear interfaces)를 유지해야 한다. 모듈형 소프트웨어(modular software)는 안정적인 인터페이스를 유지하면서 가능한 경우 하드웨어와 AI 구성요소를 독립적으로 업그레이드할 수 있도록 하며, 서로 다른 로봇 플랫폼 간의 재사용성도 높여준다.
AI 모델은 계산 요구사항(computational requirements)뿐만 아니라 이용 가능한 관측값(observations)과 행동 인터페이스(action interfaces)에 대한 의존성을 통해서도 하드웨어와 상호작용한다. 인식 모델(perception model)은 특정 카메라 해상도나 프레임 속도(frame rate)를 요구할 수 있고, 월드 모델(world model)은 동기화된 다중 모달 입력(multimodal inputs)과 높은 메모리 대역폭(memory bandwidth)을 요구할 수 있다. 행동 모델(action model)은 액추에이터 피드백(actuator feedback)과 충분히 표현력 있는 제어 인터페이스(control interfaces)를 요구할 수 있다. 따라서 AI 아키텍처는 센서 사양(sensor specifications), 컴퓨팅 할당(compute allocation), 통신 설계(communication design), 액추에이터 구성(actuator configuration)에 영향을 줄 수 있으며, 반대로 하드웨어의 한계는 모델의 크기(size), 실행 주파수(frequency), 정밀도(precision), 아키텍처를 제한할 수 있다.
AI 의사결정(AI decision making)과 기존 제어(conventional control) 사이의 상호작용에서는 이러한 관계가 특히 중요해진다. 고수준 AI(high-level AI)는 목표(goals), 정책(policies), 궤적(trajectories), 원하는 행동(desired actions)을 결정할 수 있지만, 저수준 제어기(lower-level controllers)는 이러한 출력을 안정적이고 물리적으로 실현 가능한 움직임으로 변환해야 한다. 모터 전류(motor current), 휠 속도(wheel velocity), 조향 위치(steering position), 제동(braking), 토크(torque), 힘(force) 제어는 결정론적인 시간 특성(deterministic timing)을 요구하며 고수준 AI의 동작에 전적으로 의존해서는 안 된다. 고수준 지능과 시간에 민감한 제어(time-critical control)를 분리하면 유연성과 안정성을 동시에 확보할 수 있으며, 정의된 인터페이스를 통해 AI가 물리적 행동에 영향을 줄 수 있다.
시간 특성(timing)은 전체 시스템에 걸쳐 지속적인 의존 관계를 만든다. 센서 획득(sensor acquisition), 데이터 전송(data transfer), 전처리(preprocessing), AI 추론(AI inference), 상태 추정(state estimation), 계획(planning), 제어 계산(control computation), 통신(communication), 액추에이터 응답(actuator response)은 모두 종단 간 지연시간(end-to-end latency)에 영향을 준다. 하나의 구성요소에서 발생한 지연은 시스템 전체로 전파될 수 있으며, 그 결과 이미 오래된 정보를 기반으로 행동이 수행될 수 있다. 따라서 하드웨어와 소프트웨어는 제어 루프 주파수(control-loop frequency), 추론 주파수(inference frequency), 통신 지연(communication latency), 지터(jitter), 동기화(synchronization), 결정론적 실행(deterministic execution)을 포함한 명확한 시간 요구사항을 기반으로 설계되어야 한다.
전력(power)과 열적 거동(thermal behavior)은 AI 작업량과 물리적 하드웨어를 더욱 긴밀하게 연결한다. AI 계산량을 증가시키면 인식이나 추론 능력이 향상될 수 있지만 동시에 전력 소비와 열 발생량도 증가한다. 온도가 높아지면 신뢰성이 저하되거나 열 스로틀링(thermal throttling)이 발생할 수 있으며, 이는 다시 AI 성능을 변화시킨다. 반대로 배터리의 한계는 소프트웨어가 추론 주파수를 낮추거나, 더 작은 모델을 선택하거나, 작업량을 이동시키거나, 서로 다른 운용 모드를 활성화하도록 요구할 수 있다. 따라서 전력 관리(power management)와 AI 작업량 관리(AI workload management)는 서로 분리된 최적화 문제가 아니라 상호 의존적인 문제가 된다.
엣지(edge), 온프레미스(on-premise), 클라우드(cloud) 컴퓨팅은 이러한 상호작용을 로봇 외부까지 확장한다. 시간에 민감한 인식(perception), 제어(control), 안전(safety), 핵심 자율성(essential autonomy)은 일반적으로 충분한 성능의 온보드 컴퓨팅(onboard computing)을 필요로 하는 반면, 학습(training), 고난도 추론(heavy reasoning), 플릿 분석(fleet analytics), 대규모 모델 개발(large-scale model development)은 외부 인프라에서 수행할 수 있다. 소프트웨어 아키텍처는 지연시간(latency), 연결성(connectivity), 전력(power), 개인정보 보호(privacy), 신뢰성(reliability), 계산 요구사항(computational requirements)에 따라 각 작업량을 어디에 배치할 것인지를 결정해야 한다. 또한 간헐적인 연결(intermittent connectivity) 상황에서도 외부 컴퓨팅을 사용할 수 없을 때 로봇이 핵심 자율성을 유지할 수 있어야 한다.
물리적 상호작용(physical interaction)은 AI의 행동을 개선할 수 있는 피드백(feedback)도 생성한다. 액추에이터 상태(actuator state), 모터 전류(motor current), 휠 움직임(wheel motion), 조향 응답(steering response), 힘(force), 진동(vibration) 및 기타 자기수용성 정보(proprioceptive information)는 AI가 생성한 명령이 실행된 후 실제로 무엇이 발생했는지를 보여주는 정보를 제공한다. 명령된 행동(commanded behavior)과 측정된 물리적 응답(measured physical response)을 비교하면 제어 시스템이 외란(disturbances)을 보상할 수 있으며 학습을 위한 유용한 데이터도 생성할 수 있다. 이를 통해 AI가 하드웨어에 영향을 주고, 하드웨어가 물리적 결과를 생성하며, 그 결과가 다시 소프트웨어와 AI를 위한 새로운 정보가 되는 폐루프 상호작용(closed interaction)이 형성된다.
신뢰성(reliability)을 확보하려면 개별 구성요소가 성능을 저하시키더라도 하드웨어, 소프트웨어, AI 사이의 상호작용이 의미 있는 상태로 유지되어야 한다. 센서를 사용할 수 없게 되거나, 통신이 실패하거나, 컴퓨팅 자원이 과부하되거나, 액추에이터가 예상 범위를 벗어나 작동할 수 있다. 따라서 강건한 아키텍처(robust architecture)는 이중화(redundancy), 고장 감지(fault detection), 대체 메커니즘(fallback mechanisms), 점진적 성능 저하(graceful degradation), 적절한 안전 핵심 기능의 분리(separation of safety-critical functions)를 필요로 한다. 하드웨어와 소프트웨어 인터페이스는 장애를 격리하고 안전한 운용 상태를 유지할 수 있도록 설계되어야 하며, 모든 AI와 하드웨어 구성요소가 항상 정상적으로 작동한다고 가정해서는 안 된다.
궁극적인 목표는 하드웨어 성능, 소프트웨어 복잡도, AI 모델 능력을 각각 독립적으로 최대화하는 것이 아니다. 목표는 센서가 올바른 정보를 제공하고, 컴퓨팅이 필요한 작업량을 실행하며, 소프트웨어가 시스템을 조정하고, AI가 유용한 지능을 제공하고, 제어가 의사결정을 안정적인 행동으로 변환하며, 액추에이터가 의도한 물리적 결과를 만들어내는 균형 잡힌 시스템(balanced system)을 구축하는 것이다. 이러한 상호작용은 이후에 다루게 될 컴퓨팅 플랫폼(compute platforms), 액추에이터 및 센서 공동 설계(actuator and sensor co-design), 엣지-클라우드 분할(edge-cloud partitioning), 실시간 제약(real-time constraints), 전력 및 열 관리(power and thermal management), 참조 아키텍처(reference architectures), 완전한 물리적 인공지능 시스템 통합(complete Physical AI system integration)의 기반을 제공한다.
00.05. System Level Tradeoffs
시스템 수준의 트레이드오프(system-level tradeoffs)는 물리적 인공지능(Physical AI)에서 근본적으로 중요하다. 어떤 로봇도 동시에 모든 바람직한 특성을 최대화할 수 없기 때문이다. 더 높은 성능은 더 많은 계산과 전력을 필요로 할 수 있으며, 더 낮은 지연시간은 추가적인 하드웨어나 감소된 모델 복잡도를 요구할 수 있다. 더 높은 센싱 능력은 정확도를 높일 수 있지만 동시에 대역폭, 처리 부하, 무게, 비용을 증가시킨다. 따라서 물리적 인공지능 공동 설계(Physical AI co-design)는 성능(performance), 전력(power), 지연시간(latency), 비용(cost), 안전(safety), 신뢰성(reliability), 크기(size), 무게(weight), 강건성(robustness)을 독립적인 사양이 아니라 서로 연결된 시스템 목표로 다룬다.
트레이드오프를 관리하는 첫 번째 단계는 임무와 운용 환경(mission and operating environment)에서 측정 가능한 요구사항(measurable requirements)을 도출하는 것이다. 기능 요구사항(functional requirements)은 시스템이 무엇을 수행해야 하는지를 설명하고, 성능 요구사항(performance requirements)은 정확도(accuracy), 정밀도(precision), 성공률(success rate), 처리량(throughput)과 같은 목표를 정의한다. 실시간 요구사항(real-time requirements)은 종단 간 지연시간(end-to-end latency), 업데이트 속도(update rate), 지터(jitter), 제어 루프 타이밍(control-loop timing)을 규정한다. 물리적 제약(physical constraints)에는 크기, 무게, 탑재하중(payload), 에너지(energy), 열적 한계(thermal limits), 환경 내구성(environmental durability)이 포함되며, 안전성(safety), 신뢰성(reliability), 운용 시간(operational duration), 연결성(connectivity), 유지보수성(maintainability), 비용(cost) 역시 실현 가능한 시스템 아키텍처를 제한한다.
성능(performance)과 전력(power)은 물리적 인공지능에서 가장 중요한 트레이드오프 중 하나이다. 계산 능력(compute capability)을 높이면 더 큰 AI 모델, 더 높은 센서 주파수, 더 정교한 월드 모델(world model), 더 빈번한 추론(inference)을 지원할 수 있지만, 이러한 개선은 전력 소비와 열 부하(thermal load)를 증가시킨다. 배터리로 구동되는 로봇에서는 추가적인 계산 능력이 지능을 향상시키더라도 임무 지속시간(mission duration)을 감소시킬 수 있다. 따라서 목표는 최대 계산 성능이 아니라, 적절한 하드웨어, 모델 크기, 추론 주파수, 작업량 분배(workload distribution)를 활용하여 허용 가능한 에너지 예산(energy budget) 안에서 충분한 지능을 확보하는 것이다.
지연시간(latency)과 정확도(accuracy)는 또 다른 근본적인 트레이드오프를 만든다. 더 복잡한 모델은 인식(perception), 예측(prediction), 추론(reasoning)의 정확도를 향상시킬 수 있지만 추가적인 계산을 필요로 하므로 추론 지연시간(inference latency)을 증가시킨다. 물리적 시스템에서는 정확한 의사결정이라도 너무 늦게 도착하면 요구되는 제어 시간 안에 도착하는 약간 덜 정확한 의사결정보다 유용하지 않을 수 있다. 따라서 아키텍처는 모델 복잡도(model complexity), 추론 주파수(inference frequency), 하드웨어 가속(hardware acceleration), 데이터 처리(data processing), 제어 타이밍(control timing)을 균형 있게 조정하여 전체 감지-행동 루프(sensing-to-action loop)가 충분히 빠르고 결정론적으로(deterministically) 작동하도록 해야 한다.
센싱 해상도(sensing resolution)와 대역폭(bandwidth) 역시 서로 연결되어 있다. 고해상도 카메라, 더 조밀한 LiDAR, 더 빠른 레이더 업데이트, 추가적인 센싱 모달리티(sensing modalities)는 환경 이해와 강건성을 향상시킬 수 있지만 더 많은 데이터를 생성한다. 증가한 데이터량은 더 높은 메모리 대역폭, 통신 용량, 저장공간, 계산 자원을 필요로 한다. 따라서 센서 선택(sensor selection)은 단순히 가장 높은 사양의 센서를 선택하는 것이 아니라 AI 시스템에 필요한 정보가 무엇인지에 기반해야 한다. 최적의 센서 구성은 충분한 정보를 제공하면서 시스템의 대역폭, 계산 능력, 전력, 무게, 비용 제약과 호환되는 구성이다.
능력(capability)과 비용(cost) 역시 함께 고려되어야 한다. 더 높은 능력의 AI 모델, 이중화된 센서(redundant sensors), 고성능 컴퓨팅 플랫폼, 고급 액추에이터(advanced actuators), 추가적인 안전 메커니즘(safety mechanisms)은 기능적 능력과 강건성을 향상시킬 수 있지만, 동시에 자재비(bill-of-materials cost), 통합 복잡도(integration complexity), 유지보수 요구사항(maintenance requirements), 그리고 잠재적인 전력 소비를 증가시킨다. 따라서 물리적 인공지능 개발에서는 어떤 능력이 임무에 필수적인지, 어떤 능력이 점점 감소하는 효과(diminishing returns)를 제공하는지를 결정해야 한다. 목표는 가능한 가장 높은 능력을 가진 로봇을 만드는 것이 아니라, 이용 가능한 경제적·운용적 제약 안에서 가장 적절한 시스템을 구축하는 것이다.
강건성(robustness)과 복잡도(complexity)는 또 다른 중요한 트레이드오프를 형성한다. 이중화(redundancy)는 센서, 컴퓨팅 장치, 통신 링크 또는 액추에이터가 고장났을 때 시스템 가용성(availability)을 향상시킬 수 있지만, 추가적인 이중화는 하드웨어, 소프트웨어, 무게, 전력, 진단 복잡도(diagnostic complexity)를 증가시킨다. 따라서 지나치게 이중화된 아키텍처는 오히려 검증과 유지보수가 어려워질 수 있다. 공동 설계에서는 임무 위험(mission risk), 고장 결과(failure consequences), 안전 상태 요구사항(safe-state requirements), 운용 조건(operational conditions)에 따라 적절한 이중화 수준을 결정해야 한다. 결과적으로 아키텍처는 불필요한 복잡도가 또 다른 고장 원인이 되지 않도록 하면서 충분한 고장 허용성(fault tolerance)을 제공해야 한다.
무게(weight)와 크기(size)는 이동형 물리적 인공지능 시스템에서 특히 중요하다. 추가적인 센서, 배터리, 냉각 시스템(cooling systems), 컴퓨팅 모듈, 액추에이터, 보호 구조물(protective structures)은 능력을 향상시킬 수 있지만 질량과 물리적 부피를 증가시킨다. 증가한 질량은 더 큰 액추에이터와 더 강한 기계 구조를 필요로 할 수 있으며, 이는 다시 에너지 소비를 증가시키고 작동 시간을 감소시킬 수 있다. 이로 인해 구현 형태(embodiment), 구동(actuation), 전력(power), 컴퓨팅(computing), 이동성(mobility) 사이에 연쇄적인 트레이드오프가 발생한다. 따라서 시스템 수준의 설계에서는 각 하위 시스템을 독립적으로 최적화하기보다 구성요소 선택을 서로 연계하여 평가해야 한다.
엣지(edge), 온프레미스(on-premise), 클라우드(cloud) 컴퓨팅은 지연시간, 연결성, 계산 능력, 전력, 개인정보 보호(privacy), 운용 복원력(operational resilience)과 관련된 아키텍처 트레이드오프를 만든다. 무거운 추론이나 학습 작업을 로봇 외부로 이동하면 온보드 컴퓨팅과 전력 요구량을 줄일 수 있지만, 통신에 대한 의존성이 증가하여 연결성이 불안정할 때 지연시간이 증가하거나 자율성이 상실될 수 있다. 반대로 더 많은 지능을 온보드에 배치하면 로컬 자율성(local autonomy)과 응답성이 향상되지만 계산, 열, 전력 요구량이 증가한다. 따라서 작업량 분할(workload partitioning)은 각 기능의 중요도와 시간적 요구사항을 반영해야 한다.
트레이드오프는 궁극적으로 하나의 수치 점수(single numerical score)가 아니라 다목적 최적화(multi-objective optimization)를 통해 평가되어야 한다. 어떤 설계는 더 빠르지만 더 비쌀 수 있고, 더 정확하지만 에너지 효율이 낮을 수 있으며, 더 강건하지만 더 무거울 수 있고, 더 높은 능력을 가지지만 유지보수가 어려울 수 있다. 따라서 보편적으로 최적인 하나의 아키텍처가 존재하기보다는 여러 개의 실현 가능한 해(feasible solutions)가 존재할 수 있다. 공동 설계 과정에서는 설계 공간(design space)에서 허용 가능한 영역을 식별하고, 우선순위와 수용 기준(acceptance criteria)을 설정하며, 측정 가능한 요구사항을 기준으로 후보 아키텍처를 비교해야 한다. 이러한 접근 방식은 개별 구성요소에 대한 선호가 아니라 명확한 시스템 우선순위에 기반하여 엔지니어링 의사결정을 내릴 수 있도록 한다.
가장 효과적인 트레이드오프 과정은 반복적(iterative)이다. 요구사항은 인식, 위치추정, 월드 모델링, 계획, 제어, 액추에이션, 컴퓨팅, 통신 및 기타 시스템 기능에 할당되고, 이후 후보 아키텍처를 통합하여 평가한다. 테스트와 측정은 예상된 동작과 실제 동작 사이의 차이를 드러내며, 배포 데이터(deployment data)는 새로운 환경적, 성능적, 전력적, 신뢰성 제약을 드러낼 수 있다. 이후 요구사항과 아키텍처를 개선하고 공동 설계 사이클(co-design cycle)을 다시 수행할 수 있다. 따라서 시스템 수준의 트레이드오프는 일회성 설계 결정이 아니라 요구사항 정의부터 검증(validation), 배포(deployment), 모니터링(monitoring), 개선(improvement)에 이르기까지 지속되는 엔지니어링 과정이다.
최종적인 목표는 개별적으로 최적화된 구성요소가 아니라 최적의 물리적 인공지능 시스템을 만드는 것이다. 이러한 시스템은 필요한 지능과 작업 성능을 제공하면서 실시간 동작(real-time behavior), 에너지 효율(energy efficiency), 안전(safety), 신뢰성(reliability), 강건성(robustness), 비용(cost), 확장성(scalability), 물리적 제약(physical constraints)을 동시에 만족해야 한다. 핵심 원칙은 모든 주요 설계 결정이 다른 여러 시스템 특성 사이의 균형을 변화시킨다는 것이다. 따라서 하드웨어, 소프트웨어, AI 모델, 센서, 액추에이터, 통신, 전력, 열 시스템은 함께 평가되어야 한다. 효과적인 공동 설계(co-design)는 실제 세계의 제약 안에서 전체 시스템이 임무 목표를 만족할 수 있도록 균형 잡힌 아키텍처(balanced architecture)를 만들어낸다.
00.06. Performance Cost Power and Safety
성능(performance), 비용(cost), 전력(power), 안전(safety)은 물리적 인공지능(Physical AI)에서 긴밀하게 연결된 설계 공간(design space)을 형성한다. 하나의 차원을 개선하면 다른 차원도 변화하기 때문에 각각을 독립적으로 최적화하는 것은 효과적이지 않다. 더 높은 AI 성능은 더 많은 계산 능력(computation), 메모리(memory), 센서(sensors), 에너지를 필요로 할 수 있으며, 더 강력한 안전 메커니즘(safety mechanisms)은 이중화(redundancy)와 추가 하드웨어를 요구할 수 있다. 따라서 성공적인 물리적 인공지능 시스템은 허용 가능한 비용과 전력 범위 안에서 충분한 성능을 확보하면서, 의도된 임무 전체에서 안전하고 신뢰성 있게 작동해야 한다.
물리적 인공지능에서 성능(performance)은 기존 AI 모델의 정확도(model accuracy)를 넘어선다. 실제 시스템은 실제 운용 조건에서 요구되는 작업 성공률(task success rate), 정밀도(precision), 강건성(robustness), 처리량(throughput), 일반화(generalization)를 달성해야 한다. 인식 정확도(perception accuracy)는 중요하지만, 궁극적으로 올바른 의사결정과 물리적 행동을 지원해야 한다. 따라서 성능 요구사항(performance requirements)은 시스템 수준에서 정의되어야 하며, 모델의 동작을 센싱(sensing), 컴퓨팅(computation), 계획(planning), 제어(control), 액추에이션(actuation)과 연결해야 한다. 목표는 고립된 벤치마크 점수가 아니라 의미 있는 물리적 성능(physical performance)을 확보하는 것이다.
실시간 동작(real-time behavior)은 시스템 성능의 주요 구성요소이다. 종단 간 지연시간(end-to-end latency), 업데이트 속도(update rate), 지터(jitter), 제어 루프 타이밍(control-loop timing)은 AI의 의사결정이 적절한 시간 안에 물리적 세계에 영향을 줄 수 있는지를 결정한다. 매우 정확한 모델이라도 그 결과가 관련된 물리적 사건이 이미 변화한 이후에 도착한다면 실질적인 가치는 제한적일 수 있다. 따라서 물리적 인공지능은 모델 복잡도(model complexity)와 추론 품질(inference quality)을 계산 속도(computational speed) 및 시간 결정성(timing determinism)과 균형을 이루어야 한다. 시스템이 정상적인 계산 성능을 유지할 수 없는 상황에서는 점진적 성능 저하(graceful degradation) 역시 중요하다.
전력(power)은 이동형 시스템이 지속적으로 유지할 수 있는 지능의 수준을 직접적으로 제한하는 물리적 제약(physical constraint)이다. AI 계산, 센서, 통신 장치, 액추에이터는 모두 에너지를 소비하며, 배터리 용량(battery capacity)은 이용 가능한 작동 시간을 결정한다. 계산 성능을 높이면 더 큰 모델, 더 높은 추론 주파수(inference rate), 더욱 풍부한 월드 이해(world understanding)를 가능하게 할 수 있지만, 동시에 작동 시간을 단축시킬 수 있다. 따라서 에너지 인식 설계(energy-aware design)는 AI 전력만을 독립적인 사양으로 취급하기보다 전체 시스템 전력, 컴퓨팅 전력, 센서 및 통신 전력, 액추에이터 전력, 배터리 용량, 추론당 에너지 소비(energy consumption per inference)를 함께 고려해야 한다.
열적 거동(thermal behavior)은 전력 소비와 지속적인 성능 및 신뢰성을 연결한다. 전기적 전력(electrical power)은 열로 변환되며, 적절한 열 설계(thermal design)와 냉각 솔루션(cooling solution)을 통해 제거되어야 한다. 열이 효과적으로 방출되지 않으면 온도가 상승하고, 시스템은 열 스로틀링(thermal throttling)을 통해 계산 성능을 감소시킬 수 있다. 이로 인해 AI 작업량(AI workload), 하드웨어 능력(hardware capability), 냉각 능력(cooling capacity), 지속 성능(sustained performance) 사이에 직접적인 관계가 형성된다. 따라서 물리적 인공지능 공동 설계(Physical AI co-design)는 시스템이 실제 운용 조건 전체에서 필요한 지능을 유지할 수 있도록 충분한 열적 여유(thermal margin)를 확보해야 한다.
비용(cost)은 또 다른 중요한 시스템 수준의 제약(system-level constraint)이다. 고성능 컴퓨팅 플랫폼, 추가 센서, 이중화 구성요소(redundant components), 고급 액추에이터, 냉각 시스템, 안전 메커니즘은 능력을 향상시킬 수 있지만 자재비(bill-of-materials cost), 통합 비용(integration cost), 유지보수 비용(maintenance cost), 총소유비용(total cost of ownership)을 증가시킨다. 따라서 시스템은 경제적 타당성(economic feasibility)을 고려하지 않고 능력을 최대화해서는 안 된다. 적절한 아키텍처는 임무에 필요한 능력을 제공하면서 추가적인 가치가 제한적인 불필요한 하드웨어, 계산, 복잡도를 피해야 한다.
안전(safety)은 성능이나 비용과는 다른 특성을 가진다. 안전은 시스템이 절대로 위반해서는 안 되는 조건을 정의하기 때문이다. 물리적 인공지능 시스템은 안전 상태(safe states), 대체 동작(fallback behavior), 고장 감지 및 격리(fault detection and isolation), 이중화(redundancy), 통제된 정지(controlled stopping), 페일 세이프(fail-safe) 또는 페일 오퍼레이셔널(fail-operational) 동작을 필요로 할 수 있다. AI가 생성한 의사결정은 물리적 제약과 안전 제약의 적용을 받아야 한다. 따라서 안전 메커니즘은 AI 시스템이 이미 설계된 이후에 추가하기보다 아키텍처 정의 단계에서부터 고려되어야 한다. 안전을 늦게 통합하면 하드웨어, 소프트웨어, 시간 특성(timing), 제어 아키텍처의 대규모 변경이 필요할 수 있기 때문이다.
신뢰성(reliability)은 안전과 장기적인 운용 성능(operational performance)을 연결한다. 센서, 컴퓨팅 장치, 통신 링크, 액추에이터는 운용 중 성능이 저하되거나 고장날 수 있다. 이중화는 가용성(availability)과 고장 허용성(fault tolerance)을 향상시킬 수 있지만, 추가적인 이중화는 비용, 무게, 전력 소비, 시스템 복잡도를 증가시킨다. 따라서 적절한 수준의 이중화는 임무 위험(mission risk), 고장 결과(failure consequences), 운용 조건(operating conditions), 요구되는 안전 상태(safe state)에 따라 결정되어야 한다. 고장 감지 및 격리(fault detection and isolation)는 시스템이 비정상적인 동작을 인식하고 적절한 대체 상태로 전환할 수 있도록 해야 하며, 모든 구성요소가 항상 정상적으로 작동한다고 가정해서는 안 된다.
성능, 전력, 비용, 안전은 하드웨어 선택(hardware selection)을 통해서도 상호작용한다. 더 강력한 프로세서는 AI 성능을 향상시킬 수 있지만 더 많은 에너지를 소비하고 추가적인 열을 발생시킬 수 있다. 저전력 프로세서는 작동 시간을 연장할 수 있지만 모델 크기나 추론 주파수를 제한할 수 있다. 추가 센서는 인식 강건성(perception robustness)을 향상시킬 수 있지만 대역폭, 저장공간, 계산 요구량, 비용을 증가시킨다. 따라서 하드웨어 선택은 정확도(accuracy), 강건성, 지연시간, 메모리, 대역폭, 전력, 열적 거동, 크기, 무게, 비용, 가용성(availability), 유지보수성(maintainability), 신뢰성, 안전을 각각의 독립적인 사양으로 평가하기보다 하나의 통합된 기준으로 함께 평가해야 한다.
이러한 관계는 AI 작업량이 어디에서 실행되어야 하는지를 결정할 때 특히 중요해진다. 로봇 온보드 엣지 컴퓨팅(on-robot edge computing)은 낮은 지연시간과 로컬 자율성(local autonomy)을 제공할 수 있지만, 온보드 계산 능력, 전력, 열 요구사항을 증가시킨다. 온프레미스(on-premise) 또는 클라우드(cloud) 인프라는 학습, 고난도 추론, 플릿 규모 처리(fleet-scale processing)를 위한 더 큰 계산 능력을 제공할 수 있지만 통신 의존성과 잠재적인 지연시간 또는 연결성 장애를 발생시킨다. 따라서 시스템은 각 기능의 시간적 중요도(timing criticality), 계산 요구량, 전력 제약, 연결성, 개인정보 보호(privacy), 운용 복원력(operational resilience)에 따라 작업량을 분할해야 한다.
올바른 설계는 하나의 단일 지표를 최대화하는 것으로 결정할 수 없다. 물리적 인공지능은 성능, 실시간 동작, 전력, 안전, 신뢰성, 비용, 크기, 무게, 강건성, 운용 제약을 함께 고려하는 다목적 평가(multi-objective evaluation)를 필요로 한다. 후보 아키텍처(candidate architectures)는 측정 가능한 요구사항을 기준으로 평가할 수 있으며, 필요한 성능을 만족하면서 물리적, 경제적, 안전상의 한계를 유지하는지를 비교할 수 있다. 이러한 접근 방식은 여러 개의 실현 가능한 구성이 존재할 수 있음을 인정하며, 최선의 해법은 하나의 지표를 최대화하는 것이 아니라 해당 임무에 가장 적절한 균형을 제공하는 구성이라는 점을 의미한다.
최종적인 목표는 능력이 뛰어나고(capable), 효율적이며(efficient), 안전하고(safe), 신뢰할 수 있으며(reliable), 경제적으로 배포 가능한(economically deployable) 물리적 인공지능 시스템을 구축하는 것이다. 이를 위해서는 요구사항을 시스템 기능에 할당하고, 아키텍처를 설계하고 통합하며, 성능과 자원 소비를 측정하고, 결과를 최초 요구사항과 비교하여 검증하는 반복적인 공동 설계 과정(iterative co-design process)이 필요하다. 테스트나 배포 과정에서 발견되는 격차는 요구사항의 개선과 아키텍처의 발전으로 이어져야 한다. 따라서 성능, 비용, 전력, 안전은 최종적인 점검 항목이 아니라 물리적 인공지능 생명주기(Physical AI lifecycle) 전체에서 지속적으로 상호작용하는 설계 변수(design variables)이다.
00.07. Training vs Inference System Requirements
학습(training)과 추론(inference)은 서로 관련된 AI 모델을 사용하더라도 물리적 인공지능(Physical AI)에서는 근본적으로 서로 다른 시스템 작업량(system workloads)이다. 학습은 주로 대규모 데이터로부터 유용한 표현(representations), 정책(policies), 동역학(dynamics), 행동(behaviors)을 학습하는 데 초점을 두는 반면, 추론은 학습된 능력을 실제 물리적 시스템에서 안정적으로 실행하는 데 초점을 둔다. 학습은 긴 실행 시간과 대규모 계산 자원을 허용할 수 있지만, 추론은 실시간, 전력, 메모리, 열, 신뢰성 제약 안에서 작동해야 한다. 이러한 차이는 하드웨어-소프트웨어 공동 설계(hardware-software co-design)에서 매우 중요하며, 최적의 학습 플랫폼이 최적의 배포 플랫폼인 경우는 거의 없다.
학습 시스템(training systems)은 학습 효율(learning efficiency)과 모델 품질(model quality)을 최대화하도록 설계된다. 일반적으로 대규모 데이터셋, 높은 메모리 용량(memory capacity), 높은 메모리 대역폭(memory bandwidth), 상당한 병렬 계산(parallel computation), 그리고 모델에 대한 반복적인 순전파 및 역전파(forward and backward passes)를 필요로 한다. GPU와 기타 가속기(accelerators)는 학습 과정에서 대량의 행렬 및 텐서 연산(matrix and tensor operations)을 병렬로 수행할 수 있기 때문에 특히 유용하다. 따라서 학습 인프라는 고성능 워크스테이션이나 분산 컴퓨팅 클러스터(distributed compute clusters)를 사용할 수 있으며, 이 환경에서는 에너지 소비, 물리적 크기, 지연시간이 중요하지만 일반적으로 처리량(throughput), 수렴 속도(convergence speed), 실험 능력(experiment capacity), 최종 모델 품질보다 우선순위가 낮다.
학습은 추론보다 더 광범위한 소프트웨어 및 데이터 인프라(data infrastructure)를 필요로 한다. 데이터 준비(data preparation), 동기화(synchronization), 증강(augmentation), 라벨링(labeling), 데이터셋 버전 관리(dataset versioning), 실험 추적(experiment tracking), 체크포인트 관리(checkpoint management), 검증(validation), 재현성(reproducibility)은 모두 결과 모델의 품질에 영향을 준다. 학습 시스템은 반복적인 실험을 지원해야 하는데, 모델 아키텍처(model architecture), 하이퍼파라미터(hyperparameters), 데이터 구성(data composition), 최적화 방법(optimization methods), 학습 일정(training schedules)을 변경해야 할 수 있기 때문이다. 목표는 단순히 하나의 계산을 빠르게 완료하는 것이 아니라, 대규모 설계 공간을 효율적으로 탐색하고 충분히 정확하고 강건하며 다른 환경으로 이전 가능한 모델을 생성하는 것이다.
추론은 우선순위가 다르다. 물리적 임무의 조건에서 예측 가능한 실행(predictable execution)을 수행해야 한다. 배포된 로봇은 센서 관측값을 지속적으로 입력받고 이를 인식 결과(perception results), 상태 추정(state estimates), 예측(predictions), 의사결정(decisions), 제어 행동(control actions)으로 적절한 시간 안에 변환해야 한다. 따라서 추론은 지연시간(latency), 처리량(throughput), 결정론성(determinism), 메모리 사용량(memory footprint), 전력 소비(power consumption), 열적 안정성(thermal stability), 신뢰성(reliability)을 중요하게 고려한다. 학습 평가에서 뛰어난 성능을 보이는 모델이라도 목표 로봇에서 충분히 빠르고 일관되며 효율적으로 실행되지 못한다면 실제 배포에는 적합하지 않을 수 있다.
실시간 물리적 인공지능(real-time Physical AI)에서는 이러한 차이가 특히 명확해진다. 학습은 수 시간 또는 수일 동안 실행될 수 있지만, 추론은 변화하는 물리적 상황에 대응하기 위해 수 밀리초 또는 수십 밀리초 안에 응답해야 할 수 있다. 인식(perception), 월드 모델링(world modeling), 계획(planning), 제어(control)는 서로 다른 주파수에서 작동할 수 있으며, 이들의 계산 작업량은 센서와 액추에이터의 타이밍에 맞춰 조정되어야 한다. 따라서 배포 아키텍처(deployment architecture)는 명확한 지연시간 예산(latency budgets)과 스케줄링 전략(scheduling strategies)을 필요로 하며, 고수준 AI가 시간에 민감한 제어나 안전 기능을 방해하지 않도록 해야 한다.
학습과 추론은 전력 및 열 요구사항(power and thermal requirements)에서도 상당히 다르다. 학습 클러스터(training cluster)는 전용 냉각 및 전력 인프라를 갖춘 통제된 시설에서 작동하기 때문에 상당한 전력을 소비할 수 있다. 반면 모바일 로봇은 배터리와 냉각 시스템을 직접 탑재하면서 변화하는 환경에서 작동해야 한다. 과도한 추론 전력(inference power)은 작동 시간을 감소시키고, 과도한 열은 열 스로틀링(thermal throttling)을 유발하여 지속적인 AI 성능(sustained AI performance)을 감소시킬 수 있다. 따라서 배포 단계에서는 단순히 원시 계산 성능(raw compute performance)을 최대화하기보다 추론당 에너지(energy per inference), 모델 크기(model size), 추론 주파수(inference frequency), 메모리 이동(memory movement), 하드웨어 활용률(hardware utilization)을 최적화해야 한다.
메모리와 데이터 이동(memory and data movement)은 또 다른 중요한 차이를 만든다. 학습은 대규모 데이터셋과 모델을 사용할 수 있으며, 상당한 시스템 메모리와 고대역폭 인터커넥트(high-bandwidth interconnects)를 필요로 한다. 추론에서도 메모리 용량과 대역폭은 여전히 중요하지만, 불필요한 데이터 이동은 지연시간과 전력 소비의 주요 원인이 될 수 있다. 효율적인 모델 표현(efficient model representations), 양자화(quantization), 가지치기 또는 캐싱(caching), 최적화된 메모리 접근(optimized memory access), 하드웨어 인식 실행(hardware-aware execution)은 이러한 오버헤드를 줄일 수 있다. 따라서 추론 시스템은 모델이 얼마나 많은 계산을 필요로 하는지만이 아니라, 데이터가 전체 하드웨어 및 소프트웨어 스택을 얼마나 효율적으로 이동할 수 있는지를 기준으로 설계되어야 한다.
따라서 추론에 선택되는 하드웨어는 학습에 사용되는 하드웨어와 상당히 다를 수 있다. GPU 클러스터는 대규모 학습에 이상적일 수 있지만, 로봇은 CPU, GPU, NPU, MCU 또는 기타 특수 가속기를 조합하여 사용할 수 있다. 결정론적인 제어(deterministic control)와 안전 기능(safety functions)은 임베디드 프로세서(embedded processors)에 유지하고, 인식과 월드 모델 작업량은 AI 가속기(AI accelerators)에서 실행할 수 있다. 이러한 이기종 컴퓨팅(heterogeneous computing) 방식은 각각의 작업량이 적절한 연산 엔진에서 실행되도록 하며, 성능, 지연시간, 전력, 열적 거동, 비용, 신뢰성 사이의 균형을 개선할 수 있다.
학습과 추론을 분리한다고 해서 서로 독립적으로 설계해야 한다는 의미는 아니다. 오히려 배포 제약(deployment constraints)은 처음부터 학습 과정에 영향을 주어야 한다. 목표 로봇이 제한된 메모리, 전력 또는 계산 능력을 가진다면 학습 과정에서 더 작거나 효율적인 모델을 생성해야 할 수 있다. 양자화 인식 학습(quantization-aware training), 지식 증류(knowledge distillation), 가지치기(pruning), 효율적인 아키텍처(efficient architectures), 파라미터 효율적 적응(parameter-efficient adaptation), 하드웨어 인식 최적화(hardware-aware optimization)는 학습 목표와 배포 요구사항을 연결할 수 있다. 이러한 방식으로 모델은 추상적인 정확도만을 최대화하도록 학습되는 것이 아니라, 의도된 물리적 구현(physical embodiment)의 제약 안에서 유용한 지능을 달성하도록 학습된다.
추론 요구사항(inference requirements)은 실행되는 물리적 인공지능 기능에 따라서도 크게 달라진다. 안전 제어기(safety controller)는 매우 결정론적이고 낮은 지연시간의 실행을 요구할 수 있는 반면, 인식 모델은 처리량과 다중 모달 처리(multimodal processing)를 우선시할 수 있다. 월드 모델은 상당한 메모리와 시간적 맥락(temporal context)을 필요로 할 수 있으며, 고수준 추론 모델은 더 느린 비동기 실행(asynchronous execution)을 허용할 수 있다. 따라서 이러한 작업량을 하나의 단일 계산 스케줄에 강제로 통합해서는 안 된다. 기능적 분할(functional partitioning)을 통해 핵심 기능은 응답성을 유지하고, 계산량이 많은 기능은 적절한 주파수에서 실행하거나 외부 인프라로 분산할 수 있다.
엣지(edge), 온프레미스(on-premise), 클라우드(cloud)의 관계는 이러한 차이에서 자연스럽게 도출된다. 학습과 대규모 모델 개발은 강력한 외부 인프라를 사용할 수 있지만, 배포된 로봇은 핵심 자율성(essential autonomy)을 위해 충분한 온보드 추론 능력(onboard inference capability)을 필요로 한다. 대규모 학습, 플릿 분석(fleet analytics), 대규모 시뮬레이션(large-scale simulation), 모델 개발은 로봇 외부에서 수행할 수 있는 반면, 인식, 제어, 안전 및 기타 시간에 민감한 기능은 물리적 시스템에 가까운 곳에 유지되어야 한다. 연결성이 간헐적인 경우에도 로봇은 원격 계산에 의존하지 않고 안전한 작동을 계속할 수 있도록 충분한 로컬 추론 능력을 유지해야 한다.
궁극적으로 학습과 추론은 서로 분리된 AI 문제가 아니라 하나의 물리적 인공지능 엔지니어링 생명주기(Physical AI engineering lifecycle)를 구성하는 연결된 두 단계로 취급되어야 한다. 학습은 모델이 무엇을 학습할 수 있는지를 결정하는 반면, 추론은 학습된 능력이 실제 세계의 제약 안에서 유용한 물리적 행동으로 전환될 수 있는지를 결정한다. 효과적인 공동 설계(co-design)는 데이터와 학습 인프라에서 모델 아키텍처(model architecture), 배포 하드웨어(deployment hardware), 런타임 소프트웨어(runtime software), 실시간 실행(real-time execution), 모니터링(monitoring), 이후의 모델 개선(model improvement)까지 지속적인 연결을 구축한다. 목표는 학습 규모의 지능(training-scale intelligence)을 물리적 엣지(physical edge)에서 신뢰할 수 있고 효율적이며 안전하고 지속 가능한 추론(reliable, efficient, safe, and sustainable inference)으로 전환하는 것이다.
00.08. Robot Platform Diversity
로봇 플랫폼의 다양성(robot platform diversity)은 물리적 인공지능(Physical AI)의 핵심적인 특성이다. 지능은 하나의 표준화된 기계가 아니라 서로 다른 물리적 구현(physical embodiment)을 통해 작동해야 하기 때문이다. 실내 자율이동로봇(indoor AMR), 실외 자율이동로봇(outdoor AMR), 모바일 매니퓰레이터(mobile manipulator), 4족보행 로봇(quadruped), 휴머노이드(humanoid), 자율 비행 로봇(autonomous aerial robot)은 이동성(mobility), 자유도(degrees of freedom), 탑재하중(payload), 속도(speed), 안정성(stability), 센싱 구성(sensing configuration), 액추에이터 동역학(actuator dynamics), 전력 용량(power capacity), 운용 환경(operating environment)에서 서로 다르다. 이러한 차이는 인식(perception), 계획(planning), 제어(control), 컴퓨팅(computing), 통신(communication), 안전(safety) 요구사항에 직접적인 영향을 준다. 따라서 물리적 인공지능 아키텍처는 재사용 가능한 지능과 플랫폼별 물리적 능력을 분리하면서도 이를 연결하는 인터페이스는 유지해야 한다.
실내 자율이동로봇(indoor AMR)은 일반적으로 안정적인 지면 접촉(ground contact), 효율적인 주행(efficient navigation), 정확한 위치추정(accurate localization), 장애물 회피(obstacle avoidance), 긴 작동시간(long operating duration)을 상대적으로 구조화된 환경에서 달성하는 데 중점을 둔다. 컴퓨팅 요구사항(computational requirements)은 카메라(cameras), LiDAR, 엔코더(encoders), IMU, 매핑(mapping), 위치추정(localization), 내비게이션(navigation), 플릿 통신(fleet communication)과 밀접하게 연결된다. 매니퓰레이터나 휴머노이드에 비해 자유도가 제한적이기 때문에 행동 공간(action space)은 상대적으로 제한적일 수 있다. 그러나 높은 신뢰성(reliability), 정밀한 도킹(precise docking), 지속적인 작동(continuous operation), 예측 가능한 실시간 동작(predictable real-time behavior)은 여전히 중요하다. 따라서 하드웨어-소프트웨어 아키텍처는 범용적인 물리적 상호작용보다는 효율적인 이동성과 내비게이션에 맞추어 최적화될 수 있다.
실외 자율이동로봇(outdoor AMR)은 훨씬 더 큰 환경적 변동성(environmental variation)에 대응해야 한다. 불규칙한 지형(uneven terrain), 날씨(weather), 조명 변화(illumination changes), 식생(vegetation), 먼지(dust), 경사면(slopes), GNSS 가용성(GNSS availability), 넓은 운용 영역(larger operating areas)은 센싱과 위치추정 요구사항을 증가시킬 수 있다. 플랫폼은 더 강력한 액추에이터(stronger actuators), 더 높은 지상고(ground clearance), 더욱 견고한 기계 구조(robust mechanical structures), 추가적인 센싱 모달리티(sensing modalities), 더 높은 컴퓨팅 능력(computing capability)을 필요로 할 수 있다. AI 아키텍처는 더 큰 불확실성과 변화하는 조건을 고려하면서도 허용 가능한 전력 소비(power consumption), 열적 안정성(thermal stability), 통신 복원력(communication resilience), 안전성을 유지해야 한다. 따라서 실내에서 사용되는 동일한 내비게이션 지능을 물리적·환경적 차이를 고려하지 않고 그대로 이전할 수는 없다.
모바일 매니퓰레이터(mobile manipulator)는 이동성(mobility)과 조작(manipulation)을 결합하여 로봇과 환경 사이에 훨씬 더 넓은 상호작용 공간(interaction space)을 만든다. 시스템은 내비게이션(navigation), 위치추정(localization), 팔 동작(arm motion), 파지(grasping), 힘 상호작용(force interaction), 충돌 회피(collision avoidance), 작업 계획(task planning)을 조정해야 한다. 센서에는 카메라, 깊이 센서(depth sensors), LiDAR, 힘 또는 토크 센싱(force or torque sensing), 관절 엔코더(joint encoders) 등이 포함될 수 있으며, 컴퓨팅 아키텍처는 이동 내비게이션과 조작 관련 AI 작업량을 모두 지원해야 한다. 팔 관절과 이동 플랫폼은 서로 다른 동역학과 제어 주파수를 가지기 때문에 액추에이터와 제어 계층(actuator and control hierarchy)은 더욱 복잡해진다. 따라서 이러한 물리적 구현은 인식, 계획, 제어, 물리적 상호작용 사이의 더욱 긴밀한 통합을 필요로 한다.
4족보행 로봇(quadruped)은 여러 다리가 동적으로 협조해야 하기 때문에 다른 형태의 요구사항을 가진다. 지형 접촉(terrain contact), 본체 안정성(body stability), 발 위치 결정(foot placement), 보행 생성(gait generation), 관절 제어(joint control), 회복 행동(recovery behavior)이 물리적 인공지능 시스템의 핵심 요소가 된다. 로봇은 지형과 움직임에 대해 추론하면서 액추에이터 토크, 속도, 접촉, 에너지 제약을 동시에 만족해야 한다. 컴퓨팅 아키텍처는 고수준 인식과 계획을 고주파 보행 제어(high-frequency locomotion control)와 분리해야 할 수도 있다. 따라서 바퀴형 자율이동로봇(wheeled AMR)에 비해 4족보행 로봇은 AI 의사결정, 기계 동역학, 액추에이터 능력, 실시간 제어 사이의 관계가 더욱 강하게 나타난다.
휴머노이드(humanoid)는 고도로 관절화된 구조(highly articulated structure) 안에서 이족보행(bipedal locomotion), 조작(manipulation), 균형(balance), 인식(perception), 상호작용(interaction)을 결합하기 때문에 더욱 광범위한 물리적 구현을 나타낸다. 많은 자유도는 행동 공간의 차원(dimensionality of the action space)과 전신 제어(whole-body control)의 복잡도를 증가시킨다. 시스템은 다중 모달 센싱(multimodal sensing), 고성능 컴퓨팅(high-performance computing), 정교한 상태 추정(state estimation), 동작 계획(motion planning), 힘 제어(force control), 안전 메커니즘(safety mechanisms)을 필요로 할 수 있다. 동시에 휴머노이드 형태는 광범위한 작업 수행 능력(task versatility)을 제공할 수 있다. 이로 인해 일반적인 물리적 능력(general physical capability)과 시스템 복잡도(system complexity) 사이에 근본적인 트레이드오프가 발생하며, 하드웨어-소프트웨어-AI 공동 설계(hardware-software-AI co-design)가 특히 중요해진다.
자율 비행 로봇(autonomous aerial robot)은 무게(weight), 추력(thrust), 안정성(stability), 배터리 에너지(battery energy), 공기역학적 거동(aerodynamic behavior)을 지속적으로 관리해야 하기 때문에 근본적으로 다른 제약을 가진다. 플랫폼은 엄격한 탑재하중과 전력 제약 안에서 인식, 위치추정, 계획, 제어를 수행해야 한다. 센서와 컴퓨팅 하드웨어는 가볍고 에너지 효율적이어야 하며, 비행 제어(flight control)는 매우 빠르고 결정론적인 실행(highly responsive and deterministic execution)을 필요로 한다. 통신 손실(communication loss)은 지상 로봇처럼 단순히 정지하여 동일한 위치에 머무를 수 없기 때문에 즉각적인 결과를 초래할 수도 있다. 따라서 공중 물리적 인공지능(aerial Physical AI)은 컴퓨팅, 전력, 센싱, 제어, 안전 사이의 매우 정교한 조정을 필요로 한다.
이러한 다양한 구현 형태는 컴퓨팅 요구사항(computing requirements)이 로봇의 형태(morphology)와 임무(mission)에서 독립적으로 정의될 수 없는 이유를 보여준다. 컴퓨팅 아키텍처는 작업량에 따라 MCU 기반 제어에서 CPU, GPU, NPU 또는 이기종 컴퓨팅 시스템(heterogeneous computing systems)에 이르기까지 다양할 수 있다. 바퀴형 자율이동로봇은 인식과 내비게이션에 상당한 자원을 할당할 수 있는 반면, 휴머노이드나 4족보행 로봇은 전신 제어 또는 보행 제어를 위해 추가적인 고주파 계산을 필요로 할 수 있다. 모바일 매니퓰레이터는 내비게이션과 조작 작업량을 모두 필요로 할 수 있으며, 비행 플랫폼은 가볍고 에너지 효율적인 컴퓨팅을 우선시할 수 있다. 따라서 플랫폼의 크기와 능력은 물리적 작업, 센싱 구성, AI 작업량, 지연시간 요구사항, 전력 예산, 안전 아키텍처를 따라 결정되어야 한다.
센서 구성(sensor configurations) 역시 물리적 구현에 따라 달라진다. 지상 로봇은 LiDAR, 카메라, 휠 엔코더, IMU, GNSS에 크게 의존할 수 있는 반면, 매니퓰레이터는 말단장치(end effector) 주변에서 깊이 센서와 힘 또는 토크 센싱을 필요로 할 수 있다. 4족보행 로봇은 보행을 위해 자기수용성(proprioception)과 접촉 정보(contact information)를 활용하며, 비행 로봇은 내비게이션과 안정화를 위해 신중하게 선택된 경량 센서를 필요로 할 수 있다. 따라서 센서 배치(sensor placement), 시야(field of view), 커버리지(coverage), 해상도(resolution), 탐지 거리(range), 업데이트 속도(update rate), 동기화(synchronization), 이중화(redundancy)는 물리적 구조와 작업에 따라 설계되어야 한다. 센서 선택은 단순히 개별적으로 가장 좋은 센서를 선택하는 문제가 아니라 AI 요구사항, 대역폭, 계산 부하, 전력, 신뢰성을 포함하는 시스템 수준의 결정이다.
로봇의 다양성(robot diversity)은 소프트웨어 아키텍처와 이식성(portability)에도 영향을 준다. 인식, 위치추정, 월드 모델링, 계획, 진단, AI 추론과 같은 재사용 가능한 소프트웨어 구성요소(reusable software components)는 공통 기반을 제공할 수 있지만, 서로 다른 액추에이터, 센서 구성, 운동학(kinematics), 동역학(dynamics), 제어 시스템을 위해서는 플랫폼별 인터페이스(platform-specific interfaces)가 필요하다. 따라서 확장 가능한 아키텍처(scalable architecture)는 플랫폼 독립적인 지능(platform-independent intelligence)과 플랫폼 의존적인 실행(platform-dependent execution)을 구분해야 한다. 안정적인 인터페이스(stable interfaces), 모듈형 구성요소(modular components), 표준화된 표현(standardized representations), 하드웨어 추상화(hardware abstraction)를 통해 모든 구성요소를 다시 설계하지 않고도 동일한 고수준 AI 능력을 여러 물리적 구현에 적용할 수 있다.
구현 형태를 초월한 학습(cross-embodiment learning)은 서로 다른 물리적 신체(physical bodies) 사이에서 전이될 수 있는 표현과 행동을 추구함으로써 이러한 원칙을 강화한다. 공개 데이터셋과 협력 데이터셋(public and collaborative datasets)은 여러 로봇 구현에서 수집된 궤적(trajectories), 관측값(observations), 행동(actions), 작업 설명(task descriptions), 로봇 상태(robot states), 센서 측정값(sensor measurements), 환경 맥락(environment context), 메타데이터(metadata)를 포함할 수 있다. 표준화된 형식(standardized formats), 보정 정보(calibration information), 동기화된 관측값(synchronized observations), 일관된 행동 표현(consistent action representations)은 이러한 데이터를 학습에 더욱 유용하게 만들 수 있다. 목표는 물리적 차이를 제거하는 것이 아니라, 어떤 지능의 측면이 공통으로 유지될 수 있고 어떤 측면이 각 물리적 구현에 맞게 조정되어야 하는지를 식별하는 것이다.
확장 가능한 물리적 인공지능 플랫폼(scalable Physical AI platform)은 따라서 공통 아키텍처(common architecture)와 물리적 구현별 최적화(embodiment-specific optimization) 사이의 균형을 필요로 한다. 공유 AI 모델(shared AI models), 데이터 파이프라인(data pipelines), 인터페이스(interfaces), 소프트웨어 구성요소는 개발 비용을 줄이고 여러 플랫폼에서의 배포를 가속할 수 있다. 동시에 시스템은 각 로봇에 맞게 모델 크기(model size), 센서 구성, 컴퓨팅 할당(compute allocation), 제어 주파수(control frequency), 행동 표현(action representation), 안전 메커니즘을 조정할 수 있는 능력을 유지해야 한다. 전체 시스템의 참조 아키텍처(reference architecture)는 일관되게 유지하면서도, 플랫폼이 자율이동로봇, 모바일 매니퓰레이터, 4족보행 로봇, 휴머노이드 또는 비행 로봇인지에 따라 세부 구현을 변경할 수 있어야 한다.
궁극적으로 로봇 플랫폼의 다양성은 물리적 인공지능 공동 설계(Physical AI co-design)의 목표를 하나의 로봇을 위한 지능을 구축하는 것에서 여러 물리적 구현 제품군(family of physical embodiments)과 효과적으로 상호작용할 수 있는 지능을 구축하는 것으로 변화시킨다. 가장 확장 가능한 접근 방식은 공통 표현(common representations), 모듈형 소프트웨어(modular software), 적응 가능한 AI 모델(adaptable AI models), 표준화된 인터페이스(standardized interfaces), 플랫폼별 하드웨어 및 제어 계층(platform-specific hardware and control layers)을 결합하는 것이다. 이를 통해 각 로봇을 임무에 효과적으로 만드는 물리적 특성을 유지하면서 지능을 재사용할 수 있다. 따라서 로봇의 다양성은 단순한 배포 문제가 아니라 다양한 작업과 환경에서 더욱 전이 가능하고(transferable), 확장 가능하며(scalable), 적응 가능하고(adaptable), 높은 능력을 가진 물리적 인공지능을 개발할 수 있는 아키텍처적 기회(architectural opportunity)이다.
00.09. Co Design Development Workflow
물리적 인공지능(Physical AI)의 공동 설계 개발 워크플로우(co-design development workflow)는 특정 AI 모델이나 하드웨어 플랫폼에서 시작하는 것이 아니라 임무(mission), 맥락(context), 의도된 운용 조건(intended operating conditions)에서 시작한다. 임무 목표(mission goals)는 시스템이 무엇을 달성해야 하는지를 정의하고, 운용 환경(operating environment)은 시스템이 어디에서 작동하며 어떤 조건을 견뎌야 하는지를 정의한다. 작업(tasks), 시나리오(scenarios), 물리적 구현(embodiment), 안전 목표(safety objectives)는 지능이 작동해야 하는 물리적 맥락을 확립한다. 이러한 출발점은 하드웨어, 소프트웨어, AI에 대한 결정이 로봇의 실제 목적과 분리되는 것을 방지하며, 이후의 모든 엔지니어링 의사결정을 위한 기반을 제공한다.
다음 단계는 임무와 맥락에서 시스템 요구사항(system requirements)을 도출하는 것이다. 요구사항은 기능적 동작(functional behavior), 성능(performance), 실시간 응답(real-time response), 물리적 제약(physical constraints), 안전 및 신뢰성(safety and reliability), 운용 조건(operational conditions)을 포함한 여러 차원에서 전체 시스템이 달성해야 하는 사항을 정의한다. 기능 요구사항에는 장애물 탐지(obstacle detection), 위치추정(localization), 계획(planning), 물체 조작(manipulation) 등이 포함될 수 있으며, 성능 요구사항은 정확도(accuracy), 성공률(success rate), 처리량(throughput) 등을 지정할 수 있다. 물리적 요구사항에는 크기(size), 무게(weight), 탑재하중(payload), 에너지(energy), 열적 한계(thermal limits), 환경 보호(environmental protection)가 포함되며, 운용 요구사항에는 작동시간(runtime), 연결성(connectivity), 유지보수성(maintainability), 비용(cost)이 포함된다.
요구사항은 일반적인 목표에서 측정 가능하고 시험 가능한 엔지니어링 목표(measurable and testable engineering targets)로 변환되어야 한다. 이를 위해서는 예상 성능을 정량화하고, 평가 지표(evaluation metrics)를 정의하고, 우선순위와 수용 기준(acceptance criteria)을 설정하며, 요구사항 사이의 의존성과 트레이드오프(dependencies and tradeoffs)를 식별해야 한다. 예를 들어 더 높은 인식 정확도(perception accuracy)는 추가적인 계산 능력과 전력을 필요로 할 수 있으며, 더 강력한 안전 요구사항은 이중화(redundancy)와 추가 하드웨어를 필요로 할 수 있다. 따라서 요구사항 분석(requirements analysis)은 임무 수준의 목표와 구체적인 엔지니어링 의사결정 사이를 연결하는 역할을 하며, 이후의 설계 선택이 주관적인 선호가 아니라 객관적인 기준에 따라 평가될 수 있도록 한다.
도출된 요구사항은 물리적 인공지능 시스템의 기능 아키텍처(functional architecture)에 할당된다. 인식(perception), 위치추정(localization), 예측 및 월드 모델링(prediction and world modeling), 계획 및 추론(planning and reasoning), 제어(control), 액추에이션(actuation), 컴퓨팅(computing), 통신(communication)은 각각 적절한 책임과 제약을 부여받는다. 이러한 할당은 시스템 수준의 요구사항이 소프트웨어 기능, AI 모델, 센서, 프로세서, 액추에이터, 네트워크 및 기타 자원에 어떻게 분배되는지를 결정한다. 목적은 단순히 시스템을 여러 모듈로 나누는 것이 아니라, 로봇이 달성해야 하는 목표와 그 목표를 달성하는 데 책임이 있는 기술적 메커니즘 사이에 추적 가능한 관계(traceable relationships)를 구축하는 것이다.
이후에는 하드웨어, 소프트웨어, AI를 함께 선택하고 아키텍처를 구성함으로써 공동 설계 결정(co-design decisions)을 내린다. AI 모델과 알고리즘은 센서 선택 및 배치(sensor selection and placement), 컴퓨팅 플랫폼(compute platforms), 액추에이터 및 구동기(actuators and drives), 소프트웨어 아키텍처(software architecture), 전력 및 열 시스템(power and thermal systems), 네트워크 및 I/O 설계(network and I/O design)와 함께 고려되어야 한다. 한 요소의 변화는 다른 요소의 요구사항을 변화시킬 수 있다. 더 큰 AI 모델은 더 강력한 가속기와 더 큰 냉각 능력을 필요로 할 수 있으며, 다른 센서 구성은 메모리 대역폭, 인식 아키텍처, 추론 요구사항을 변화시킬 수 있다. 따라서 공동 설계는 각 요소를 독립적으로 최적화하기보다 이들을 결합된 시스템(coupled system)으로 평가한다.
아키텍처 개발에서는 시스템 수준의 트레이드오프(system-level tradeoffs)도 명시적으로 고려해야 한다. 성능(performance), 전력(power), 지연시간(latency), 센싱 해상도(sensing resolution), 대역폭(bandwidth), 능력(capability), 비용(cost), 강건성(robustness), 이중화(redundancy), 무게(weight), 크기(size)는 서로 연결되어 있다. 하나의 능력을 증가시키면 시스템의 다른 부분에서 추가적인 요구사항이 발생할 수 있다. 따라서 설계 과정에서는 모든 사양을 최대화해야 한다고 가정하기보다 허용 가능한 트레이드오프 영역(acceptable tradeoff regions)을 식별해야 한다. 이 단계는 요구사항 분석과 실제 자원 할당(resource allocation)을 연결하고, 실제 물리적·경제적·운용적 제약 안에서 임무를 가장 잘 만족시키는 아키텍처를 결정한다.
자원 할당(resource allocation)은 선택된 아키텍처가 하드웨어와 소프트웨어에 걸쳐 어떻게 구현될지를 결정한다. 컴퓨팅 작업량(computing workloads)은 MCU, CPU, GPU, NPU 또는 기타 가속기 사이에 분배될 수 있으며, 인식, 월드 모델링, 계획, 제어는 서로 다른 주파수와 시간 요구사항(timing requirements)으로 작동할 수 있다. 센서와 통신 시스템은 충분한 대역폭을 제공해야 하며, 액추에이터는 필요한 물리적 능력을 제공해야 한다. 전력과 열 예산(power and thermal budgets) 역시 준수되어야 한다. 결과적으로 구축되는 아키텍처는 계산 능력, 실시간 동작, 에너지 소비, 열적 안정성, 신뢰성, 비용 사이의 균형을 유지해야 한다.
이후 설계는 시스템 통합 및 구현(system integration and implementation) 단계로 진행되며, 이전에 분리되어 있던 구성요소들이 실제로 작동하는 물리적 인공지능 시스템으로 결합된다. 센서, 컴퓨팅 플랫폼, AI 모델, 미들웨어, 계획 기능, 제어기, 액추에이터, 통신 인터페이스, 안전 메커니즘은 함께 작동해야 한다. 통합에서는 개별 구성요소가 올바르게 작동하는지만 확인해서는 안 되며, 인터페이스, 시간 특성(timing), 자원 사용량(resource usage), 데이터 흐름(data flow), 물리적 동작이 일관성을 유지하는지도 검증해야 한다. 통합 이후에만 나타나는 문제는 특히 중요하다. 이러한 문제는 개별 구성요소를 독립적으로 개발하는 동안에는 보이지 않았던 의존관계를 드러내는 경우가 많기 때문이다.
검증 및 확인(verification and validation)은 통합된 시스템이 요구사항을 충족한다는 증거를 제공한다. 시스템 통합 이후에는 시험과 측정(testing and measurement), 정의된 요구사항과의 비교, 격차 분석(gap analysis)이 수행된다. 측정은 기능적 성능뿐만 아니라 지연시간, 업데이트 속도, 지터, 전력, 열적 거동, 신뢰성, 안전성 및 기타 관련 제약을 포함해야 한다. 검증(verification)은 시스템이 명시된 요구사항에 따라 구축되었는지를 판단하는 반면, 확인(validation)은 완성된 시스템이 실제로 의도된 임무와 운용상의 요구를 충족하는지를 판단한다. 이러한 구분은 물리적 인공지능에서 특히 중요하다. 기술적으로 올바르게 작동하는 구성요소들이라도 실제로 유용한 물리적 행동을 제공하지 못할 수 있기 때문이다.
개발 과정은 엄격하게 순차적인 것이 아니라 본질적으로 반복적(iterative)이다. 시험과 확인 결과는 예상된 동작과 실제 동작 사이의 차이를 드러내며, 실제 환경에서의 운용은 새로운 환경 조건, 성능 한계, 자원 제약 또는 안전 문제를 드러낼 수 있다. 이러한 발견은 임무와 시나리오를 업데이트하고, 요구사항을 개선하며, 아키텍처를 수정하고, 하드웨어, 소프트웨어 또는 AI 구성요소를 변경하는 데 활용되어야 한다. 따라서 공동 설계 사이클(co-design cycle)은 확인 단계에서 종료되는 것이 아니라 다시 요구사항과 아키텍처 결정으로 돌아가야 한다.
배포(deployment)는 개발 워크플로우를 엔지니어링 개발에서 실제 운용 단계로 확장한다. 시스템이 수용 기준을 만족하면 실제 조건에서 배포되고 운용되어야 하며, 성능, 신뢰성, 안전성, 자원 소비, 변화하는 환경 조건을 지속적으로 모니터링해야 한다. 운용 데이터(operational data)는 실제 시스템 동작에 대한 증거를 제공할 뿐만 아니라 추가적인 개선을 위한 데이터의 원천이 될 수도 있다. 따라서 모니터링(monitoring), 업데이트(updates), 지속적인 개선(continuous improvement)은 엔지니어링이 종료된 이후에만 수행되는 활동이 아니라 물리적 인공지능 개발 과정의 일부가 된다.
공동 설계 워크플로우의 최종 결과는 단순히 완성된 로봇이나 검증된 AI 모델이 아니라, 성능, 실시간 동작, 전력, 안전, 신뢰성, 비용, 확장성(scalability), 운용 제약 사이의 필요한 균형을 유지하면서 임무 목표를 충족하는 물리적 인공지능 시스템이다. 핵심 원칙은 지속적인 추적성(continuous traceability)이다. 임무 목표는 요구사항으로 이어지고, 요구사항은 아키텍처를 이끌며, 아키텍처는 구현을 결정하고, 시험은 개선을 위한 증거를 제공해야 한다. 이를 통해 데이터와 실제 배포 경험이 요구사항과 시스템 아키텍처를 함께 개선하는 지속적인 엔지니어링 루프(continuous engineering loop)가 형성되며, 물리적 인공지능 시스템은 점차 더 높은 능력, 신뢰성, 효율성, 배포 가능성을 갖추게 된다.
저자: Richard Minsoo Go
LinkedIn: Richard Minsoo Go










Top comments (0)