STATERA Library · Series 08 · Volume 19 · Chapter 09 · KR
Source: https://github.com/Statera-Library/08_Vol_19_Robot_Learning_and_AI/blob/main/19_09_Physical_AI_Applications/19_09_Physical_AI_Applications_KR.md
Volume 19 Robot Machine Learning and AI
09. Physical AI Applications
09.01 Physical AI Application Stack End to End Overview
Physical AI는 인공지능, 로보틱스, 센싱, 제어, 시뮬레이션, 클라우드 컴퓨팅, 자율적 의사결정이 하나로 융합되어, 물리적 세계를 인지하고, 추론하고, 상호작용할 수 있는 통합 시스템을 이루는 것을 의미한다. 텍스트, 이미지, 정형 데이터베이스와 같은 디지털 정보를 주로 처리하는 전통적인 AI 응용과 달리, Physical AI는 물리적 실체(embodiment)를 통해 실제 세계 환경에 직접적인 영향을 미친다. Physical AI 시스템은 센서를 사용해 세계를 관찰하고, 주변 환경에 대한 내부 표현을 구축하며, 목표와 제약 조건에 대해 추론하고, 행동을 계획하며, 액추에이터를 통해 그 행동을 실행하고, 결과를 평가하며, 경험으로부터 지속적으로 학습한다. Physical AI 애플리케이션 스택은 이러한 능력들을 하드웨어, 소프트웨어, 머신러닝, 클라우드 인프라, 운영 관리에 걸친 하나의 통합된 엔드투엔드 시스템으로 조직하는 아키텍처 프레임워크를 제공한다.
애플리케이션 스택(application stack)은 여러 기술 계층이 어떻게 협력하여 지능형 행동을 만들어내는지를 기술한다. 각 계층은 상위 계층에 서비스를 제공하고 구현을 위해 하위 계층에 의존하면서, 전문화된 책임을 수행한다. 이러한 계층화된 조직은 모듈성, 확장성, 유지보수성, 상호운용성을 향상시킨다. 개별 기술들은 구성 요소들 사이의 안정적인 인터페이스를 유지하면서도 독립적으로 발전할 수 있다. Physical AI에서 애플리케이션 스택은 최하위 수준의 물리적 센서부터 최상위 수준의 자율적 추론 및 비즈니스 응용에 이르기까지 확장된다. 어떠한 개별 알고리즘도 그 자체만으로는 지능형 로봇을 만들어내지 못하기 때문에, 이러한 관계를 이해하는 것이 필수적이다. 지능은 동시에 작동하는 모든 계층 간의 조율된 상호작용으로부터 발현된다.
Physical AI 스택의 기반은 물리적 하드웨어로 구성된다. 모든 지능형 로봇은 궁극적으로 센서, 액추에이터, 전원 시스템, 임베디드 프로세서, 통신 인터페이스, 기계적 구조에 의존한다. 센서는 물리적 현상을 디지털 정보로 변환한다. 카메라는 시각적 관측치를 포착한다. LiDAR는 3차원 형상을 측정한다. 레이더는 악천후 조건에서도 물체의 거리와 속도를 추정한다. 관성 측정 장치(IMU)는 가속도와 회전 정보를 제공한다. 힘-토크 센서는 상호작용의 힘을 측정한다. 촉각 배열은 접촉 분포를 감지한다. 전 지구 위성 항법 시스템(GNSS)은 전역 위치를 추정한다. 엔코더는 관절의 움직임을 측정한다. 마이크로폰은 오디오를 포착한다. 환경 센서는 온도, 습도, 진동, 가스 농도, 압력, 조명 및 그 밖의 수많은 물리적 변수들을 관측한다. 이러한 감지 양식들이 함께 작동하여, 더 높은 수준의 모든 지능형 능력이 의존하는 원본 관측치를 제공한다.
액추에이션(actuation)은 계산과 물리적 세계 사이의 상호 보완적인 인터페이스를 형성한다. 전기 모터, 유압 액추에이터, 공압 시스템, 서보 드라이브, 로봇 매니퓰레이터, 이동 플랫폼, 조향 메커니즘, 그리퍼, 컨베이어, 로봇 손, 드론, 자율주행 차량은 디지털 결정을 물리적 행동으로 전환한다. 순수하게 디지털적인 AI 시스템과 달리, Physical AI는 역학, 관성, 마찰, 유연성(compliance), 에너지 소비, 액추에이터의 한계, 안전 제약, 기계적 마모를 지속적으로 고려해야 한다. 따라서 모든 결정이 궁극적으로 실제 세계의 물리 법칙 하에서 작동하는 물리적 시스템에 영향을 미치기 때문에, 지능은 물리적 실체와 분리될 수 없다.
임베디드 컴퓨팅은 센서 처리와 저수준 제어를 뒷받침하는 계산적 기반을 제공한다. 현대의 Physical AI 플랫폼은 일반적으로 마이크로컨트롤러, 실시간 프로세서, 필드 프로그래머블 게이트 어레이(FPGA), 디지털 신호 처리기(DSP), 그래픽 처리 장치(GPU), 전용 AI 가속기를 포함하는 이질적인 컴퓨팅 아키텍처를 통합한다. NVIDIA Jetson Orin, Jetson Thor, 임베디드 x86 컴퓨터, 실시간 산업용 컨트롤러, 전용 신경망 처리 장치와 같은 시스템들은 지연시간, 전력, 성능 요구사항에 따라 계산을 분산시킨다. 저수준 모터 제어는 결정론적인 실시간 프로세서에서 실행되는 반면, 인지, 계획, 파운데이션 모델 추론은 고성능 AI 하드웨어에서 실행된다.
하드웨어 계층 위에는 디바이스 추상화 및 운영체제 계층이 존재한다. Linux, Ubuntu, 실시간 운영체제, 미들웨어, 하드웨어 추상화 계층, 디바이스 드라이버는 상위 소프트웨어 구성 요소들이 센서별 구현 세부사항에 대한 직접적인 지식 없이도 다양한 하드웨어와 상호작용할 수 있게 하는 표준화된 인터페이스를 제공한다. 하나의 로봇 플랫폼을 위해 개발된 알고리즘이 비교적 제한적인 수정만으로 다른 하드웨어 구성으로 이전될 수 있기 때문에, 하드웨어 추상화는 이식성을 상당히 향상시킨다.
로봇 미들웨어는 독립적인 소프트웨어 모듈들을 통합된 로봇 시스템으로 연결하는 통신 백본을 형성한다. Robot Operating System(ROS), Data Distribution Service(DDS), ZeroMQ, MQTT, gRPC 및 산업용 통신 프로토콜과 같은 프레임워크들은 인지 모듈, 위치 추정 시스템, 플래너, 컨트롤러, 진단 시스템, 클라우드 인터페이스, 사용자 애플리케이션 간의 정보 교환을 조율한다. 발행-구독(publish-subscribe) 통신 아키텍처는 소프트웨어 구성 요소들을 분리(decouple)함으로써, 여러 프로세서나 네트워크로 연결된 로봇들에 걸친 분산 계산을 지원하면서도 비동기적인 데이터 교환을 가능하게 한다.
시간 동기화는 또 다른 필수적인 인프라 능력을 나타낸다. 멀티센서 인지는 카메라, LiDAR, 레이더, 관성 센서, 엔코더, 외부 위치 추정 시스템으로부터 발생하는 관측치들이 정밀하게 정렬되어 있을 것을 필요로 한다. 정밀 시각 프로토콜(Precision Time Protocol), 하드웨어 트리거, 동기화된 시계, 타임스탬프 관리, 결정론적 통신 네트워크는 서로 다른 센서로부터 수집된 관측치들이 일관된 물리적 순간에 대응하도록 보장한다. 정확한 동기화가 없다면, 알고리즘의 정교함과 무관하게 센서 융합의 품질이 상당히 저하된다.
인지 계층(perception layer)은 원본 센서 측정치를 의미 있는 환경적 이해로 전환한다. 컴퓨터 비전, 포인트 클라우드 처리, 센서 융합, 의미론적 분할, 물체 감지, 인스턴스 분할, 자세 추정, 광학 흐름(optical flow), 깊이 추정, 장면 재구성, 이상 감지, 인간 인식, 물체 추적, 멀티모달 인지는 함께 저수준의 관측치를 더 높은 추론 과정에 적합한 구조화된 표현으로 변환한다. 파운데이션 비전 모델은 광범위한 태스크별 재학습을 필요로 하지 않으면서도 다양한 로봇 응용 분야에 걸쳐 적응 가능한 범용적인 인지 능력을 점점 더 많이 제공하고 있다.
센서 융합은 상호 보완적인 감지 양식들을 결합함으로써 인지의 견고성을 상당히 향상시킨다. 카메라는 풍부한 의미론적 정보를 제공하지만 조명에 민감하게 반응한다. LiDAR는 색상 정보가 없지만 기하학을 정확하게 측정한다. 레이더는 공간 해상도가 낮음에도 불구하고 비, 안개, 눈이 오는 상황에서도 신뢰성 있게 작동한다. 관성 센서는 단기적인 움직임을 추정하지만 시간이 지남에 따라 드리프트(drift)가 누적된다. 융합 알고리즘은 이러한 이질적인 관측치들을 통합하여, 어떤 개별 감지 양식보다도 더 큰 견고성을 보이는 통합된 환경적 표현을 만들어낸다.
위치 추정 및 지도 작성(Localization and mapping)은 애플리케이션 스택의 다음 주요 계층을 이룬다. 동시적 위치 추정 및 지도 작성(SLAM)은 로봇이 주변 환경을 기술하는 지도를 구축하면서 동시에 자신의 위치를 추정할 수 있게 한다. 현대의 시스템은 시각적 SLAM, LiDAR SLAM, GNSS, 관성 항법, 바퀴 오도메트리, 의미론적 지도 작성, 장소 인식, 루프 클로저 감지, 평생 지도 작성(lifelong mapping)을 통합하여, 장기적인 자율 운영을 지원하는 지속적인 세계 모델을 만들어낸다. 현재의 위치 추정 시스템은 현재 위치를 단순히 추정하는 것을 넘어, 몇 달 혹은 몇 년의 배치 기간에 걸친 환경적 역학을 반영하는, 지속적으로 진화하는 디지털 표현을 점점 더 많이 유지하고 있다.
세계 모델(world model)은 지도 작성을 기하학적 표현을 넘어 예측적 이해로 확장시킨다. 정적인 지도를 저장하는 것만이 아니라, 세계 모델은 물체 간의 관계, 물리적 역학, 시간적 진화, 인과적 상호작용, 의미론적 지식, 환경적 불확실성을 포착한다. 이러한 표현은 로봇이 자신의 위치를 추정할 뿐만 아니라, 미래의 환경 상태를 예측하고, 가상의 행동을 시뮬레이션하며, 결과를 예상하고, 불확실성 하에서 계획을 세울 수 있게 한다. 따라서 세계 모델은 Physical AI 스택 내에서 인지와 추론을 연결하는 다리 역할을 한다.
인지 계층(cognition layer)은 환경적 이해를 지능형 의사결정으로 전환한다. 고전적인 기호적 추론, 확률적 추론, 지식 그래프, 제약 조건 충족, 최적화 알고리즘, 강화학습, 파운데이션 언어 모델, 멀티모달 추론 시스템, 인과 추론은 함께 계획 수립 및 의사결정 과정을 지원한다. 현대의 Physical AI는 신경망 기반 추론과 기호적 추론을 경쟁하는 패러다임으로 취급하기보다는 이 둘을 점점 더 많이 통합하고 있다. 파운데이션 모델은 폭넓은 의미론적 이해에 기여하는 한편, 구조화된 추론은 논리적 일관성, 안전성, 설명 가능성을 보장한다.
태스크 계획(task planning)은 여러 추상화 수준에서 작동한다. 고수준 플래너는 사용자의 목표를 실행 가능한 하위 태스크로 분해한다. 모션 플래너는 운동학적 및 동역학적 제약을 준수하는 충돌 없는 궤적을 생성한다. 행동 플래너는 내비게이션, 조작, 통신, 인지, 복구 행동을 조율한다. 자원 플래너는 계산 자원, 배터리 용량, 통신 대역폭, 운영 우선순위를 할당한다. 스케줄링 알고리즘은 공유된 환경 내의 여러 로봇을 조율한다. 이러한 계획 시스템들이 함께 작동하여 추상적인 목표를 실행 가능한 물리적 행동의 시퀀스로 전환한다.
제어 시스템은 계획과 물리적 실행 사이의 인터페이스를 제공한다. 저수준 컨트롤러는 모터 토크, 관절 위치, 속도, 힘을 조절한다. 모델 예측 제어(Model Predictive Control)는 동적 제약 하에서 미래의 행동을 최적화한다. 적응형 제어는 변화하는 환경 조건과 기계적 불확실성을 보상한다. 임피던스 및 어드미턴스 컨트롤러는 조작 과정에서의 물리적 상호작용의 힘을 조절한다. 강화학습은 안정성을 보장하는 해석적 컨트롤러와 통합된 채로, 경험으로부터 직접 정책을 학습함으로써 고전적인 제어를 점점 더 많이 보완하고 있다.
학습(learning)은 Physical AI를 전통적인 자동화와 구별짓는 핵심적인 특징 중 하나이다. 전통적인 산업용 자동화는 엔지니어가 완전히 개발한 사전에 정해진 행동을 실행한다. Physical AI 시스템은 지도학습, 자기지도학습, 강화학습, 모방 학습, 지속 학습, 온라인 적응, 함대 전체의 지식 공유를 통해 지속적으로 향상된다. 로봇은 더 이상 프로그래밍된 절차를 단순히 실행하는 것이 아니라, 배치 기간 내내 운영 경험을 축적하며 시간이 지남에 따라 인지, 계획, 조작, 내비게이션, 상호작용 능력을 향상시킨다.
파운데이션 모델은 학습 계층을 근본적으로 변화시켰다. 대규모로 사전학습된 시각, 언어, 멀티모달, 행동 모델은 배치 이전에 폭넓은 범용 능력을 제공한다. 모든 인지 또는 추론 구성 요소를 독립적으로 학습시키는 대신, Physical AI는 파라미터 효율적 미세조정, 검색 증강, 피드백을 통한 강화학습, 지속 학습, 도메인 적응을 통해 파운데이션 모델을 특정 응용 분야에 점점 더 많이 적응시키고 있다. 이는 다양한 운영 환경에 걸친 일반화를 향상시키면서도 데이터 요구량을 극적으로 줄여준다.
메모리 시스템은 장기적인 지능을 뒷받침하는 지속적인 지식 저장을 제공한다. 단기 작업 기억(working memory)은 현재의 관측치와 추론 맥락을 유지한다. 일화적 기억(episodic memory)은 궤적, 상호작용, 실패, 시연을 포함한 과거 경험을 보존한다. 의미론적 기억(semantic memory)은 물체, 환경, 절차, 운영 개념을 기술하는 구조화된 지식을 저장한다. 절차적 기억(procedural memory)은 학습된 기술, 정책, 운동 행동을 포착한다. 외부 메모리 시스템, 벡터 데이터베이스, 검색 증강 생성(RAG), 지식 그래프는 분산된 표현에만 배타적으로 의존하는 대신 정보를 명시적으로 저장함으로써 신경망 파라미터를 점점 더 많이 보완하고 있다.
통신 인프라는 로봇을 외부의 계산 자원과 협력 에이전트들과 연결한다. Wi-Fi, 사설 5G, 이더넷, 산업용 필드버스, 위성 통신, 엣지 컴퓨팅 네트워크를 통한 무선 통신은 클라우드 연결, 함대 조율, 원격 모니터링, 소프트웨어 업데이트, 분산 최적화, 인간의 감독을 지원한다. 통신 아키텍처는 지연시간, 신뢰성, 대역폭, 안전 요구사항에 따라 로컬 자율성과 중앙화된 지능 사이의 균형을 맞춘다.
많은 Physical AI 응용 분야가 클라우드 지연시간에는 적합하지 않은 즉각적인 반응을 필요로 하기 때문에, 엣지 컴퓨팅은 점점 더 중요한 역할을 하고 있다. 인지, 장애물 회피, 모터 제어, 비상 반응, 조작, 로컬 계획은 로봇에 직접 탑재되어 실행된다. 클라우드 인프라는 대규모 모델 학습, 시뮬레이션, 디지털 트윈, 함대 분석, 장기 메모리 관리, 파운데이션 모델 최적화를 포함한 계산 집약적인 작업을 처리한다. 따라서 클라우드-엣지 하이브리드 아키텍처는 로컬 또는 원격 계산 중 하나에만 배타적으로 의존하는 대신, 운영상의 요구사항에 따라 지능을 분산시킨다.
클라우드 인프라는 개별 로봇을 협력적 학습 생태계의 구성원으로 전환시킨다. 전체 로봇 함대에 걸쳐 수집된 운영 경험은 지속 학습, 시뮬레이션, 디지털 트윈 동기화, 모델 검증, 강화학습, 함대 전체의 최적화를 지원하는 중앙화된 지식 저장소로 통합된다. 개별 로봇은 로컬 경험에 기여하는 동시에, 전 세계 함대 전체에 걸쳐 축적된 지식으로부터 이득을 얻는다. 따라서 집단 지능은 고립된 로봇의 학습보다 상당히 더 빠르게 성장한다.
디지털 트윈은 Physical AI 애플리케이션 스택의 또 다른 주요 구성 요소를 나타낸다. 고충실도의 가상 표현은 물리적 로봇 및 운영 환경과 지속적으로 동기화된다. 센서 관측치는 가상 환경을 실시간으로 갱신한다. 후보 알고리즘은 배치 이전에 시뮬레이션을 거친다. 예측적 유지보수는 미래의 하드웨어 저하를 추정한다. 계획 알고리즘은 물리적 세계에서 실행되기 전에 시뮬레이션 내에서 가상의 시나리오를 안전하게 평가한다. 물리적 시스템과 가상 시스템 간의 지속적인 동기화는 더 안전하고, 더 빠르며, 더 효율적인 개발을 가능하게 한다.
시뮬레이션 환경은 개발 생애 주기의 여러 단계를 지원한다. 물리 시뮬레이터는 물리적으로 수집하는 것이 불가능한 수백만 개의 상호작용을 생성함으로써 강화학습을 가속화한다. 도메인 무작위화(domain randomization)는 학습 알고리즘을 다양한 환경적 변동에 노출시킴으로써 견고성을 향상시킨다. 합성 데이터 생성은 인지 학습을 위한 실제 관측치를 보완한다. 하드웨어 인 더 루프(hardware-in-the-loop) 시뮬레이션은 임베디드 컨트롤러를 검증한다. 인간 조작자는 배치된 로봇과 상호작용하기 전에 가상 환경 내에서 감독을 연습한다. 따라서 시뮬레이션은 단순한 개발상의 편의를 넘어 필수불가결한 구성 요소가 된다.
MLOps는 머신러닝 엔지니어링의 원리를 Physical AI 배치로 확장한다. 데이터 버전 관리, 모델 버전 관리, 자동화된 재학습, 지속적 통합, 지속적 배치, 실험 추적, 재현성, 롤백 메커니즘, 모니터링, 검증, 거버넌스는 함께 신뢰할 수 있는 장기적 운영을 보장한다. 전통적인 AI 응용과 달리, 로봇용 MLOps는 이에 더해 하드웨어 호환성, 안전성 검증, 센서 보정, 시뮬레이션 테스트, 이질적인 로봇 함대 전반에 걸친 현장 배치를 관리한다.
지속적인 모니터링은 또 다른 필수적인 운영 능력을 형성한다. 위치 추정 정확도, 내비게이션 효율성, 조작 성공률, 인지 신뢰도, 계산 지연시간, 배터리 상태, 액추에이터 온도, 네트워크 연결성, 센서 무결성, 안전 이벤트, 유지보수 빈도, 환경 변화를 포함한 성능 지표들은 시스템 건강 상태에 대한 지속적인 평가를 제공한다. 모니터링은 실패가 운영상 중대해지기 전에 적응이 필요한 성능 저하를 식별한다.
안전성은 Physical AI 애플리케이션 스택의 모든 계층에 스며들어 있다. 기능 안전성, 충돌 회피, 비상 정지, 중복 감지(redundant sensing), 페일세이프(fail-safe) 제어, 사이버 보안, 인증, 암호화된 통신, 보안 부팅, 소프트웨어 검증, 이상 감지, 설명 가능한 추론, 불확실성 추정, 규제 준수는 함께 신뢰할 수 있는 운영을 보장한다. 디지털 소프트웨어 시스템과 달리, Physical AI 내의 실패는 물리적 환경과 인간의 안전에 직접적인 영향을 미치기 때문에, 포괄적인 안전 아키텍처는 필수불가결하다.
인간-로봇 상호작용은 자율 시스템을 인간 사용자와 연결하는 가장 높은 운영 계층을 차지한다. 자연어 소통, 제스처 인식, 의도 이해, 설명 가능한 의사결정, 공유된 자율성, 협력적 조작, 적응형 인터페이스, 사용자 모델링, 개인화된 지원은 로봇과 사람 사이의 직관적인 상호작용을 가능하게 한다. 파운데이션 언어 모델은 다양한 운영 맥락에 걸친 유연한 소통을 지원하는 의미론적 추론을 점점 더 많이 제공하고 있다.
비즈니스 응용은 기술적 능력이 실용적인 가치를 만들어내는 최종 계층을 나타낸다. 제조 로봇은 생산 효율성을 최적화한다. 창고 시스템은 물류를 자동화한다. 농업용 로봇은 작물 생산성을 높인다. 의료용 로봇은 환자 치료를 향상시킨다. 점검 로봇은 인프라를 모니터링한다. 건설용 로봇은 건물 운영을 지원한다. 가정용 서비스 로봇은 일상 생활을 지원한다. 자율주행 차량은 교통을 변화시킨다. 모든 응용 분야는 도메인별 목표에 따라 인지, 추론, 계획, 제어를 특화시키면서도 동일한 기저의 Physical AI 스택을 구체화한다.
이러한 계층들이 개념적으로는 서로 구별되어 보이지만, 실제 Physical AI 시스템은 모든 구성 요소들 간의 지속적인 상호작용을 통해 작동한다. 센서 관측치는 위치 추정에 영향을 미친다. 위치 추정은 계획을 지원한다. 계획은 제어를 안내한다. 제어는 새로운 관측치를 만들어낸다. 학습은 축적된 경험을 사용해 인지와 계획을 정제한다. 클라우드 인프라는 파운데이션 모델을 갱신한다. 디지털 트윈은 배치 이전에 새로운 능력을 검증한다. 함대 학습은 분산된 운영 지식을 통합한다. 그 결과로 만들어지는 폐쇄 피드백 루프는 초기 개발 이후 고정된 채로 남아 있는 것이 아니라, 배치 기간 내내 시스템 지능을 지속적으로 향상시킨다.
따라서 Physical AI 애플리케이션 스택은 단순한 소프트웨어 아키텍처보다 훨씬 더 많은 것을 나타낸다. 이는 물리적 실체, 인지, 기억, 추론, 계획, 학습, 클라우드 지능, 시뮬레이션, 배치, 모니터링, 지속적인 적응을 하나의 통합된 엔드투엔드 시스템으로 통합하는 포괄적인 인지적, 운영적 프레임워크이다. 각 계층은 다른 모든 계층과 협력하여 지능형 물리적 행동을 만들어내면서도 고유한 능력을 제공한다. 로보틱스가 점점 더 자율적이고, 협력적이며, 평생 학습하는 시스템을 향해 발전함에 따라, 이 엔드투엔드 애플리케이션 스택은 Physical AI가 다양한 실제 세계 환경 전반에 걸쳐 안전하고, 효율적이며, 지속적으로 작동하면서도 배치 기간 내내 지식을 축적할 수 있게 하는 기반 아키텍처를 제공한다.
09.02 Language Conditioned Robot Control SayCan [w/Code]
언어 조건부 로봇 제어(Language-conditioned robot control)는 Physical AI 분야에서 가장 중요한 발전 중 하나를 나타낸다. 이는 로봇이 자연어 지시를 이해하고 이를 실행 가능한 물리적 행동으로 변환할 수 있게 하기 때문이다. 전통적인 로봇 시스템은 엔지니어가 사전에 정의된 상태 기계(state machine), 명시적인 프로그램, 또는 수작업으로 설계된 행동 트리(behavior tree)를 통해 모든 태스크를 지정할 것을 요구한다. 배치 이전에 가능한 모든 작업을 예상해야 하기 때문에, 낯선 요청에 직면했을 때 로봇은 유연하지 못하게 된다. 언어 조건부 제어는 이러한 패러다임을, 사용자가 일상적인 언어로 소통하는 동안 로봇이 의도를 해석하고, 실현 가능성을 추론하며, 적절한 행동을 선택하고, 이를 물리적 환경 내에서 실행하는 더 인간 중심적인 인터페이스로 대체한다. 이러한 능력을 보여주는 가장 영향력 있는 시스템 중 하나가 Google Research에서 소개한 SayCan으로, 대규모 언어 모델의 추론 능력과 로봇 스킬 정책의 실제 세계 어포던스(affordance) 지식을 결합한 프레임워크이다.
SayCan의 동기는 대규모 언어 모델의 근본적인 한계에서 비롯된다. 현대의 언어 모델은 방대한 텍스트 코퍼스로부터 습득한 광범위한 의미론적 지식을 보유하고 있다. 이들은 요리, 청소, 정리, 내비게이션, 물체 간의 관계, 인간의 의도와 같은 개념들을 이해한다. 복잡한 가사 작업을 위한 그럴듯한 계획을 생성하고 행동의 시퀀스를 자연어로 설명할 수 있다. 그러나 이들은 특정 물리적 로봇이 실제로 무엇을 할 수 있는지는 본질적으로 이해하지 못한다. 언어 모델은 로봇이 필요한 하드웨어, 센서, 매니퓰레이터, 환경적 접근 권한이 없더라도 계단을 오르거나, 잠긴 캐비닛을 열거나, 무거운 가구를 옮기거나, 복잡한 식사를 준비하라고 제안할 수 있다. 반대로, 전통적인 로봇 컨트롤러는 자신의 능력은 이해하지만 광범위한 의미론적 추론 능력이 부족하다. SayCan은 언어적 계획 수립과 물리적 실현 가능성 추정을 결합함으로써 이러한 상호 보완적인 강점들을 연결한다.
SayCan이라는 이름은 이 프레임워크의 핵심 원리를 반영한다. 언어 모델은 사용자의 지시에 따라 로봇이 무엇을 시도해야 하는지를 결정하며, 이는 "Say(말하다)"라는 단어로 표현된다. 로봇 제어 시스템은 현재의 환경 조건 하에서 로봇이 현실적으로 무엇을 달성할 수 있는지를 평가하며, 이는 "Can(할 수 있다)"이라는 단어로 표현된다. 의미론적 추론과 물리적 어포던스 추정 모두로부터 높은 점수를 받는 행동만이 실행 계획의 일부가 된다. 따라서 로봇의 행동은 어느 한 구성 요소로부터 독립적으로 나오는 것이 아니라, 인간의 의도와 물리적 능력의 교집합으로부터 발현된다.
사용자가 가정용 로봇에게 "부엌에서 물 한 병을 가져다 줘"라고 지시하는 상황을 생각해 보자. 언어 모델은 이 요청을 충족시키기 위해서는 부엌으로 이동하고, 물병을 찾고, 그것을 잡고, 사용자에게 돌아와 건네주는 과정이 필요할 수 있음을 이해한다. 그러나 부엌 문이 닫혀 있거나, 물병이 없거나, 로봇이 냉장고 문을 조작할 수 없다면, 언어로 생성된 계획을 맹목적으로 따르는 것은 실패로 이어질 것이다. SayCan은 각각의 후보 행동을 언어적 타당성뿐만 아니라, 현재의 관측치, 학습된 스킬, 환경 상태를 고려했을 때 로봇이 그 행동을 성공적으로 실행할 확률에 따라서도 평가한다. 따라서 그 결과로 만들어지는 계획은 물리적 현실에 기반을 두게 된다.
SayCan의 아키텍처는 여러 상호작용하는 구성 요소로 이루어진다. 첫 번째 구성 요소는 사용자의 지시를 해석하고 후보가 되는 고수준의 행동을 제안하는 대규모 언어 모델이다. 두 번째 구성 요소는 내비게이션, 파지, 문 열기, 물체 놓기, 버튼 누르기, 위치 점검과 같은 실행 가능한 행동을 나타내는 저수준 로봇 스킬들의 라이브러리이다. 세 번째 구성 요소는 로봇의 현재 상황 하에서 각각의 사용 가능한 스킬이 성공할 확률을 추정한다. 마지막으로, 의사결정 메커니즘은 의미론적 관련성과 실행 실현 가능성을 결합하여 다음 행동을 선택한다.
자연어는 태스크 지정의 가장 높은 수준 역할을 한다. 세부적인 동작 시퀀스를 프로그래밍하는 대신, 사용자는 일상적인 문장을 통해 목표를 전달한다. 언어 모델은 사전학습 과정에서 습득한 광범위한 세계 지식을 활용하여 이러한 목표를 해석한다. 언어 모델은 물체 간의 관계를 인식하고, 일반적인 가사 루틴을 이해하며, 생략된 중간 단계를 추론하고, 후보가 되는 행동 시퀀스를 생성한다. 로봇이 더 이상 모든 새로운 태스크에 대해 전문화된 프로그래밍 인터페이스를 필요로 하지 않기 때문에, 이러한 능력은 인간-로봇 상호작용의 유연성을 극적으로 향상시킨다.
스킬 라이브러리는 로봇의 체화된 능력을 나타낸다. 모든 스킬은 고전적인 로보틱스, 모방 학습, 강화학습, 모션 계획, 또는 수작업으로 설계된 컨트롤러를 통해 학습된 구체적이고 실행 가능한 정책에 대응한다. 스킬에는 "위치로 이동하기", "물체 집기", "서랍 열기", "캐비닛 닫기", "버튼 누르기", "물체 이동시키기", "충전소에 도킹하기", "선반 점검하기"와 같은 행동들이 포함된다. 태스크에 대해 추상적으로 추론하는 언어 모델과 달리, 이러한 스킬들은 물리적 동작을 만들어낼 수 있는 센서, 액추에이터, 컨트롤러와 직접 상호작용한다.
각각의 스킬은 성공적인 실행 확률을 추정하는 관련된 어포던스 함수를 지닌다. 어포던스(affordance)는 원래 환경 내에서 사용 가능한 행동의 가능성을 지칭하는 용어였다. 로보틱스에서 어포던스 추정은 현재의 관측치를 고려했을 때 로봇이 특정 행동을 수행할 수 있는지를 예측한다. 예를 들어, 파지는 목표 물체가 보이고, 손이 닿을 수 있으며, 적절하게 정렬되어 있을 때만 성공한다. 문을 여는 것은 손잡이를 감지하고 접근 가능성을 확인할 것을 필요로 한다. 내비게이션은 통행 가능한 경로와 장애물 회피에 의존한다. 따라서 어포던스 모델은 고수준의 추론을 저수준의 물리적 실현 가능성과 연결한다.
SayCan의 핵심적인 혁신은 의미론적 가능성(likelihood)과 어포던스 확률을 결합하는 데 있다. 언어 모델은 각각의 후보 스킬이 사용자의 지시와 관련하여 얼마나 적절한지를 평가한다. 동시에, 어포던스 모델은 로봇이 그 스킬을 성공적으로 실행할 가능성이 얼마나 높은지를 추정한다. 이러한 확률들을 곱하면 의도와 실현 가능성 사이의 균형을 맞춘 결합된 효용 점수가 만들어진다. 의미론적 관련성은 높지만 실행 확률이 낮은 행동들은 로봇이 실용적인 한계를 인식하기 때문에 선택될 가능성이 낮아진다. 마찬가지로, 사용자의 요청과 관련이 없는 물리적으로 쉬운 행동들은 의도된 목표를 달성하는 데 거의 기여하지 못하기 때문에 낮은 전체 점수를 받는다.
이러한 확률적 결합은 여러 중요한 이점을 제공한다. 첫째, 이는 언어적 추론을 물리적 세계에 기반을 두게 함으로써, 순수하게 언어 기반 시스템에서 자주 생성되는 비현실적인 계획을 줄여준다. 둘째, 어포던스 추정이 정적인 가정이 아니라 현재의 환경적 관측치에 의존하기 때문에 동적인 적응을 가능하게 한다. 셋째, 새로운 로봇 스킬이 기존의 언어 인터페이스를 통해 계속 사용 가능한 상태를 유지하면서도 독립적으로 추가될 수 있기 때문에 모듈성을 지원한다. 마지막으로, 단순히 논리적으로 그럴듯해 보이는 행동이 아니라 성공할 가능성이 높은 행동 시퀀스를 장려함으로써 견고성을 향상시킨다.
순차적 계획 수립은 반복적인 의사결정을 통해 자연스럽게 발현된다. 완전한 태스크 계획을 미리 생성하는 대신, SayCan은 갱신된 환경적 관측치에 따라 다음으로 가장 적절한 행동을 반복적으로 선택한다. 각각의 스킬 실행이 끝난 후, 로봇은 현재의 세계 상태를 재평가하고, 필요할 경우 언어 모델에 다시 질의하며, 어포던스 확률을 재계산하고, 다음 행동을 선택한다. 이러한 폐쇄 루프 아키텍처는 계획이 새로 관측된 정보를 지속적으로 통합하기 때문에 예상치 못한 이벤트가 발생할 때 유연성을 제공한다.
서비스 로봇에게 "식탁을 치워줘"라고 지시하는 상황을 생각해 보자. 처음에 언어 모델은 식당으로 이동하기, 식탁 위의 물체 식별하기, 그릇 수거하기, 쓰레기 버리기, 표면 닦기, 남은 물건 정리하기를 포함한 행동들을 제안한다. 식탁에 도착하면, 로봇은 원래의 가정에는 없었던 여러 예상치 못한 물체들을 발견한다. 갱신된 관측치는 어포던스 확률을 수정하여, 플래너가 행동 선택을 동적으로 조정하게 만든다. 사전에 정해진 시퀀스를 엄격하게 따르는 대신, 로봇은 진화하는 물리적 환경에 따라 지속적으로 적응한다.
SayCan은 기호적 계획 수립(symbolic planning)과 체화된 지능(embodied intelligence) 사이의 중요한 차이를 보여준다. 고전적인 기호적 플래너는 종종 완벽하게 알려진 환경 내에서 작동하는 결정론적인 행동을 가정한다. 언어 조건부 제어는 그 대신 불확실성 하에서 확률적으로 추론한다. 모든 행동은 인지의 품질, 물체의 접근성, 환경적 역학, 하드웨어의 한계에 따라 불확실한 결과를 지닌다. 따라서 로봇은 보장된 성공을 가정하는 대신 지속적으로 신뢰도를 평가한다.
인지(perception)는 이 아키텍처 전반에 걸쳐 근본적인 역할을 한다. 카메라, 깊이 센서, LiDAR, 힘 센서, 촉각 배열, 고유수용감각 측정치는 현재의 환경 조건을 기술하는 관측치를 제공한다. 물체 감지는 후보가 되는 조작 대상을 식별한다. 의미론적 분할은 장면의 구성을 추정한다. 위치 추정은 로봇의 위치를 결정한다. 상태 추정은 조작되는 물체와 환경적 변화를 추적한다. 실행 실현 가능성은 신뢰할 수 있는 환경적 이해 없이는 추정될 수 없기 때문에, 어포던스 예측은 정확한 인지에 크게 의존한다.
파운데이션 비전 모델은 다양한 환경에 걸쳐 전이 가능한 일반화된 시각적 표현을 제공함으로써 언어 조건부 로보틱스를 상당히 향상시킨다. 모든 응용 분야마다 별도의 물체 감지기를 학습시키는 대신, 로봇은 언어 모델과의 의미론적 일관성을 유지하면서도 수천 개의 물체 범주를 인식할 수 있는 사전학습된 비전 트랜스포머와 멀티모달 인코더를 점점 더 많이 사용하고 있다. 공유된 표현 공간은 시각적 관측치 내에서 언어적 개념을 그라운딩(grounding)하는 것을 단순화한다.
그라운딩(grounding) 자체는 SayCan이 다루는 핵심적인 과제 중 하나이다. 언어는 "창문 근처의 파란 머그컵"이나 "가장 가까운 빈 의자"와 같은 추상적인 개념을 기술한다. 물리적 로봇은 이러한 설명을 구체적인 센서 관측치와 연관지어야 한다. 시각-언어 모델은 텍스트 설명을 시각적 표현과 연결하여, 로봇이 자연어를 통해 지칭된 물체를 식별할 수 있게 한다. 성공적인 그라운딩은 인지, 의미론, 공간적 추론, 맥락적 이해의 통합을 필요로 한다.
맥락(context) 역시 동등하게 중요한 역할을 한다. 동일한 지시라도 환경 조건에 따라 서로 다른 행동을 필요로 할 수 있다. "내 노트북을 가져다 줘"는 노트북의 소유권을 식별한다는 가정을 전제로 한다. "부엌을 치워줘"는 현재의 청결도에 따라 달라진다. "아침을 준비해줘"는 사용 가능한 재료, 조리 도구, 가전제품에 따라 달라진다. 따라서 언어 조건부 제어는 일반적인 의미론적 지식을 인지와 기억을 통해 얻은 상황 인식과 결합한다.
기억(memory)은 확장된 상호작용에 걸친 태스크 실행을 상당히 향상시킨다. 작업 기억은 현재의 대화 맥락과 부분적으로 완료된 태스크 시퀀스를 유지한다. 일화적 기억은 이전의 상호작용, 성공적인 전략, 환경적 관측치를 기록한다. 의미론적 기억은 물체의 기능, 방의 배치, 사용자의 선호도, 운영 절차에 관한 지식을 저장한다. 장기 기억은 반복되는 루틴과 자주 요청되는 태스크를 기억함으로써 로봇이 행동을 개인화할 수 있게 한다.
로봇 스킬 습득은 언어적 추론을 보완한다. SayCan은 실행 가능한 스킬이 존재한다고 가정하지만, 그러한 스킬들이 어떻게 학습되어야 하는지는 규정하지 않는다. 실제로 스킬 라이브러리는 여러 원천으로부터 만들어진다. 고전적인 모션 계획은 신뢰할 수 있는 내비게이션 및 조작 컨트롤러를 제공한다. 강화학습은 시행착오를 통해 견고한 행동을 개발한다. 모방 학습은 전문가의 시연을 포착한다. 자기지도학습은 인지 및 표현의 품질을 향상시킨다. 파운데이션 행동 모델은 다양한 로봇 체화에 걸쳐 전이 가능한 일반화된 운동 스킬을 점점 더 많이 학습하고 있다.
지속 학습은 SayCan 프레임워크를 자연스럽게 확장시킨다. 로봇이 운영 경험을 축적함에 따라, 어포던스 추정과 스킬 라이브러리 모두 지속적으로 향상된다. 새로운 조작 행동, 내비게이션 능력, 상호작용 전략, 복구 절차가 이후의 계획 수립을 위해 사용 가능해진다. 배치 기간 동안 기저의 물리적 능력이 확장되는 동안 언어 인터페이스는 변하지 않은 채로 유지된다. 언어 조건부 계획 수립과 평생 학습의 이러한 통합은 점점 더 자율적인 Physical AI 시스템을 향한 중요한 발걸음을 나타낸다.
클라우드 로보틱스는 이러한 능력들을 더욱 증폭시킨다. 개별 로봇은 새로 학습한 스킬과 운영 경험을 중앙화된 클라우드 인프라에 기여한다. 갱신된 어포던스 모델, 향상된 언어적 추론, 확장된 스킬 라이브러리는 다시 함대 전체에 배포된다. 따라서 낯선 가전제품을 다루는 데 성공한 한 로봇의 경험은 결국 전 세계에 배치된 수천 대의 로봇에게 이득이 될 수 있다. 따라서 집단 학습은 고립된 로봇이 독립적으로 달성할 수 있는 것을 넘어서는 능력 개발을 가속화한다.
인간의 피드백은 또 다른 중요한 학습 메커니즘을 제공한다. 사용자는 자연스럽게 실수를 정정하고, 모호한 지시를 명확히 하며, 선호하는 행동을 시연하고, 정성적인 평가를 제공한다. 인간 피드백을 통한 강화학습, 선호도 학습, 상호작용적 시연은 언어 조건부 시스템이 사용자의 기대에 점점 더 잘 맞춰지게 한다. 인간의 상호작용을 단순히 명령 입력으로만 취급하는 대신, 미래의 시스템은 피드백을 의미론적 추론과 물리적 실행을 동시에 정제하는 지속적인 감독으로 해석한다.
SayCan은 또한 모듈형 시스템 설계의 중요성을 보여준다. 대규모 언어 모델은 직접적인 운동 제어보다는 주로 의미론적 추론을 담당하는 채로 남아 있다. 로봇 스킬은 신뢰할 수 있는 물리적 실행에 전문화된 채로 남아 있다. 인지 시스템은 독립적으로 환경 상태를 추정한다. 어포던스 모델은 실현 가능성을 평가한다. 각 구성 요소는 잘 정의된 인터페이스를 통해 상호작용하면서도 독립적으로 발전한다. 하나의 하위 시스템 내의 발전이 완전한 재설계를 필요로 하지 않으면서도 전체 아키텍처에 즉시 이득을 주기 때문에, 이러한 모듈성은 확장성을 향상시킨다.
안전성은 언어 조건부 로보틱스 전반에 걸쳐 필수적인 고려사항으로 남아 있다. 언어 모델은 때때로 검증된 운영 절차가 아니라 통계적 패턴을 반영하는 그럴듯하지 않거나, 안전하지 않거나, 부적절한 제안을 생성한다. 어포던스 추정은 많은 실제적인 실패를 줄여주지만 완전한 안전성을 보장할 수는 없다. 따라서 추가적인 안전 계층이 행동 실행을 모니터링하고, 충돌 회피를 검증하며, 운영상의 제약을 강제하고, 이상을 감지하며, 사전에 정의된 안전 정책을 위반하는 행동을 중단시킨다. 인간의 감독은 의료 절차, 산업용 기계, 또는 협력적 조작을 포함하는 고위험 응용 분야에서 특히 중요한 채로 남아 있다.
해석 가능성(interpretability)은 언어 조건부 계획 수립의 또 다른 중요한 이점을 나타낸다. 고수준의 추론이 자연어를 통해 이루어지기 때문에, 로봇은 실행 이전에 의도된 행동을 설명할 수 있다. 사용자는 제안된 계획을 검토하고, 명확한 설명을 요청하며, 목표를 수정하거나, 바람직하지 않은 행동을 거부할 수 있다. 이러한 투명한 소통은 디버깅과 규제 준수를 용이하게 하면서도 신뢰를 높인다. 설명 가능한 계획 수립은 인간의 감독을 필요로 하는 안전이 중요한 환경 내에서 특히 유용해진다.
그럼에도 불구하고 몇 가지 한계가 여전히 남아 있다. SayCan은 사전에 정의된 스킬 라이브러리에 의존한다. 언어 모델은 로봇의 기존 레퍼토리에 없는 완전히 새로운 운동 능력을 만들어낼 수 없다. 모호한 언어, 불완전한 인지, 부정확한 어포던스 추정, 하드웨어 오작동, 빠르게 변화하는 환경은 여전히 성공적이지 못한 태스크 실행으로 이어질 수 있다. 게다가, 응용 분야가 다양해짐에 따라 대규모의 전문화된 로봇 스킬 컬렉션을 유지하는 것은 점점 더 복잡해진다.
최근 연구는 고정된 스킬 라이브러리를 넘어 일반화할 수 있는 파운데이션 행동 모델을 통해 이러한 한계들을 다루고 있다. 이산적인 사전 정의된 행동들 중에서 선택하는 대신, 새롭게 떠오르는 시스템들은 언어, 인지, 환경적 맥락에 조건화된 연속적인 로봇 행동을 직접 생성한다. RT-1, RT-2, OpenVLA, Pi0 및 그 밖의 시각-언어-행동(Vision-Language-Action) 아키텍처와 같은 모델들은, 언어를 로봇의 행동과 직접 연결하는 통합된 표현을 학습함으로써 계획 수립과 제어 사이의 전통적인 구분을 점점 더 모호하게 만들고 있다.
이러한 발전에도 불구하고, SayCan의 개념적 기여는 여전히 매우 큰 영향력을 지니고 있다. 이는 언어 이해만으로는 물리적 지능에 충분하지 않으며, 로봇 제어만으로는 의미론적 유연성이 부족하다는 것을 보여주었다. 성공적인 Physical AI는 언어적 추론을 체화된 능력 추정과 통합할 것을 필요로 한다. 로봇이 무엇을 해야 하는지와 무엇을 할 수 있는지 사이의 구분은 현대의 로봇 파운데이션 모델, 체화 AI 아키텍처, 자율 계획 수립 시스템에 계속해서 영향을 미치고 있다.
산업 응용 분야는 이러한 접근법의 실용적인 중요성을 보여준다. 창고 로봇은 물리적 접근성을 평가하면서도 자연어로 된 재고 요청을 받는다. 병원 서비스 로봇은 장비의 가용성과 환자의 안전을 존중하면서도 의료진의 지시를 해석한다. 제조업 어시스턴트는 생산 목표를, 현재의 기계 상태에 제약을 받는 실행 가능한 워크플로우로 변환한다. 농업용 로봇은 작물 조건과 날씨에 적응하면서도 수확 목표를 이해한다. 가정용 서비스 로봇은 사용자의 선호도와 사용 가능한 자원에 따라 가사 지원을 개인화한다. 모든 경우에서, 언어적 추론은 의미론적 유연성을 제공하는 한편, 어포던스 추정은 물리적 현실성을 보장한다.
따라서 언어 조건부 로봇 제어는 Physical AI의 발전에 있어 근본적인 이정표를 나타낸다. SayCan은 대규모 언어 모델의 광범위한 추론 능력을 로봇 스킬 정책의 그라운딩된 실행 능력과 결합하는 실용적인 프레임워크를 소개했다. 모든 행동 이전에 의미론적 적절성과 물리적 실현 가능성을 모두 평가함으로써, 이 시스템은 자연어를 단순한 소통 인터페이스에서 복잡한 실제 세계 환경 내에서 체화된 지능을 이끌 수 있는 운영상의 계획 수립 메커니즘으로 전환시킨다. 미래의 Physical AI 시스템이 점점 더 강력한 파운데이션 모델, 평생 학습, 세계 모델, 멀티모달 인지, 적응형 스킬 습득을 통합함에 따라, SayCan이 확립한 핵심 원리 --- 지능형 로봇은 인간의 의도와 물리적 능력에 대해 동시에 추론해야 한다는 것 --- 는 자율적인 체화 지능의 기저에 있는 근본적인 개념 중 하나로 남을 것이다.
09.03 Code as Policies LLM Code Generation for Robots [w/Code]
정책으로서의 코드(Code as Policies, CaP)는 자연어, 프로그래밍, 로봇 제어 사이의 관계를 재정의한다는 점에서 언어 조건부 로보틱스의 발전에 있어 중요한 이정표를 나타낸다. 전통적인 로봇 시스템은 배치 이전에 엔지니어가 태스크 플래너, 행동 트리, 유한 상태 기계, 동작 시퀀스를 수작업으로 설계할 것을 요구한다. SayCan과 같은 언어 조건부 시스템은 대규모 언어 모델이 사전에 정의된 로봇 스킬들 중에서 선택할 수 있게 함으로써 유연성을 향상시켰다. 정책으로서의 코드는 이 개념을 상당히 더 확장시킨다. 기존의 행동 라이브러리에서 단순히 선택하는 대신, 언어 모델은 인지, 추론, 계획, 제어 기능들을 결합하여 완전히 새로운 로봇 행동을 만들어내는 실행 가능한 코드를 생성한다. 이 프레임워크에서 자연어는 고수준 프로그래밍 언어가 되고, 실행 가능한 코드는 인간의 의도를 물리적 로봇 행동과 연결하는 중간 표현이 된다.
정책으로서의 코드의 핵심 동기는 프로그래밍 언어가 로봇의 추론에 매우 적합하게 만드는 여러 속성을 지니고 있다는 관찰에서 비롯된다. 프로그래밍 언어는 자연스럽게 순차적 실행, 조건 논리, 반복문, 함수 결합, 재귀, 변수 바인딩, 수학적 계산, 예외 처리, 모듈성, 추상화를 표현한다. 많은 로봇 태스크는 정확히 이러한 능력들을 필요로 한다. 부엌을 정리하도록 지시받은 가정용 로봇은 여러 물체를 점검하고, 범주를 식별하며, 물체의 위치에 기반하여 결정을 내리고, 완료될 때까지 행동을 반복하며, 실패로부터 복구하고, 변화하는 환경 조건에 적응해야 한다. 이러한 행동을 생성된 코드를 통해 표현하는 것은 개별적인 사전 정의된 행동을 선택하는 것보다 상당히 더 큰 유연성을 제공한다.
대규모 언어 모델은 여러 프로그래밍 언어에 걸쳐 구문상 올바른 컴퓨터 프로그램을 생성하는 데 있어 놀라운 능력을 보여주었다. 대규모 소프트웨어 저장소로 학습된 모델들은 프로그래밍 패턴, 알고리즘적 구조, 소프트웨어 라이브러리, API 사용법, 디버깅 전략, 모듈형 설계 원리를 학습한다. 정책으로서의 코드는 로봇 제어 API를 언어 모델이 사용할 수 있는 소프트웨어 라이브러리로 취급함으로써 이러한 능력들을 활용한다. 임의의 프로그램을 생성하는 대신, 모델은 로봇별 인지, 내비게이션, 조작, 감지, 계획, 통신 기능을 호출하는 실행 가능한 코드를 만들어낸다.
"정책으로서의 코드"라는 표현은 중요한 개념적 전환을 반영한다. 고전적인 로보틱스에서 정책(policy)은 일반적으로 관측치를 행동으로 직접 매핑하는 함수를 지칭한다. 강화학습 정책은 센서 입력으로부터 제어 명령을 만들어낸다. 행동 트리는 구조화된 의사결정 정책을 인코딩한다. 유한 상태 기계는 사전에 정의된 행동들 사이의 전환을 기술한다. 정책으로서의 코드에서는, 생성된 프로그램 그 자체가 정책이 된다. 고정된 신경망 파라미터나 수작업으로 설계된 상태 전환을 통해 행동을 표현하는 대신, 로봇의 지능은 언어 지시로부터 동적으로 생성된 실행 가능한 소프트웨어로 명시적으로 표현된다.
사용자가 "테이블에서 빨간 물체를 모두 모아서 파란 용기에 넣어줘"라고 요청하는 상황을 생각해 보자. 전통적인 로보틱스에서는 엔지니어가 전용 행동을 명시적으로 구현함으로써 개발 과정에서 이러한 태스크를 미리 예상해야 한다. SayCan은 "물체 감지하기", "물체 집기", "물체 놓기"와 같은 스킬을 순서대로 선택할 수 있다. 정책으로서의 코드는 그 대신 실행 가능한 프로그램을 생성한다. 생성된 코드는 감지된 물체들을 순회하며, 색상을 평가하고, 빨간 물건만 선택하며, 파지 자세를 계산하고, 조작 루틴을 실행하며, 성공적인 배치를 확인하고, 조건을 만족하는 물체가 남지 않을 때까지 이를 반복한다. 그 결과로 만들어지는 행동은 사전에 정의된 워크플로우가 아니라 프로그램 합성(program synthesis)으로부터 발현된다.
이 아키텍처는 일반적으로 여러 상호작용하는 구성 요소로 이루어진다. 대규모 언어 모델은 사용 가능한 로봇 API를 기술하는 문서와 함께 사용자의 지시를 받는다. 이러한 API들은 인지 모듈, 위치 추정 시스템, 물체 감지, 조작 컨트롤러, 내비게이션 기능, 음성 인터페이스, 모션 플래너에 대한 접근을 제공한다. 언어 모델은 이러한 API들을 적절하게 호출하는 소스 코드를 생성한다. 실행 환경은 물리적 로봇과 지속적으로 상호작용하면서 생성된 프로그램을 검증하고, 해석하며, 실행한다. 센서 관측치는 프로그램의 변수를 갱신하고, 함수의 출력은 이후의 결정에 영향을 미치며, 요청된 목표가 달성될 때까지 실행이 계속된다.
로봇 API는 생성된 코드와 물리적 실체 사이의 인터페이스를 정의하기 때문에 핵심적인 역할을 한다. API에는 detect_objects(), navigate_to(), grasp(), place(), locate_person(), estimate_pose(), open_door(), read_barcode(), capture_image(), inspect_surface(), query_map(), check_battery()와 같은 함수들이 포함될 수 있다. 언어 모델은 이러한 능력들을 내부적으로 구현하지 않는다. 대신, 사용자의 의도에 따라 이들을 새로운 절차적 구조로 결합한다. 따라서 개별 로봇 스킬에 대한 개선 사항은 언어 모델 자체를 수정하지 않고도 이후에 생성되는 프로그램에서 자동으로 사용 가능해진다.
이러한 모듈형 분리는 여러 중요한 이점을 제공한다. 로봇의 인지는 전문화된 비전 모델을 통해 계속 구현된다. 모션 계획은 신뢰할 수 있는 최적화 알고리즘을 계속 사용한다. 조작 컨트롤러는 결정론적인 안전 속성을 보존한다. 위치 추정은 확립된 SLAM 시스템을 사용한다. 코드 생성은 이러한 구성 요소들을 대체하는 것이 아니라 조율한다. 따라서 기존의 로봇 인프라는 훨씬 더 유연한 태스크 결합으로부터 이득을 얻으면서도 그 가치를 계속 유지한다.
프로그래밍 언어는 자연스럽게 계층적 추상화를 지원하기 때문에, 복잡한 로봇 태스크를 표현하기가 더 쉬워진다. 고수준 함수는 저수준 절차를 호출하고, 이 절차들은 다시 기본적인 제어 루틴을 호출한다. 예를 들어, organize_workspace()라는 이름의 생성된 함수는 내부적으로 classify_objects(), determine_storage_locations(), compute_optimal_sequence(), navigate_to(), pick_object(), verify_grasp(), place_object(), update_inventory()를 호출할 수 있다. 각각의 함수는 독립적으로 이해 가능한 채로 남아 있으면서도, 함께 정교한 자율 행동을 만들어낸다. 계층적 조직화는 평면적인 행동 시퀀스에 비해 가독성, 유지보수성, 디버깅, 추론을 향상시킨다.
물리적 환경은 본질적으로 불확실하기 때문에 조건적 추론은 로보틱스에서 특히 중요해진다. 생성된 프로그램은 종종 "물체가 보이지 않으면 근처 선반을 탐색한다", "파지에 실패하면 다른 파지 각도를 시도한다", "배터리가 임계값 이하로 떨어지면 계속하기 전에 충전한다"와 같은 의사결정 구조를 포함한다. 이러한 조건 논리는 로봇이 엄격하게 사전에 정해진 행동 시퀀스를 따르는 대신 동적으로 적응할 수 있게 한다. 프로그래밍 언어는 자연스럽게 분기 행동을 표현하기 때문에, 정책으로서의 코드는 단순한 행동 선택 프레임워크보다 상당히 더 풍부한 적응을 제공한다.
반복문은 유연성을 더욱 향상시킨다. 많은 가사 및 산업용 태스크는 목표가 충족될 때까지 반복적인 실행을 필요로 한다. 예를 들어 방 안의 모든 테이블을 청소하기, 모든 보관 선반을 점검하기, 재활용 가능한 모든 재료를 수거하기, 모든 기계를 확인하기, 패키지를 순차적으로 배송하기 등이 있다. 생성된 프로그램은 for 반복문, while 반복문, 재귀, 또는 고차 함수를 사용해 반복을 자연스럽게 표현한다. 따라서 로봇은 가능한 모든 시나리오에 대해 수작업으로 프로그래밍된 반복을 필요로 하지 않고도 반복적인 작업을 수행한다.
변수 바인딩은 또 다른 중요한 이점을 제공한다. 실행 과정에서 생성된 프로그램은 물체의 정체성, 위치, 측정치, 사용자의 선호도, 센서 관측치, 환경 상태, 중간 계산 결과를 저장한다. 변수는 로봇이 긴 태스크 시퀀스 전반에 걸쳐 일관되게 추론할 수 있게 한다. 로봇은 특정한 컵을 식별하고, 그 위치를 기억하며, 일시적으로 다른 곳으로 이동한 후, 이전에 저장된 정보를 사용해 나중에 돌아와 동일한 물체를 회수할 수 있다. 이러한 지속적인 기호적 참조는 장기적인 추론을 상당히 향상시킨다.
수학적 계산 역시 생성된 코드를 통해 사용 가능해진다. 로봇은 종종 기하학적 계산, 좌표 변환, 최적화, 통계적 추정, 궤적 보간, 충돌 검사, 수치적 추론을 필요로 한다. 프로그래밍 언어는 확립된 소프트웨어 라이브러리를 사용하여 이러한 계산들을 자연스럽게 표현한다. 언어적 추론에만 배타적으로 의존하는 대신, 생성된 프로그램은 해석적 계산을 의미론적 계획 수립과 통합하여, 기호적 추론과 물리적 기하학 모두에 동시에 기반을 둔 행동을 만들어낸다.
인지(perception)는 프로그램 실행 전반에 걸쳐 긴밀하게 통합된 채로 남아 있다. 생성된 코드는 추가적인 환경 정보가 필요할 때마다 시각적 인지, 물체 감지, 분할, 자세 추정, 의미론적 지도 작성, 위치 추정, 장면 이해 기능을 지속적으로 호출한다. 따라서 프로그램은 센서 피드백과 무관하게 독립적으로 실행되는 것이 아니라 관측치에 따라 동적으로 진화한다. 이러한 인지-행동 루프는 로봇 프로그램 합성을 전통적인 소프트웨어 생성과 구별짓는 핵심적인 특징 중 하나이다.
파운데이션 비전 모델은 일반화된 인지 API를 제공함으로써 정책으로서의 코드의 효과성을 상당히 향상시킨다. 모든 응용 분야마다 전용 물체 감지기를 필요로 하는 대신, 로봇은 수천 개의 물체를 인식하고, 관계를 추정하며, 장면을 해석하고, 텍스트를 읽고, 이상을 식별하며, 자연어 참조를 그라운딩할 수 있는 사전학습된 시각-언어 모델에 점점 더 많이 접근하고 있다. 생성된 코드는 태스크별 인지 엔지니어링을 필요로 하지 않고도 이러한 일반화된 인지 인터페이스를 단순히 호출한다.
언어 그라운딩(grounding)은 근본적인 요소로 남아 있다. 사용자의 지시는 종종 물체, 위치, 공간적 관계, 색상, 수량, 시간적 제약을 참조한다. 생성된 코드는 언어적 개념을 구체적인 인지적 질의로 번역해야 한다. "가장 가까운 의자", "가장 큰 패키지", "창문 옆의 파란 용기", "존이 아까 사용하던 물체"와 같은 표현들은 언어 이해를 인지, 기억, 공간적 추론과 결합할 것을 필요로 한다. 정책으로서의 코드는 생성된 프로그램을 통해 더 높은 수준의 태스크 논리를 조율하는 한편, 이러한 그라운딩 과정을 인지 API에 위임한다.
기억(memory)은 프로그램의 능력을 상당히 확장시킨다. 생성된 코드는 이전 상호작용을 기술하는 일화적 기억, 물체의 기능에 관한 의미론적 지식, 절차적 기록, 사용자의 선호도, 환경 지도, 유지보수 기록, 학습된 정책을 조회할 수 있다. 모든 정보를 언어 모델의 파라미터 내에 임베딩하는 대신, 외부 메모리 시스템은 실행 과정에서 접근 가능한 지속적인 지식을 제공한다. 검색 증강 생성(Retrieval-Augmented Generation)은 생성된 프로그램이 문서, 운영 매뉴얼, 또는 과거의 경험을 동적으로 참조할 수 있게 함으로써 이러한 능력을 더욱 향상시킨다.
정책으로서의 코드 내에서의 계획 수립은 고전적인 기호적 플래너와 다르다. 명시적인 계획 그래프를 탐색하거나 수작업으로 인코딩된 행동 모델을 사용하는 대신, 언어 모델은 실행 가능한 절차를 직접 합성한다. 그럼에도 불구하고 계획 수립은 인지, API 제약, 환경적 관측치, 실행 피드백을 통해 기반을 유지한다. 그 결과로 만들어지는 행동은 통계적 언어 추론을 결정론적 소프트웨어 실행과 결합하여, 두 패러다임 모두의 강점을 통합하는 혼합 아키텍처를 만들어낸다.
오류 처리는 로봇 제어가 자연스럽게 물려받는 또 다른 중요한 프로그래밍 능력을 나타낸다. 물리적 환경은 성공적이지 못한 파지, 막힌 내비게이션 경로, 물체 누락, 센서 불확실성, 통신 중단, 하드웨어 결함을 포함한 실패를 필연적으로 만들어낸다. 생성된 프로그램은 예외 처리, 재시도 메커니즘, 대체 전략, 타임아웃 관리, 우아한 복구 절차를 포함한다. 이러한 명시적인 실패 처리는 완벽한 실행을 가정하는 시스템에 비해 견고성을 상당히 향상시킨다.
시뮬레이션은 생성된 로봇 프로그램을 위한 중요한 개발 환경을 제공한다. 물리적 하드웨어에 배치되기 전에, 합성된 코드는 물리 시뮬레이터나 디지털 트윈 내에서 실행될 수 있다. 시뮬레이션은 물리적 손상의 위험 없이 구문 오류, 논리적 불일치, 안전하지 않은 행동, 무한 루프, 도달할 수 없는 목표, 자원 충돌을 식별한다. 하드웨어 인 더 루프(hardware-in-the-loop) 검증은 운영 배치 이전에 생성된 소프트웨어와 실제 로봇 플랫폼 사이의 호환성을 더욱 보장한다.
안전성은 정책으로서의 코드에 있어 가장 중요한 과제 중 하나로 남아 있다. 일반적인 소프트웨어 응용과 달리, 생성된 로봇 프로그램은 인간, 기계, 귀중한 인프라와 상호작용할 수 있는 물리적 시스템에 직접적으로 영향을 미친다. 따라서 실행 환경은 일반적으로 엄격한 안전 제약을 부과한다. API 접근은 검증된 함수로 제한된다. 동작 명령은 충돌 검사를 거친다. 힘의 제한은 위험한 조작을 방지한다. 내비게이션 플래너는 안전 경계를 강제한다. 생성된 코드는 승인되지 않은 작업을 제한하는 샌드박스 환경 내에서 실행된다. 여러 검증 계층은 언어로 생성된 소프트웨어가 필수적인 안전 메커니즘을 우회할 수 없도록 보장한다.
검증 기법은 코드 생성을 점점 더 많이 보완하고 있다. 정적 분석(static analysis)은 구문의 정확성, 도달할 수 없는 코드, 정의되지 않은 변수, 자원 충돌, 또는 잠재적으로 안전하지 않은 작업에 대해 생성된 프로그램을 검사한다. 런타임 모니터링은 실행을 지속적으로 관찰하며, 사전에 정의된 안전 제약을 위반하는 행동을 중단시킨다. 형식적 검증(formal verification) 방법은 결국 자연어 지시로부터 생성된 중요한 로봇 행동에 관한 수학적 보장을 제공할 수 있을 것이다.
코드의 가독성(readability)은 또 다른 실용적인 이점을 제공한다. 불투명한 신경망 정책과 달리, 생성된 프로그램은 인간 엔지니어가 이해할 수 있는 상태로 남아 있다. 개발자는 합성된 코드를 검토하고, 논리적 오류를 식별하며, 로봇의 결정을 설명하고, 필요할 경우 생성된 절차를 수작업으로 수정하며, 도메인 전문성을 실행 논리에 직접 통합할 수 있다. 이러한 투명성은 사용자의 신뢰를 높이면서도 디버깅, 유지보수, 인증, 규제 준수를 향상시킨다.
산업용 로보틱스는 수많은 설득력 있는 응용 사례를 제시한다. 제조 엔지니어는 전통적인 프로그래밍이 아니라 자연어를 통해 점검 절차를 기술한다. 창고 운영자는 재고 관리 워크플로우를 동적으로 요청한다. 실험실 자동화 시스템은 텍스트 프로토콜에 따라 실험 절차를 생성한다. 농업용 로봇은 작물 조건에 적응하는 수확 루틴을 합성한다. 인프라 점검 로봇은 자산 설명에 기반하여 맞춤화된 검사 전략을 만들어낸다. 각각의 응용 분야에서, 생성된 코드는 신뢰할 수 있는 로봇 하위 시스템을 재사용하면서도 유연한 절차적 지능을 제공한다.
연구용 로봇 역시 신속한 실험으로부터 이득을 얻는다. 연구자들은 새로운 알고리즘을 탐구하면서 태스크 사양을 자주 수정한다. 맞춤형 소프트웨어를 반복적으로 구현하는 대신, 연구자들은 실험 목표를 언어를 통해 표현한다. 생성된 코드는 인지, 계획, 제어 모듈을 자동으로 결합하여 실행 가능한 로봇 행동으로 만들어냄으로써, 개발 주기를 상당히 가속화한다.
클라우드 로보틱스는 이러한 능력들을 더욱 확장시킨다. 생성된 프로그램, 실행 추적, 디버깅 정보, 성능 통계, 성공적인 절차적 패턴은 로봇 함대 전체에 걸쳐 공유되는 지식이 된다. 자주 성공하는 생성된 절차들은 이후의 합성 과정에서 접근 가능한 재사용 가능한 소프트웨어 라이브러리로 진화한다. 따라서 집단적 운영 경험은 언어 프롬프팅 전략과 사용 가능한 로봇 API 모두를 지속적으로 향상시킨다.
지속 학습은 정책으로서의 코드를 자연스럽게 보완한다. 성공적으로 생성된 프로그램은 이후 학습을 위한 시연이 된다. 자주 실행되는 절차들은 재사용 가능한 추상화로 진화한다. 새로운 API는 축적된 운영 경험으로부터 생겨난다. 파운데이션 모델은 배치 데이터를 통해 지속적인 정제를 받으며, 이후의 코드 생성 품질을 향상시킨다. 따라서 로봇은 장기적인 운영 기간 내내 프로그래밍 어휘와 물리적 능력을 모두 점진적으로 확장시킨다.
정책으로서의 코드와 강화학습 사이의 관계는 특히 흥미롭다. 강화학습은 주로 시행착오를 통해 저수준의 제어 정책을 최적화한다. 코드 생성은 그 대신 훨씬 더 높은 의미론적, 절차적 수준에서 작동한다. 생성된 프로그램은 강화학습만으로는 효율적으로 습득할 수 없는 복잡한 태스크 시퀀스를 조율하면서도, 학습된 정책을 기본적인 빌딩 블록으로서 종종 호출한다. 이러한 계층적 분리는 데이터 기반의 운동 학습을 언어 기반의 절차적 추론과 결합한다.
정책으로서의 코드는 또한 체화된 파운데이션 모델과도 자연스럽게 연결된다. 대규모 멀티모달 모델은 언어, 시각, 행동, 세계 지식을 통합된 표현 내에 점점 더 많이 통합하고 있다. 고립된 코드 조각을 생성하는 대신, 미래의 시스템은 인지, 계획, 시뮬레이션, 기억 검색, 추론, 물리적 실행을 매끄럽게 통합하는 완전한 인지적 절차를 합성할 수 있다. 생성된 프로그램은 점점 더 적응적이고, 맥락을 인식하며, 장기적인 자율 추론이 가능해진다.
그럼에도 불구하고 몇 가지 한계가 여전히 남아 있다. 언어 모델은 때때로 구문상으로는 올바르지만 의미론적으로는 올바르지 않은 프로그램을 생성한다. API 문서는 정확한 코드 합성을 위해 충분히 정밀해야 한다. 길게 생성된 프로그램은 논리적 불일치를 축적할 수 있다. 실시간 실행은 계산 지연시간의 신중한 관리를 필요로 한다. 게다가, 로봇은 소프트웨어의 유연성과 무관하게 사용 가능한 하드웨어 능력에 의해 제약을 받는다. 생성된 프로그램은 부재한 센서, 불충분한 조작의 정밀함, 부적절한 계산 자원, 또는 근본적인 물리적 한계를 보완할 수 없다.
최근의 발전은 정책으로서의 코드를 시각-언어-행동(Vision-Language-Action) 모델, 세계 모델, 검색 시스템, 미분 가능한 프로그래밍, 자율 소프트웨어 에이전트와 점점 더 많이 통합하고 있다. 고립된 절차를 생성하는 대신, 미래의 시스템은 물리적 실행 이전에 시뮬레이션을 통해 행동을 검증하면서도 사용자의 목표에 따라 완전한 로봇 애플리케이션을 동적으로 구축할 수 있다. 프로그램 합성은 자율 Physical AI를 지원하는 훨씬 더 넓은 인지 아키텍처의 한 구성 요소가 된다.
궁극적으로, 정책으로서의 코드는 프로그래밍 자체를 적응형 추론 과정으로 전환함으로써 로봇 지능에 있어 심오한 전환을 나타낸다. 엔지니어가 모든 미래의 행동을 수작업으로 예상할 것을 요구하는 대신, 대규모 언어 모델은 기존의 로봇 능력들을 새로운 태스크별 절차로 결합하는 실행 가능한 소프트웨어를 생성한다. 자연어는 인간이 목표를 지정하는 인터페이스가 되고, 생성된 코드는 의미론적 추론을 체화된 실행과 연결하는 운영상의 정책이 된다. 프로그래밍 언어의 표현력, 파운데이션 언어 모델의 추론 능력, 확립된 로봇 API의 신뢰성을 결합함으로써, 정책으로서의 코드는 실제 세계 태스크의 점점 더 확장되는 범위를 수행할 수 있는 유연하고, 설명 가능하며, 지속적으로 적응 가능한 차세대 Physical AI 시스템의 기저에 있는 근본적인 패러다임 중 하나를 확립한다.
09.04 Inner Monologue LLM Loop for Robot Feedback [w/Code]
이너 모놀로그(Inner Monologue)는 로봇이 내부의 언어 기반 피드백 루프를 통해 자신의 행동, 관측, 실패, 목표에 대해 지속적으로 추론할 수 있게 하는, Physical AI 분야에서 새롭게 떠오르고 있는 아키텍처이다. 완료되거나 실패할 때까지 사전에 정의된 계획을 실행하는 전통적인 로봇 시스템과 달리, 이너 모놀로그 시스템은 환경을 반복적으로 관찰하고, 새로운 정보를 해석하며, 현재의 진행 상황을 되돌아보고, 태스크에 대한 이해를 갱신하며, 그에 따라 향후의 행동을 수정한다. 이러한 지속적인 추론 과정은 인간이 복잡한 문제를 풀 때 종종 경험하는 내적 대화와 유사하다. 고정된 명령 시퀀스를 조용히 실행하는 대신, 로봇은 태스크 실행 전반에 걸쳐 인지, 계획, 기억, 행동을 조율하는 데 도움이 되는 진화하는 내적 대화를 유지한다.
이너 모놀로그의 동기는 고전적인 로봇 계획 수립의 근본적인 한계 중 하나에서 비롯된다. 기존의 계획 알고리즘은 일반적으로 계획이 생성되고 나면 세계가 충분히 예측 가능한 상태로 유지된다고 가정한다. 플래너는 행동 시퀀스를 계산하고, 컨트롤러는 이를 실행하며, 오직 중대한 실패만이 재계획을 촉발한다. 이러한 접근법은 불확실성이 비교적 낮은 구조화된 산업 환경에서는 잘 작동한다. 그러나 실제 세계의 환경은 동적이고, 부분적으로만 관측 가능하며, 지속적으로 변화한다. 물체는 예기치 않게 이동하고, 사람들은 개입하며, 센서는 불확실해지고, 문은 닫히며, 도구는 사라지고, 조명은 변하며, 이전에 유효했던 가정들은 부정확해진다. 이러한 조건 하에서, 로봇은 행동 실행뿐만 아니라 실행 과정에서의 지속적인 자기 평가를 필요로 한다.
대규모 언어 모델은 텍스트 맥락에 대한 반복적인 추론을 통해 자연스럽게 작동하기 때문에 이러한 자기 평가를 구현하는 강력한 메커니즘을 제공한다. 언어를 단순히 인간과의 소통을 위한 인터페이스로 취급하는 대신, 이너 모놀로그는 언어를 관측치, 목표, 계획, 실패, 가설, 환경 변화가 지속적으로 통합되는 내부 인지적 작업 공간으로 취급한다. 언어 모델은 현재 상황에 대한 갱신된 설명을 반복적으로 받아, 목표를 향한 진행 상황에 대해 추론하고, 필요할 경우 수정된 계획을 생성하며, 이후의 로봇 행동을 안내한다.
"이너 모놀로그"라는 용어는 의도적으로 인간의 인지와 유사성을 지닌다. 인간은 일상적인 활동을 수행하는 동안 종종 조용한 내적 추론에 관여한다. 식사를 준비하는 사람은 "채소는 이미 다 썰었다. 팬은 뜨겁다. 요리하기 전에 기름이 필요하다. 양파가 타고 있으니 먼저 불을 줄여야겠다"라고 생각할 수 있다. 이러한 내적 대화는 외부의 지시 없이 지속적인 모니터링과 조정을 가능하게 한다. 마찬가지로, 자율 로봇도 "요청받은 물체가 테이블 위에 없다. 근처 선반을 탐색해야겠다. 선반이 의자에 막혀 있다. 의자를 먼저 옮기면 접근성이 높아질 것이다"와 같이 내부적으로 추론할 수 있다. 이러한 성찰적인 추론은 불확실한 환경에서의 적응력을 상당히 향상시킨다.
전체 아키텍처는 일반적으로 인지 시스템, 행동 실행 시스템, 외부 기억, 그리고 이들을 연결하는 언어 기반 추론 루프로 구성된다. 센서는 카메라, LiDAR, 깊이 센서, 힘 센서, 촉각 배열, 마이크로폰, 고유수용감각 센서, 위치 추정 시스템을 통해 환경을 지속적으로 관찰한다. 인지 모듈은 원본 관측치를 구조화된 기호적 설명으로 변환한다. 이러한 설명들은 현재의 목표 및 실행 기록과 함께 언어 모델의 입력이 된다. 언어 모델은 갱신된 내부 추론 상태를 생성하고, 이후의 행동을 추천하며, 진행 상황을 평가하고, 재계획이나 복구가 필요한지를 판단한다. 그 결과로 만들어진 결정들은 물리적으로 실행된 뒤 이 주기가 반복된다.
일회성 계획 수립과 달리, 이 추론 루프는 태스크 실행 전반에 걸쳐 반복적으로 실행된다. 완료된 모든 행동은 새로운 관측치를 만들어낸다. 모든 관측치는 언어 모델에 제시되는 내부 맥락을 수정한다. 따라서 계획 수립은 단일한 초기 계산이 아니라 지속적인 과정이 된다. 이러한 반복적인 아키텍처는 순수하게 기계적인 수준이 아니라 인지적인 수준에서 작동하는 피드백 제어 시스템과 매우 유사하다. 모터 토크만을 조절하는 대신, 로봇은 태스크에 대한 자신의 이해를 지속적으로 조절한다.
맥락 축적(context accumulation)은 이너 모놀로그의 가장 중요한 특징 중 하나이다. 전통적인 플래너는 종종 현재 상태와 원하는 목표만을 고려한다. 언어 모델은 그 대신 이전의 행동, 관측된 실패, 성공적인 복구, 발견된 물체의 위치, 사용자와의 상호작용, 환경 변화, 중간 태스크 완료를 기술하는 점점 늘어나는 기록을 받는다. 이렇게 축적된 맥락은 이후의 추론이 고립된 관측치가 아니라 로봇의 최근 전체 경험을 통합하기 때문에 점점 더 정보에 기반한 의사결정을 가능하게 한다.
따라서 기억(memory)은 이 아키텍처의 핵심 구성 요소가 된다. 작업 기억은 현재의 관측치, 대기 중인 하위 태스크, 활성화된 제약 조건, 임시 변수를 포함한 즉각적인 추론 맥락을 저장한다. 일화적 기억은 완료된 행동, 실패, 환경적 발견, 상호작용 기록을 기록한다. 의미론적 기억은 물체의 기능, 방의 배치, 조작 절차, 사용자의 선호도, 이전 학습을 통해 습득된 세계 지식에 관한 지식을 담고 있다. 모든 추론 주기 동안, 관련된 기억들이 검색되어 언어 모델의 맥락에 통합됨으로써, 즉각적인 인지와 장기적인 경험 모두에 기반한 결정을 가능하게 한다.
"저녁 식사를 위해 식탁을 준비해줘"라고 지시받은 가정용 로봇을 생각해 보자. 전통적인 플래너는 접시, 식기, 유리컵, 냅킨을 찾아 테이블 위에 놓는 것을 포함하는 고정된 시퀀스를 생성할 수 있다. 그러나 실행 과정에서 로봇은 깨끗한 접시를 사용할 수 없다는 것을 발견한다. 단순히 실패를 보고하는 대신, 이너 모놀로그 시스템은 내부 추론을 갱신한다. 로봇은 "캐비닛에 깨끗한 접시가 없다. 더러운 접시는 식기세척기 안에 있다. 식기세척기가 세척 주기를 완료했는지 확인해야겠다"라고 결론지을 수 있다. 식기세척기를 확인한 후, 추론은 계속된다: "접시는 깨끗하지만 여전히 안에 있다. 식탁을 차리기 전에 접시를 꺼내야겠다." 따라서 태스크는 정적인 계획 수립이 아니라 지속적인 내부 추론을 통해 동적으로 진화한다.
이러한 적응적 추론은 언어가 단순히 외부적인 소통 매체가 아니라 중간의 인지적 표현으로 기능하는 것에 의존한다. 내부 추론 문장들은 환경 상태, 행동의 결과, 신뢰도 추정, 불확실성, 가정, 가능한 복구 전략을 요약한다. 이러한 텍스트 요약은 언어 모델 자체를 위한 구조화된 추론 입력을 제공하는 동시에 인간에게도 이해 가능한 상태로 남아 있다. 따라서 로봇의 내부 인지는, 추론 과정이 불투명한 신경망 활성화 내에 숨겨진 채로 남아 있는 것이 아니라 명시적으로 표현되기 때문에 부분적으로 해석 가능해진다.
관측 그라운딩(observation grounding)은 피드백 루프 전반에 걸쳐 필수적인 역할을 한다. 모든 추론 주기는 갱신된 감각 정보를 통합하는 것으로 시작된다. 시각적 인지는 물체와 그 위치, 관계를 식별한다. 위치 추정은 환경 내에서의 로봇의 위치를 추정한다. 조작 센서는 성공적인 파지나 배치를 확인한다. 힘 피드백은 예상치 못한 물리적 접촉을 나타낸다. 인간의 발화는 새로운 지시나 정정 사항을 도입한다. 이러한 관측치들은 추론 맥락을 수정하는 구조화된 설명이 된다. 따라서 언어 모델은 추상적인 가상의 상황이 아니라, 실제 물리적 환경에 대한 지속적으로 갱신되는 표현에 대해 추론한다.
환경적 불확실성은 이너 모놀로그에 상당한 영향을 미친다. 물리적 로봇이 세계에 관한 완전한 정보를 갖는 경우는 드물다. 물체는 가려져 있을 수 있고, 센서 측정치는 노이즈가 있을 수 있으며, 지도는 불완전할 수 있고, 인간의 의도는 모호할 수 있다. 불확실성을 무시하는 대신, 추론 루프는 신뢰도 추정치와 누락된 정보를 내부 대화에 명시적으로 통합한다. 예를 들어, 로봇은 "물체 감지기는 컵이 카운터 위에 있을 확률을 80%로 보고한다. 파지를 시도하기 전에 시각적으로 확인해야겠다"라고 추론할 수 있다. 이러한 불확실성을 인식하는 추론은 신뢰할 수 없는 관측치에 기반한 성급한 결정을 피함으로써 견고성을 향상시킨다.
실패로부터의 복구는 이 아키텍처의 또 다른 주요한 이점을 나타낸다. 고전적인 로봇 시스템은 사전에 정의된 행동 시퀀스가 유효하지 않게 되면 실행을 종료하는 경우가 많다. 이너 모놀로그는 그 대신 실패를 추가적인 추론이 필요한 새로운 관측치로 해석한다. 파지 도중 물체가 미끄러져 조작 시도가 실패했다고 가정해 보자. 동일한 동작을 맹목적으로 반복하는 대신, 추론 루프는 "물체가 미끄러운 것 같다. 파지 속도를 줄이고 잡는 힘을 늘려야겠다"라고 결론지을 수 있다. 두 번째 시도도 실패하면, 추가적인 추론은 대체 파지 지점을 식별하거나 완전히 다른 조작 전략을 사용할 것을 제안할 수 있다. 따라서 실패는 최종적인 오류가 아니라 유용한 피드백이 된다.
장기적인 태스크는 지속적인 추론으로부터 특히 큰 이득을 얻는다. 많은 실용적인 로봇 응용은 몇 분 혹은 몇 시간에 걸쳐 이루어지는 수십 또는 수백 개의 조율된 행동을 필요로 한다. 이렇게 확장된 실행 과정에서 환경 조건은 필연적으로 변화한다. 인간 협력자가 개입하고, 물체가 이동하며, 배터리가 방전되고, 통신이 중단되며, 우선순위가 진화한다. 모든 새로운 관측치가 이후의 계획을 수정하기 때문에, 지속적으로 갱신되는 추론 루프는 이러한 변화들을 자연스럽게 수용한다. 따라서 로봇은 상당한 환경적 불확실성에도 불구하고 확장된 태스크 시퀀스 전반에 걸쳐 일관성을 유지한다.
인간과의 상호작용은 이 피드백 아키텍처 내에 자연스럽게 통합된다. 태스크 실행 도중에 도입되는 새로운 지시, 정정, 명확화, 선호도는 외부의 중단이 아니라 추가적인 추론 입력이 된다. 사용자가 처음에 "물 한 병 가져다 줘"라고 요청한 뒤, 나중에 "아, 가능하면 탄산수로 해줘"라고 덧붙이는 상황을 상상해 보자. 언어 모델은 이 갱신된 목표를 진행 중인 추론 과정에 통합하여, 완전한 태스크 재시작을 요구하지 않고도 이후의 행동을 수정한다. 이러한 대화적 유연성은 엄격한 명령 실행이 아니라 자연스러운 인간의 협업과 유사하다.
파운데이션 언어 모델은 상식적 추론, 절차적 이해, 인과 관계, 의미론적 해석에 관한 방대한 사전 지식을 제공하기 때문에 이너 모놀로그를 상당히 향상시킨다. 따라서 추론 루프는 즉각적인 센서 관측치를 넘어 확장된다. 빈 냉장고를 관찰하는 로봇은 일반적인 가사 지식에 기반하여 음료를 위한 가능성 있는 대체 보관 장소를 추론할 수 있다. 마찬가지로, 젖은 바닥이 미끄러질 위험을 높인다거나 깨지기 쉬운 물체는 조심스러운 취급을 필요로 한다는 이해는 지속적인 추론에 통합된 폭넓은 사전학습 지식으로부터 자연스럽게 발현된다.
세계 모델(world model)은 예측적 추론을 가능하게 함으로써 이 아키텍처를 더욱 강화한다. 현재의 환경 상태만을 고려하는 대신, 로봇은 후보 행동의 가능성 있는 미래 결과를 시뮬레이션한다. 내부 추론에는 "이 의자를 먼저 옮기면 내비게이션을 위한 충분한 공간이 생길 것이다" 또는 "그릇을 꺼내기 전에 캐비닛을 여는 것이 불필요한 움직임을 줄여준다"와 같은 진술이 포함될 수 있다. 이러한 예측은 물리적 실행 이전에 결과를 예상함으로써 의사결정의 품질을 향상시킨다.
검색 증강 생성(Retrieval-Augmented Generation)은 또 다른 중요한 강화 요소를 제공한다. 모델 파라미터 내에 저장된 지식에만 배타적으로 의존하는 대신, 추론 루프는 매뉴얼, 운영 절차, 유지보수 문서, 사용자의 선호도, 의미론적 지도, 이전 태스크 기록, 또는 조직의 지식 기반으로부터 관련된 외부 정보를 검색한다. 검색된 정보는 추가적인 추론 맥락이 되어, 환각(hallucination)을 줄이면서도 사실적 정확성을 향상시킨다. 예를 들어, 낯선 산업용 장비를 정비할 때, 로봇은 적절한 점검 절차를 결정하기 전에 제조사의 문서를 검색할 수 있다.
이너 모놀로그는 또한 정책으로서의 코드(Code as Policies)를 보완한다. 생성된 코드는 절차적 태스크 실행을 지정하는 반면, 추론 루프는 진행 중인 실행의 품질을 평가하고 절차적 수정이 필요한 시점을 결정한다. 생성된 소프트웨어가 예상치 못한 상황을 마주하면, 언어 모델은 수정된 절차적 코드 조각을 합성하기 전에 복구 전략에 대해 추론한다. 따라서 정적인 코드 생성은 내부 성찰에 의해 지속적으로 안내되는 적응형 프로그램 실행으로 진화한다.
마찬가지로, 이너 모놀로그는 SayCan을 자연스럽게 확장한다. SayCan은 의미론적 관련성과 물리적 어포던스에 따라 행동을 선택한다. 이너 모놀로그는 실행된 모든 행동 이후 관련성과 실현 가능성을 반복적으로 재평가한다. 하나의 행동을 독립적으로 선택하는 대신, 로봇은 전체 태스크 내내 진화하는 인지적 대화를 유지한다. 계획 수립이 오래된 가정에 의존하는 대신 현실과 계속 동기화된 상태를 유지하기 때문에, 이러한 지속적인 성찰은 변화하는 환경 조건 하에서의 성능을 상당히 향상시킨다.
지속 학습은 추론 루프 내에 깊이 통합된다. 완료된 모든 태스크는 성공적인 전략, 성공적이지 못한 시도, 환경적 특성, 사용자의 선호도, 운영 절차를 기술하는 추가적인 경험에 기여한다. 이후의 추론은 기억 검색을 통해 이러한 축적된 경험들을 자동으로 통합한다. 따라서 로봇은 운영 기록을 통해 개발된 저수준의 운동 스킬뿐만 아니라 더 높은 수준의 추론 전략도 점진적으로 향상시킨다.
다중 로봇 시스템은 협력적인 추론의 기회를 도입한다. 개별 로봇은 요약된 추론 상태, 환경적 관측치, 발견된 물체의 위치, 제안된 복구 전략을 교환할 수 있다. 클라우드 인프라는 이러한 경험들을 함대 전체에서 사용 가능한 집단적 추론 지식으로 통합한다. 막힌 복도를 발견한 유지보수 로봇은 배송 로봇들이 동일한 장애물을 마주치기 전에 이를 알린다. 이동된 재고를 식별한 창고 로봇은 공유된 의미론적 지도를 갱신한다. 따라서 협력적인 이너 모놀로그는 고립된 추론을 분산된 집단 지능으로 전환시킨다.
언어 모델이 때때로 그럴듯하지만 부정확한 결론을 만들어내기 때문에 안전성은 여전히 중요한 관심사이다. 따라서 추론 결과는 물리적 실행에 영향을 미치기 전에 여러 검증 계층을 거치게 된다. 모션 플래너는 운동학적 실현 가능성을 검증한다. 충돌 회피 시스템은 물리적 안전을 보장한다. 규칙 기반 제약은 운영 정책을 강제한다. 인간 감독자는 고위험 환경 내에서 불확실한 결정을 검토한다. 신뢰도 추정은 실행 이전에 추가적인 검증이 필요한 추론을 더욱 식별한다. 언어 모델은 유연한 인지에 기여하는 한편, 전문화된 로봇 하위 시스템은 결정론적인 안전 보장을 유지한다.
해석 가능성은 이 아키텍처의 가장 가치 있는 속성 중 하나를 나타낸다. 추론이 언어를 통해 명시적으로 이루어지기 때문에, 엔지니어, 조작자, 사용자는 로봇의 내부 사고 과정을 검토할 수 있다. 로봇은 특정 행동이 선택된 이유, 실패가 발생한 이유, 어떤 가정이 계획 수립을 이끌었는지, 복구 전략이 어떻게 선택되었는지를 설명한다. 이러한 투명성은 불투명한 종단간(end-to-end) 신경망 정책보다 훨씬 더 효과적으로 디버깅, 인증, 인간의 신뢰, 규제 준수를 용이하게 한다.
그럼에도 불구하고 몇 가지 한계가 여전히 남아 있다. 긴 추론 맥락은 결국 언어 모델의 맥락 창(context window)을 초과하게 되어, 메모리 압축이나 선택적 검색이 필요해진다. 부정확한 관측치는 추론 과정에서 전파될 수 있으며, 그렇지 않으면 유능했을 계획 수립에도 불구하고 결함이 있는 결론을 만들어낼 수 있다. 외부 그라운딩이 불충분하면 환각된 사실이 때때로 의사결정에 영향을 미친다. 게다가, 반복적인 언어 모델 추론은 상당한 처리 자원을 필요로 하기 때문에 실시간 로봇 제어는 추가적인 계산 지연시간 제약을 부과한다. 따라서 효율적인 맥락 관리, 계층적 추론, 경량화된 파운데이션 모델은 여전히 활발한 연구 주제로 남아 있다.
최근 연구는 이너 모놀로그를 멀티모달 파운데이션 모델, 세계 모델, 검색 시스템, 자기 성찰, 메타 추론, 강화학습, 자율 소프트웨어 에이전트와 점점 더 많이 통합하고 있다. 미래의 시스템은 통합된 인지 아키텍처 내에서 언어, 시각, 행동, 공간적 기억, 물리적 시뮬레이션, 장기적인 경험에 대해 동시에 추론할 가능성이 높다. 로봇은 단순히 관측치를 말로 기술하는 것을 넘어, 확장된 운영 기간에 걸쳐 예측, 설명, 계획 수립, 학습, 협력적 추론을 지원하는 구조화된 내부 인지적 작업 공간을 발전시킬 것이다.
이너 모놀로그와 인간의 인지 사이의 관계는 피상적인 유사성을 넘어선다. 인간은 목표를 향한 진행 상황을 지속적으로 모니터링하고, 상황이 변하면 계획을 수정하며, 관련된 경험을 회상하고, 대안적인 전략을 평가하며, 내적 성찰을 통해 이전의 실패로부터 배운다. 현재의 언어 모델이 인간의 의식을 지니고 있지는 않지만, 이와 유사한 반복적인 추론 과정을 수행할 수 있는 계산적 메커니즘을 제공한다. 이러한 추론 단계들을 해석 가능한 언어로 외재화함으로써, Physical AI 시스템은 순수하게 반응적인 제어 아키텍처로는 얻을 수 없는 유연성, 투명성, 적응력을 얻게 된다.
궁극적으로, 이너 모놀로그는 로봇의 지능을 일회성 의사결정에서 지속적인 인지적 피드백으로 전환시킨다. 로봇은 더 이상 한 번 계획하고 맹목적으로 실행하지 않는다. 대신, 태스크 실행의 모든 단계에서 반복적으로 관찰하고, 해석하고, 성찰하고, 예측하고, 결정하고, 행동하고, 학습한다. 언어는 인지, 기억, 계획, 세계 지식, 행동이 지속적으로 동기화된 상태를 유지하는 매체가 된다. 이러한 폐쇄된 추론 루프는, 성공적인 자율성이 행동을 올바르게 실행하는 것뿐만 아니라 세계가 그 주변에서 진화함에 따라 그러한 행동들이 여전히 적절한지를 지속적으로 이해하는 것에도 달려 있는 동적이고, 불확실하며, 협력적인 환경 내에서 로봇이 견고하게 작동할 수 있게 한다.
09.05 Physical AI for Manipulation Task Completion [w/Code]
조작(manipulation)은 인지와 추론을 물리적 세계와의 목적 지향적인 상호작용으로 전환시키기 때문에 Physical AI의 핵심적인 능력 중 하나이다. 내비게이션이 로봇으로 하여금 환경을 이동할 수 있게 하고 인지가 주변을 이해할 수 있게 한다면, 조작은 로봇이 환경 자체의 상태를 변화시킬 수 있게 한다. 물체를 집어 올리는 것, 캐비닛을 여는 것, 제품을 조립하는 것, 옷을 개는 것, 음식을 준비하는 것, 볼트를 조이는 것, 커넥터를 삽입하는 것, 인간에게 물체를 건네주는 것은 모두 조작 태스크의 예시이다. 이러한 활동들은 감지, 계획, 제어, 학습, 기억, 물리적 상호작용의 통합을 필요로 한다. 따라서 조작을 위한 Physical AI는 의미 있는 실제 세계 목표를 달성하기 위해 로봇 아키텍처의 모든 계층이 협력해야 하는, 체화 지능의 가장 포괄적인 시연 중 하나를 나타낸다.
전통적인 산업용 로봇 조작은 고도로 구조화된 환경에서 놀라운 성공을 거두어 왔다. 조립 라인 로봇은 물체의 위치, 조명 조건, 태스크 시퀀스가 수백만 번의 반복에 걸쳐 거의 동일하게 유지되는, 신중하게 설계된 작업 공간 내에서 정밀하게 정의된 동작을 반복적으로 수행한다. 이러한 조건 하에서는 수작업으로 프로그래밍된 궤적, 고정구 기반의 위치 지정, 결정론적 컨트롤러가 뛰어난 성능을 제공한다. 그러나 이러한 접근법은 개방형 세계 환경으로 일반화되지 않는다. 가정, 병원, 창고, 건설 현장, 실험실, 농경지, 공공장소는 물체의 위치, 형태, 방향, 접근성, 주변 장애물이 지속적으로 변화하는 끊임없이 변화하는 조건들을 제시한다. Physical AI는 로봇이 태스크 실행 전반에 걸쳐 이해하고, 적응하고, 학습할 수 있게 함으로써 조작을 경직된 자동화를 넘어서는 것으로 확장시킨다.
조작의 목표는 단순히 로봇의 관절을 움직이는 것이 아니다. 궁극적인 목표는 태스크의 완수이다. "장 본 것들을 냉장고에 넣어줘"라고 요청하는 사용자는 개별적인 관절 궤적이나 그리퍼의 위치에 관심이 없다. 원하는 결과는 손상 없이, 불필요한 지연 없이 장 본 물건들이 냉장고 안에 올바르게 정리되는 것이다. 이러한 구분은 초점을 저수준의 동작 생성에서 목표 지향적인 지능형 행동으로 전환시킨다. 따라서 Physical AI는 조작을, 인간의 의도를 이해하는 것에서 시작하여 물리적 세계에서의 성공적인 태스크 완수로 끝나는 완전한 인지적 과정으로 취급한다.
태스크 완수는 목표 해석(goal interpretation)에서 시작된다. 로봇은 자연어, 기호적 명령, 임무 플래너, 생산 일정, 클라우드 서비스, 또는 자율 계획 시스템을 통해 목표를 받는다. 대규모 언어 모델과 시각-언어 모델은 사전에 정의된 명령 구문을 필요로 하지 않고도 로봇이 유연한 인간의 지시를 해석할 수 있게 하고 있다. "부엌 조리대를 정리해줘"와 같은 지시는, 잘못 놓인 물체를 식별하고, 적절한 보관 장소를 결정하며, 물건을 안전하게 옮기고, 완료를 확인하며, 성공을 보고하는 것을 포함하는 여러 하위 태스크를 포함하는 실행 가능한 목표로 전환된다. 따라서 목표 해석은 조작을 위한 의미론적 기반을 확립한다.
목표가 이해되고 나면, 인지(perception)가 다음의 필수적인 단계가 된다. 로봇은 물체가 어디에 위치하는지뿐만 아니라 그것을 어떻게 잡고, 조작하고, 조립하고, 열고, 회전시키고, 밀고, 당기고, 삽입할 수 있는지도 이해해야 하기 때문에, 조작은 내비게이션보다 훨씬 더 풍부한 인지를 필요로 한다. 시각 시스템은 물체를 식별하고, 그 자세를 추정하며, 개별 인스턴스를 분할하고, 재질을 분류하며, 물리적 속성을 추정하고, 어포던스를 인식한다. 깊이 카메라, 스테레오 비전, LiDAR, 구조광 센서, 촉각 배열, 힘 센서, 멀티모달 인지 시스템은 함께 조작 장면에 대한 상세한 표현을 구축한다.
물체 감지만으로는 조작에 충분하지 않다. 로봇은 6자유도(six-degree-of-freedom) 물체 자세를 추정하고, 파지 가능한 표면을 식별하며, 물체의 안정성을 추론하고, 질량 분포를 추정하며, 문이나 서랍과 같은 관절이 있는 구성 요소를 인식하고, 주변 물체들과의 잠재적인 상호작용을 예측해야 한다. 파운데이션 비전 모델은 고정된 학습 범주를 넘어서는 일반화된 물체 이해를 점점 더 많이 제공하고 있으며, 이를 통해 로봇은 순수하게 지도학습 기반 분류가 아니라 의미론적 추론을 통해 이전에 본 적 없는 물체를 인식할 수 있다.
어포던스 이해(affordance understanding)는 지능형 조작에서 핵심적인 개념 중 하나를 나타낸다. 어포던스는 에이전트와 물체 사이의 가능한 상호작용을 기술한다. 손잡이는 당기는 것을 허용하고, 버튼은 누르는 것을 허용하며, 서랍은 여는 것을 허용하고, 컵은 손잡이를 통해 잡는 것을 허용하며, 상자는 아래에서 들어올리는 것을 허용한다. 물체 인식과 달리, 어포던스 인식은 물체의 정체성만이 아니라 행동의 가능성에 초점을 맞춘다. 시각적으로 서로 다른 두 물체가 동일한 어포던스를 지닐 수 있는 반면, 동일한 물체라도 서로 다르게 위치하면 완전히 다른 조작 기회를 제시할 수 있다. 따라서 Physical AI는 조작이 어떻게 진행되어야 하는지를 결정하기 위해 의미론적 물체 인식을 어포던스 추정과 결합한다.
장면 이해(scene understanding)는 인지를 개별 물체를 넘어 완전한 환경적 추론으로 확장시킨다. 조작은 종종 여러 물체들 사이의 공간적 관계에 의존한다. 컵은 캐비닛 안에 있거나, 수건에 부분적으로 덮여 있거나, 깨지기 쉬운 접시 위에 놓여 있거나, 다른 물체 뒤에 위치할 수 있다. 성공적인 조작은 행동을 선택하기 전에 이러한 관계들을 이해할 것을 필요로 한다. 장면 그래프(scene graph), 의미론적 지도, 공간 추론 네트워크, 세계 모델은 물체의 연결성, 포함 관계, 지지 관계, 접근성, 잠재적인 상호작용 제약을 기술하는 구조화된 표현을 제공한다.
환경적 표현을 구축한 후, 로봇은 태스크 분해(task decomposition)를 시작한다. 대부분의 조작 목표는 단일한 행동을 통해서는 달성될 수 없다. 냉장고를 여는 것, 올바른 선반을 찾는 것, 사용 가능한 공간을 식별하는 것, 장애물을 옮기는 것, 장 본 물건을 적절하게 놓는 것, 문을 닫는 것은 하나의 전체적인 목표에 기여하는 여러 조율된 하위 태스크를 나타낸다. 계층적 태스크 계획은 태스크 간의 의존성과 자원 제약을 계속 인식하면서도 고수준의 목표를 실행 가능한 행동 시퀀스로 분해한다.
계획 수립은 여러 수준에서 동시에 이루어진다. 전략적 계획 수립은 전체적인 태스크 시퀀스를 결정한다. 행동적 계획 수립은 밀기, 파지, 미끄러뜨리기, 양팔 조율과 같은 조작 전략을 선택한다. 모션 계획 수립은 로봇의 운동학, 관절 한계, 동적 제약, 환경적 장애물을 준수하는 충돌 없는 궤적을 계산한다. 파지 계획 수립은 적절한 접촉 위치, 손가락 구성, 접근 방향, 힘의 분포를 식별한다. 모든 계획 수립 수준은 인지 및 실행과 지속적으로 상호작용하면서도 성공적인 태스크 완수에 기여한다.
모션 계획 수립은 전통적으로 급속 탐색 랜덤 트리(Rapidly-exploring Random Tree), 확률적 로드맵(Probabilistic Roadmap), 궤적 최적화, 모델 예측 제어와 같은 해석적 최적화 알고리즘에 의존해 왔다. Physical AI는 불확실성, 불완전한 관측치, 변형 가능한 물체, 이전에 본 적 없는 상황에 적응할 수 있는 학습된 정책들로 이러한 방법들을 점점 더 많이 보완하고 있다. 혼합 계획 아키텍처는 결정론적 최적화를 학습된 표현과 결합하여, 신뢰성과 적응력을 모두 달성한다.
파지 생성(grasp generation)은 가장 광범위하게 연구된 조작 문제 중 하나로 남아 있다. 고전적인 로봇 그리퍼는 알려진 물체에 대해 사전에 정의된 파지 템플릿에 의존했다. 현대의 Physical AI 시스템은 그 대신 심층 신경망, 확산 모델, 또는 파운데이션 조작 모델을 사용해 시각적 관측치로부터 직접 파지 후보를 예측한다. 이러한 시스템들은 물체의 형상, 재질 속성, 의도된 이후의 태스크를 고려하면서도 파지 품질, 안정성, 힘의 분포, 충돌 위험, 실행 확률을 추정한다. 따라서 파지 계획 수립은 물체 의존적이 아니라 맥락 의존적이게 된다.
조작 실행은 지속적인 폐쇄 루프 제어를 필요로 한다. 개방 루프 산업용 자동화와 달리, 실제 세계의 조작은 계획된 대로 정확하게 진행되는 경우가 드물다. 물체는 실행 도중에 미끄러지거나, 변형되거나, 예기치 않게 회전하거나, 가로막힐 수 있다. 힘 센서는 예상치 못한 접촉을 감지한다. 촉각 배열은 파지의 품질을 추정한다. 시각 시스템은 물체의 움직임을 모니터링한다. 컨트롤러는 들어오는 피드백에 따라 파지력, 손가락 위치, 팔의 궤적, 조작 전략을 지속적으로 조정한다. 이러한 감각운동 피드백 루프는 조작을 결정론적인 과정이 아니라 적응적인 과정으로 전환시킨다.
로봇이 환경과 물리적으로 상호작용할 때마다 힘 제어(force control)는 특히 중요한 역할을 한다. 위치 제어만으로는 깨지기 쉽거나, 유연하거나, 불확실한 물체를 안전하게 조작할 수 없다. 임피던스 제어는 힘과 움직임 사이의 관계를 조절한다. 어드미턴스 제어는 측정된 외부의 힘에 따라 움직임을 조정한다. 혼합 위치-힘 제어는 일부 축을 따라서는 움직임을 조절하는 동시에 다른 축을 따라서는 상호작용의 힘을 제어한다. 이러한 기법들은 로봇이 삽입, 조립, 연마, 닦기, 나사 조이기, 용기 열기, 협력적 조작을 안전하게 수행할 수 있게 한다.
촉각 감지(tactile sensing)는 조작 능력을 상당히 확장시킨다. 시각만으로는 물체가 안전하게 파지되었는지, 접촉하는 힘이 적절하게 유지되고 있는지, 미끄러짐이 시작되었는지를 판단할 수 없다. 인공 피부, 압력 센서, 힘-토크 센서, 고해상도 촉각 배열은 시각적 인지를 통해서는 얻을 수 없는 정보를 제공한다. 촉각 피드백은 로봇이 파지력을 동적으로 조정하고, 재질 속성을 감지하며, 마찰을 추정하고, 성공적인 삽입을 식별하며, 정교한 손 안에서의 조작(in-hand manipulation)을 수행할 수 있게 한다.
학습은 조작을 수작업으로 설계된 행동에서 지속적으로 향상되는 체화 지능으로 전환시켰다. 지도학습은 주석이 달린 시연을 사용해 인지 시스템을 학습시킨다. 모방 학습은 인간의 시연으로부터 직접 전문가의 조작 행동을 포착한다. 강화학습은 시행착오를 통해 조작 정책을 최적화한다. 자기지도학습은 로봇이 물체와의 자율적인 상호작용을 통해 자신만의 학습 신호를 생성할 수 있게 한다. 파운데이션 조작 모델은 이러한 접근법들을 다양한 태스크에 걸쳐 전이 가능한 일반화된 표현으로 결합한다.
모방 학습은 많은 조작 태스크가 해석적으로 명시하기 어려운 채로 남아 있기 때문에 특히 유용한 것으로 입증되었다. 인간의 시연은 미묘한 조율 패턴, 힘 조절, 타이밍, 복구 행동을 자연스럽게 인코딩한다. 로봇은 원격 조작, 운동감각적 교육(kinesthetic teaching), 모션 캡처, 가상현실 인터페이스, 또는 비디오 녹화를 통해 시연을 관찰한다. 학습된 정책은 이후 이러한 시연들을 다양한 환경과 물체 구성에 걸쳐 일반화한다.
강화학습은 자율적인 스킬 정제를 가능하게 함으로써 모방 학습을 보완한다. 초기의 시연은 합리적인 시작 행동을 제공하는 한편, 강화학습은 반복적인 상호작용을 통해 성능을 향상시킨다. 보상 함수는 응용 분야의 요구사항에 따라 성공적인 태스크 완수, 효율성, 안전성, 에너지 절약, 정밀성, 또는 견고성을 장려한다. 시뮬레이션 환경은 물리적 하드웨어 손상의 위험 없이 수백만 번의 상호작용이 가능해지기 때문에 이 과정을 극적으로 가속화한다.
시뮬레이션은 조작 학습에 있어 필수불가결한 요소가 되었다. 물리 시뮬레이터는 강체, 변형 가능한 재료, 마찰, 접촉 역학, 유체 상호작용, 관절이 있는 메커니즘을 모델링한다. 도메인 무작위화는 학습 알고리즘을 다양한 조명, 텍스처, 질량, 마찰 계수, 센서 노이즈, 환경 구성에 노출시켜, 시뮬레이션에서 실제 로봇으로 정책을 전이할 때의 일반화를 향상시킨다. 시뮬레이션은 물리적 현실을 결코 완벽하게 재현하지 못하기 때문에, 시뮬레이션에서 현실로의 전이(sim-to-real transfer)는 여전히 활발한 연구 분야로 남아 있다.
파운데이션 모델은 최근 로봇 조작을 변화시켰다. 시각-언어-행동(Vision-Language-Action) 모델은 인지, 언어 이해, 운동 행동을 통합된 아키텍처 내에서 함께 표현한다. 개별적인 조작 태스크를 독립적으로 학습하는 대신, 이러한 모델들은 수천 개의 조작 시나리오에 걸친 일반화된 표현을 습득한다. 미세조정은 폭넓은 사전 지식을 특정한 로봇 체화 및 운영 환경에 맞게 적응시킨다. 따라서 로봇은 이전의 학습 패러다임이 필요로 했던 것보다 상당히 적은 시연만으로도 새로운 물체와 지시에 점점 더 잘 일반화되고 있다.
언어 조건부 조작은 유연성을 더욱 향상시킨다. 사전에 정의된 태스크 식별자를 선택하는 대신, 사용자는 자연스럽게 목표를 기술한다. 대규모 언어 모델은 지시를 해석하고, 목표를 하위 태스크로 분해하며, 물체 간의 관계에 대해 추론하고, 절차적 지식을 검색하며, 조작 정책을 조율한다. SayCan, 정책으로서의 코드(Code as Policies), 이너 모놀로그(Inner Monologue)와 같은 시스템들은 언어적 추론을 조작 실행과 직접 통합하여, 변화하는 환경 조건과 사용자 선호도에 따라 로봇이 지속적으로 적응할 수 있게 한다.
기억(memory)은 장기적인 조작 능력에 상당히 기여한다. 일화적 기억은 성공적이었던 그리고 성공적이지 못했던 조작 시도를 기록한다. 의미론적 기억은 물체의 속성, 선호되는 파지 전략, 조립 절차, 사용자별 조직화 선호도를 저장한다. 절차적 기억은 학습된 운동 스킬을 보존한다. 검색 증강 생성은 낯선 조작 태스크를 시도하기 전에 로봇이 외부 문서, 유지보수 매뉴얼, 조립 지침, 또는 이전 경험을 참조할 수 있게 한다. 따라서 기억은 고립된 조작 에피소드들을 누적적인 운영상의 전문성으로 전환시킨다.
세계 모델(world model)은 예측적 추론을 가능하게 함으로써 조작을 더욱 향상시킨다. 행동을 실행하기 전에, 로봇은 가능한 결과들을 내부적으로 시뮬레이션한다. 로봇은 물체의 궤적, 접촉 이벤트, 안정성, 충돌 위험, 미래의 환경 상태를 예측한다. 이러한 예측은 안전성과 효율성을 향상시키면서도 시행착오 실행을 줄여준다. 세계 모델은 또한 가장 유망한 접근법을 선택하기 전에 여러 후보 조작 전략을 평가함으로써 반사실적 추론(counterfactual reasoning)을 지원한다.
불확실성 하에서의 조작은 Physical AI의 핵심적인 특징 중 하나로 남아 있다. 물체의 자세는 부정확하게 추정될 수 있다. 센서 관측치는 노이즈를 포함할 수 있다. 마찰 계수는 알려지지 않은 채로 남아 있다. 인간 협력자는 예측할 수 없는 움직임을 도입한다. 변형 가능한 물체는 조작 과정에서 지속적으로 형태를 바꾼다. 완벽한 지식을 가정하는 대신, 확률적 계획 수립, 베이지안 추정, 파티클 필터링, 불확실성을 인식하는 인지, 신뢰도 추정은 불완전한 정보 하에서의 의사결정을 안내한다. 적응형 실행은 행동하기 전에 완전한 확실성을 요구하는 대신, 상호작용을 통해 불확실성을 지속적으로 줄여나간다.
협력적 조작은 인간과 로봇이 물리적 작업 공간을 공유하기 때문에 추가적인 복잡성을 도입한다. 로봇은 인간의 의도를 예측하고, 안전한 상호작용 거리를 유지하며, 물리적인 힘을 조절하고, 계획된 행동을 전달하며, 인간의 행동에 따라 지속적으로 적응해야 한다. 공유된 자율성(shared autonomy)은 로봇의 정밀함을 인간의 감독과 결합하여, 각 협력자가 상호 보완적인 강점을 기여할 수 있게 한다. 자연어, 제스처, 시선 추적, 멀티모달 소통은 조작 태스크 중의 직관적인 협업을 촉진한다.
다중 로봇 조작은 개별 로봇을 넘어 능력을 더욱 확장시킨다. 큰 물체는 종종 여러 로봇 팔이나 이동식 매니퓰레이터에 의한 조율된 조작을 필요로 한다. 분산 계획 수립은 협력하는 로봇들 사이의 간섭을 방지하면서도 궤적, 힘의 분포, 통신, 태스크 할당을 동기화한다. 클라우드 인프라는 함대 전체에 걸친 조작 경험의 공유를 가능하게 하여, 한 로봇이 개발한 성공적인 전략이 다른 많은 로봇에게 이득이 될 수 있게 한다.
산업 응용 분야는 Physical AI 조작의 광범위한 영향을 보여준다. 제조 로봇은 적응형 조립, 품질 검사, 기계 관리, 포장, 물류를 수행한다. 창고 시스템은 표준화된 컨테이너가 아니라 이질적인 재고를 처리한다. 농업용 로봇은 섬세한 과일을 수확하고, 식물을 가지치기하며, 농산물을 분류한다. 의료용 로봇은 외과의를 돕고, 약물을 준비하며, 물품을 운반한다. 건설용 로봇은 변화하는 현장 조건 하에서 건축 자재를 조작한다. 가정용 서비스 로봇은 식사를 준비하고, 생활 공간을 정리하며, 세탁물을 개고, 노약자를 돕는다. 모든 응용 분야는 인지, 계획, 제어, 학습, 추론을 일관된 태스크 완수로 통합할 것을 필요로 한다.
조작의 평가는 파지 성공만을 넘어 확장된다. 연구자들은 태스크 완수율, 실행 시간, 경로 효율성, 파지 안정성, 힘 조절, 정밀성, 불확실성 하에서의 견고성, 실패로부터의 복구, 에너지 소비, 본 적 없는 물체에 대한 일반화, 샘플 효율성, 사용자 만족도, 안전성, 장기적인 운영 신뢰성을 측정한다. 궁극적으로, 조작 시스템의 품질은 단순히 성공적인 개별 동작을 만들어내는 것이 아니라 의미 있는 목표를 신뢰성 있게 달성하는 것에 달려 있다.
Physical AI 조작의 미래는 평생 학습, 파운데이션 모델, 세계 모델, 클라우드 로보틱스, 체화 인지와 점점 더 수렴하고 있다. 로봇은 수년간의 배치 기간 동안 조작 경험을 축적하며, 인지, 파지 전략, 태스크 분해, 복구 행동, 의미론적 이해를 지속적으로 정제할 것이다. 집단적 함대 학습은 성공적인 조작 지식을 수천 대의 로봇에 걸쳐 분배할 것이다. 디지털 트윈은 배치 이전에 새로운 조작 정책을 검증할 것이다. 대규모 멀티모달 모델은 언어, 시각, 기억, 계획, 제어를, 물체를 어떻게 조작하는지뿐만 아니라 특정한 조작이 왜 인간의 목표를 달성하는지도 이해할 수 있는 통합된 인지 아키텍처 내에서 통합할 것이다.
따라서 조작을 위한 Physical AI는 로봇의 파지나 모션 제어를 훨씬 뛰어넘는 것을 나타낸다. 이는 지능형 체화 시스템이 자신의 환경을 인지하고, 인간의 의도를 이해하며, 물체 간의 상호작용에 대해 추론하고, 적응형 행동을 계획하며, 물리적 행동을 실행하고, 결과를 평가하며, 실패로부터 복구하고, 경험으로부터 학습하며, 배치 기간 내내 지속적으로 향상되는 완전한 엔드투엔드 과정이다. 조작은 체화 지능의 구체적인 표현이 되는데, 이는 인공지능이 현실을 단순히 이해하는 능력뿐만 아니라 의미 있고, 유용하며, 점점 더 자율적인 방식으로 현실을 변화시키는 능력을 보여주는 것이 바로 물리적 세계와의 목적 지향적인 상호작용을 통해서이기 때문이다.
09.06 Physical AI for Navigation Goal Directed [w/Code]
내비게이션(navigation)은 로봇이 의미 있는 목표를 달성하기 위해 복잡한 환경을 목적을 가지고 이동할 수 있게 하기 때문에 Physical AI의 가장 근본적인 능력 중 하나이다. 인지가 로봇으로 하여금 주변을 이해할 수 있게 하고 조작이 물리적 물체와의 상호작용을 가능하게 한다면, 내비게이션은 인지, 상호작용, 협업, 태스크 실행이 가능해지는 위치로 로봇을 이동시킴으로써 이러한 능력들을 연결한다. 신뢰성 있게 내비게이션할 수 없는 로봇은 패키지를 배송할 수도, 인프라를 점검할 수도, 인간을 도울 수도, 물체를 조작할 수도, 미지의 환경을 탐색할 수도, 다른 로봇과 협력할 수도 없다. 따라서 목표 지향적 내비게이션은 체화 지능과 자율 로봇 시스템의 근본적인 구성 요소 중 하나로 기능한다.
전통적인 로봇 내비게이션은 주로 장애물을 피하면서 한 지점에서 다른 지점으로 안전하게 이동하는 것에 초점을 맞춰왔다. 고전적인 접근법은 일반적으로 목적지가 알려진 지도 내의 좌표로 명시적으로 지정된다고 가정한다. 위치 추정은 로봇의 위치를 추정하고, 경로 계획은 최적의 경로를 계산하며, 장애물 회피는 충돌을 방지하고, 저수준 컨트롤러는 계획된 궤적을 따른다. 이러한 프레임워크는 비교적 구조화된 환경 내에서 작동하는 창고, 공장, 병원, 자율주행 차량에서 놀라운 성공을 거두어 왔다. 그러나 Physical AI는 내비게이션을 기하학적 경로 추종을 훨씬 넘어서는 것으로 확장시킨다. 목표는 더 이상 단순히 좌표에 도달하는 것이 아니라, 인간의 목표를 이해하고, 환경적 맥락에 대해 추론하며, 불확실성에 적응하고, 사람들과 협력하며, 경험을 통해 지속적으로 향상되는 것이다.
목표 지향적 내비게이션은 좌표가 아니라 의도를 이해하는 것에서 시작된다. 인간은 정확한 데카르트 좌표를 사용해 목적지를 전달하는 경우가 드물다. 대신, "이 패키지를 접수처로 가져다 줘", "가장 가까운 사용 가능한 충전소로 가", "비상구를 찾아줘", "3번 생산 라인을 점검해줘"와 같은 지시를 내린다. 이러한 지시들은 명시적인 기하학적 정보가 아니라 의미론적 의미를 담고 있다. 따라서 Physical AI는 자연어 이해, 의미론적 지도 작성, 세계 지식을 통합하여, 인간의 목표를 물리적 세계에서 실행될 수 있는 내비게이션 목표로 전환한다.
좌표 기반 내비게이션에서 목표 기반 내비게이션으로의 이러한 전환은 중요한 개념적 변화를 나타낸다. 전통적인 시스템은 목적지가 이미 결정된 이후에 내비게이션이 시작된다고 가정한다. Physical AI는 목적지 선택 자체를 지능형 추론 문제로 취급한다. 로봇은 적절한 위치를 식별하고, 맥락적 제약을 해석하며, 접근성을 판단하고, 환경 조건을 평가하며, 때로는 이동을 시작하기도 전에 여러 후보 목적지들 사이에서 조정을 해야 한다. 따라서 내비게이션은 단순한 기하학적 최적화 문제가 아니라 인지적 과정이 된다.
내비게이션 파이프라인은 일반적으로 인지(perception)에서 시작된다. 카메라, LiDAR, 레이더, 초음파 센서, 깊이 카메라, 관성 측정 장치, 바퀴 엔코더, 전 지구 위성 항법 시스템(GNSS), 촉각 센서, 환경 센서는 주변 세계를 지속적으로 관찰한다. 이러한 관측치들은 자유 공간, 장애물, 지형, 동적인 물체, 환경적 의미론, 로봇 자신의 움직임에 관한 정보를 제공한다. 어떤 개별 센서도 모든 조건 하에서 신뢰성 있게 작동하지 않기 때문에, 현대의 Physical AI는 여러 감지 양식을 점점 더 많이 결합하고 있다. 시각은 풍부한 의미론적 이해를 제공하지만 조명에 의존한다. LiDAR는 텍스처 정보가 없지만 매우 정확한 기하학적 정보를 제공한다. 레이더는 낮은 공간 해상도를 지니지만 비, 안개, 먼지, 눈이 오는 상황에서도 견고하게 유지된다. 센서 융합은 이러한 상호 보완적인 강점들을 통합된 환경적 표현으로 통합한다.
위치 추정(localization)은 감각적 관측치를 로봇의 현재 위치에 대한 추정치로 전환한다. 고전적인 위치 추정 기법은 특징 매칭, 확률적 필터링, 그래프 최적화, 또는 이전에 구축된 지도 내에서의 스캔 매칭에 의존한다. 현대의 Physical AI는 의미론적 이해, 학습된 시각적 표현, 신경망 기반 장소 인식, 멀티모달 파운데이션 모델, 평생 지도 작성을 통합함으로써 위치 추정을 확장시킨다. 좌표를 단순히 추정하는 대신, 로봇은 사무실, 부엌, 하역장, 병원 병동, 생산 셀, 충전소와 같은 의미 있는 장소들을 식별한다. 인간이 자연스럽게 숫자 좌표가 아니라 기능적 의미에 따라 환경을 조직하기 때문에, 의미론적 위치 추정은 견고성을 향상시킨다.
지도 작성(mapping)은 내비게이션을 뒷받침하는 공간적 기억을 제공한다. 전통적인 점유 그리드는 확률적인 셀을 사용해 자유 공간과 장애물을 나타낸다. 특징 지도는 시각적 또는 기하학적 관측치로부터 추출된 랜드마크를 저장한다. 위상 지도(topological map)는 중요한 위치들 사이의 연결성을 기술한다. 의미론적 지도는 물체의 범주, 방의 정체성, 기능적 영역, 환경적 맥락을 통합함으로써 이러한 표현들을 확장한다. 평생 SLAM은 지도 작성을, 장기적인 배치 기간 내내 변화하는 환경에 적응할 수 있는 지속적으로 진화하는 기억으로 더욱 전환시킨다. 하나의 정적인 지도를 구축하는 대신, Physical AI는 계절적 변화, 가구의 이동, 인프라 변경, 임시 장애물, 진화하는 운영 조건을 반영하는 동적인 세계 모델을 유지한다.
세계 모델(world model)은 전통적인 지도보다 상당히 더 풍부한 표현을 제공한다. 물체가 어디에 위치하는지를 단순히 기술하는 대신, 세계 모델은 물체 간의 관계, 인과적 상호작용, 환경적 역학, 인간의 활동 패턴, 운영상의 제약, 미래에 대한 예측을 포착한다. 세계 모델은 특정 시간대에 엘리베이터가 붐빈다는 것, 유지보수 장비로 인해 특정 복도가 자주 막힌다는 것, 또는 창고 선반이 생산 일정에 따라 변한다는 것을 알고 있을 수 있다. 이러한 예측적 지식은 내비게이션 시스템이 공간적 효율성뿐만 아니라 운영상의 효과성도 최적화할 수 있게 한다.
환경이 표현되고 나면, 목표 해석(goal interpretation)이 다음 단계가 된다. 대규모 언어 모델과 시각-언어 모델은 인간의 지시를 의미론적 내비게이션 목표로 점점 더 많이 번역하고 있다. "회의가 진행 중인 방으로 가"와 같은 지시는, 사전에 정의된 좌표를 따르는 것이 아니라 일정표, 사용자와의 상호작용, 또는 환경적 관측치로부터 회의 장소를 식별할 것을 필요로 한다. 따라서 언어 조건부 내비게이션은 자연어 추론을 의미론적 환경 이해와 결합하여 적절한 목적지를 동적으로 결정한다.
경로 계획(path planning)은 목표를 실행 가능한 경로로 전환한다. 다익스트라 알고리즘(Dijkstra\'s algorithm), A*, 급속 탐색 랜덤 트리(RRT), 확률적 로드맵(Probabilistic Roadmap), 그래프 최적화와 같은 고전적인 알고리즘들은 알려진 환경 내에서 충돌 없는 경로를 계산한다. 이러한 방법들은 결정론적인 계획 수립 문제에 있어 여전히 매우 효과적이다. Physical AI는 학습된 비용 함수, 의미론적 추론, 예측적 세계 모델, 강화학습, 동적 최적화를 통해 고전적인 계획 수립을 보완한다. 현대의 플래너는 오직 기하학적 거리만을 최소화하는 대신, 안전성, 에너지 소비, 지형의 난이도, 인간의 선호도, 환경적 불확실성, 교통 흐름, 미래의 태스크 요구사항을 동시에 고려한다.
전역 계획(global planning)은 현재 위치에서 목적지까지의 전체적인 경로를 결정한다. 지역 계획(local planning)은 새로 관측된 장애물, 동적인 물체, 환경 변화, 센서 갱신에 따라 이 경로를 지속적으로 조정한다. 내비게이션 중에 환경이 정적인 상태로 유지되는 경우가 드물기 때문에, 전역 계획과 지역 계획 사이의 구분은 여전히 중요하다. 초기에 계산된 전역적으로 최적인 경로는 보행자가 나타나거나, 문이 닫히거나, 차량이 교차로를 막거나, 공사 활동이 환경을 변화시킬 때 실현 불가능해질 수 있다. 따라서 지속적인 재계획은 불확실성 하에서의 적응적인 내비게이션을 가능하게 한다.
장애물 회피(obstacle avoidance)는 자율 내비게이션의 가장 눈에 띄는 구성 요소 중 하나를 나타낸다. 전통적인 반응형 컨트롤러는 장애물을 감지하고 목표를 향한 진행을 유지하면서도 회피 동작을 생성한다. Physical AI는 의미론적 추론을 통합함으로써 장애물 회피를 확장시킨다. 고정된 벽은 영구적인 회피를 필요로 하지만, 복도에 잠시 서 있는 사람은 단순히 기다리는 것만으로 충분할 수 있다. 움직이는 지게차는 예측 가능한 산업용 교통 패턴을 따르는 반면, 공공장소에서 노는 아이들은 더 예측할 수 없는 행동을 보인다. 따라서 의미론적 이해는 내비게이션 시스템이 기하학적 근접성만이 아니라 장애물의 유형에 따라 적절하게 반응할 수 있게 한다.
동적인 환경은 로봇과 주변 물체 모두가 동시에 움직이기 때문에 추가적인 과제를 제시한다. 인간 보행자는 방향을 지속적으로 바꾸고, 자율주행 차량은 교통 내에서 상호작용하며, 창고 로봇은 공유된 복도를 조율하고, 협력적인 산업용 로봇은 작업자와 나란히 작동한다. 예측 모델은 주변 에이전트들의 미래 궤적을 추정하여, 충돌이 임박하기 전에 플래너가 상호작용을 예상할 수 있게 한다. 이러한 예측은 내비게이션을 반응적인 회피에서 능동적인 조율로 전환시킨다.
로봇이 인간과 더 자주 나란히 작동함에 따라 사회적 내비게이션(social navigation)은 점점 더 중요한 연구 분야가 되었다. 인간의 움직임은 개인적인 공간, 걷는 방향, 집단 행동, 대기열 형성, 상호작용 에티켓에 관한 암묵적인 사회적 관습을 따른다. 기술적으로 충돌이 없는 궤적이라도 사회적 기대를 위반하면 불편하거나 방해가 되는 것으로 보일 수 있다. 따라서 Physical AI는 대인 간의 거리를 존중하고, 보행자의 의도를 예측하며, 적절하게 양보하고, 움직임이나 멀티모달 상호작용을 통해 내비게이션 의도를 전달하는 인간 인식 계획 수립(human-aware planning)을 통합한다.
목표 지향적 내비게이션은 또한 기억(memory)에 크게 의존한다. 작업 기억은 현재의 계획 맥락, 활성화된 목적지, 임시 장애물, 최근의 관측치를 유지한다. 일화적 기억은 이전에 성공적이었던 경로, 마주친 실패, 교통 상황, 환경 변화를 기록한다. 의미론적 기억은 방의 기능, 물체의 위치, 사용자의 선호도, 운영 절차에 관한 지식을 저장한다. 검색 증강 생성은 내비게이션 전략을 계획하기 전에 로봇이 외부 지도, 유지보수 기록, 시설 문서, 또는 과거의 운영 데이터를 참조할 수 있게 한다. 기억은 내비게이션을 반복적인 계산에서 누적적인 경험으로 전환시킨다.
학습(learning)은 수작업으로 설계된 행동을 넘어 내비게이션을 상당히 향상시킨다. 지도학습은 인지와 의미론적 분할을 향상시킨다. 자기지도학습은 광범위한 주석을 필요로 하지 않고도 견고한 시각적 표현을 개발한다. 강화학습은 시행착오를 통해 내비게이션 정책을 최적화한다. 모방 학습은 전문가의 운전이나 보행 행동을 포착한다. 지속 학습은 환경이 진화함에 따라 장기적인 배치 기간 내내 적응을 가능하게 한다. 이러한 학습 패러다임들이 함께 작동하여, 로봇이 사전에 정의된 알고리즘에만 배타적으로 의존하는 대신 내비게이션 성능을 지속적으로 향상시킬 수 있게 한다.
강화학습은 움직임이 자연스럽게 불확실성 하에서의 순차적 의사결정을 수반하기 때문에 내비게이션에 특히 유용한 것으로 입증되었다. 에이전트는 효율성, 안전성, 에너지 소비, 탐색, 태스크 완수 사이의 균형을 맞추면서도 장기적인 보상을 최대화하는 정책을 학습한다. 시뮬레이션 환경은 물리적으로 수집하는 것이 불가능한 수백만 번의 내비게이션 경험을 가능하게 한다. 도메인 무작위화는 정책을 다양한 환경 조건, 센서 특성, 동적 장애물에 노출시킴으로써 시뮬레이션에서 현실로의 전이를 향상시킨다.
파운데이션 모델은 일반화된 공간적 추론을 통해 내비게이션을 점점 더 많이 재편하고 있다. 대규모 시각-언어 모델은 환경적 의미론을 이해하고, 랜드마크를 인식하며, 텍스트 지시를 해석하고, 공간적 관계에 대해 추론한다. 내비게이션 시스템을 로봇 데이터셋만으로부터 학습시키는 대신, 파운데이션 모델은 인터넷 규모의 멀티모달 데이터로부터 습득한 광범위한 사전 지식을 활용한다. 미세조정은 이후 이러한 폭넓은 표현들을 특정한 로봇 체화 및 운영 환경에 맞게 적응시킨다.
세계 모델은 물리적 움직임 이전에 내부적인 시뮬레이션을 가능하게 함으로써 내비게이션을 더욱 확장시킨다. 로봇은 후보 경로의 가능성 있는 결과를 예측하고, 혼잡도를 추정하며, 대안 경로를 평가하고, 동적인 상호작용을 예상하며, 예상되는 성공을 최대화하는 전략을 선택한다. 반사실적 추론(counterfactual reasoning)은 각각의 가능성을 물리적으로 탐색하지 않고도 여러 가상의 미래들 사이의 비교를 가능하게 한다. 이러한 예측 능력은 잘못된 내비게이션 결정이 비용이 클 수 있는 불확실한 환경에서 견고성을 상당히 향상시킨다.
언어 조건부 내비게이션은 SayCan, 정책으로서의 코드(Code as Policies), 이너 모놀로그(Inner Monologue)와 같은 시스템들을 직접적으로 기반으로 한다. 대규모 언어 모델은 고수준의 목표를 해석하고, 내비게이션 목표를 하위 태스크로 분해하며, 절차적 계획을 생성하고, 실행 진행 상황을 모니터링하며, 새로운 관측치에 따라 전략을 수정한다. 로봇은 자신이 올바른 경로에 있는지, 환경 변화가 재계획을 필요로 하는지, 실행 중에 사용자의 목표가 진화했는지에 대해 지속적으로 추론한다. 따라서 내비게이션은 정적인 계획 수립 문제가 아니라 지속적인 인지적 대화가 된다.
이너 모놀로그는 지속적인 자기 성찰을 제공함으로써 목표 지향적 내비게이션을 특히 강화한다. 이동 중에 로봇은 내부적으로 "계획된 복도가 막혀 있다. 대체 경로를 평가해야겠다. 엘리베이터가 사용 중인 것 같다. 계단을 이용하는 것보다 기다리는 것이 더 효율적일 수 있다. 회의 일정에 따라 목적지 방이 바뀌었다"와 같이 추론한다. 이러한 추론은 인지, 계획, 기억, 언어를, 변화하는 상황에 지능적으로 대응할 수 있는 지속적으로 적응하는 내비게이션 과정으로 통합한다.
클라우드 로보틱스는 개별 로봇을 넘어 내비게이션 능력을 확장시킨다. 함대 학습은 여러 배치에 걸쳐 수집된 경험들을 통합한다. 로봇은 중앙화된 클라우드 인프라를 통해 지도, 교통 패턴, 장애물 관측치, 위치 추정 개선 사항, 의미론적 주석, 성공적인 내비게이션 전략을 공유한다. 새로 배치된 로봇은 유사한 환경에서 작동하는 수백 대의 다른 로봇들이 축적한 경험으로부터 즉시 이득을 얻는다. 따라서 집단 지능은 중복된 탐색을 줄이면서도 적응을 가속화한다.
디지털 트윈은 또 다른 주요한 이점을 제공한다. 물리적 환경의 고충실도 가상 표현은 배치 이전에 광범위한 내비게이션 테스트를 가능하게 한다. 후보 계획 알고리즘, 위치 추정 시스템, 강화학습 정책, 의미론적 추론 모듈은 물리적 하드웨어를 위험에 빠뜨리지 않고도 다양한 환경 조건 하에서 시뮬레이션을 거친다. 물리적 환경과 디지털 트윈 사이의 지속적인 동기화는 운영상의 안전성을 유지하면서도 갱신된 내비게이션 전략의 신속한 검증을 가능하게 한다.
에너지 관리는 내비게이션 결정에 점점 더 많은 영향을 미치고 있다. 배터리 용량, 충전소의 가용성, 지형의 난이도, 적재 중량, 환경 온도, 계산 부하는 모두 에너지 소비에 영향을 미친다. 따라서 목표 지향적 내비게이션은 경로의 길이뿐만 아니라 전체적인 운영 효율성도 최적화한다. 지형이 완만한 다소 긴 경로는 가파른 경사나 밀집된 보행자 교통을 포함하는 짧은 경로보다 더 적은 에너지를 소비할 수 있다. 자율 충전은 내비게이션을 장기적인 임무 계획과 더욱 통합시킨다.
다중 로봇 조율은 추가적인 복잡성을 도입한다. 창고 로봇, 자율 배송 시스템, 농업용 차량, 산업용 이동 매니퓰레이터는 종종 운영 환경을 공유한다. 따라서 내비게이션은 교통 관리, 로봇들 간의 충돌 회피, 태스크 할당, 통신, 우선순위 스케줄링, 협력적 계획 수립을 포함한다. 분산 최적화는 혼잡, 교착 상태, 자원 충돌을 방지하면서도 효율적인 함대 운영을 보장한다.
실외 내비게이션은 실내 운영과는 다른 과제를 제시한다. 전 지구 위치 확인 시스템은 대략적인 위치 추정을 제공하지만 도시 협곡(urban canyon), 숲, 터널, 또는 밀집된 식생 아래에서는 신뢰할 수 없게 된다. 지형은 상당히 다양하다. 날씨는 감지의 품질에 영향을 미친다. 도로 조건은 지속적으로 변한다. 보행자, 자전거 이용자, 차량은 다양한 행동을 보인다. Physical AI는 GNSS, LiDAR, 카메라, 관성 항법, 의미론적 이해, 세계 모델을 통합하여 매우 다양한 환경 전반에 걸쳐 견고한 실외 내비게이션을 유지한다.
실내 내비게이션은 서로 다른 과제를 강조한다. 복도, 엘리베이터, 문, 동적인 가구, 변화하는 방의 배치, 인간의 통행, 좁은 통로, 제한된 GPS 가용성은 정밀한 위치 추정과 의미론적 이해를 필요로 한다. 병원 로봇, 창고 시스템, 사무실 어시스턴트, 가정용 서비스 로봇은 의미론적 지도, 시각적 위치 추정, 인간 인식 계획 수립에 크게 의존한다. 실내 환경이 가구의 이동, 리모델링, 변화하는 운영 워크플로우를 통해 지속적으로 진화하기 때문에, 평생 SLAM은 특히 중요해진다.
안전성은 내비게이션 전반에 걸쳐 가장 중요한 요소로 남아 있다. 기능 안전 시스템은 위치 추정의 신뢰도, 장애물의 근접성, 액추에이터의 상태, 통신의 무결성, 배터리 상태, 센서의 신뢰성을 지속적으로 모니터링한다. 중복 감지, 비상 정지, 결함 감지, 불확실성 추정, 안전한 복구 행동은 예상치 못한 조건 하에서도 내비게이션이 신뢰할 수 있는 상태로 유지되도록 보장한다. 설명 가능한 계획 수립은 로봇이 자연어를 통해 내비게이션 결정을 정당화할 수 있게 함으로써 조작자의 신뢰를 더욱 향상시킨다.
목표 지향적 내비게이션의 평가는 경로의 길이를 측정하는 것을 훨씬 넘어 확장된다. 연구자들은 태스크 완수율, 위치 추정 정확도, 계획 수립 효율성, 장애물 회피 성공률, 에너지 소비, 계산 지연시간, 환경 변화 하에서의 견고성, 적응 속도, 사회적 준수, 안전성, 사용자 만족도, 장기적인 운영 신뢰성을 평가한다. 궁극적으로, 성공적인 내비게이션은 단순히 목적지에 도달하는 것이 아니라, 복잡한 실제 세계 환경 내에서 의미 있는 목표를 효율적이고, 안전하며, 자율적으로 달성하는 것으로 측정된다.
Physical AI 내비게이션의 미래는 평생 학습, 세계 모델, 멀티모달 파운데이션 모델, 클라우드 로보틱스, 디지털 트윈, 체화 인지와 점점 더 수렴하고 있다. 로봇은 자신의 환경에 대한 의미론적 이해를 지속적으로 확장하고, 미래의 환경적 진화를 예측하며, 사용자의 선호도에 따라 내비게이션을 개인화하고, 인간 및 다른 로봇들과 매끄럽게 조율하며, 수년간의 배치 기간 동안 내비게이션 전문성을 축적할 것이다. 고립된 경로 계획 문제를 반복적으로 해결하는 대신, 미래의 Physical AI 시스템은 인지, 추론, 기억, 예측, 소통, 지속적인 적응을 통합된 인지 아키텍처 내에 통합하는 지속적인 공간적 지능을 발전시킬 것이다.
따라서 목표 지향적 내비게이션을 위한 Physical AI는 자율적인 움직임보다 훨씬 더 많은 것을 나타낸다. 이는 체화된 지능형 시스템이 인간의 의도를 이해하고, 의미론적 목표를 해석하며, 동적인 환경을 인지하고, 진화하는 세계 모델을 구축하며, 불확실성에 대해 추론하고, 적응형 전략을 계획하며, 안전한 움직임을 실행하고, 인간 및 다른 로봇들과 협력하며, 경험으로부터 지속적으로 학습하고, 궁극적으로 단순한 지리적 위치가 아니라 의미 있는 목표에 도달하는 완전한 엔드투엔드 과정이다. 목표 지향적 내비게이션은 이동성을 지능적인 목적으로 전환시키며, 자율적인 체화 지능이 물리적 세계에서 성공적으로 작동하는 데 기반이 되는 필수적인 토대 중 하나를 제공한다.
09.07 Physical AI for Human Instruction Following [w/Code]
인간의 지시 따르기(human instruction following)는 로봇이 인간의 의도를 지능형 물리적 행동으로 전환할 수 있게 하기 때문에 Physical AI의 핵심적인 특징 중 하나이다. 사전에 정의된 프로그램을 실행하는 전통적인 자동화 시스템과 달리, Physical AI 시스템은 유연한 인간의 요청을 이해하고, 맥락을 해석하며, 모호함을 해결하고, 환경적 제약에 대해 추론하며, 실행 가능한 계획을 생성하고, 사람들과 안전하게 상호작용하며, 상황이 진화함에 따라 지속적으로 적응해야 한다. 궁극적인 목표는 단순히 음성 명령을 인식하는 것이 아니라 인간과 체화된 지능형 기계 사이의 자연스러운 협업을 확립하는 것이다. 인간의 지시를 효과적으로 따를 수 있는 로봇은 프로그래밍 가능한 기계보다는, 목표를 이해하고, 변화하는 상황에 적응하며, 실제 세계의 태스크를 완수하는 데 있어 사람들과 협력하는 지능형 어시스턴트처럼 행동한다.
고전적인 로봇 제어는 일반적으로 실행이 시작되기 전에 모든 태스크가 정밀하게 지정되어 있다고 가정한다. 엔지니어는 궤적을 수작업으로 프로그래밍하고, 상태 전환을 정의하며, 파라미터를 구성하고, 예상되는 모든 상황에 대한 예외 처리를 결정한다. 이러한 접근법은 태스크가 거의 변하지 않는 고도로 구조화된 제조 환경에서는 잘 작동한다. 그러나 인간의 요청이 다양하고, 불완전하며, 종종 형식적인 프로그래밍 인터페이스가 아니라 자연어를 통해 표현되는 가정, 병원, 창고, 사무실, 농경지, 건설 현장, 공공장소에서는 비현실적이게 된다. Physical AI는 인간의 지시 자체를 자율적 추론의 출발점으로 삼음으로써 이러한 한계를 해결한다.
지시 따르기의 근본적인 과제는 인간의 소통과 로봇의 실행 사이의 간극에 있다. 인간은 자연스럽게 구현의 세부사항이 아니라 목표의 수준에서 소통한다. 사람은 모든 물건이 어디에 놓여야 하는지, 가구가 어떻게 배치되어야 하는지, 어떤 청소 절차를 따라야 하는지를 구체적으로 명시하지 않고도 단순히 "모두 도착하기 전에 회의실을 정리해줘"라고 말할 수 있다. 인간은 지시 자체에는 거의 명시적으로 나타나지 않는 방대한 상식적 지식을 가정한다. 따라서 Physical AI 시스템은 단순히 문자 그대로의 표현에 반응하는 것이 아니라, 누락된 정보를 추론하고, 암묵적인 제약을 식별하며, 사회적 기대를 이해하고, 기저에 있는 의도를 충족시키는 세부적인 실행 계획을 생성해야 한다.
이 과정은 언어 이해에서 시작된다. 대규모 언어 모델은 다양한 표현, 방언, 문장 구조, 대화 스타일에 걸쳐 자연어를 해석할 수 있는 능력을 제공한다. 사전에 정의된 명령 어휘에 의존하는 대신, 현대의 로봇은 "어제 사용하던 노트북을 가져다 줘", "손님을 맞이할 수 있도록 이 방을 준비해줘", "내가 일할 수 있는 조용한 장소를 찾아줘"와 같은 유연한 요청을 이해한다. 언어 이해는 문법적 분석을 넘어 의미론적 해석, 맥락적 추론, 목표 추론으로 확장된다. 로봇은 단순히 키워드를 매칭하는 것이 아니라 사용자가 무엇을 의도하는지를 식별한다.
인간의 지시를 이해하려면 여러 수준의 의미를 동시에 인식해야 한다. 명시적인 지시는 요청된 목표를 지정하는 반면, 암묵적인 지식은 추가적인 제약을 제공한다. "커피 좀 타줘"라는 지시를 생각해 보자. 인간은 커피콩, 물, 필터, 컵, 적절한 준비 장비가 필요할 수 있다는 것을 자동으로 추론한다. 그들은 물을 끓이는 것이 내리는 것보다 먼저 일어나야 하고, 서빙이 준비 뒤에 따라온다는 것을 이해한다. 로봇은 이러한 숨겨진 절차적 관계들이 음성 지시에는 없음에도 불구하고 이를 재구성해야 한다. 파운데이션 언어 모델은 이러한 추론을 상당히 향상시키는 광범위한 상식적 지식에 기여한다.
맥락(context)은 성공적인 지시 따르기에서 핵심적인 역할을 한다. 동일한 문장의 의미는 환경, 이전의 상호작용, 사용자의 선호도, 운영 조건에 따라 종종 달라진다. "그것을 저기에 놓아줘"라는 지시는 "그것"이 지칭하는 물체와 "저기"가 나타내는 목적지 모두를 식별할 것을 필요로 한다. 마찬가지로, "평소 먹던 점심을 가져다 줘"는 단어들을 독립적으로 해석하는 것이 아니라 과거의 사용자 선호도를 기억할 것을 필요로 한다. 따라서 Physical AI는 실행이 시작되기 전에 맥락적 모호함을 해결하기 위해 언어를 인지, 기억, 환경적 이해와 통합한다.
인지(perception)는 언어를 물리적 세계와 연결하는 그라운딩 메커니즘을 제공한다. 카메라, LiDAR, 깊이 센서, 마이크로폰, 촉각 센서, 힘 센서, 관성 측정치, 의미론적 인지 시스템은 물체, 사람, 위치, 제스처, 환경 조건, 진행 중인 활동을 식별한다. 그라운딩은 추상적인 언어적 개념이 구체적인 관측치와 연관될 때 일어난다. "창문 옆의 파란 머그컵"이라는 표현은 인지를 통해 감지된 특정한 물체에 대응해야 한다. 시각-언어 모델은 공유된 임베딩 공간 내에서 시각적 관측치와 언어적 설명을 연결하는 결합된 표현을 학습함으로써 이 과정을 상당히 향상시킨다.
많은 지시가 고립된 물체가 아니라 활동을 기술하기 때문에 물체 그라운딩만으로는 충분하지 않다. "고객을 도와줘", "손상된 장비를 점검해줘", "회의실을 준비해줘"와 같은 명령은 진행 중인 상황, 인간의 의도, 환경 상태, 절차적 워크플로우를 인식할 것을 필요로 한다. 따라서 장면 이해는 개별 물체 인식을 넘어 환경적 맥락에 대한 포괄적인 해석으로 확장된다. 의미론적 장면 그래프, 세계 모델, 멀티모달 표현은 물체, 사람, 활동, 위치 사이의 관계를 함께 기술하여, 지시 해석을 위한 더 풍부한 정보를 제공한다.
인간의 지시는 언어만으로는 해결할 수 없는 모호함을 자주 포함한다. 추측하는 대신, 지능형 로봇은 대화형 명확화(interactive clarification)에 점점 더 많이 관여하고 있다. "스크루드라이버를 가져다 줘"라는 지시를 받으면, 로봇은 "십자 드라이버를 말씀하시는 건가요, 일자 드라이버를 말씀하시는 건가요?"라고 물어볼 수 있다. 실행 전에 모호함을 해결하는 것이 태스크의 성공을 상당히 향상시키면서도 운영상의 위험을 줄여주기 때문에, 명확화는 실패가 아니라 지능형 협업을 나타낸다. 대규모 언어 모델은 불확실성이 과도하게 남아 있을 때마다 맥락적으로 적절한 후속 질문을 생성함으로써 이러한 대화형 상호작용을 자연스럽게 지원한다.
태스크 분해(task decomposition)는 고수준의 목표를 실행 가능한 하위 태스크로 전환한다. 대부분의 인간의 요청은 고립된 로봇 행동이 아니라 여러 조율된 행동을 필요로 한다. 예를 들어, "식탁을 차려줘"는 그릇을 찾고, 식기를 가져오고, 배치를 정리하고, 완전성을 확인하며, 필요할 경우 표면을 미리 닦는 것을 포함한다. 계층적 계획 수립은 하위 태스크들 사이의 의존성을 계속 인식하면서도 이러한 복잡한 목표들을 관리 가능한 구성 요소들로 분해한다. 대규모 언어 모델은 사전학습 과정에서 습득한 방대한 세계 지식에 기반하여 가능성 있는 중간 단계를 식별함으로써 절차적 추론에 기여한다.
이후 계획 수립은 분해된 태스크들을 실행 가능한 로봇 행동으로 변환한다. 고수준 플래너는 태스크 시퀀스를 결정한다. 내비게이션 플래너는 관련된 위치들을 연결하는 경로를 생성한다. 조작 플래너는 파지 및 배치 전략을 계산한다. 모션 플래너는 운동학적 및 동적 제약을 만족하는 충돌 없는 궤적을 만들어낸다. 계획 수립 전반에 걸쳐, 의미론적 추론은 물리적 실현 가능성과 통합된 채로 유지된다. 로봇은 어떤 행동이 논리적으로 목표에 기여하는지뿐만 아니라 현재의 환경 조건 하에서 그러한 행동들이 물리적으로 실행 가능한지도 지속적으로 고려한다.
SayCan이 소개한 개념들은 지시 따르기를 자연스럽게 확장한다. 언어 모델은 사용자의 요청과 일치하는 행동을 식별하는 한편, 어포던스 모델은 그러한 행동들이 물리적으로 실현 가능한지를 추정한다. 따라서 로봇은 의미론적 적절성과 물리적 능력의 교집합에 위치하는 행동들을 선택한다. "창문을 열어줘"라는 요청은, 로봇이 창문이 접근 불가능하거나 잠겨 있다는 것을 감지하면 헛된 시도를 만들어내지 않는다. 대신, 계획 수립은 원래의 인간 의도와 일치를 유지하면서도 환경적 관측치에 따라 적응한다.
정책으로서의 코드(Code as Policies)는 자연어 지시가 실행 가능한 로봇 절차를 동적으로 생성할 수 있게 함으로써 유연성을 더욱 확장시킨다. 사전에 정의된 워크플로우를 선택하는 대신, 언어 모델은 인지, 계획, 내비게이션, 조작, 추론 API를 조율하는 프로그램을 합성한다. 이러한 능력은 가능한 모든 시나리오에 대한 명시적인 프로그래밍을 필요로 하지 않고도 로봇이 이전에 본 적 없는 태스크 조합을 수행할 수 있게 한다. 따라서 인간의 언어는, 현재의 목표에 따라 새로운 로봇 행동이 동적으로 발현되는 고수준의 프로그래밍 인터페이스가 된다.
이너 모놀로그(Inner Monologue)는 실행 전반에 걸친 지속적인 추론을 도입함으로써 지시 따르기를 보완한다. 태스크를 시작하기 전에 지시를 한 번만 해석하는 대신, 로봇은 자신의 진행 상황, 환경 변화, 남아 있는 목표를 반복적으로 성찰한다. "창고 선반을 정리해줘"라는 요청을 생각해 보자. 실행 도중, 로봇은 내부적으로 "예상했던 보관함이 이미 가득 차 있다. 재고 정책과 일치하는 다른 사용 가능한 위치를 찾아야겠다"라고 추론할 수 있다. 이러한 지속적인 추론은 예상치 못한 상황이 발생할 때마다 적응을 가능하게 한다. 로봇은 실행 세부사항이 바뀌어야 할 때에도 사용자의 전체적인 목표를 달성하는 데 계속 집중한다.
기억(memory)은 반복되는 상호작용에 걸쳐 지시 따르기를 상당히 향상시킨다. 작업 기억은 현재의 대화 맥락, 대기 중인 하위 태스크, 임시 변수, 최근에 관측된 환경 정보를 유지한다. 일화적 기억은 개별 사용자와의 이전 상호작용, 성공적인 태스크 실행, 마주친 실패, 운영 경험을 기록한다. 의미론적 기억은 물체의 기능, 건물의 배치, 조직의 절차, 사용자의 선호도에 관한 지식을 저장한다. 장기 기억은 로봇이 지속적인 상호작용을 통해 습관적인 루틴과 반복되는 요청을 점진적으로 학습하기 때문에 점점 더 개인화된 지원을 가능하게 한다.
사용자 모델링(user modeling)은 또 다른 중요한 능력을 나타낸다. 서로 다른 개인들은 서로 다른 선호도, 작업 스타일, 접근성 요구사항, 소통 패턴, 운영상의 우선순위를 지닌다. 의료진을 돕는 로봇은 창고 운영자나 노약자를 지원하는 로봇과 다르게 행동한다. 따라서 인간의 지시 따르기는 일반적인 언어 이해를 넘어 개인화된 협업으로 확장된다. 사용자별 선호도를 학습하는 것은 불필요한 명확화를 줄이면서도 로봇이 암묵적인 의도를 더 정확하게 추론할 수 있게 한다.
멀티모달 소통은 지시 따르기를 상당히 풍부하게 만든다. 인간은 소통할 때 자연스럽게 발화, 제스처, 표정, 시선 방향, 신체 자세, 환경적 참조를 결합한다. 사람은 "저것을 저기에 놓아줘"라고 말하면서 물체를 가리킬 수 있다. 음성 단어만으로는 충분하지 않다. 제스처 인식은 지칭된 물체를 식별하고, 시선 추정은 주의를 추론하며, 공간적 인지는 목적지를 결정하고, 언어 이해는 절차적 요청을 해석한다. Physical AI는 이러한 양식들을 통합하여, 음성만으로는 얻을 수 없는 더 자연스러운 상호작용을 지원하는 통합된 표현으로 만든다.
시각-언어 모델은 시각적 관측치를 언어적 추론과 직접 연결하기 때문에 특히 큰 영향력을 지니게 되었다. 이러한 모델들은 시각과 언어를 독립적으로 처리하는 대신, 두 양식을 공유된 임베딩 공간 내에서 함께 표현한다. 따라서 로봇은 물체 인식, 공간적 추론, 비교 분석, 언어 이해를 동시에 결합함으로써 "공구함 옆에 있는 가장 큰 빨간 용기를 집어줘"와 같은 지시를 이해한다. 따라서 멀티모달 파운데이션 모델은 복잡한 물리적 환경 내에서의 지시 그라운딩을 상당히 향상시킨다.
세계 모델(world model)은 예측적 추론을 통해 지시 따르기를 더욱 강화한다. 후보 행동을 실행하기 전에, 로봇은 가능성 있는 결과를 내부적으로 시뮬레이션한다. "무거운 상자를 보관 구역으로 옮겨줘"라는 지시를 받으면, 세계 모델은 의도된 경로가 통행 가능한지, 충분한 조작 능력이 존재하는지, 먼저 제거해야 할 중간 장애물이 있는지를 예측한다. 이러한 예측은 계획 수립의 효율성과 운영상의 안전성을 향상시키면서도 실행 실패를 줄여준다.
지속 학습은 배치 기간 내내 지시 따르기 능력이 향상될 수 있게 한다. 성공적인 모든 상호작용은 언어 사용, 사용자의 선호도, 환경적 특성, 절차적 워크플로우, 복구 전략에 관한 추가적인 지식에 기여한다. 로봇은 전문 용어, 조직의 관습, 도메인별 절차, 반복되는 운영 패턴에 대한 이해를 점진적으로 확장한다. 함대 학습은 중앙화된 클라우드 인프라를 통해 새로 습득한 지식을 공유함으로써 이러한 개선을 여러 로봇에 걸쳐 확장한다. 낯선 용어를 해석한 한 로봇의 경험은 결국 배치된 모든 플랫폼에 이득이 된다.
인간의 피드백은 또 다른 강력한 학습 신호를 제공한다. 사용자는 자연스럽게 실수를 정정하고, 시연을 제공하며, 목표를 정제하고, 태스크 결과에 대한 만족이나 불만족을 표현한다. 인간 피드백을 통한 강화학습, 선호도 학습, 대화형 적응은 로봇이 시간이 지남에 따라 인간의 기대에 점점 더 잘 맞춰질 수 있게 한다. 정정 사항을 고립된 이벤트로 취급하는 대신, Physical AI는 피드백을 이후의 지시 따르기를 향상시키는 귀중한 감독으로 해석한다.
언어 지시가 때때로 물리적 제약, 조직의 정책, 또는 윤리적 원칙과 충돌하기 때문에 안전성은 가장 우선순위가 높은 사항 중 하나로 남아 있다. 사용자는 자신도 모르게 안전하지 않은 행동을 요청하거나 위험한 결과를 만들어내는 모호한 명령을 내릴 수 있다. 따라서 지시 따르기 시스템은 충돌 회피, 힘의 제한, 정책 강제, 불확실성 추정, 인간의 검증, 사이버 보안, 규제 준수를 포함한 여러 안전 계층을 통합한다. 로봇은 맹목적으로 복종하는 것이 아니라 지능적으로 지시를 해석한다. 안전한 자율성은 반응성을 책임감 있는 의사결정과 균형을 맞출 것을 필요로 한다.
설명 가능성(explainability)은 사용자의 신뢰에 상당히 기여한다. 복잡한 태스크를 실행하기 전에, 로봇은 자연어를 통해 의도된 계획을 요약할 수 있다. 실행 도중, 로봇은 예상치 못한 지연을 설명하고, 마주친 장애물을 식별하며, 재계획 결정을 정당화한다. 태스크 완료 후, 로봇은 결과, 남아 있는 문제, 제안된 후속 조치를 보고한다. 이러한 투명한 소통은 로봇을 불투명한 자율 기계가 아니라 이해 가능한 협력 파트너로 전환시킨다.
클라우드 로보틱스는 중앙화된 지식 저장소, 파운데이션 모델, 디지털 트윈, 절차적 문서, 의미론적 지도, 함대 전체의 운영 경험에 대한 접근을 제공함으로써 지시 따르기 능력을 더욱 확장시킨다. 검색 증강 생성은 낯선 지시가 나타날 때마다 로봇이 매뉴얼, 유지보수 기록, 조직의 절차, 또는 이전의 태스크 기록을 참조할 수 있게 한다. 따라서 외부 지식은 환각을 줄이면서도 사실적 정확성을 향상시키는 온보드 추론을 보완한다.
디지털 트윈은 물리적 실행 이전의 시뮬레이션을 통해 지시 따르기를 지원한다. 인간의 지시로부터 생성된 후보 계획은 잠재적인 실패, 안전 문제, 자원 충돌, 또는 논리적 불일치를 식별하기 위해 먼저 가상 환경 내에서 실행될 수 있다. 검증된 계획은 이후 상당히 더 큰 신뢰도를 가지고 물리적 로봇으로 전이된다. 물리적 환경과 디지털 트윈 사이의 지속적인 동기화는 운영상의 위험을 최소화하면서도 신속한 적응을 가능하게 한다.
산업 응용 분야는 지시 따르기 시스템의 실용적인 중요성을 보여준다. 제조업 어시스턴트는 조작자로부터의 생산 요청을 해석한다. 창고 로봇은 자연어를 통해 표현된 재고 관리 지시를 이해한다. 병원 서비스 로봇은 의료 프로토콜을 존중하면서도 간호 인력의 요청에 응답한다. 농업용 로봇은 작물 조건에 따라 수확 지시를 실행한다. 건설용 로봇은 대화형 상호작용을 통해 인간 작업자와 조율한다. 가정용 서비스 로봇은 직관적인 음성 소통을 사용해 노약자를 돕는다. 모든 응용 분야에서, 성공적인 협업은 인간의 의도를 신뢰할 수 있는 물리적 행동으로 전환하는 것에 달려 있다.
지시 따르기의 평가는 언어 이해의 정확도만을 넘어 확장된다. 연구자들은 태스크 완수율, 의미론적 해석 정확도, 그라운딩 품질, 계획 수립의 효과성, 불확실성 하에서의 적응, 사용자 만족도, 명확화의 효율성, 실패로부터의 복구, 안전성, 개인화의 품질, 계산 지연시간, 환경 변화 하에서의 견고성, 장기적인 학습 성능을 평가한다. 궁극적으로, 성공 여부는 로봇이 단순히 음성 단어를 올바르게 인식하는지가 아니라 의도된 인간의 목표를 안전하고 효율적으로 달성하는지에 달려 있다.
Physical AI 지시 따르기의 미래는 멀티모달 파운데이션 모델, 세계 모델, 평생 학습, 클라우드 로보틱스, 체화된 추론, 협력적 지능과 점점 더 수렴하고 있다. 로봇은 점점 더 추상적인 목표를 이해하고, 숨겨진 의도를 더 정확하게 추론하며, 장기 기억을 통해 지원을 개인화하고, 여러 인간과 동시에 매끄럽게 조율하며, 축적된 운영 경험을 통해 지속적으로 향상될 것이다. 명시적인 명령을 기다리는 프로그래밍 가능한 기계로 기능하는 대신, 미래의 Physical AI 시스템은 다양한 실제 세계 환경에 걸쳐 인간의 목표를 이해하고, 예상하며, 지원할 수 있는 협력적인 파트너로 행동할 것이다.
따라서 인간의 지시를 따르기 위한 Physical AI는 음성 인식이나 명령 실행보다 훨씬 더 많은 것을 나타낸다. 이는 체화된 지능형 시스템이 인간의 소통을 인지하고, 의미론적 의도를 이해하며, 물리적 환경 내에서 언어를 그라운딩하고, 모호함을 해결하며, 맥락에 대해 추론하고, 적응형 행동을 계획하며, 사람들과 안전하게 상호작용하고, 경험으로부터 지속적으로 학습하며, 궁극적으로 인간의 목표를 성공적인 실제 세계의 결과로 전환하는 완전한 인지적 과정이다. 언어, 인지, 기억, 추론, 계획, 학습, 물리적 실행을 하나의 통합된 아키텍처로 통합함으로써, 지시 따르기는 인공지능이 인간과 자연스럽게 나란히 작동할 수 있는 체화된 협력적 지능으로 발전하는 방식을 보여주는 가장 명확한 시연 중 하나가 된다.
09.08 Physical AI for Multi Step Long Horizon Tasks [w/Code]
고도화된 Physical AI의 핵심적인 특징 중 하나는 고립된 행동이 아니라 다단계의 장기적인(long-horizon) 태스크를 완수할 수 있는 능력이다. 전통적인 로봇 시스템은 물체를 파지하거나, 경유지로 내비게이션하거나, 버튼을 누르는 것과 같은 개별적인 동작을 실행하는 데 뛰어나다. 그러나 실제 세계의 지능은 고립된 행동으로만 이루어지는 경우가 드물다. 대부분의 실용적인 목표는 몇 분, 몇 시간, 심지어 며칠에 걸쳐 이루어지는 수십 또는 수백 개의 상호 연결된 결정을 필요로 한다. 식사를 준비하는 것, 창고를 정리하는 것, 산업 시설을 점검하는 것, 기계를 조립하는 것, 병원 직원을 돕는 것, 인프라를 유지보수하는 것, 가사를 수행하는 것은 모두 인지, 추론, 계획, 조작, 내비게이션, 소통, 지속적인 적응의 긴 시퀀스를 수반한다. 따라서 Physical AI는 로보틱스를 반응적인 제어로부터, 확장된 실행 기간에 걸쳐 일관성을 유지할 수 있는 지속적인 목표 지향적 행동으로 확장시킨다.
단기(short-horizon) 행동과 장기(long-horizon) 행동 사이의 구분은 근본적이다. 단기 태스크는 일반적으로 하나 또는 몇 개의 행동을 통해 완료될 수 있는 단일한 목표를 수반한다. 예를 들어 물체를 집어 올리는 것, 문을 여는 것, 지정된 위치로 이동하는 것, 물건을 인식하는 것이 있다. 이러한 문제들은 종종 전문화된 인지 모델, 파지 플래너, 내비게이션 알고리즘, 또는 강화학습 정책을 사용해 다루어진다. 반면, 장기 태스크는 전체적인 목표에 대한 인식을 유지하면서도 여러 개별적인 스킬을 조율할 것을 필요로 한다. 모든 중간 행동은 미래의 기회에 영향을 미치기 때문에, 계획 수립, 기억, 추론, 적응이 운동 제어만큼이나 중요해진다.
"손님을 위해 거실을 준비해줘"라고 지시받은 가정용 로봇을 생각해 보자. 이 지시는 개별적인 동작을 지정하지 않는다. 대신, 로봇은 이 태스크가 바닥 청소, 가구 배치, 잘못 놓인 물건 수거, 책 정리, 조명 조절, 실온 확인, 그리고 어쩌면 다과 준비를 포함할 수 있다는 것을 추론해야 한다. 게다가, 이러한 하위 태스크들은 막힌 통로, 물건 누락, 인간의 개입, 또는 변화하는 사용자 요청과 같은 예상치 못한 이벤트에 대응하면서도 효율적인 순서로 실행되어야 한다. 로봇의 성공은 개별적인 조작이나 내비게이션 능력뿐만 아니라 전체 태스크 전반에 걸쳐 일관된 추론을 유지하는 것에도 달려 있다.
장기적 행동은 목표 이해(goal understanding)에서 시작된다. 인간의 지시는 일반적으로 실행 절차가 아니라 원하는 결과를 기술한다. 대규모 언어 모델은 이러한 목표를 해석하고 암묵적인 제약을 추론하는 데 필요한 의미론적 추론을 제공한다. "내일 실험을 위해 실험실을 준비해줘"와 같은 요청은 실험실의 조직화, 장비 준비, 안전 절차, 재고 확인, 운영상의 순서에 대한 이해를 필요로 한다. 로봇은 이후의 적응을 위한 유연성을 보존하면서도 고수준의 목표를 계획 수립에 적합한 내부 표현으로 전환한다.
태스크 분해(task decomposition)는 목표 해석 이후의 첫 번째 주요 단계를 나타낸다. 큰 목표는 논리적 의존성에 따라 조직된 더 작은 하위 태스크들로 나누어진다. 계층적 태스크 네트워크(Hierarchical Task Networks), 기호적 플래너, 행동 트리, 태스크 그래프, 언어 기반 추론 시스템은 모두 이러한 분해 과정에 기여한다. 거대한 계획 수립 문제를 직접 해결하려고 시도하는 대신, 로봇은 전략적 목표가 중간 목표를 만들어내고, 중간 목표가 결국 실행 가능한 운동 행동을 만들어내는 계층 구조를 구축한다. 계층적 조직은 설명 가능성과 모듈성을 향상시키면서도 계산적 복잡성을 줄여준다.
이 계층 구조는 일반적으로 여러 추상화 수준으로 구성된다. 가장 높은 수준에서, 로봇은 전체적인 임무 목표를 유지한다. 그 다음 수준에는 내비게이션, 물체 회수, 조작, 점검, 소통과 같은 주요 하위 태스크들이 포함된다. 그 아래에는 파지 계획 수립, 장애물 회피, 위치 추정 갱신, 힘 조절, 시각적 점검을 포함한 절차적 행동들이 나타난다. 마지막으로, 저수준의 모터 컨트롤러가 관절 궤적, 액추에이터 명령, 힘 출력을 생성한다. 각 수준은 전체적인 임무에 대한 일관된 표현을 유지하면서도 인접한 계층들과 소통한다.
시간적 추론(temporal reasoning)은 태스크의 지속시간이 길어질수록 점점 더 중요해진다. 장기 태스크는 종종 그 결과가 실행 과정에서 훨씬 나중에 나타나는 행동들을 포함한다. 로봇은 확장된 배송 임무를 시작하기 전에 배터리를 충전하거나, 조립을 시작하기 전에 도구를 정리하거나, 장비를 운반하기 전에 출입구를 잠금 해제해야 할 수 있다. 이러한 행동들은 지역적으로 보면 불필요해 보일 수 있지만 더 넓은 임무 맥락에서는 필수적이게 된다. 따라서 Physical AI는 즉각적인 보상뿐만 아니라 훨씬 먼 미래로 확장되는 지연된 결과에 대해서도 추론한다.
장기적 관점 하에서의 계획 수립은 전통적인 경로 계획과 상당히 다르다. 몇 초에 걸친 궤적을 최적화하는 대신, 플래너는 여러 운영 단계에 걸친 전체 활동 시퀀스를 조율한다. A*, 다익스트라 알고리즘, 급속 탐색 랜덤 트리와 같은 고전적인 계획 알고리즘은 지역적인 움직임에 있어 여전히 유용하지만, 훨씬 더 넓은 인지 아키텍처의 하나의 구성 요소가 될 뿐이다. 장기 계획 수립은 기호적 추론, 세계 모델, 강화학습, 최적화, 확률적 추론, 언어 이해를 통합된 의사결정 과정으로 통합한다.
장기 로보틱스에서 가장 큰 과제 중 하나는 변화하는 환경 전반에 걸쳐 일관성을 유지하는 것이다. 확장된 태스크 실행 과정에서, 물체는 이동하고, 사람들은 개입하며, 조명 조건은 변하고, 장비는 사용할 수 없게 되며, 문은 닫히고, 배터리는 방전되며, 네트워크 연결은 변동하고, 우선순위는 진화한다. 로봇은 자신의 초기 계획이 무기한 유효하다고 가정할 수 없다. 대신, 새로운 관측치가 이전의 가정과 모순될 때마다 지속적인 재계획이 필요해진다. 따라서 계획 수립은 일회성 계산이 아니라 지속적인 과정이 된다.
이너 모놀로그(Inner Monologue) 아키텍처는 이러한 과제에 대한 효과적인 해결책을 제공한다. 실행 전에 하나의 정적인 계획을 생성하는 대신, 로봇은 내부의 언어 기반 피드백 루프를 통해 자신의 진행 상황에 대해 지속적으로 추론한다. 완료된 모든 행동 이후, 갱신된 관측치는 추론 맥락을 수정한다. 로봇은 완료된 하위 태스크를 평가하고, 남아 있는 목표를 식별하며, 예상치 못한 이벤트를 감지하고, 그에 따라 이후의 행동을 수정한다. 이러한 지속적인 자기 성찰은 전체적인 임무 목표를 포기하지 않고도 적응을 가능하게 한다.
세계 모델(world model)은 미래 시나리오에 대한 내부적인 시뮬레이션을 가능하게 함으로써 장기적인 추론을 더욱 강화시킨다. 주요한 결정을 내리기 전에, 로봇은 학습된 환경적 역학을 사용해 가능성 있는 결과를 예측한다. 여러 보관 위치로부터 제품을 회수해야 하는 창고 로봇을 생각해 보자. 가장 가까운 선반을 탐욕적으로 방문하는 대신, 세계 모델은 미래의 교통 혼잡, 배터리 소비, 적재 제약, 배송 마감 시한을 예측한다. 이러한 예측은 지역적으로는 최적이지만 전체적으로는 비효율적인 결정 대신, 전체적으로 효율적인 행동을 가능하게 한다.
기억(memory)은 장기적인 실행 전반에 걸쳐 핵심적인 역할을 한다. 작업 기억은 즉각적인 계획 맥락, 대기 중인 하위 태스크, 최근에 관측된 환경 변화, 임시 변수를 유지한다. 일화적 기억은 완료된 행동, 마주친 실패, 성공적인 복구 전략, 이전의 상호작용 기록을 기록한다. 의미론적 기억은 물체의 기능, 방의 배치, 조직의 절차, 도메인별 개념에 관한 지식을 저장한다. 절차적 기억은 학습된 운동 스킬과 태스크 실행 전략을 보존한다. 이러한 기억 시스템들이 함께 작동하여 로봇이 확장된 임무 전반에 걸쳐 일관된 행동을 유지할 수 있게 한다.
검색 증강 생성(Retrieval-Augmented Generation)은 기억의 활용을 상당히 향상시킨다. 신경망 파라미터 내에 인코딩된 정보에만 배타적으로 의존하는 대신, 로봇은 외부 데이터베이스로부터 관련된 지식을 동적으로 검색한다. 운영 매뉴얼, 유지보수 절차, 이전의 임무 보고서, 의미론적 지도, 재고 데이터베이스, 사용자의 선호도, 과거의 태스크 실행 기록이 필요할 때마다 사용 가능해진다. 장기 태스크는 즉각적인 경험을 넘어서는 상황을 자주 마주치기 때문에, 외부 검색은 정확성을 유지하고 환각을 줄이는 데 특히 유용하다.
언어(language)는 장기적인 추론 전반에 걸쳐 중요한 인지적 표현 역할을 한다. 숫자 상태 변수만을 유지하는 대신, 로봇은 구조화된 자연어 설명을 통해 진행 상황을 요약한다. "건물 A의 점검이 완료되었다. 건물 B에서 두 개의 손상된 밸브가 해결되지 않은 채 남아 있다. 배터리 수준은 약 40분의 추가 작동을 허용한다"와 같은 진술들은 지속적으로 갱신될 수 있는 해석 가능한 중간 추론을 제공한다. 따라서 언어는 인지, 계획, 기억, 소통을 연결하는 공유된 인지적 작업 공간으로 기능한다.
파운데이션 언어 모델은 태스크 분해와 계획 수립을 지원하는 광범위한 절차적 지식에 기여한다. 이들은 요리, 청소, 창고 물류, 실험실 준비, 의료 지원, 산업 유지보수, 그리고 그 밖의 수많은 도메인과 관련된 일반적인 워크플로우를 이해한다. 이러한 지식은 인간의 지시가 불완전한 채로 남아 있더라도 로봇이 누락된 중간 단계를 추론할 수 있게 한다. 엔지니어가 모든 절차적 세부사항을 명시적으로 지정할 것을 요구하는 대신, 로봇은 환경적 인지에 기반한 의미론적 추론을 통해 가능성 있는 워크플로우를 재구성한다.
시각-언어 모델은 이러한 추론을 물리적 세계로 확장시킨다. 실행 과정에서, 시각적 관측치는 언어적 태스크 설명과 함께 해석된다. "손상된 패키지를 모두 수거해줘"라고 지시받은 로봇은 물체 감지, 손상 평가, 의미론적 이해, 자연어 추론을 하나의 통합된 표현으로 결합한다. 이러한 멀티모달 그라운딩은 인지가 임무 목표와 지속적으로 정렬된 상태를 유지하기 때문에 장기 태스크 실행을 상당히 향상시킨다.
강화학습은 확장된 시간 범위에 걸친 순차적 의사결정을 최적화함으로써 또 다른 중요한 능력에 기여한다. 성공적인 완료가 수십 개의 중간 행동 이후에만 발생할 수 있기 때문에, 고전적인 강화학습은 종종 희소한 보상(sparse reward)으로 어려움을 겪는다. 계층적 강화학습은 최종 목표와의 정렬을 유지하면서도 중간 하위 태스크에 보상을 할당함으로써 이러한 한계를 해결한다. 옵션(option), 스킬, 매크로 행동, 시간적 추상화는 모두 정책이 개별적인 모터 명령이 아니라 의미 있는 행동 단위에서 작동할 수 있게 함으로써 학습의 복잡성을 줄여준다.
스킬 라이브러리는 장기 실행을 지원하는 재사용 가능한 빌딩 블록을 제공한다. 내비게이션, 파지, 문 열기, 장비 점검, 바코드 판독, 인간과의 소통, 배터리 충전, 엘리베이터 조작은 모두 필요할 때마다 사용 가능한 모듈형 능력이 된다. SayCan과 같은 시스템은 의미론적 관련성과 물리적 실현 가능성에 따라 적절한 스킬을 선택한다. 정책으로서의 코드(Code as Policies)는 사전에 정의된 워크플로우에만 배타적으로 의존하는 대신 새로운 절차적 조합을 동적으로 생성함으로써 이러한 유연성을 확장시킨다.
잘 설계된 계획이라도 예상치 못한 실패를 마주치기 때문에 실행 모니터링(execution monitoring)은 필수적으로 남아 있다. 조작 시도는 물체의 미끄러짐으로 인해 실패할 수 있다. 내비게이션 경로가 막힐 수 있다. 센서가 불확실한 관측치를 만들어낼 수 있다. 인간 협력자가 예기치 않게 우선순위를 수정할 수 있다. 실행을 종료하는 대신, 모니터링 시스템은 예상된 결과와 관측된 결과 사이의 불일치를 감지한다. 이러한 불일치는 가능한 경우 전체적인 임무 목표를 보존하면서도 재계획, 대체 전략 선택, 또는 인간과의 상호작용을 촉발한다.
실패 복구(failure recovery)는 견고한 장기 시스템을 취약한 자동화와 구별짓는다. 유지보수 작업으로 인해 하나의 점검 경로가 접근 불가능해졌다는 것을 발견한 산업용 점검 로봇을 생각해 보자. 즉시 실패를 보고하는 대신, 로봇은 대체 경로를 평가하고, 접근 불가능한 하위 태스크를 연기하며, 도달 가능한 장비를 계속 점검하고, 조건이 개선되면 나중에 돌아온다. 이러한 적응적 행동은 남아 있는 운영상의 기회를 활용하면서도 해결되지 않은 목표에 대한 인식을 유지할 것을 필요로 한다.
다중 에이전트 조율은 장기적 능력을 더욱 확장시킨다. 큰 태스크는 종종 개별 로봇의 능력을 초과한다. 창고 운영, 건설 프로젝트, 농업 수확, 재난 대응, 물류 시스템은 여러 자율 플랫폼들 사이의 조율된 행동을 필요로 한다. 태스크 할당 알고리즘은 로봇의 능력, 현재 위치, 배터리 수준, 작업량에 따라 하위 태스크를 분배한다. 통신 프로토콜은 중복이나 자원 충돌을 방지하면서도 진행 상황을 동기화한다. 따라서 집단적 계획 수립은 개별 로봇의 지능을 조율된 함대 지능으로 전환시킨다.
클라우드 로보틱스는 로봇 함대 전반에 걸쳐 장기적인 운영 지식을 통합함으로써 추가적인 이점을 제공한다. 이전 임무 동안 수집된 경험들은 이후의 계획 수립에 사용 가능해진다. 자주 마주치는 실패는 향상된 복구 전략을 만들어낸다. 갱신된 의미론적 지도는 다른 로봇들이 관측한 환경 변화를 반영한다. 함대 학습은 태스크 분해, 계획 수립 휴리스틱, 조작 전략, 내비게이션 정책, 운영 절차를 지속적으로 정제한다. 따라서 모든 로봇은 독립적으로 학습하는 대신 전체 배치의 축적된 경험으로부터 이득을 얻는다.
디지털 트윈은 장기 태스크 실행에서 점점 더 중요한 역할을 하고 있다. 고충실도의 가상 표현은 물리적 실행 이전에 후보 계획들을 평가할 수 있게 한다. 자원 충돌, 스케줄링 문제, 안전 문제, 장비 고장, 환경적 제약은 실제 세계의 운영에 영향을 미치기 전에 시뮬레이션 내에서 드러난다. 물리적 환경과 디지털 환경 사이의 지속적인 동기화는 변화하는 운영 조건에 계속 대응하는 예측적 계획 수립을 가능하게 한다.
에너지 관리(energy management)는 장기 계획 수립에 또 다른 차원을 도입한다. 확장된 임무는 사용 가능한 배터리 용량, 충전 기회, 운영상의 우선순위에 대해 생산성을 균형 있게 조절할 것을 필요로 한다. 지능형 스케줄링은 충전이 가능해질 때까지 에너지 집약적인 하위 태스크를 연기하거나 불필요한 이동을 최소화하기 위해 활동의 순서를 재배열할 수 있다. 따라서 에너지를 인식하는 계획 수립은 독립적인 하위 시스템으로 취급되는 것이 아니라 임무 추론에 직접 통합된다.
인간과의 협업은 장기적인 운영 전반에 걸쳐 근본적인 요소로 남아 있다. 인간은 종종 목표를 수정하고, 추가적인 제약을 도입하며, 상태 업데이트를 요청하거나, 진행 중인 활동의 우선순위를 재조정한다. Physical AI 시스템은 지시가 바뀔 때마다 완전한 임무 재시작을 요구하는 대신, 실행 전반에 걸쳐 대화형 대화를 유지한다. 로봇은 현재의 진행 상황을 설명하고, 해결되지 않은 문제를 식별하며, 대안을 제안하고, 가능한 경우 완료된 작업을 보존하면서도 갱신된 목표를 통합한다.
태스크의 복잡성이 커짐에 따라 안전성은 점점 더 어려운 과제가 된다. 긴 임무는 로봇을 더 다양한 환경 조건, 하드웨어 마모, 통신 중단, 인간과의 상호작용에 노출시킨다. 따라서 지속적인 모니터링은 실행 전반에 걸쳐 위치 추정의 신뢰도, 장애물의 근접성, 센서의 무결성, 액추에이터의 상태, 열적 조건, 사이버 보안 상태, 정책 준수를 평가한다. 안전 감독자는 운영상의 위험이 허용 가능한 임계값을 초과할 때마다 태스크를 중단, 수정, 또는 연기할 수 있다.
장기 태스크 성능의 평가는 개별 행동의 성공을 측정하는 것을 훨씬 넘어 확장된다. 연구자들은 전체적인 태스크 완수율, 계획 수립의 효율성, 하위 태스크 완수의 정확도, 적응 속도, 복구의 효과성, 메모리 활용, 계산 효율성, 협업의 품질, 사용자 만족도, 에너지 소비, 불확실성 하에서의 견고성, 안전성, 장기적인 운영 신뢰성을 평가한다. 고립된 조작 행동을 완벽하게 완료할 수 있지만 이를 의미 있는 목표를 향해 조율하지 못하는 로봇은 실제 세계의 배치에는 부적합한 채로 남아 있다.
현재의 연구는 파운데이션 모델, 세계 모델, 계층적 강화학습, 평생 학습, 클라우드 로보틱스, 검색 증강 추론, 멀티모달 인지, 체화된 인지를, 지속적인 자율 행동을 지원하는 통합된 아키텍처로 점점 더 많이 결합하고 있다. 계획 수립, 인지, 조작, 내비게이션, 소통을 고립된 모듈로 취급하는 대신, 미래의 Physical AI 시스템은 확장된 운영 기간에 걸쳐 일관된 목표를 유지할 수 있는 일관된 인지적 과정으로 이들을 통합한다.
장기 Physical AI의 궁극적인 비전은, 광범위한 인간의 목표를 받아들이고, 그 함의에 대해 추론하며, 적응형 전략을 계획하고, 조율된 행동을 실행하며, 실패로부터 복구하고, 인간 및 다른 로봇들과 자연스럽게 협력하며, 경험으로부터 지속적으로 학습하고, 몇 시간, 며칠, 심지어 몇 달에 걸친 배치 기간 내내 일관된 목표 지향적 행동을 유지할 수 있는 자율 체화 에이전트이다. 이러한 시스템들은 고립된 로봇 스킬을 실행하는 것을 넘어, 지능, 지속성, 유연성, 지속적인 적응을 필요로 하는 완전한 실제 세계의 임무를 수행하는 방향으로 나아간다.
따라서 다단계 장기 태스크를 위한 Physical AI는 고도화된 계획 수립이나 순차적 의사결정보다 훨씬 더 많은 것을 나타낸다. 이는 언어 이해, 인지, 세계 모델링, 기억, 추론, 계층적 계획 수립, 내비게이션, 조작, 실행 모니터링, 지속 학습, 인간과의 협업을, 고수준의 의도를 성공적인 장기적인 실제 세계의 결과로 전환할 수 있는 하나의 통합된 인지 아키텍처로 완전히 통합한 것이다. 장기 태스크의 완수는, 로봇이 단순히 개별적인 행동을 올바르게 수행하는 것뿐만 아니라 확장된 기간에 걸쳐 목적을 지닌, 적응적이고, 지능적인 행동을 유지하면서도 모든 중간 결정을 궁극적인 인간의 목표와 지속적으로 정렬시킬 것을 요구하기 때문에, 좁은 의미의 자동화와 진정으로 체화된 인공지능 사이의 가장 명확한 차이 중 하나를 보여준다.
09.09 Physical AI Failure Recovery and Replanning [w/Code]
실패 복구(failure recovery)와 재계획(replanning)은 Physical AI를 전통적인 자동화와 구별짓는 가장 중요한 능력 중 하나이다. 전통적인 로봇 시스템은 일반적으로 실행 이전에 생성된 계획이 태스크 전반에 걸쳐 유효한 상태로 유지된다고 가정한다. 예상치 못한 이벤트가 발생하면, 실행은 종종 오류 메시지와 함께 종료되며, 작업을 계속하기 전에 인간의 개입을 필요로 한다. 신중하게 설계된 산업 환경에서는, 실패가 비교적 드물고 조작자가 근처에 있기 때문에 이러한 행동이 용인될 수 있다. 그러나 가정, 병원, 창고, 공장, 농장, 건설 현장, 공공장소에서 작동하는 자율 로봇은 지속적인 인간의 감독에 의존할 수 없다. 실제 세계의 환경은 동적이고, 불확실하며, 지속적으로 변화한다. 물체는 예기치 않게 이동하고, 센서는 노이즈가 있는 관측치를 만들어내며, 사람들은 워크플로우를 방해하고, 장비는 사용할 수 없게 되며, 통신 네트워크는 변동하고, 배터리는 방전되며, 물리적 상호작용은 종종 예측과 다르다. 따라서 Physical AI는 실패를 예외적인 이벤트가 아니라 지능형 행동의 정상적인 구성 요소로 취급해야 한다. 진정으로 자율적인 로봇은 실패를 감지하고, 그 원인을 이해하며, 대체 전략을 생성하고, 안전하게 복구하며, 가능한 경우 목표 추구를 계속해야 한다.
실패 복구의 중요성은 장기적인 로봇 태스크의 복잡성을 고려하면 명확해진다. 병실을 준비하거나, 창고를 정리하거나, 장비를 조립하거나, 물품을 배송하거나, 산업 인프라를 점검하는 로봇은 임무를 완료하기 전에 수백 개의 개별적인 행동을 실행할 수 있다. 모든 행동이 99%의 확률로 성공한다고 하더라도, 태스크의 길이가 늘어남에 따라 전체 임무가 단 하나의 오류도 없이 끝날 확률은 극적으로 감소한다. 따라서 장기간의 자율성은 가능한 모든 실패를 제거하는 것이 아니라 실패가 필연적으로 발생할 때마다 효과적으로 복구하는 것에 달려 있다.
실패 자체는 여러 다른 상황을 아우르는 광범위한 개념이다. 일부 실패는 인지로부터 비롯된다. 로봇은 물체를 잘못 식별하거나, 시각적 추적을 잃거나, 부정확한 자세를 추정하거나, 장애물을 감지하지 못할 수 있다. 다른 실패는 불안정한 파지, 물체의 미끄러짐, 과도한 접촉력, 실패한 삽입, 움직임 도중의 충돌을 포함한 조작으로부터 발생한다. 내비게이션 실패에는 위치 추정 드리프트, 막힌 통로, 부정확한 지도, 예상치 못한 환경 변화, 또는 계획된 움직임을 방해하는 동적 장애물이 포함된다. 시스템 실패는 통신 중단, 하드웨어 오작동, 과열, 배터리 고갈, 메모리 제한, 소프트웨어 예외를 포함한다. 인간과 관련된 실패는 사용자가 목표를 변경하거나, 모호한 지시를 제공하거나, 실행을 방해하거나, 태스크 수행 도중 환경을 물리적으로 수정할 때 발생한다. Physical AI는 서로 다른 범주의 실패가 단일한 일반적인 오류 처리 메커니즘에 의존하는 대신 서로 다른 복구 전략을 필요로 한다는 것을 인식해야 한다.
복구의 첫 번째 단계는 실패 감지(failure detection)이다. 문제를 수정하기 전에, 로봇은 무언가가 잘못되었다는 것을 인식해야 한다. 전통적인 로보틱스는 종종 명시적인 임계값 모니터링에 의존한다. 사전에 정의된 한계를 초과하는 위치 오류, 과도한 모터 전류, 힘의 위반, 타임아웃 이벤트, 통신 두절은 경보를 촉발한다. 이러한 방법들은 여전히 유용하지만, Physical AI는 멀티모달 추론을 통해 실패 감지를 확장시킨다. 고립된 숫자 값을 모니터링하는 대신, 로봇은 인지, 예측, 실행, 예상되는 결과 사이의 일관성을 평가한다. 로봇이 물체를 파지했다고 믿지만 시각 정보가 그 물체가 여전히 테이블 위에 있다고 나타낸다면, 이러한 불일치 자체가 실패의 증거가 된다. 마찬가지로, 내비게이션이 목적지에 도착했다고 예측하지만 환경적 관측치가 예상되는 장면과 일치하지 않는다면, 위치 추정 오류가 발생했을 가능성이 높아진다.
예측 모델은 실패 감지에서 점점 더 중요한 역할을 하고 있다. 세계 모델은 실행 이전에 모든 행동의 예상되는 결과를 추정한다. 행동이 완료된 후, 실제 관측치는 이러한 예측과 비교된다. 작은 불일치는 센서 노이즈나 사소한 환경적 변동으로 인해 발생할 수 있는 반면, 큰 편차는 성공적이지 못한 실행이나 부정확한 환경적 이해를 시사한다. 이러한 예측-관측 비교는, 인간이 실수를 신속하게 감지하기 위해 예상되는 감각적 결과를 실제 경험과 지속적으로 비교하는 생물학적 인지와 유사하다.
불확실성 추정(uncertainty estimation)은 실패 인식을 상당히 향상시킨다. 현대의 인지 시스템은 예측과 함께 신뢰도를 점점 더 많이 추정하고 있다. 물체 감지기는 분류 확률을 보고하고, 위치 추정 알고리즘은 공분산을 추정하며, 파지 플래너는 실행 가능성을 평가하고, 언어 모델은 추론의 불확실성을 정량화한다. 모든 출력을 동등하게 신뢰할 수 있는 것으로 취급하는 대신, Physical AI는 이러한 신뢰도 추정치들을 결합하여, 관측된 불일치가 진정한 실패를 나타내는지 아니면 단순히 추가적인 정보가 필요한 불확실한 관측치인지를 판단한다. 높은 불확실성은 종종 더 비용이 많이 드는 복구 행동이 시작되기 전에 능동적인 인지를 촉발한다.
실패가 감지되고 나면, 로봇은 그 원인을 진단해야 한다. 실행이 실패했다는 것을 단순히 인식하는 것만으로는 충분하지 않은데, 이는 적절한 복구가 실패가 발생한 이유를 이해하는 것에 달려 있기 때문이다. 실패한 파지를 생각해 보자. 물체가 잘못 위치 추정되었거나, 물리적으로 접근 불가능하거나, 너무 무겁거나, 미끄럽거나, 가려져 있거나, 이미 다른 사람이 옮겼을 수 있다. 각각의 설명은 서로 다른 시정 조치를 시사한다. 진단 없이 동일한 파지를 반복하는 것은 좀처럼 성공을 향상시키지 못한다. 따라서 Physical AI는 관측된 실패의 근저에 있는 가장 그럴듯한 설명을 식별하기 위해 인과적 추론(causal reasoning)을 수행한다.
인과적 추론은 현대의 복구 시스템을 단순한 재시도 메커니즘과 구별짓는다. 동일한 행동을 반복적으로 실행하는 대신, 로봇은 관측된 불일치를 설명하는 가설들을 구성한다. 예를 들어, 내비게이션이 반복적으로 목적지에 도달하지 못한다면, 가능한 설명에는 막힌 복도, 부정확한 지도, 위치 추정 드리프트, 액추에이터 오작동, 부정확한 목표 해석이 포함된다. 이렇게 경쟁하는 가설들 사이를 판별하기 위해 추가적인 관측치가 수집된다. 그 결과로 만들어진 진단은 맹목적인 반복에 의존하는 대신 이후의 재계획을 안내한다.
언어 기반 추론은 진단 과정에서 특히 유용한 것으로 입증되었다. 대규모 언어 모델은 운영 기록, 환경적 관측치, 태스크 맥락, 사전 지식을 일관된 설명으로 통합한다. 로봇은 내부적으로 "요청받은 물체가 A 선반에 있을 것으로 예상되었지만, 선반이 비어 있다. 재고 기록은 최근의 재배치를 나타낸다. 동일한 점검을 반복하는 것보다 인근 선반을 탐색하는 것이 성공할 가능성이 더 높다"라고 추론할 수 있다. 이러한 추론은 사전학습 과정에서 습득한 의미론적 이해와 절차적 지식을 통합함으로써 통계적 패턴 인식을 넘어 확장된다.
이너 모놀로그(Inner Monologue) 아키텍처는 진단 추론을 자연스럽게 지원한다. 실패를 최종적인 상태로 취급하는 대신, 로봇은 내부의 언어 기반 대화를 통해 실행 진행 상황을 지속적으로 성찰한다. 성공적이지 못한 조작 시도 이후, 추론 루프는 "물체를 들어올린 후 미끄러졌다. 시각적 관측치는 파지 안정성이 불충분했음을 시사한다. 들어올리는 속도를 줄이면서 잡는 힘을 약간 늘리면 성공률이 향상될 수 있다"와 같은 진술을 만들어낼 수 있다. 이러한 내부 성찰은 로봇이 실패를 단순한 오류 보고가 아니라 적응적 행동을 지원하는 유용한 경험으로 전환할 수 있게 한다.
진단 이후, 재계획은 핵심적인 복구 메커니즘이 된다. 재계획은 새로 습득한 정보에 따라 이후의 행동을 수정하기 때문에 이전의 행동을 반복하는 것과 근본적으로 다르다. 원래의 계획이 문이 열려 있다고 가정했지만 이제 문이 닫혀 있다면, 이전의 경로를 계속 따르는 것은 불가능해진다. 재계획은 갱신된 환경적 관측치, 수정된 제약, 진단된 실패 원인을 통합하여 현재 상황과 일치하는 대체 전략을 생성한다.
재계획은 여러 추상화 수준에서 작동한다. 지역적 재계획(local replanning)은 더 높은 수준의 목표를 보존하면서도 즉각적인 동작 궤적을 수정한다. 예를 들어, 장애물 회피는 목적지를 바꾸지 않고도 임시 장애물 주변으로 새로운 경로를 계산한다. 태스크 수준의 재계획은 하위 태스크를 다른 순서로 수행할 수도 있는 행동 시퀀스를 재조직한다. 전략적 재계획은 기본적인 가정이 유효하지 않게 되었을 때 전체적인 임무를 수정한다. 사용할 수 없는 재고를 발견한 창고 로봇은 운영상의 우선순위에 따라 대체 제품으로 바꾸거나, 배송을 연기하거나, 인간의 도움을 요청할 수 있다. 적절한 재계획 수준은 감지된 실패의 심각성과 범위에 따라 달라진다.
계층적 계획 아키텍처는 수정 사항이 종종 특정 추상화 수준 내에 국한되어 남아 있기 때문에 복구를 크게 용이하게 한다. 저수준의 동작 실패는 좀처럼 전략적인 임무 목표를 변경할 것을 요구하지 않는다. 반대로, 주요한 임무 변경이 개별적인 모터 컨트롤러를 수정할 필요는 없다. 전략적 계획 수립, 태스크 분해, 동작 생성, 제어 사이의 명확한 분리를 유지하는 것은 실행 파이프라인의 관련 없는 구성 요소들을 불필요하게 재계산하지 않고도 실패를 효율적으로 수정할 수 있게 한다.
세계 모델(world model)은 대체 전략들에 대한 내부적인 시뮬레이션을 지원함으로써 재계획을 상당히 향상시킨다. 첫 번째로 사용 가능한 복구 행동을 즉시 실행하는 대신, 로봇은 하나를 선택하기 전에 여러 후보 계획들에 대한 가능성 있는 결과를 예측한다. 복도가 막혔다고 가정해 보자. 세계 모델은 이동 시간, 배터리 소비, 예측된 혼잡도, 접근성, 태스크 우선순위에 따라 대체 경로들을 평가한다. 따라서 내부적인 시뮬레이션은 불확실성 하에서의 복구 품질을 향상시키면서도 불필요한 실험을 줄여준다.
기억(memory)은 복구 과정에서 또 다른 핵심적인 자원을 제공한다. 일화적 기억은 이전의 실패를 성공적인 시정 조치와 함께 기록한다. 로봇이 익숙한 상황을 마주치면, 과거의 경험은 효과적인 복구 전략을 즉시 시사한다. 의미론적 기억은 진단과 관련된 운영 절차, 문제 해결 지식, 장비 사양, 조직의 정책을 저장한다. 검색 증강 생성은 낯선 실패가 발생할 때마다 유지보수 매뉴얼, 지식 기반, 재고 시스템, 과거의 보고서, 또는 클라우드에 호스팅된 문서를 참조함으로써 이 능력을 더욱 확장시킨다. 따라서 기억은 고립된 사건들을 누적적인 운영상의 전문성으로 전환시킨다.
실패로부터의 학습은 Physical AI의 핵심적인 특징 중 하나를 나타낸다. 전통적인 자동화는 종종 실패를, 정상적인 운영이 재개되기 전에 수동으로 해결되는 고립된 이상 현상으로 취급한다. Physical AI는 그 대신 모든 실패를 지속 학습 과정에 통합한다. 인지 모델은 추가적인 감독을 통해 향상된다. 조작 정책은 파지 전략을 정제한다. 내비게이션 시스템은 지도를 갱신한다. 언어 모델은 수정된 추론 패턴을 통합한다. 함대 학습은 성공적인 복구 경험을 여러 로봇에 걸쳐 분배한다. 따라서 유사한 상황에 반복적으로 노출되는 것은 복구의 효율성을 향상시키면서도 향후 실패 빈도를 점진적으로 줄여준다.
강화학습은 성공적이지 못한 결과가 유용한 학습 신호를 제공하기 때문에 복구에 자연스럽게 기여한다. 보상 함수는 견고한 복구 전략을 장려하면서도 반복적인 실패에 대해 불이익을 준다. 시뮬레이션 환경은 배치 이전에 수백만 개의 실패 시나리오를 안전하게 탐구할 수 있게 하여, 정책이 다양한 운영 조건 하에서 효과적인 시정 행동을 개발할 수 있게 한다. 도메인 무작위화는 복구 알고리즘을 다양한 환경 구성, 센서 특성, 동적 상호작용에 노출시켜, 시뮬레이션에서 물리적 로봇으로의 전이를 향상시킨다.
모방 학습은 전문가의 복구 행동을 포착함으로써 강화학습을 보완한다. 인간 조작자는 조작이 실패하거나, 위치 추정이 불확실해지거나, 예상치 못한 장애물이 나타났을 때 어떻게 대응해야 하는지를 자주 시연한다. 로봇은 원격 조작, 운동감각적 교육, 가상현실, 또는 비디오 데이터셋을 통해 이러한 시연들을 관찰한다. 학습된 복구 정책은 이후 자율적인 행동 내에 인간의 전문성을 보존하면서도 이러한 전략들을 새로운 상황들에 걸쳐 일반화한다.
클라우드 로보틱스는 개별 로봇을 넘어 복구를 확장시킨다. 한 로봇이 수집한 경험은 전체 함대에 유용한 자원이 된다. 새로 배치된 창고 로봇이 오후 배송 시간대에 특정 하역장에 자주 접근할 수 없게 된다는 것을 발견했다고 가정해 보자. 이 관측치는 중앙화된 클라우드 인프라에 업로드되어, 계획 수립 모델이 그에 따라 갱신된다. 다른 로봇들은 이후 동일한 문제를 마주치기 전에 문제가 있는 경로를 피한다. 따라서 함대 전체의 지식 공유는 개별적인 복구 경험을 집단 지능으로 전환시킨다.
디지털 트윈은 물리적 실행 이전에 가상의 평가를 가능하게 함으로써 실패 복구를 더욱 향상시킨다. 후보 복구 전략은 현재의 물리적 상태를 나타내는 동기화된 가상 환경 내에서 먼저 테스트된다. 시뮬레이션된 평가는 장비 손상이나 운영상의 중단을 위험에 빠뜨리지 않고도 안전하지 않은 행동, 자원 충돌, 비효율적인 계획, 또는 논리적 불일치를 식별한다. 검증이 완료되면, 선택된 복구 전략은 상당히 더 큰 신뢰도를 가지고 물리적 로봇으로 전이된다.
인간과의 협업은 복잡한 복구 상황에서 여전히 중요하다. Physical AI가 점점 더 큰 자율성을 목표로 하지만, 일부 실패는 로봇의 현재 추론 능력을 초과하는 모호함을 수반한다. 운영을 종료하는 대신, 로봇은 인간 감독자와의 지능형 대화에 참여한다. 로봇은 감지된 문제를 설명하고, 시도된 복구 전략을 요약하며, 필요할 경우 명확한 설명을 요청하고, 인간의 피드백을 이후의 계획 수립에 통합한다. 따라서 자연어 상호작용은 단순한 비상 소통 채널이 아니라 복구의 필수불가결한 구성 요소가 된다.
지시 수정(instruction revision)은 특히 흥미로운 형태의 복구를 나타낸다. 인간의 목표는 장기적인 실행 과정에서 자주 진화한다. 사용자는 처음에 하나의 태스크를 요청한 뒤 추가적인 제약을 도입하거나 우선순위를 완전히 바꿀 수 있다. 이러한 변화를 방해로 여기는 대신, Physical AI는 이를 갱신된 계획 수립 입력으로 취급한다. 가능한 경우 기존의 진행 상황이 보존되는 한편, 이후의 행동은 수정된 목표에 따라 적응한다. 따라서 유연한 지시 해석은 인간-로봇 협업을 향상시키면서도 불필요한 태스크 재시작을 방지한다.
안전성은 복구 전반에 걸쳐 가장 우선순위가 높은 사항으로 남아 있다. 일부 실패는 계속되는 실행이 아니라 즉각적인 운영 중단을 필요로 하는 조건을 나타낸다. 과도한 충돌력, 불안정한 위치 추정, 센서 오작동, 하드웨어 과열, 사이버 보안 위반, 또는 예기치 않은 인간의 근접은 모두 안전한 종료 절차를 촉발할 수 있다. 따라서 복구 계획 수립은 실패를 수정하려는 시도가 원래의 문제보다 더 큰 위험을 결코 도입하지 않도록 보장하는 엄격한 안전 제약 내에서 작동한다.
설명 가능성은 실패 복구 과정에서 신뢰를 상당히 향상시킨다. 복구 결정이 종종 복잡한 추론을 수반하기 때문에, 로봇은 감지된 실패, 진단적 결론, 선택된 복구 전략, 예상되는 결과를 자연어를 통해 점점 더 많이 전달하고 있다. 조작자는 로봇이 무엇을 하려고 하는지뿐만 아니라 대체 전략이 왜 거부되었는지도 이해한다. 이러한 투명성은 자율적인 의사결정에 대한 신뢰를 강화하면서도 디버깅, 인증, 규제 준수, 인간의 감독을 용이하게 한다.
복구 시스템의 평가는 단순히 태스크 완수를 측정하는 것을 넘어 확장된다. 연구자들은 실패 감지의 정확도, 진단의 정밀도, 재계획의 효율성, 복구 성공률, 계산 지연시간, 안전성 보존, 인간 개입의 빈도, 불확실성 하에서의 견고성, 반복되는 실패에 걸친 학습의 향상, 함대의 지식 전이, 장기적인 운영 신뢰성을 평가한다. 성공적인 복구 시스템은 지속적인 적응을 통해 즉각적인 태스크의 중단과 유사한 실패의 향후 재발 모두를 최소화한다.
최근의 연구는 파운데이션 모델, 세계 모델, 검색 증강 추론, 지속 학습, 클라우드 로보틱스, 디지털 트윈, 멀티모달 인지, 체화된 인지를 통합된 복구 아키텍처로 점점 더 많이 결합하고 있다. 특정 상황에 대한 고립된 오류 핸들러를 구현하는 대신, 미래의 Physical AI 시스템은 다양한 실패 범주에 걸쳐 적용 가능한 일반화된 추론 능력을 개발한다. 복구는 인지, 예측, 기억, 계획, 언어 이해, 학습을 통합된 체화 아키텍처 내에 통합하는 지능형 인지 과정이 된다.
궁극적으로, 실패 복구와 재계획은 Physical AI를 반응적인 자동화에서 회복력 있는(resilient) 자율 지능으로 전환시킨다. 실제 세계의 환경은 완벽하게 예측될 수 없으며, 실패는 완전히 제거될 수 없다. 따라서 지능형 체화 시스템의 핵심적인 특징은 실수의 부재가 아니라, 그것을 인식하고, 원인을 이해하며, 효과적인 대안을 생성하고, 경험으로부터 학습하며, 불확실성에도 불구하고 의미 있는 목표를 계속 추구하는 능력이다. 지속적인 모니터링, 인과적 진단, 적응형 재계획, 세계 모델, 평생 학습, 클라우드 협업, 인간과의 상호작용을 하나의 일관된 인지적 프레임워크로 통합함으로써, Physical AI는 복잡하고, 동적이며, 예측할 수 없는 물리적 환경에서의 장기적인 자율 운영에 필요한 회복력을 보여준다. 따라서 실패는 단순히 극복해야 할 장애물이 아니라, 로봇의 운영 기간 내내 지속적인 개선을 이끄는 필수적인 경험의 원천이 된다.
09.10 Physical AI Application Benchmarking ALFRED [w/Code]
Physical AI 시스템이 인지, 추론, 계획, 조작, 내비게이션, 언어 이해에 있어 점점 더 유능해짐에 따라, 자연스럽게 이러한 질문이 제기된다: 이러한 시스템들을 어떻게 평가해야 하는가? 전통적인 로보틱스 벤치마크는 종종 물체 인식 정확도, 위치 추정 오차, 내비게이션 효율성, 파지 성공률, 조작 정밀도와 같은 고립된 능력을 측정한다. 이러한 지표들이 여전히 중요하지만, 이들은 실제 세계의 자율 로봇에게 필요한 통합된 지능을 포착하지 못한다. 물체 인식에 뛰어난 로봇이라도, 이전의 행동을 기억할 수 없거나, 인간의 지시를 해석할 수 없거나, 예상치 못한 실패로부터 복구할 수 없거나, 확장된 기간에 걸쳐 여러 스킬을 조율할 수 없다면, 가사 태스크를 완수하는 데 여전히 실패할 수 있다. 따라서 현대의 Physical AI는 개별적인 구성 요소가 아니라 완전한 체화 지능을 평가하는 벤치마크를 필요로 한다. 이러한 목적을 위해 개발된 가장 영향력 있는 벤치마크 중 하나가 ALFRED이며, 이는 상호작용 환경 내에서의 언어 안내형 장기적 체화 태스크 실행에 초점을 맞춘다.
Action Learning From Realistic Environments and Directives의 약자인 ALFRED는 전통적인 로봇 벤치마크와 실제 세계의 체화 지능 사이의 간극을 메우기 위해 소개되었다. 고립된 인지나 조작 알고리즘을 평가하는 대신, ALFRED는 자율 에이전트가 자연어 지시를 성공적으로 이해하고, 주변을 인지하며, 물체를 조작하고, 환경을 내비게이션하며, 중간 태스크 상태를 기억하고, 많은 조율된 행동을 필요로 하는 복잡한 가사 활동을 완수할 수 있는지를 측정한다. 따라서 이 벤치마크는 좁은 의미의 로봇 능력이 아니라 통합된 Physical AI에 대한 최초의 포괄적인 평가 중 하나를 나타낸다.
ALFRED의 동기는 인간 지능에 관한 중요한 관찰을 반영한다. 일상적인 가사 활동은 인간이 힘들이지 않고 수행하기 때문에 단순해 보이지만, 실제로는 인지, 기억, 추론, 언어 이해, 운동 제어 사이의 놀라운 조율을 필요로 한다. "차가운 사과를 식탁 위의 그릇에 넣어줘"라는 지시를 생각해 보자. 이 태스크를 완료하려면 냉장고를 찾고, 문을 열고, 사과를 식별하고, 그것을 집고, 냉장고를 닫고, 식당으로 이동하고, 올바른 그릇을 찾고, 사과를 안에 놓고, 성공적인 완료를 확인해야 한다. 모든 중간 행동은 이전의 관측치에 의존하며 이후의 결정에 영향을 미친다. 이러한 태스크들은 통합된 체화 지능이 개별적인 인지나 내비게이션 문제를 독립적으로 해결하는 것보다 상당히 더 어려운 이유를 보여준다.
많은 고전적인 로보틱스 벤치마크와 달리, ALFRED는 능력 중심이 아니라 태스크 중심이다. 목표는 고립된 인지 정확도를 최대화하거나 내비게이션 오차를 최소화하는 것이 아니다. 대신, 이 벤치마크는 현실적인 환경 조건 하에서의 완전한 태스크 완수를 평가한다. 성공은 확장된 실행 전반에 걸친 인지, 내비게이션, 조작, 기억, 계획, 언어 이해, 추론의 조율된 상호작용에 달려 있다. 따라서 ALFRED는, 자율 시스템이 고립된 기술적 능력을 시연하는 것이 아니라 의미 있는 목표를 달성해야 하는 Physical AI의 장기적인 목표와 밀접하게 정렬된다.
이 벤치마크는 부엌, 거실, 침실, 욕실, 그 밖의 다른 가정 공간을 포함하는 현실적인 실내 환경 위에 구축된다. 이러한 환경에는 가구, 가전제품, 캐비닛, 서랍, 테이블, 용기, 식기, 음식, 책, 전자제품, 청소용품, 그리고 그 밖의 수많은 일상적인 물체들이 포함된다. 중요한 점은, 이러한 물체들이 정적인 장식품이 아니라는 것이다. 이들은 로봇이 태스크의 요구사항에 따라 열고, 닫고, 집어 들고, 놓고, 데우고, 식히고, 청소하고, 자르고, 켜고 끄거나, 그 밖의 방식으로 조작할 수 있게 하는 상호작용적인 속성을 지닌다. 이러한 상호작용의 풍부함은 ALFRED를 수동적인 시각 인식 데이터셋과 구별짓는데, 이는 성공적인 태스크 실행이 환경과의 의미 있는 물리적 상호작용을 필요로 하기 때문이다.
언어 지시는 모든 태스크의 출발점을 이룬다. 기호적인 목표 명세나 사전에 정의된 행동 시퀀스를 받는 대신, 에이전트는 원하는 결과를 기술하는 자연어 지침을 받는다. 이러한 지시들은 복잡성이 다양하며, 인간이 상식을 통해 자연스럽게 추론하는 절차적 세부사항을 종종 생략한다. 예를 들어, "깨끗한 머그컵을 조리대 위에 놓아줘"라는 지시는 더러운 머그컵을 찾고, 싱크대를 찾고, 그것을 씻고, 말리고, 조리대로 운반하는 것을 명시적으로 언급하지 않는다. 따라서 이 벤치마크는 체화 에이전트가 물리적 환경 관측치에 기반을 유지하면서도 누락된 절차적 지식을 재구성할 수 있는지를 평가한다.
태스크의 다양성(diversity)은 ALFRED의 또 다른 중요한 특징을 이룬다. 동일한 조작 시퀀스를 반복하는 대신, 이 벤치마크는 내비게이션, 물체 회수, 배치, 청소, 데우기, 식히기, 자르기, 보관, 정리, 가전제품 상호작용을 수반하는 수많은 범주의 가사 활동을 포함한다. 개별 태스크들은 물체의 범주, 환경적 배치, 상호작용 시퀀스, 언어적 표현에 있어 서로 다르다. 이러한 다양성은 시스템이 단순히 고정된 절차를 암기하는 것을 방지하고, 대신 환경, 물체, 지시의 새로운 조합에 걸친 진정한 일반화를 장려한다.
장기적 추론(long-horizon reasoning)은 ALFRED의 핵심적인 과제 중 하나를 나타낸다. 많은 벤치마크 태스크는 완료되기 전에 수십 개의 순차적인 행동을 필요로 한다. 중간의 결정들은 이후의 기회에 영향을 미치며, 실수는 실행 전반에 걸쳐 전파된다. 이전에 열었던 캐비닛을 잊거나, 물체를 남겨두거나, 가전제품을 닫지 못하는 것은 결국 성공적인 태스크 완수를 방해할 수 있다. 따라서 이 벤치마크는 고립된 행동 선택이 아니라 많은 상호작용 단계에 걸쳐 확장되는 지속적인 목표 지향적 행동을 평가한다.
따라서 기억(memory)은 필수불가결한 요소가 된다. 에이전트는 이전에 방문한 위치, 물체의 정체성, 완료된 하위 태스크, 환경 변화, 중간 목표를 기억해야 한다. 작업 기억은 현재의 실행 맥락을 유지하는 한편, 일화적 기억은 태스크 전반에 걸친 상호작용 기록을 기록한다. 의미론적 기억은 가정용 물체와 절차에 관한 상식적 지식을 제공한다. 효과적인 기억 메커니즘이 없다면, 이후의 결정이 이전의 관측치를 필요로 할 때 그것을 사용할 수 없게 되기 때문에 장기 태스크 실행은 저하된다.
ALFRED 내에서의 내비게이션은 기하학적 움직임을 넘어 확장된다. 로봇은 명시적인 좌표가 아니라 자연어를 통해 기술된 의미론적으로 의미 있는 위치를 식별해야 한다. "냉장고로 가", "전자레인지를 찾아줘", "싱크대를 찾아줘"와 같은 지시는 언어 이해를 시각적 인지 및 의미론적 지도 작성과 통합할 것을 필요로 한다. 따라서 내비게이션은 독립적인 하위 시스템으로 작동하는 것이 아니라 환경적 이해와 긴밀하게 결합된다.
조작(manipulation)도 마찬가지로 파지보다 훨씬 더 많은 것을 수반한다. 이 벤치마크는 캐비닛 열기, 문 닫기, 물체를 용기에 넣기, 숨겨진 물건 회수하기, 가전제품 작동시키기, 물체 씻기, 음식 데우기, 음료 식히기, 재료 자르기, 가정 공간 정리하기를 필요로 한다. 성공적인 실행은 인지, 모션 계획, 파지 생성, 힘 제어, 물체 상태 추정, 환경적 추론 사이의 조율된 상호작용을 필요로 한다. 모든 조작 행동은 환경을 변화시키기 때문에, 로봇의 내부 세계 표현에 대한 지속적인 갱신이 필요하다.
물체 상태 추적(object state tracking)은 또 다른 중요한 과제를 도입한다. 가정용 물체들은 태스크 실행 과정에서 자주 상태를 바꾼다. 전자레인지는 닫힌 상태에서 열린 상태로 바뀐다. 음식은 데워진다. 냉장고는 보관된 물체를 식힌다. 용기는 채워지거나 비워진다. 문은 접근성이 바뀐다. 따라서 이 벤치마크는 에이전트가 긴 태스크 시퀀스 전반에 걸쳐 동적인 환경 상태를 기술하는 정확한 내부 모델을 유지하는지를 평가한다. 상태 추적은, 이후의 결정이 현재의 시각적 관측치만이 아니라 이전의 상호작용에 자주 의존하기 때문에 필수적이다.
부분적인 관측 가능성(partial observability)은 태스크의 난이도를 더욱 높인다. 로봇은 전체 환경을 동시에 관찰할 수 없다. 캐비닛 안에 숨겨진 물체는 문이 열릴 때까지 보이지 않은 채로 남아 있다. 용기는 그 내용물을 가린다. 가림(occlusion)은 멀리 있는 영역에 대한 직접적인 인지를 방해한다. 따라서 에이전트는 보이지 않는 영역에 관한 가설을 유지하면서도 자신의 환경을 능동적으로 탐색해야 한다. 따라서 탐색은 독립적인 지도 작성 활동으로 기능하는 것이 아니라 태스크 실행과 통합된다.
이 벤치마크는 또한 그라운딩된 언어 이해(grounded language understanding)를 강조한다. 자연어 설명은 색상, 크기, 재질, 기능, 위치, 관계적 속성을 포함한 물체의 속성을 참조한다. "커피 머신 옆에 있는 머그컵"이나 "냉장고 안의 사과"와 같은 표현은 언어적 추론을 시각적 그라운딩과 결합할 것을 필요로 한다. 시각-언어 모델은 텍스트 설명을 시각적 관측치와 연결하는 공유된 표현을 학습함으로써 성능을 상당히 향상시켰으며, 이를 통해 다양한 환경 조건 하에서 더 견고한 물체 식별이 가능해졌다.
계획 수립(planning)은 태스크들이 종종 암묵적인 의존성을 포함하기 때문에 핵심적인 역할을 한다. 로봇은 닫힌 서랍을 먼저 열지 않고는 그 안에 물체를 놓을 수 없다. 음식은 전자레인지를 먼저 찾지 않고는 데울 수 없다. 캐비닛 안에 숨겨진 물체는 회수 이전에 탐색을 필요로 한다. 이러한 의존성들은 반응적인 행동을 넘어 확장되는 계층적 추론을 필요로 한다. 현대의 접근법은 이러한 절차적 제약을 만족하는 일관된 장기 전략을 생성하기 위해 기호적 계획 수립, 대규모 언어 모델, 세계 모델, 강화학습을 점점 더 많이 결합하고 있다.
대규모 언어 모델은 ALFRED에 관한 연구에 상당한 영향을 미쳤다. 초기의 접근법은 주로 시연 궤적으로부터 직접 학습된 지도학습 기반 모방 학습에 의존했다. 제한된 분포 내에서는 효과적이지만, 이러한 방법들은 절차적 추론을 필요로 하는 새로운 태스크 조합에 종종 어려움을 겪었다. 파운데이션 언어 모델은 가사 활동에 관한 광범위한 상식적 지식에 기여하여, 에이전트가 명시적인 감독에는 없는 중간 행동을 추론할 수 있게 한다. SayCan, 정책으로서의 코드(Code as Policies), 이너 모놀로그(Inner Monologue)와 같은 시스템들은 언어적 추론을 체화된 실행과 통합함으로써 ALFRED 스타일의 태스크로 자연스럽게 확장된다.
ALFRED 태스크가 지속적인 재계획을 자주 필요로 하기 때문에 이너 모놀로그 아키텍처는 특히 유용한 것으로 입증된다. 실행 과정에서, 예상치 못한 관측치는 이전의 가정을 무효화한다. 요청받은 물체가 이미 옮겨졌거나, 예상된 용기를 사용할 수 없거나, 내비게이션 경로가 막힐 수 있다. 정적인 계획을 맹목적으로 따르는 대신, 추론 루프는 현재의 관측치에 따라 태스크에 대한 이해를 지속적으로 갱신한다. 이러한 적응형 추론은 장기적인 체화 상호작용 과정에서 견고성을 상당히 향상시킨다.
정책으로서의 코드는 마찬가지로 여러 벤치마크 과제를 해결한다. 사전에 정의된 행동 시퀀스를 선택하는 대신, 언어 모델은 인지, 내비게이션, 조작 API를 사용해 실행 가능한 절차를 동적으로 생성한다. 절차적 생성은 긴 가사 태스크에 필요한 반복문, 조건문, 재시도, 복구 전략을 자연스럽게 처리한다. 따라서 코드 생성은 다양한 ALFRED 시나리오를 해결할 때 고정된 행동 라이브러리보다 더 큰 유연성을 제공한다.
실패 복구(failure recovery)는 또 다른 주요한 평가 차원으로 남아 있다. 많은 벤치마크 태스크가 확장된 행동 시퀀스를 수반하기 때문에, 때때로 발생하는 실패는 불가피해진다. 성공적인 에이전트는 그에 따라 재계획하기 전에 성공적이지 못한 파지, 막힌 내비게이션 경로, 부정확한 물체 식별, 또는 성공적이지 못한 가전제품 상호작용을 감지한다. 실제 가정 환경이 예상대로 정확하게 진행되는 경우가 드물기 때문에, 복구 행동은 견고한 체화 지능을 취약한 자동화와 구별짓는다.
세계 모델(world model)은 벤치마크 성능에 대해 점점 더 강력한 지원을 제공하고 있다. 현재의 관측치에만 반응하는 대신, 세계 모델은 환경적 역학, 물체 간의 관계, 공간적 배치, 후보 행동의 미래 결과를 기술하는 예측적 표현을 유지한다. 이러한 예측은 여러 대체 전략들이 그럴듯해 보일 때마다 특히 유용해지는, 더 효율적인 탐색, 능동적인 계획 수립, 그리고 줄어든 시행착오 실행을 가능하게 한다.
강화학습은 확장된 범위에 걸친 순차적 의사결정을 최적화함으로써 또 다른 관점을 제공한다. ALFRED의 특징인 희소한 보상 구조는 계층적 강화학습, 커리큘럼 학습, 보조적 목표, 자기지도 표현 학습을 필요로 한다. 시뮬레이션 환경은 물리적으로 수집하는 것이 불가능한 수백만 번의 학습 상호작용을 가능하게 하며, 도메인 무작위화는 다양한 가정 배치와 물체 구성에 걸친 정책의 일반화를 향상시킨다.
모방 학습은 벤치마크 데이터셋이 성공적인 태스크 실행을 보여주는 전문가의 시연을 포함하기 때문에 여전히 큰 영향력을 지니고 있다. 에이전트는 추가적인 최적화를 통해 정책을 정제하기 전에 인간이 생성한 궤적으로부터 직접 절차적 행동을 학습한다. 최근의 접근법은 어떤 개별적인 학습 패러다임에만 배타적으로 의존하는 대신 상호 보완적인 강점을 활용하기 위해 모방 학습을 파운데이션 모델, 강화학습, 언어적 추론과 점점 더 많이 결합하고 있다.
ALFRED가 주로 시뮬레이션된 환경 내에서 작동하지만, 그 개념적 중요성은 시뮬레이션을 훨씬 넘어 확장된다. 이 벤치마크는 실제 가정용 서비스 로봇, 병원 어시스턴트, 창고 시스템, 협력적인 이동 매니퓰레이터가 마주하는 많은 과제들을 포착한다. 장기 계획 수립, 의미론적 그라운딩, 멀티모달 인지, 지속적인 기억, 적응형 추론, 실패 복구, 통합된 조작은 모두 실용적인 배치에 있어 필수적으로 남아 있다. 따라서 ALFRED를 사용해 개발된 연구는 시뮬레이션된 환경과 물리적 환경 사이의 차이에도 불구하고 종종 개념적으로 더 넓은 Physical AI 응용 분야로 전이된다.
ALFRED 내의 평가 지표는 단순한 행동 정확도를 넘어 확장된다. 태스크 성공률은 중간 행동이 시연 궤적과 정확히 일치하는지가 아니라 전체적인 목표가 달성되었는지를 측정한다. 목표 조건 성공은 최종 환경 상태가 요청된 목표를 충족시키는지를 평가한다. 경로 효율성은 불필요한 탐색이나 중복된 움직임을 측정한다. 추가적인 지표들은 하위 목표 완수, 실행 길이, 상호작용 효율성, 절차적 정확성을 고려한다. 이러한 포괄적인 평가는 고립된 알고리즘적 성능이 아니라 체화 지능의 통합적인 성격을 반영한다.
이 벤치마크는 또한 일반화(generalization)의 중요성을 강조한다. 학습 환경과 평가 환경은 특정한 배치나 궤적을 암기하는 것을 방지하기 위해 의도적으로 다르게 설정된다. 성공적인 에이전트는 낯선 방, 새로운 물체 배치, 이전에 본 적 없는 언어 지시에 걸쳐 학습된 추론 전략을 전이시켜야 한다. 실용적인 로봇이 가능한 모든 배치 환경에 대한 철저한 사전 노출에 의존할 수 없기 때문에, 일반화는 Physical AI의 핵심적인 목표 중 하나로 남아 있다.
클라우드 로보틱스와 함대 학습은 ALFRED가 소개한 개념들을 더욱 확장시킨다. 다양한 가정이나 시설 내에서 작동하는 여러 로봇들이 수집한 경험들은, 지속적으로 향상되는 인지 모델, 계획 수립 전략, 의미론적 표현, 복구 정책에 기여한다. 집단 학습은 고립된 벤치마크 성능을 대규모 배치 전반에 적용 가능한 지속적인 운영 지능으로 전환시킨다. 미래의 벤치마킹은 개별 로봇의 성능뿐만 아니라 로봇 함대가 시간이 지남에 따라 체화된 지식을 축적하고 공유하는 능력도 평가할 가능성이 높다.
최근의 발전은 멀티모달 파운데이션 모델, 시각-언어-행동(Vision-Language-Action) 아키텍처, 세계 모델, 검색 증강 추론, 평생 학습, 클라우드 로보틱스를 ALFRED와 유사한 태스크를 사용해 평가되는 시스템에 점점 더 많이 통합하고 있다. 내비게이션, 조작, 인지, 계획 수립을 개별적으로 해결하는 대신, 현대의 체화 AI 시스템은 완전한 엔드투엔드 태스크 실행을 지원하는 통합된 표현을 추구한다. 이러한 경향은, 지능이 모든 인지적 및 물리적 하위 시스템들 간의 조율된 상호작용을 통해 발현되는 Physical AI의 더 넓은 비전과 밀접하게 정렬된다.
BEHAVIOR, Habitat, CALVIN, LIBERO, Open X-Embodiment, RoboCasa와 같은 새로운 체화 AI 벤치마크들이 평가 능력을 계속 확장시키고 있지만, ALFRED는 언어 안내형, 장기적, 체화된 가정 지능을 강조하는 최초의 포괄적인 프레임워크 중 하나를 확립했다는 점에서 역사적으로 중요한 위치를 유지하고 있다. 통합된 인지, 의미론적 그라운딩, 장기 기억, 계층적 계획 수립, 적응형 추론, 다단계 태스크 완수를 포함하여 이제는 근본적인 것으로 여겨지는 많은 아이디어들이 ALFRED로부터 동기를 얻은 연구를 통해 폭넓은 주목을 받았다.
따라서 ALFRED를 통한 Physical AI 응용 벤치마킹은 로봇의 태스크 성능을 평가하는 것보다 훨씬 더 많은 것을 나타낸다. 이는 체화된 지능형 시스템이 인간의 언어를 이해하고, 동적인 환경을 인지하며, 긴 시간 범위에 걸쳐 추론하고, 내비게이션과 조작을 조율하며, 실패로부터 복구하고, 일관된 내부 표현을 유지하며, 궁극적으로 자연어 지시를 성공적인 실제 세계의 태스크 완수로 전환할 수 있는지를 측정하는 포괄적인 프레임워크를 제공한다. 평가를 고립된 기술적 구성 요소로부터 통합된 체화 지능으로 전환함으로써, ALFRED는 현대의 Physical AI 연구가 계속 발전해 나가는 개념적 기반 중 하나를 확립하는 데 기여했으며, 이는 단순히 행동을 실행하는 것이 아니라 복잡한 물리적 환경 내에서 의미 있는 인간 중심의 목표를 달성하도록 설계된 점점 더 유능한 자율 시스템의 발전을 이끌고 있다.
저자: Richard Minsoo Go
LinkedIn: Richard Minsoo Go











Top comments (0)