STATERA Library · Series 08 · Volume 19 · Chapter 10 · KR
Source: https://github.com/Statera-Library/08_Vol_19_Robot_Learning_and_AI/blob/main/19_10_Edge_AI_Inference_Optimization/19_10_Edge_AI_Inference_Optimization_KR.md
Volume 19 Robot Machine Learning and AI
10. Edge AI Inference Optimization
10.01 Edge AI Inference Requirements Latency Memory Power
엣지 AI(Edge AI)는 지능형 로봇이 엄격한 실시간 제약 하에서 물리적 세계 내에서 직접 결정을 내려야 하기 때문에 Physical AI를 가능하게 하는 핵심적인 기술 중 하나가 되었다. 클라우드 컴퓨팅이 대규모 모델 학습, 시뮬레이션, 디지털 트윈, 함대 학습을 위한 방대한 계산 자원을 제공하는 반면, 많은 로봇의 의사결정은 원격 서버에 의존할 수 없다. 보행자 사이를 내비게이션하는 이동 로봇, 충돌을 회피하는 자율주행 차량, 깨지기 쉬운 물체를 파지하는 로봇 매니퓰레이터, 또는 외과의를 돕는 의료용 로봇은 밀리초 단위로 반응해야 한다. 네트워크 통신, 클라우드 처리, 또는 신뢰할 수 없는 연결로 인한 지연은 성능 저하나 심지어 안전하지 않은 행동으로 이어질 수 있다. 따라서 학습된 AI 모델을 실행하는 과정인 추론(inference)은 로봇 위에 또는 그 근처에 위치한 엣지 컴퓨팅 디바이스에서 점점 더 많이 이루어져야 한다. 따라서 엣지 AI는 Physical AI 시스템이 실시간으로 자율적으로 인지하고, 추론하며, 행동할 수 있게 하는 운영상의 기반을 나타낸다.
AI 학습과 AI 추론 사이의 구분은 근본적이다. 학습은 수백만 또는 수십억 개의 모델 파라미터가 방대한 데이터셋에 대한 반복적인 노출을 통해 최적화되기 때문에 엄청난 계산 자원을 필요로 한다. 이 과정은 일반적으로 강력한 GPU 클러스터나 전문화된 AI 가속기를 갖춘 클라우드 데이터 센터에서 이루어진다. 반면, 추론은 예측이나 결정을 생성하기 위해 학습된 모델을 새로운 관측치에 적용하는 것이다. 추론은 학습보다 훨씬 적은 계산을 필요로 하지만, 응답 시간, 메모리 사용량, 신뢰성, 에너지 소비, 하드웨어 효율성에 관한 엄격한 요구사항을 충족해야 한다. 동적인 환경에서 지속적으로 작동하는 자율 로봇의 경우, 추론 성능이 운영상의 능력을 직접적으로 결정한다.
클라우드 서버와 달리, 엣지 컴퓨팅 디바이스는 상당한 하드웨어 제약 하에서 작동한다. 임베디드 프로세서는 제한된 계산 처리량, 메모리 용량, 열 방출, 전력, 물리적 부피, 경제적 비용을 제공한다. 추가되는 모든 와트는 배터리 소비를 늘린다. 추가되는 모든 기가바이트의 메모리는 하드웨어의 복잡성과 비용을 늘린다. 처리 지연의 모든 밀리초는 반응성을 줄인다. 따라서 성공적인 엣지 AI는 단순히 예측 성능을 최대화하는 것이 아니라, 계산 정확도를 실용적인 배치 제약과 신중하게 균형을 맞출 것을 필요로 한다.
지연시간(latency)은 엣지 추론에 있어 가장 중요한 설계 요구사항 중 하나를 나타낸다. 지연시간은 입력을 받는 것과 사용 가능한 출력을 만들어내는 것 사이에 경과된 시간을 지칭한다. 로보틱스에서 지연시간은 인지가 행동에 얼마나 빠르게 영향을 미치는지를 결정한다. 로봇이 다가오는 장애물을 관측했지만 내비게이션 결정을 생성하는 데 수백 밀리초가 필요하다면, 반응이 사용 가능해지기 전에 장애물이 이미 상당히 이동했을 수 있다. 마찬가지로, 움직이는 물체를 파지하려는 로봇 매니퓰레이터는 실행 도중 물체의 위치가 지속적으로 변하기 때문에 극도로 낮은 지연시간을 필요로 한다. 따라서 실시간 반응성은 추론 지연을 최소화하는 것에 직접적으로 달려 있다.
허용 가능한 지연시간은 응용 분야에 따라 달라진다. 고속 자율주행 차량은 속도에 따라 이동 거리가 빠르게 증가하기 때문에 수십 밀리초 이내의 인지 및 계획 갱신을 필요로 한다. 고속으로 작동하는 산업용 로봇 매니퓰레이터도 마찬가지로 정밀도와 안전성을 유지하기 위해 신속한 피드백을 필요로 한다. 더 천천히 움직이는 창고 로봇은 부드러운 장애물 회피를 계속 필요로 하면서도 다소 더 큰 지연을 견딜 수 있다. 섬세한 시술을 수행하는 의료용 로봇은 예측 가능한 타이밍이 안전한 인간과의 상호작용에 필수적이기 때문에 순수한 계산 처리량보다 결정론적인 지연시간을 종종 우선시한다. 따라서 모든 Physical AI 응용 분야는 자신의 특정한 운영상의 역학에 따라 지연시간 요구사항을 정의한다.
지연시간은 모델 실행만이 아니라 여러 기여 요인들로부터 발생한다. 센서 획득(sensor acquisition)은 카메라, LiDAR 시스템, 레이더, 마이크로폰, 관성 센서가 관측치를 포착하는 동안 초기 지연을 도입한다. 데이터 전처리는 이미지 크기 조정, 정규화, 포인트 클라우드 필터링, 동기화, 좌표 변환, 센서 융합을 수행한다. 신경망 추론은 최적화된 하드웨어 가속기를 사용해 예측을 계산한다. 후처리는 출력을 해석하고, 비최대 억제(non-maximum suppression)를 수행하며, 물체의 자세를 추정하고, 궤적을 구성하거나, 제어 명령을 생성한다. 처리 모듈들 사이의 통신은 추가적인 오버헤드를 도입한다. 마지막으로, 액추에이터 컨트롤러는 디지털 결정을 물리적 움직임으로 변환한다. 따라서 엔드투엔드 지연시간은 완전한 인지-행동 파이프라인 전반에 걸친 누적된 지연을 나타낸다.
결정론적 지연시간(deterministic latency)은 종종 평균 지연시간보다 더 중요한 것으로 입증된다. 클라우드 컴퓨팅 시스템은 종종 많은 사용자들 사이에서 계산 자원을 공유함으로써 평균 처리량을 최적화한다. 반면, 물리적 로봇은 컨트롤러가 일관된 피드백 간격에 의존하기 때문에 예측 가능한 응답 시간을 필요로 한다. 일반적으로 20밀리초 이내에 응답하지만 때때로 100밀리초가 필요한 인지 시스템은, 뛰어난 평균 성능을 보이더라도 폐쇄 루프 제어를 불안정하게 만들 수 있다. 따라서 실시간 운영체제, 전용 하드웨어 가속기, 결정론적 스케줄링, 우선순위 기반 실행은 엣지 추론 아키텍처의 필수적인 구성 요소가 된다.
메모리는 엣지 AI 배치를 형성하는 또 다른 주요한 제약을 이룬다. 현대의 파운데이션 모델은 종종 수십에서 수백 기가바이트의 메모리를 필요로 하는 수십억 개의 파라미터를 포함한다. 이러한 모델들은 클라우드 데이터 센터 내에서는 효율적으로 작동하지만 임베디드 로봇 하드웨어의 능력을 초과한다. 엣지 디바이스는 종종 인지, 계획, 지도 작성, 위치 추정, 운영체제, 통신 스택, 애플리케이션 소프트웨어가 공유하는 단 몇 기가바이트 또는 수십 기가바이트의 메모리만을 제공한다. 따라서 효율적인 메모리 활용은 실용적인 배치를 위해 핵심적이게 된다.
메모리 소비는 여러 수준에서 동시에 발생한다. 모델 파라미터는 추론 도중 지속적인 저장 공간을 차지한다. 중간 활성화 텐서는 순방향 계산 과정에서 추가적인 메모리를 소비한다. 이미지, 포인트 클라우드, 오디오 스트림, 센서 기록을 포함한 입력 데이터는 처리 이전에 버퍼링을 필요로 한다. 운영체제, 미들웨어, 지도 작성 시스템, 위치 추정 알고리즘, 통신 모듈, 애플리케이션 소프트웨어는 모두 제한된 메모리 자원을 두고 경쟁한다. 따라서 적절한 AI 모델을 선택하는 것은 신경망의 크기만이 아니라 전체 시스템의 메모리를 평가하는 것을 수반한다.
모델의 크기는 배치 가능성에 상당한 영향을 미친다. 대형 트랜스포머 아키텍처는 종종 뛰어난 예측 성능을 달성하지만 압축된 합성곱 신경망이나 경량화된 트랜스포머 변형보다 상당히 더 많은 메모리를 필요로 한다. 따라서 Physical AI 시스템은 특별히 임베디드 배치를 위해 설계된 파라미터 효율적인 아키텍처를 점점 더 많이 사용하고 있다. EfficientNet, MobileNet, MobileViT, TinyViT, 압축된 비전 트랜스포머, 경량화된 확산 모델, 최적화된 멀티모달 인코더는 예측 정확도를 엣지 컴퓨팅에 적합한 실용적인 메모리 제약과 균형을 맞춘다.
메모리 대역폭(memory bandwidth)은 또 다른, 종종 간과되는 고려사항을 나타낸다. 고성능 프로세서는 초당 수십억 개의 산술 연산을 수행할 수 있지만 메모리와 계산 유닛 사이에서 데이터가 이동하는 속도에 의해 제약을 받을 수 있다. 따라서 현대의 AI 가속기는 불필요한 데이터 이동을 줄이는 고대역폭 메모리, 온칩 캐시, 텐서 코어, 최적화된 메모리 계층 구조를 통합한다. 효율적인 메모리 접근은 종종 계산 처리량을 늘리는 것보다 추론 속도에 더 많이 기여한다.
모델 압축 기법은 엣지 AI 배치에 있어 필수불가결해졌다. 양자화(quantization)는 허용 가능한 예측 정확도를 유지하면서도 32비트 부동소수점 표현으로부터 16비트, 8비트, 4비트, 또는 심지어 이진 표현으로 수치적 정밀도를 줄인다. 낮은 수치적 정밀도는 메모리 소비와 계산 복잡성을 모두 줄여, 더 큰 모델이 임베디드 하드웨어에서 효율적으로 실행될 수 있게 한다. 혼합 정밀도 추론(mixed-precision inference)은 레이어의 민감도에 따라 적절한 수치적 형식을 동적으로 선택하여, 효율성과 정확도의 균형을 맞춘다.
가지치기(pruning)는 또 다른 널리 채택된 최적화 전략을 제공한다. 학습 과정에서, 신경망은 최종 예측에 거의 기여하지 않는 중복된 파라미터를 자주 만들어낸다. 구조적 가지치기(structured pruning)는 전체 채널, 레이어, 어텐션 헤드, 또는 뉴런을 제거하는 반면, 비구조적 가지치기(unstructured pruning)는 중요성이 최소한인 개별 가중치를 제거한다. 그 결과로 만들어진 희소 네트워크는 유사한 예측 성능을 유지하면서도 더 적은 계산과 줄어든 메모리를 필요로 한다. 전문화된 하드웨어는 추론을 상당히 가속화하기 위해 구조적 희소성을 점점 더 많이 활용하고 있다.
지식 증류(knowledge distillation)는 큰 교사 모델로부터 작은 학생 모델로 지식을 전이함으로써 대안적인 접근법을 제공한다. 학생 모델은 극적으로 더 적은 파라미터를 포함하면서도 교사의 예측을 재현하는 법을 학습한다. 증류된 모델은 상당히 더 적은 메모리와 계산 능력을 필요로 하면서도 종종 원래의 예측 능력의 상당 부분을 유지한다. 엣지 배치의 경우, 증류는 극도로 큰 파운데이션 모델을 직접 실행하려고 시도하는 것보다 더 실용적인 이점을 종종 제공한다.
전력 소비(power consumption)는 엣지 AI를 규율하는 세 번째 주요한 요구사항을 이룬다. 이동 로봇, 드론, 자율주행 차량, 웨어러블 디바이스, 서비스 로봇, 농업용 플랫폼, 산업용 점검 시스템은 종종 배터리 작동에 의존한다. AI 추론에 의해 소비되는 모든 와트는 운영상의 지속시간을 줄인다. 과도한 전력 소비는 추가적으로 열 출력을 늘려, 크기, 무게, 에너지 사용량을 더욱 늘리는 더 큰 냉각 시스템을 필요로 한다. 따라서 전력 효율적인 추론은 배치 실용성을 향상시키면서도 임무의 지속시간을 직접적으로 연장시킨다.
계산 성능과 전력 사이의 관계는 Physical AI 내의 핵심적인 공학적 절충 중 하나를 보여준다. 고성능 데스크탑 GPU는 뛰어난 추론 능력을 제공하면서도 수백 와트를 소비할 수 있다. 임베디드 AI 가속기는 줄어든 계산 처리량을 제공하면서도 단 수십 와트, 또는 한 자리수의 와트만을 소비한다. 따라서 설계자는 응용 분야의 요구사항에 따라 예측 정확도, 응답 속도, 배터리 수명, 물리적 크기, 하드웨어 비용의 균형을 맞춰야 한다. 12시간 동안 지속적으로 작동하는 창고 로봇은 상당히 더 큰 온보드 전력 용량을 지닌 자율주행 차량과 다르게 에너지 효율성을 우선시한다.
열 관리(thermal management)는 전력 소비와 밀접하게 관련된다. 전력은 주로 열로 방출되며, 과도한 온도는 하드웨어의 신뢰성, 계산의 안정성, 부품의 수명을 감소시킨다. 따라서 엣지 컴퓨팅 플랫폼은 허용 가능한 작동 온도를 유지하기 위해 수동 냉각, 히트 파이프, 베이퍼 챔버, 팬, 액체 냉각, 열 스로틀링(thermal throttling), 지능형 작업 부하 스케줄링을 통합한다. 열적 제약은 하드웨어 제조사가 발표하는 최고 계산 사양보다 지속적인 추론 성능을 더 강하게 제한하는 경우가 많다.
일반 목적 프로세서만으로는 점점 더 까다로워지는 추론 요구사항을 충족할 수 없기 때문에 하드웨어 가속(hardware acceleration)은 엣지 AI의 핵심이 되었다. 현대의 임베디드 플랫폼은 신경망 실행에 특별히 최적화된 그래픽 처리 장치(GPU), 텐서 처리 장치(TPU), 신경망 처리 장치(NPU), 필드 프로그래머블 게이트 어레이(FPGA), 디지털 신호 처리기(DSP), 전용 AI 가속기를 통합한다. 이러한 전문화된 프로세서들은 상당히 적은 전력을 소비하면서도 텐서 연산, 합성곱, 어텐션 메커니즘, 행렬 곱셈, 활성화 함수를 일반적인 CPU보다 훨씬 더 효율적으로 수행한다.
이질적인 컴퓨팅 아키텍처는 계산적 특성에 따라 여러 전문화된 프로세서들에 걸쳐 작업 부하를 분산시킨다. CPU는 제어 논리, 미들웨어, 통신, 순차적 연산을 관리한다. GPU는 대규모 병렬 신경망 추론을 가속화한다. NPU는 낮은 전력으로 양자화된 신경망을 효율적으로 실행한다. DSP는 오디오, 레이더, 또는 신호 처리 작업 부하를 처리한다. FPGA는 지연시간에 민감한 응용 분야를 위한 결정론적인 맞춤형 파이프라인을 구현한다. 이질적인 하드웨어에 걸친 효과적인 작업 부하 스케줄링은 어떤 단일한 프로세서 유형에만 의존하는 것에 비해 전체 시스템 효율성을 상당히 향상시킨다.
엣지 AI 소프트웨어 프레임워크도 동등하게 중요한 역할을 한다. TensorRT, ONNX Runtime, TensorFlow Lite, OpenVINO, TVM, Core ML, Qualcomm AI Engine, 그리고 그 밖의 최적화 프레임워크들은 학습된 신경망을 하드웨어별 실행 그래프로 자동으로 변환한다. 이러한 프레임워크들은 목표 하드웨어에 맞춰진 그래프 최적화, 연산자 결합, 메모리 재사용, 커널 선택, 레이어 스케줄링, 정밀도 최적화를 수행한다. 소프트웨어 최적화는 기저의 신경망 아키텍처를 수정하지 않고도 종종 상당한 추론 향상을 만들어낸다.
모델 분할(model partitioning)은 엣지와 클라우드 계산의 균형을 맞추는 또 다른 전략을 제공한다. 지연시간에 민감한 인지, 장애물 회피, 위치 추정, 저수준의 계획 수립은 임베디드 하드웨어에서 로컬로 실행된다. 장기적인 추론, 대규모 언어 모델 추론, 디지털 트윈 동기화, 함대 학습, 대규모 최적화를 포함한 계산 집약적인 태스크는 네트워크 조건이 허락할 때마다 클라우드 인프라 내에서 실행된다. 따라서 하이브리드 아키텍처는 통신 중단 시 우아한 성능 저하를 유지하면서도 엣지의 반응성을 클라우드의 지능과 결합한다.
통신 지연시간은 이러한 분할 결정에 상당한 영향을 미친다. 클라우드 서버와의 왕복 통신은 네트워크 품질에 따라 수십 또는 수백 밀리초를 필요로 할 수 있다. 이러한 지연은 충돌 회피, 힘 제어, 시각적 서보잉(visual servoing), 또는 고속 조작에는 용납될 수 없는 채로 남아 있다. 따라서 이러한 기능들은 완전히 로컬에 남아 있다. 임무 계획 수립, 의미론적 검색, 보고서 생성, 함대 분석과 같은 시간에 덜 민감한 추론은 더 큰 통신 지연시간을 견딜 수 있으며, 따라서 임베디드 하드웨어에서는 사용할 수 없는 클라우드 자원으로부터 이득을 얻는다.
메모리 관리는 멀티모달 Physical AI 시스템에 있어 점점 더 중요해지고 있다. 현대의 로봇은 이미지, 포인트 클라우드, 레이더 신호, 관성 측정치, 촉각 정보, 오디오 스트림, 언어 지시, 지도, 과거의 기억을 동시에 처리한다. 효율적인 버퍼링, 스트리밍, 압축, 비동기적 실행, 공유 메모리 아키텍처는 실시간 멀티모달 융합을 지원하면서도 불필요한 중복을 줄여준다. 제로카피(zero-copy) 통신과 직접 메모리 접근(direct memory access)은 소프트웨어 구성 요소들 사이의 반복적인 데이터 이동을 피함으로써 오버헤드를 더욱 최소화한다.
스케줄링 전략은 여러 AI 모델들이 제한된 계산 자원을 어떻게 공유하는지를 결정한다. 로봇은 물체 감지, 의미론적 분할, 시각적 위치 추정, 장애물 추적, 인간 자세 추정, 언어 이해, 조작 계획 수립, 이상 감지를 동시에 실행할 수 있다. 계산 수요가 즉각적인 하드웨어 능력을 자주 초과하기 때문에, 지능형 스케줄링은 덜 긴급한 처리를 지연시키면서도 안전이 중요한 작업 부하를 우선시한다. 동적 자원 할당은 임무의 맥락, 배터리 상태, 환경적 복잡성, 사용 가능한 하드웨어 용량에 따라 실행을 적응시킨다.
신뢰성(reliability)은 엣지 추론을 논할 때 종종 간과되는 또 다른 필수적인 요구사항을 나타낸다. 자율 로봇은 진동, 온도 변화, 전자기 간섭, 먼지, 습기, 하드웨어 노화를 특징으로 하는 까다로운 환경 내에서 지속적으로 작동한다. 따라서 엣지 AI 플랫폼은 결함 허용(fault tolerance), 감시(watchdog) 메커니즘, 중복 계산, 메모리 보호, 보안 부팅, 오류 정정, 상태 모니터링, 우아한 성능 저하 전략을 필요로 한다. 불리한 조건 하에서의 신뢰할 수 있는 운영은 종종 벤치마크 추론 속도를 최대화하는 것보다 더 가치 있는 것으로 입증된다.
임베디드 AI 시스템이 물리적 환경에 직접적으로 영향을 미치기 때문에 보안(security) 역시 점점 더 중요해지고 있다. 추론 파이프라인을 표적으로 하는 공격자는 센서 입력을 조작하고, 배치된 모델을 수정하며, 적대적 관측치를 주입하고, 소프트웨어 취약점을 악용하거나, 통신 채널을 손상시킬 수 있다. 안전한 모델 저장, 암호화된 추론, 신뢰할 수 있는 실행 환경, 인증, 펌웨어 검증, 이상 감지는 함께 운영상의 무결성을 보존하면서도 엣지 AI 인프라를 악의적인 간섭으로부터 보호한다.
엣지 AI의 평가는 예측 정확도를 넘어 확장된다. 연구자들은 추론 지연시간, 결정론적 타이밍, 메모리 소비, 계산 처리량, 에너지 효율성, 열적 행동, 배터리 지속시간, 시작 시간, 신뢰성, 확장성, 다양한 작업 부하 하에서의 견고성, 엔드투엔드 시스템 반응성을 측정한다. 따라서 벤치마킹은 고립된 신경망 성능이 아니라 완전한 배치 요구사항을 반영한다. 미미하게 더 높은 정확도를 달성하면서도 전력 소비를 두 배로 늘리거나 메모리 용량을 초과하는 알고리즘은 인상적인 실험실 결과에도 불구하고 실용적인 로보틱스에는 부적합할 수 있다.
응용 분야의 요구사항은 서로 다른 Physical AI 도메인에 걸쳐 상당히 다양하다. 자율 드론은 공중 운영이 제한된 배터리 용량에 의존하기 때문에 무게, 전력 효율성, 낮은 지연시간을 우선시한다. 자율주행 차량은 엄격한 안전 제약 하에서 결정론적인 인지와 계획 수립을 강조한다. 산업용 매니퓰레이터는 머신 비전과 통합된 정밀하고 낮은 지연시간의 제어를 필요로 한다. 의료용 로봇은 예측 가능한 타이밍, 신뢰성, 인증을 우선시한다. 창고 로봇은 계산 효율성을 확장된 운영상의 지속시간과 균형을 맞춘다. 따라서 엣지 AI 아키텍처는 공통의 기저 원리를 공유함에도 불구하고 매우 응용별로 특화된 채로 남아 있다.
엣지 AI의 미래는 압축된 파운데이션 모델, 효율적인 멀티모달 아키텍처, 적응형 모델 스케일링, 동적 정밀도 선택, 온디바이스 지속 학습, 협력적인 클라우드-엣지 지능, 전문화된 AI 가속기, 체화 지능을 위해 특별히 최적화된 이질적인 컴퓨팅 플랫폼을 점점 더 많이 수반하고 있다. 하나의 정적인 모델을 배치하는 대신, 미래의 시스템은 사용 가능한 자원, 환경적 난이도, 배터리 상태, 운영상의 우선순위에 따라 계산적 복잡성을 동적으로 조정할 것이다. 이러한 적응형 추론은 고립된 하드웨어 지표를 최적화하는 것이 아니라 전체적인 임무 성능을 최대화할 것이다.
따라서 엣지 AI 추론 요구사항은 신경망을 효율적으로 실행하는 것을 훨씬 넘어 확장된다. 이는 Physical AI가 실제 세계 내에서 안전하고, 신뢰성 있으며, 자율적으로 작동할 수 있는지를 결정하는 실용적인 제약을 정의한다. 지연시간은 동적인 환경과의 폐쇄 루프 상호작용을 지원하는 시기적절한 반응을 보장한다. 메모리는 정교한 인지, 추론, 계획 수립 모델이 임베디드 하드웨어의 한계 내에서 작동할 수 있는지를 결정한다. 전력 소비는 운영상의 지속시간, 열적 안정성, 물리적 크기, 배치 가능성을 규율한다. 지연시간, 메모리, 전력이라는 이 세 가지 요구사항이 함께, 고도화된 Physical AI 시스템이 인지가 행동이 되고 지능이 물리적 세계와 직접 상호작용하는 엣지에서 계산적 지능을 신뢰할 수 있는 실제 세계의 자율적 행동으로 전환시킬 수 있게 하는 공학적 기반을 형성한다.
10.02 Model Quantization INT8 INT4 Post Training [w/Code]
현대의 인공지능 모델이 크기와 능력 면에서 계속 성장함에 따라, 이를 엣지 디바이스에 효율적으로 배치하는 것은 Physical AI의 핵심적인 과제 중 하나가 되었다. 대형 비전 트랜스포머, 멀티모달 파운데이션 모델, 대규모 언어 모델, 확산 모델, 시각-언어-행동(Vision-Language-Action) 모델은 종종 수억 또는 수십억 개의 파라미터를 포함한다. 이러한 모델들은 강력한 GPU 클러스터를 갖춘 클라우드 데이터 센터에서 놀라운 성능을 보여주지만, 메모리, 계산, 지연시간, 전력 소비, 열 방출에 대한 엄격한 제약 하에서 작동하는 임베디드 로봇에게는 종종 비현실적이다. 이동 로봇, 자율주행 차량, 산업용 매니퓰레이터, 의료용 어시스턴트, 서비스 로봇은 클라우드 데이터 센터의 계산 자원을 단순히 지니고 다닐 수 없다. 따라서 효율적인 모델 압축 기법은 실용적인 배치를 위해 필수적이게 되었다. 이러한 기법들 중, 모델 양자화(model quantization)는 원래 모델의 예측 능력의 대부분을 유지하면서도 계산 요구사항을 상당히 줄여주기 때문에 가장 널리 채택되고 효과적인 접근법 중 하나로 떠올랐다.
양자화(quantization)는 신경망 파라미터와 중간 계산을 표현하는 데 사용되는 수치적 정밀도를 줄이는 과정을 지칭한다. 학습 과정에서 심층 신경망은 일반적으로 FP32라고 흔히 불리는 32비트 부동소수점 연산을 사용한다. 부동소수점 표현은 그래디언트 기반 학습 과정에서 뛰어난 수치적 정밀도와 안정적인 최적화를 제공한다. 그러나 추론이 반드시 이렇게 높은 정밀도를 필요로 하는 것은 아니다. 많은 신경망은 파라미터와 활성화가 상당히 더 적은 비트를 사용해 표현되더라도 여전히 매우 정확한 상태로 남아 있다. 양자화는 이러한 속성을 활용하여, 높은 정밀도의 수치적 표현을 16비트 부동소수점, 8비트 정수, 4비트 정수, 또는 전문화된 응용 분야를 위한 이진 값과 같은 더 낮은 정밀도의 대안으로 대체한다.
양자화의 근본적인 동기는 명확하다. 신경망 내에 저장된 모든 수치 값은 메모리를 소비하고, 계산 자원을 필요로 하며, 에너지 소비에 기여한다. 각 파라미터에 사용되는 비트의 수를 줄이는 것은 저장 요구량을 비례적으로 줄이는 동시에, 낮은 정밀도에 최적화된 하드웨어에서 더 빠른 산술 연산을 가능하게 한다. 현대의 파운데이션 모델이 수십억 개의 파라미터를 포함할 수 있기 때문에, 수치적 정밀도의 완만한 감소조차도 메모리 용량, 대역폭, 계산 처리량, 전력 소비 면에서 극적인 절감으로 이어진다.
양자화를 이해하기 위해서는 부동소수점 표현과 정수 표현 사이의 관계를 살펴보는 것이 유용하다. 부동소수점 숫자는 부호, 지수, 가수 필드를 분리하여 값을 인코딩하며, 이를 통해 높은 수치적 정밀도로 매우 넓은 동적 범위를 표현할 수 있다. 정수 표현은 그 대신 사용 가능한 모든 비트를 이산적인 수치 값을 표현하는 데 직접 할당한다. 정수는 임의의 소수 값을 직접 표현할 수 없지만, 신중하게 설계된 스케일링 계수는 정수 연산이 놀라울 정도로 작은 정확도 저하만으로 부동소수점 계산을 근사할 수 있게 한다. 따라서 양자화는 추론에 필요한 필수적인 정보를 보존하면서도 연속적인 부동소수점 값을 이산적인 정수 표현으로 전환한다.
FP32에서 INT8로의 전환은 이 기본 원리를 잘 보여준다. 32비트 부동소수점 파라미터는 4바이트의 메모리를 필요로 한다. 그에 대응하는 8비트 정수 표현은 단 1바이트만을 필요로 한다. 따라서 파라미터 저장 공간은 약 4배 감소한다. 메모리 대역폭도 마찬가지로 감소하는데, 이는 추론 도중 메모리와 계산 유닛 사이에서 이동해야 하는 비트의 수가 더 적어지기 때문이다. 효율적인 정수 연산을 지원하는 하드웨어는 종종 상당히 적은 에너지를 소비하면서도 FP32 연산보다 INT8 연산을 훨씬 더 빠르게 수행한다. 이러한 결합된 이점들은 INT8 추론이 많은 상업용 엣지 AI 응용 분야에서 지배적인 배치 형식이 된 이유를 설명해준다.
모델 양자화는 신경망 계산의 여러 구성 요소에 영향을 미친다. 모델 가중치는 학습 이후 저장되는 학습된 파라미터를 나타낸다. 활성화 텐서는 순방향 전파 과정에서 생성되는 중간 출력을 담고 있다. 편향 값은 학습된 오프셋에 따라 뉴런의 출력을 이동시킨다. 입력 데이터 자체도 네트워크에 들어가기 전에 양자화를 거칠 수 있다. 서로 다른 배치 전략은 하드웨어의 능력과 원하는 성능 특성에 따라 가중치만 양자화할지, 가중치와 활성화를 동시에 양자화할지, 아니면 전체 계산 파이프라인을 양자화할지를 선택한다.
가중치 양자화는 파라미터가 대형 신경망 내의 대부분의 지속적인 저장 공간을 차지하기 때문에 일반적으로 가장 큰 메모리 절감을 제공한다. 활성화 양자화는 중간 계산을 가속화하면서도 런타임 메모리 소비를 더욱 줄여준다. 완전 정수 추론(full integer inference)은 가중치와 활성화 모두가 실행 전반에 걸쳐 양자화된 상태로 유지될 때 발생하며, 이를 통해 전용 정수 가속기가 수치 형식들 사이를 반복적으로 변환하지 않고도 계산 효율성을 최대화할 수 있게 한다.
스케일링(scaling)은 실용적인 양자화에서 핵심적인 역할을 한다. 부동소수점 값은 넓은 수치적 범위에 걸쳐 있는 반면 정수 표현은 제한된 채로 남아 있기 때문에, 부동소수점 파라미터는 먼저 적절한 정수 구간으로 매핑되어야 한다. 이러한 매핑은 일반적으로 스케일링 계수와 선택적으로 제로 포인트(zero-point) 오프셋을 수반한다. 추론 과정에서, 정수 값은 이러한 스케일링 파라미터에 따라 해석되어, 원래의 부동소수점 크기를 근사적으로 재구성할 수 있게 한다. 효과적인 스케일링은 사용 가능한 정수 범위의 활용을 최대화하면서도 정보 손실을 최소화한다.
대칭적 양자화(symmetric quantization)와 비대칭적 양자화(asymmetric quantization)는 흔히 사용되는 두 가지 스케일링 전략을 나타낸다. 대칭적 양자화는 수치 값이 0을 중심으로 위치한다고 가정하며, 동일한 양수와 음수의 범위를 사용한다. 이러한 접근법은 하드웨어 구현을 단순화하면서도 계산적 복잡성을 줄여준다. 비대칭적 양자화는 조정 가능한 제로 포인트를 도입하여, 정수 표현이 부동소수점 값에 대해 상대적으로 이동할 수 있게 한다. 계산적으로 다소 더 복잡하지만, 비대칭적 양자화는 자연스럽게 0을 중심으로 하지 않는 분포에 대해 종종 향상된 정확도를 제공한다.
텐서별(per-tensor) 양자화와 채널별(per-channel) 양자화는 또 다른 중요한 구분을 제공한다. 텐서별 양자화는 전체 텐서에 걸쳐 하나의 스케일링 계수를 적용하여, 저장 오버헤드를 줄이면서도 구현을 단순화한다. 그러나 합성곱 레이어나 트랜스포머 레이어 내의 서로 다른 채널들은 종종 상당히 다른 수치적 분포를 보인다. 채널별 양자화는 개별 채널에 독립적인 스케일링 계수를 할당하여, 다소의 추가적인 복잡성만을 도입하면서도 더 큰 수치적 충실도를 보존한다. 현대의 배치 프레임워크는, 이것이 균일한 텐서 전체 스케일링보다 상당히 더 나은 정확도를 제공하기 때문에 채널별 가중치 양자화를 자주 채택한다.
일반적으로 PTQ로 약칭되는 학습 후 양자화(Post-Training Quantization)는 원래의 신경망을 재학습할 필요가 없기 때문에 가장 실용적인 배치 기법 중 하나가 되었다. 모델이 표준적인 부동소수점 연산을 사용해 완전히 학습되고 나면, 양자화 알고리즘은 적절한 스케일링 파라미터를 결정하기 위해 대표적인 보정(calibration) 데이터를 분석한다. 그 결과로 만들어진 양자화된 모델은 계산 비용이 많이 드는 학습 절차를 반복하지 않고도 즉시 추론에 사용 가능해진다. 이러한 단순성은, 원래의 학습이 수천 개의 GPU에 걸쳐 몇 달의 계산을 필요로 했을 수 있는 대형 파운데이션 모델을 배치하는 데 있어 PTQ를 특히 매력적으로 만든다.
보정(calibration)은 학습 후 양자화 내에서 핵심적인 단계를 나타낸다. 비교적 작은 대표 데이터셋이 부동소수점 모델을 통과하는 동안 활성화 분포가 수집된다. 통계적 분석은 예상되는 운영상의 입력 전반에 걸쳐 양자화 오류를 최소화하는 적절한 스케일링 범위를 추정한다. 보정 데이터셋은 원래의 학습 코퍼스와 크기가 같을 필요는 없지만 배치 조건을 정확하게 대표해야 한다. 부적절한 보정은 종종 부적절한 스케일링이 중요한 수치적 관계를 보존하지 못하기 때문에 양자화 과정 자체보다 더 큰 정확도 저하를 만들어낸다.
PTQ의 성능을 향상시키기 위해 여러 보정 알고리즘이 개발되어 왔다. 최댓값 보정(maximum-value calibration)은 관측된 활성화의 극값에 따라 스케일링을 결정한다. 백분위수 기반 방법은 사용 가능한 정수 정밀도를 낭비하게 만드는 드문 이상치들을 무시한다. 엔트로피 최소화는 활성화 분포의 정보 이론적 속성을 보존함으로써 스케일링을 최적화한다. 평균 제곱 오차 최적화는 부동소수점 표현과 양자화된 표현 사이의 재구성 오류를 최소화한다. 보정 알고리즘의 선택은 종종 최종 모델의 정확도에 상당한 영향을 미친다.
INT8 학습 후 양자화는 일반적으로 예측 정확도를 놀라울 정도로 잘 보존하기 때문에 광범위한 상업적 채택을 이루었다. 많은 합성곱 신경망, 물체 감지기, 의미론적 분할 모델, 음성 인식 시스템, 추천 모델의 경우, INT8 추론은 약 4배의 메모리 절감과 상당한 추론 가속을 제공하면서도 종종 1% 미만의 정확도 저하만을 초래한다. 따라서 INT8은 NVIDIA TensorRT, Intel OpenVINO, Qualcomm AI Engine, Google Edge TPU, 그리고 많은 모바일 AI 프로세서를 포함한 수많은 임베디드 AI 가속기에 걸쳐 표준적인 배치 정밀도가 되었다.
트랜스포머 아키텍처는 어텐션 메커니즘, 레이어 정규화, 잔차 연결이 전통적인 합성곱 신경망보다 수치적 정밀도에 더 큰 민감도를 보이기 때문에 처음에는 양자화하기가 더 어려운 것으로 입증되었다. 그러나 SmoothQuant, GPTQ, AWQ, ZeroQuant, OmniQuant를 포함한 최근의 발전과 관련된 기법들은 트랜스포머 양자화 성능을 상당히 향상시켰다. 수십억 개의 파라미터를 포함하는 대규모 언어 모델은 이제 언어 이해, 추론, 텍스트 생성의 품질 저하가 최소화된 상태로 INT8 정밀도를 사용해 일상적으로 실행된다.
INT4 양자화의 등장은 효율적인 추론에 있어 다음 주요한 발전을 나타낸다. 4비트 정수 표현은 INT8 모델의 저장 공간의 절반, FP32 모델의 저장 공간의 8분의 1만을 필요로 한다. 이러한 극적인 압축은 이전에는 이를 호스팅할 수 없었던 임베디드 디바이스에서 점점 더 유능한 파운데이션 모델이 실행될 수 있게 한다. 따라서 제한된 온보드 메모리를 갖춘 로봇은 하드웨어 제약 내에 머무르면서도 상당히 더 큰 추론 모델을 배치할 수 있다.
INT4 양자화는 수치적 정밀도를 8비트에서 4비트로 줄이는 것이 양자화 오류를 상당히 증가시키기 때문에 더 큰 기술적 과제를 도입한다. 허용 가능한 예측 정확도를 유지하기 위해 신중한 최적화가 필요해진다. 고급 방법들은 덜 중요한 레이어를 공격적으로 압축하는 한편, 민감한 네트워크 구성 요소에는 선택적으로 더 높은 정밀도를 할당한다. 가중치만을 대상으로 하는 INT4 양자화는 종종 활성화를 더 높은 정밀도로 유지함으로써, 계산 효율성을 모델의 충실도와 균형을 맞춘다.
그룹별(group-wise) 양자화는 INT4 성능을 더욱 향상시킨다. 전체 텐서에 하나의 스케일링 계수를 할당하는 대신, 파라미터들은 독립적인 스케일링 파라미터를 공유하는 더 작은 그룹들로 나누어진다. 더 작은 그룹은 지역적인 파라미터 분포를 더 정확하게 포착하여, 다소의 추가적인 메타데이터만을 도입하면서도 재구성 오류를 줄여준다. 현대의 대규모 언어 모델 양자화 프레임워크는, 이것이 낮은 비트 성능을 상당히 향상시키기 때문에 그룹별 스케일링을 자주 채택한다.
GPTQ(Generative Pretrained Transformer Quantization)는 트랜스포머 기반 언어 모델을 양자화하기 위해 특별히 개발된 가장 영향력 있는 알고리즘 중 하나를 나타낸다. GPTQ는 양자화 과정에서 2차 최적화를 근사하여, 네트워크 레이어 전반에 걸친 누적된 재구성 오류를 최소화한다. 파라미터들을 독립적으로 양자화하는 대신, GPTQ는 파라미터들 사이의 상호작용을 고려하여, 고도로 압축된 모델이 놀라울 정도로 강력한 추론 능력을 보존할 수 있게 한다.
일반적으로 AWQ로 약칭되는 활성화 인식 가중치 양자화(Activation-aware Weight Quantization)는 또 다른 주요한 발전을 나타낸다. AWQ는 모든 파라미터가 추론의 품질에 동등하게 기여하지는 않는다는 것을 관찰한다. 비교적 작은 부분집합의 매우 영향력 있는 가중치들이 활성화 분포에 상당한 영향을 미친다. 이러한 중요한 파라미터들에 대해서는 더 큰 수치적 정확도를 보존하면서도 덜 중요한 가중치들은 공격적으로 압축함으로써, AWQ는 모든 파라미터를 동일하게 취급하는 것에 비해 4비트 양자화 하에서 뛰어난 성능을 달성한다.
혼합 정밀도 추론(mixed-precision inference)은 계산 효율성과 예측 정확도 사이의 실용적인 절충안으로 떠올랐다. 모든 레이어가 동일한 정밀도로 작동하도록 강제하는 대신, 서로 다른 네트워크 구성 요소들은 자신의 민감도에 적합한 수치적 형식을 사용한다. 계산적으로 까다롭지만 수치적으로 견고한 레이어들은 INT4나 INT8 연산을 사용해 실행되는 반면, 정규화, 어텐션 점수 계산, 출력 투영과 같은 수치적으로 섬세한 연산은 FP16이나 더 높은 정밀도로 남아 있다. 따라서 혼합 정밀도는 정확도 저하를 최소화하면서도 하드웨어 효율성을 최대화한다.
양자화 인식 학습(Quantization-Aware Training)은 최대 성능이 필요할 때 학습 후 양자화의 대안을 제공한다. 학습 과정에서, 인위적인 양자화 효과가 최적화 과정 내에서 시뮬레이션된다. 따라서 네트워크는 줄어든 수치적 정밀도에 자연스럽게 견고한 파라미터 분포를 학습한다. 학습이 완료되면, 그 결과로 만들어진 모델은 일반적으로 기존의 PTQ보다 상당히 더 작은 정확도 손실로 양자화된다. 그러나 양자화 인식 학습은 원래의 학습 데이터에 대한 접근과 상당한 추가적인 계산 자원을 필요로 하기 때문에, 사전학습된 파운데이션 모델을 수반하는 많은 배치 시나리오에서는 PTQ가 더 선호된다.
엣지 AI 플랫폼은, 임베디드 하드웨어가 낮은 정밀도의 연산에 특별히 최적화된 전용 정수 가속기를 자주 포함하기 때문에 양자화로부터 엄청난 이득을 얻는다. 현대의 AI 프로세서는 동등한 부동소수점 실행보다 극적으로 적은 전력을 소비하면서도 고도로 병렬화된 텐서 유닛을 사용해 수천 개의 INT8 연산을 동시에 수행한다. 반도체 제조사들이 엣지 디바이스에서의 파운데이션 모델 배치를 위해 특별히 아키텍처를 점점 더 많이 최적화함에 따라, INT4 하드웨어 가속도 계속 확장되고 있다.
메모리 대역폭의 개선은 종종 계산적 절감만큼이나 추론 가속에 기여한다. 신경망의 실행은 산술 처리량이 아니라 메모리와 처리 유닛 사이에서 파라미터를 이동시키는 것에 의해 제한되는 경우가 많다. 양자화된 모델은 파라미터 압축에 비례하여 데이터 이동을 줄여, 계산 자원의 효과적인 활용을 향상시킨다. 따라서 추론 가속은 산술적 감소만으로 예측할 수 있는 것을 종종 초과한다.
전력 효율성 역시 낮은 정밀도의 연산이 더 적은 트랜지스터 스위칭 이벤트, 줄어든 메모리 접근, 단순화된 계산 회로를 필요로 하기 때문에 향상된다. 따라서 배터리로 작동하는 로봇은 점점 더 유능한 AI 모델을 실행하면서도 더 긴 운영상의 지속시간을 달성한다. 줄어든 전력 소비는 추가적으로 열 출력을 낮춰, 냉각 요구사항을 단순화하고 이동 로보틱스에 적합한 더 컴팩트한 임베디드 하드웨어 설계를 가능하게 한다.
자율 로봇이 물체 감지, 의미론적 분할, 위치 추정, 지도 작성, 장애물 회피, 음성 인식, 언어 이해, 조작 계획 수립, 이상 감지, 예측적 유지보수를 포함한 수많은 AI 모델을 동시에 실행하기 때문에, 양자화는 Physical AI에서 특히 중요한 역할을 한다. 효율적인 압축이 없다면, 누적된 메모리 및 계산 요구사항은 실용적인 임베디드 하드웨어의 한계를 빠르게 초과한다. 양자화된 추론은 여러 정교한 모델들이 현실적인 엣지 컴퓨팅 플랫폼 내에서 동시에 작동할 수 있게 한다.
로봇 인지 파이프라인은 이를 잘 보여주는 예시를 제공한다. 카메라는 실시간 프레임 속도로 물체 감지, 의미론적 이해, 깊이 추정, 시각적 위치 추정을 필요로 하는 고해상도 이미지 스트림을 지속적으로 생성한다. INT8 양자화는 안전한 내비게이션을 위한 충분한 인식 정확도를 유지하면서도 낮은 지연시간 운영을 유지하기에 충분할 정도로 이러한 인지 모델들을 가속화한다. 유사한 이점들은 LiDAR, 레이더, 시각, 관성 감지, 언어 이해를 통합된 인지 시스템 내에서 통합하는 멀티모달 융합 아키텍처로도 확장된다.
로봇의 추론을 위해 점점 더 많이 배치되고 있는 대규모 언어 모델 역시 고급 양자화로부터 상당한 이득을 얻는다. 엣지에 배치된 서비스 로봇, 창고 어시스턴트, 산업용 점검 로봇, 의료 도우미는 클라우드 연결이 불가능해지는 경우에도 온보드 언어 이해를 필요로 한다. 4비트 및 8비트 양자화는 이전에는 클라우드에서만 사용할 수 있었던 언어 모델을 NVIDIA Jetson Orin, Jetson Thor, Qualcomm 로보틱스 프로세서, 그리고 체화 지능을 위해 특별히 설계된 새로운 AI 가속기와 같은 임베디드 GPU 플랫폼에 배치할 수 있게 한다.
양자화된 모델의 평가는 예측 정확도만을 넘어 확장된다. 연구자들은 메모리 절감, 추론 지연시간, 계산 처리량, 에너지 효율성, 열적 행동, 하드웨어 활용도, 시작 시간, 배터리 지속시간, 다양한 입력에 걸친 견고성, 엔드투엔드 시스템 성능을 측정한다. 실용적인 배치는 종종, 반응성, 운영상의 지속시간, 또는 하드웨어 호환성을 상당히 향상시킨다면 다소 낮은 정확도를 보이는 모델을 선호한다.
현재의 연구는 양자화를 가지치기, 지식 증류, 저랭크 적응(low-rank adaptation), 구조적 희소성, 신경망 아키텍처 탐색, 연산자 결합, 동적 계산, 적응형 정밀도 선택을 포함한 상호 보완적인 최적화 기법들과 점점 더 많이 결합하고 있다. 양자화를 고립된 최적화로 취급하는 대신, 미래의 배치 파이프라인은 엣지 로보틱스에 적합한 압축되면서도 고도로 유능한 파운데이션 모델을 만들어내는 여러 압축 전략들을 통합한다.
양자화의 미래는 정교한 추론 능력을 보존하면서도 계속해서 점점 더 낮은 수치적 정밀도로 나아가고 있다. 새롭게 떠오르는 연구는 3비트, 2비트, 삼진(ternary), 이진, 로그, 적응형 정밀도 표현을 이러한 형식들에 특별히 최적화된 하드웨어 아키텍처와 함께 탐구하고 있다. 동적 양자화 전략은 태스크의 난이도, 환경적 복잡성, 사용 가능한 배터리 용량, 계산 작업 부하에 따라 정밀도를 자동으로 조정할 수 있다. 이러한 적응형 추론은 Physical AI 시스템이 전체적인 운영 효과성을 최대화하면서도 계산 자원을 지능적으로 할당할 수 있게 할 것이다.
따라서 모델 양자화는 단순한 압축 기법보다 훨씬 더 많은 것을 나타낸다. 이는 고도화된 인공지능이 클라우드 데이터 센터로부터 물리적 세계 내에서 직접 작동하는 자율 로봇으로 전환될 수 있게 하는 근본적인 핵심 기술 중 하나이다. INT8 추론, INT4 압축, 학습 후 양자화와 같은 기법들을 통해 수치적 정밀도를 줄임으로써, 현대의 AI 시스템은 원래의 예측 능력의 대부분을 보존하면서도 메모리 사용량, 계산 요구량, 지연시간, 전력 소비, 하드웨어 비용에서 상당한 절감을 달성한다. 이러한 개선은 점점 더 정교한 인지, 추론, 계획 수립, 언어 이해 모델이 임베디드 플랫폼에서 효율적으로 실행될 수 있게 하며, 실제 세계의 Physical AI 시스템이 구축되는 실용적인 계산적 기반을 제공한다.
10.03 Quantization Aware Training QAT [w/Code]
인공지능 모델이 크기와 복잡성 면에서 계속 성장함에 따라, 임베디드 및 엣지 컴퓨팅 플랫폼에서의 효율적인 배치는 Physical AI의 핵심적인 과제 중 하나가 되었다. 자율 로봇, 산업용 매니퓰레이터, 서비스 로봇, 자율주행 차량, 드론, 의료 기기, 지능형 센서는 모두 강력한 신경망을 필요로 하는 동시에, 메모리 용량, 계산 처리량, 지연시간, 전력 소비, 열 방출, 하드웨어 비용에 대한 엄격한 제약 하에서 작동한다. 모델 양자화(model quantization)는 신경망 파라미터를 더 낮은 수치적 정밀도로 표현함으로써 이러한 자원 요구사항을 줄이는 가장 효과적인 기법 중 하나로 떠올랐다. 학습 후 양자화(Post-Training Quantization)는 이미 학습된 모델을 더 낮은 정밀도의 표현으로 변환하는 단순한 배치 전략을 제공한다. 그러나 고도로 압축된 모델은, 특히 4비트 이하의 정밀도를 사용할 때, 때때로 눈에 띄는 정확도 저하를 겪는다. 일반적으로 QAT로 약칭되는 양자화 인식 학습(Quantization-Aware Training)은 양자화 효과를 학습 과정 자체에 직접 통합함으로써 이러한 한계를 극복하기 위해 개발되었다. 완성된 모델을 최적화 이후에 적응시키는 대신, QAT는 신경망이 배치 준비의 아주 초기 단계부터 줄어든 수치적 정밀도 하에서 효과적으로 기능하는 법을 학습할 수 있게 한다.
양자화 인식 학습의 핵심적인 동기는, 오직 부동소수점 연산만을 사용해 학습된 신경망이 높은 수치적 정밀도에 따라 자신의 파라미터를 자연스럽게 최적화한다는 관찰에서 비롯된다. 추론 과정에서, 연속적인 부동소수점 값이 이산적인 정수 값을 사용해 표현되어야 하기 때문에 양자화는 불가피한 근사 오류를 도입한다. 이러한 근사치들은 종종 작은 채로 남아 있지만, 심층 신경망 전반에 걸쳐 누적되며 특히 트랜스포머, 확산 모델, 멀티모달 파운데이션 모델, 또는 복잡한 강화학습 정책과 같은 민감한 아키텍처에서 예측 품질에 상당한 영향을 미칠 수 있다. 양자화 인식 학습은 최적화 과정에서 네트워크를 시뮬레이션된 양자화 효과에 노출시킴으로써, 배치 이전에 파라미터가 줄어든 수치적 정밀도에 자연스럽게 적응할 수 있게 함으로써 이 문제를 해결한다.
QAT를 이해하기 위해서는 학습 정밀도와 배치 정밀도를 구분하는 것이 유용하다. 전통적인 딥러닝 학습은 거의 항상 높은 정밀도의 부동소수점 연산을 사용하며, 일반적으로 FP32, 그리고 계산 효율성을 위해 점점 더 많이 BF16과 FP16을 사용한다. 이러한 수치 형식들은 최적화 과정에서 충분한 동적 범위와 안정적인 그래디언트 전파를 제공한다. 그러나 배치는 종종 임베디드 추론에 최적화된 INT8, INT4, 또는 그 밖의 저정밀도 정수 형식을 사용해 이루어진다. 학습 정밀도와 배치 정밀도 사이의 불일치는, 배치된 모델이 학습 과정에서 최적화된 모델과 다르게 작동하기 때문에 분포 불일치(distribution mismatch)를 만들어낸다. QAT는 학습 조건을 배치 조건과 가능한 한 유사하게 만듦으로써 이러한 불일치를 줄인다.
학습 후 양자화와 달리, 양자화 인식 학습은 최적화 과정 동안 계산 그래프에 인위적인 양자화 연산을 도입한다. 이러한 연산들은 그래디언트 기반 학습에 충분한 미분 가능성을 유지하면서도 배치 이후 예상되는 수치적 효과를 시뮬레이션한다. 따라서 네트워크는 순방향 전파 과정에서 양자화된 가중치와 활성화를 경험하는 동시에 여전히 부동소수점 최적화를 사용해 파라미터를 갱신한다. 이러한 혼합된 접근법은 최적화 알고리즘이 이후의 배치로 인해 도입되는 수치적 근사를 자동으로 보상할 수 있게 한다.
양자화 인식 학습의 기본적인 워크플로우는 사전학습된 부동소수점 모델로 시작하거나, 경우에 따라 초기화로부터 직접 학습을 시작한다. 양자화 시뮬레이션 모듈은 최종적인 배치 양자화에 대응하는 위치에서 신경망 전반에 걸쳐 삽입된다. 순방향 전파 과정에서, 가중치와 활성화는 이후의 계산에 기여하기 전에 시뮬레이션된 양자화 연산자를 통과한다. 역방향 전파 과정에서, 그래디언트는 직통 추정기(Straight-Through Estimator)와 같은 근사 기법을 사용해 미분 불가능한 정수 반올림 연산을 우회한다. 따라서 파라미터 갱신은 표준적인 최적화 알고리즘을 계속 사용하는 한편, 네트워크는 양자화로 인한 섭동에 지속적으로 적응한다.
흔히 STE로 약칭되는 직통 추정기(Straight-Through Estimator)는 양자화 인식 학습을 가능하게 하는 핵심적인 수학적 기법 중 하나를 나타낸다. 정수 반올림 함수는 거의 모든 곳에서 미분값이 0이기 때문에, 전통적인 경사하강법이 양자화된 네트워크를 직접 최적화하는 것을 방해한다. STE는 역전파 과정에서 양자화가 항등 함수처럼 작동한다고 취급함으로써 이러한 그래디언트를 근사한다. 수학적으로는 근사치이지만, 이러한 접근법은 최적화 알고리즘이 순방향 실행 과정에서 네트워크를 현실적인 양자화 효과에 노출시키면서도 파라미터 갱신을 계속할 수 있게 하기 때문에 실제로 놀라울 정도로 효과적인 것으로 입증되었다.
시뮬레이션된 양자화는 일반적으로 여러 연산을 포함한다. 부동소수점 값은 먼저 학습되거나 보정된 스케일링 계수에 따라 정수 범위로 스케일링된다. 표현 가능한 수치적 한계를 초과하는 값들은 클리핑(clipping)을 거친다. 정수 반올림은 배치 연산을 근사한다. 마지막으로, 양자화된 값들은 이후의 계산을 계속하기 전에 다시 부동소수점 표현으로 재조정된다. 내부적인 최적화는 부동소수점으로 남아 있지만, 네트워크는 학습 전반에 걸쳐 최종적인 정수 배치와 유사하게 작동한다. 이러한 반복적인 노출은 양자화 오류를 최소화하는 자연스럽게 견고한 파라미터 분포를 장려한다.
양자화 인식 학습은 가중치와 활성화 모두에 적용될 수 있다. 가중치 양자화는 최적화 전반에 걸쳐 학습된 파라미터를 시뮬레이션된 정수 표현에 노출시킨다. 활성화 양자화는 마찬가지로 배치 정밀도에 따라 중간 출력을 제약한다. 활성화 분포가 실행 전반에 걸쳐 상당히 다양하기 때문에, 활성화 양자화의 정확한 시뮬레이션은 배치의 견고성을 상당히 향상시킨다. 따라서 모든 주요한 수치적 구성 요소가 이미 최적화 과정에서 적응했기 때문에 완전 정수 배치가 상당히 더 신뢰할 수 있게 된다.
스케일링 계수는 QAT 내에서 특히 중요한 역할을 한다. 스케일링 계수가 보정 과정에서 결정되는 정적인 학습 후 양자화와 달리, 양자화 인식 학습은 종종 스케일링 파라미터 자체를 학습 가능한 변수로 취급한다. 따라서 최적화는 신경망 파라미터뿐만 아니라 전체적인 추론 오류를 최소화하는 양자화 범위도 조정한다. 학습된 스케일링은 최적화가 고립된 재구성 정확도가 아니라 다운스트림 태스크 성능을 직접 고려하기 때문에 수작업으로 보정된 대안보다 종종 상당히 더 나은 수치적 표현을 제공한다.
가짜 양자화(fake quantization)는 QAT 내의 또 다른 중요한 개념을 이룬다. 학습 과정에서, 그래디언트 최적화가 연속적인 수치적 표현을 필요로 하기 때문에 파라미터는 내부적으로 부동소수점 값으로 저장된 채로 남아 있다. 그럼에도 불구하고, 모든 순방향 계산은 값들이 이미 정수로 변환된 것처럼 작동한다. 따라서 이러한 시뮬레이션된 정수 연산은, 하드웨어가 실제 배치 이후 예상되는 행동을 재현하면서도 부동소수점 연산을 계속 수행한다는 의미에서 "가짜"이다. 가짜 양자화는 기존의 딥러닝 프레임워크가 전문화된 정수 최적화 하드웨어를 필요로 하지 않고도 양자화 인식 학습을 지원할 수 있게 한다.
가짜 양자화와 실제 양자화 사이의 구분은 배치 과정에서 특히 중요해진다. 학습은 내부적으로 부동소수점 파라미터를 보존하면서도 시뮬레이션된 양자화를 사용해 마무리된다. 최적화가 완료된 후, 파라미터는 하드웨어 추론에 적합한 진정한 정수 표현으로 영구적으로 변환된다. 네트워크가 이미 학습 전반에 걸쳐 양자화된 행동에 적응했기 때문에, 배치 정확도는 일반적으로 단독의 학습 후 양자화만을 통해 달성되는 것보다 상당히 더 높은 상태로 유지된다.
양자화 인식 학습의 주요한 이점 중 하나는 공격적인 압축 하에서도 예측 정확도를 보존하는 능력이다. INT8 추론은 종종 학습 후 양자화를 사용해도 잘 작동하지만, INT4, INT3, 또는 이진 양자화는 사전학습된 부동소수점 모델에 직접 적용될 때 종종 상당한 저하를 초래한다. QAT는 네트워크가 이러한 더 낮은 수치적 정밀도를 견딜 수 있도록 내부 파라미터 분포를 특별히 재조직할 수 있게 한다. 따라서 고도로 압축된 정수 표현을 사용한 배치는 엣지 컴퓨팅 응용 분야에 있어 상당히 더 실용적이게 된다.
합성곱 신경망은 양자화 인식 학습으로부터 이득을 얻은 최초의 아키텍처 중 하나였다. 이미지 분류, 물체 감지, 의미론적 분할, 얼굴 인식, 의료 영상, 산업용 점검 시스템은 QAT를 사용해 학습되었을 때 INT8 배치 이후 최소한의 정확도 저하를 보였다. 신경망 아키텍처가 트랜스포머와 멀티모달 파운데이션 모델로 발전함에 따라, 어텐션 메커니즘이 종종 전통적인 합성곱 연산보다 줄어든 수치적 정밀도에 더 큰 민감도를 보이기 때문에 QAT는 점점 더 중요해졌다.
비전 트랜스포머는 이러한 증가된 민감도를 특히 잘 보여준다. 다중 헤드 셀프 어텐션, 레이어 정규화, 잔차 연결, 피드포워드 네트워크는 모두 신중하게 균형 잡힌 수치적 관계에 의존한다. 직접적인 학습 후 양자화는 때때로 이러한 관계들을 눈에 띄게 예측 품질을 저하시킬 만큼 충분히 방해한다. 양자화 인식 학습은 트랜스포머 파라미터가 최적화 전반에 걸쳐 점진적으로 적응할 수 있게 하여, 어텐션 분포를 보존하고 줄어든 정밀도 하에서의 추론 견고성을 향상시킨다. 따라서 QAT는 많은 현대의 비전 파운데이션 모델에 있어 중요한 배치 전략이 되었다.
대규모 언어 모델은 수십억 개의 파라미터가 수백 개의 트랜스포머 레이어에 걸쳐 상호작용하기 때문에 훨씬 더 큰 양자화 과제를 제시한다. 언어 이해, 추론, 코드 생성, 계획 수립, 검색, 대화는 모두 광범위한 사전학습 전반에 걸쳐 축적된 미묘한 수치적 관계에 의존한다. GPTQ, AWQ, SmoothQuant, 그리고 관련된 방법들과 같은 고급 학습 후 양자화 기법들이 인상적인 결과를 달성했지만, 재학습 자원이 사용 가능한 경우 양자화 인식 학습은 종종 뛰어난 성능을 제공한다. 언어 모델은 최적화 이후의 외부적인 근사를 필요로 하는 대신 본질적으로 배치 정밀도를 견딜 수 있는 파라미터 분포를 학습한다.
자율 로봇이 인지, 위치 추정, 지도 작성, 내비게이션, 조작, 음성 인식, 언어 이해, 이상 감지, 예측적 유지보수, 인간과의 상호작용, 임무 계획 수립을 수행하는 여러 신경망을 동시에 실행하기 때문에, Physical AI는 양자화 인식 학습으로부터 특히 큰 이득을 얻는다. 각각의 모델은 제한된 메모리, 계산 처리량, 배터리 용량, 열 예산을 두고 경쟁한다. QAT는 운영상의 신뢰성을 희생하지 않고도 공격적인 압축을 가능하게 하여, 상당히 더 정교한 AI 능력들이 임베디드 하드웨어 플랫폼 위에 공존할 수 있게 한다.
로봇 인지 시스템은 이러한 이점을 명확하게 보여준다. 물체 감지 네트워크는 내비게이션, 조작, 장애물 회피를 위해 카메라 스트림을 지속적으로 분석한다. 의미론적 분할은 통행 가능한 지형, 물체의 경계, 환경적 구조를 식별한다. 깊이 추정은 위치 추정과 조작 계획 수립을 지원한다. 이러한 인지 모듈들은 종종 실시간 프레임 속도로 동시에 실행된다. 양자화 인식 학습은 안전한 자율 행동에 필수적인 감지 정확도를 보존하면서도 압축된 INT8 추론을 사용한 배치를 가능하게 한다.
내비게이션 시스템도 마찬가지로, 위치 추정, 지도 작성, 루프 클로저 감지, 시각적 장소 인식, 의미론적 지도 작성이 점점 더 심층 신경망에 의존하기 때문에 이득을 얻는다. 임베디드 이동 로봇은 제한된 배터리 용량으로 작동하면서도 엄격한 지연시간 제약 하에서 이러한 능력들을 필요로 한다. QAT는 위치 추정 정확도나 내비게이션 신뢰성을 훼손하지 않고도 결정론적인 실시간 성능을 유지하기에 충분할 정도로 계산 수요를 줄여준다.
조작 정책 역시 양자화 인식 학습을 효과적으로 활용한다. 로봇 팔을 제어하는 강화학습 정책은 종종 추론 지연시간이 조작의 안정성에 직접 영향을 미치는 엄격한 피드백 요구사항 하에서 실행된다. 양자화된 정책은 더 적은 에너지를 소비하면서도 더 빠르게 실행되어, 더 높은 제어 주파수와 동적인 환경과의 더 부드러운 상호작용을 가능하게 한다. 조작이 종종 장시간의 배터리 작동을 필요로 하기 때문에, 에너지 절감은 확장된 운영상의 지속시간으로 직접 전환된다.
Physical AI 내에서 사용되는 멀티모달 파운데이션 모델은 시각, 언어, 고유수용감각, 촉각 감지, 오디오, 환경적 기억을 통합된 표현으로 결합한다. 이러한 아키텍처들은 SayCan, 정책으로서의 코드(Code as Policies), 이너 모놀로그(Inner Monologue), 시각-언어-행동(Vision-Language-Action) 모델과 같은 시스템들을 지원하는 유연한 추론 능력을 제공하면서도 엄청난 계산적 복잡성을 지닌다. 양자화 인식 학습은 이전에는 클라우드 기반 실행에 국한되었던 점점 더 유능한 멀티모달 추론 시스템이 임베디드 엣지 플랫폼에서 직접 작동할 수 있게 한다.
엣지 컴퓨팅 하드웨어는 특별히 양자화된 추론을 활용하도록 발전해왔다. NVIDIA Tensor Cores, Qualcomm Hexagon 프로세서, Google Edge TPU, Intel 신경망 처리 장치, Apple Neural Engine, 그리고 수많은 임베디드 AI 가속기들은 부동소수점 계산보다 상당히 더 효율적으로 정수 연산을 수행한다. 따라서 양자화 인식 학습은 이러한 전문화된 실행 플랫폼에 자연스럽게 최적화된 모델을 생성함으로써 하드웨어 발전을 보완한다. TensorRT, TensorFlow Lite, ONNX Runtime, OpenVINO를 포함한 소프트웨어 최적화 프레임워크들은 QAT 지원을 배치 파이프라인에 더욱 통합하고 있다.
혼합 정밀도 양자화 인식 학습은 서로 다른 네트워크 구성 요소가 서로 다른 수치적 정밀도를 사용할 수 있게 함으로써 이러한 개념들을 확장시킨다. 계산 집약적인 합성곱 또는 선형 레이어는 INT4 연산을 활용할 수 있는 반면, 어텐션 계산, 정규화 레이어, 출력 투영은 INT8이나 FP16 형식으로 남아 있을 수 있다. 최적화는 이러한 이질적인 정밀도 할당에 따라 파라미터 분포를 자동으로 적응시켜, 균일한 양자화 전략보다 더 효과적으로 계산 효율성을 예측 정확도와 균형을 맞춘다.
지식 증류는 양자화 인식 학습을 자주 보완한다. 큰 교사 모델은 최적화 전반에 걸쳐 더 작은 양자화된 학생 모델을 안내하는 감독을 생성한다. 따라서 학생은 배치의 견고성뿐만 아니라 더 유능한 부동소수점 교사로부터 전이된 더 풍부한 의미론적 표현도 학습한다. 증류를 QAT와 결합하는 것은 종종 비슷한 크기의 독립적으로 양자화된 네트워크보다 상당히 뛰어난 압축 모델을 만들어낸다.
구조적 가지치기도 QAT와 자연스럽게 통합된다. 중복된 뉴런, 어텐션 헤드, 채널, 또는 합성곱 필터는 양자화 인식 최적화 이전이나 도중에 제거된다. 남아 있는 파라미터는 이후 줄어든 네트워크 구조와 줄어든 수치적 정밀도 모두에 동시에 적응한다. 이러한 결합된 최적화는 종종 가지치기와 양자화를 독립적으로 적용하는 것보다 더 큰 압축을 달성한다.
학습의 안정성(training stability)은 중요한 실용적 고려사항으로 남아 있다. 시뮬레이션된 양자화는 파라미터 갱신이 이산화된 순방향 전파와 지속적으로 상호작용하기 때문에 추가적인 최적화 노이즈를 도입한다. 신중한 학습률 스케줄링, 점진적인 양자화 도입, 적절한 초기화, 정규화 기법, 최적화 도구의 선택은 모두 안정적인 수렴에 기여한다. 많은 실용적인 구현들은 기본적인 특징 표현이 발전한 이후에 가짜 양자화를 점진적으로 활성화하기 전에, 부동소수점 실행을 사용한 학습으로 시작한다.
양자화 인식 학습의 평가는 전통적인 예측 정확도를 넘어 확장된다. 연구자들은 배치 지연시간, 메모리 소비, 계산 처리량, 전력 효율성, 열적 행동, 배터리 지속시간, 하드웨어 활용도, 다양한 운영 조건에 걸친 견고성, 엔드투엔드 시스템 성능을 측정한다. QAT가 주로 벤치마크 최적화가 아니라 배치를 목표로 하기 때문에, 실용적인 공학적 지표들은 종종 전통적인 머신러닝 평가 기준만큼이나 중요해진다.
이러한 이점들에도 불구하고, 양자화 인식 학습은 몇 가지 한계도 지니고 있다. 재학습은 독점적이거나 외부에서 획득한 파운데이션 모델에는 사용할 수 없는 원본 데이터셋, 계산 자원, 최적화 인프라에 대한 접근을 필요로 한다. 대규모 재학습은 모델의 크기에 따라 며칠 또는 몇 주의 계산을 필요로 할 수 있다. 따라서 배치의 단순성이 최대의 예측 성능보다 더 중요할 때는 학습 후 양자화가 여전히 선호된다. 따라서 QAT는 실용적인 배치 파이프라인 내에서 PTQ를 대체하는 것이 아니라 보완하는 것이다.
현재의 연구는 적응형 양자화, 동적 정밀도 선택, 하드웨어를 인식하는 신경망 아키텍처 탐색, 학습 가능한 양자화 함수, 미분 가능한 하드웨어 최적화, 그리고 양자화를 가지치기, 희소성, 저랭크 적응과 결합하는 공동 최적화를 점점 더 많이 탐구하고 있다. 배치 전반에 걸쳐 수치적 정밀도를 고정된 것으로 취급하는 대신, 미래의 시스템은 계산 작업 부하, 배터리 상태, 환경적 복잡성, 태스크의 난이도, 사용 가능한 하드웨어 자원에 따라 정밀도를 동적으로 조정할 가능성이 높다. 이러한 적응형 추론은 실시간 반응성을 보존하면서도 전체적인 운영 효과성을 최대화할 것이다.
Physical AI 내에서, 체화 지능이 엄격한 실시간 제약 하에서 물리적 세계와의 지속적인 상호작용을 필요로 하기 때문에 양자화 인식 학습은 특히 중요한 역할을 한다. 자율 로봇은 단순히 계산 요구사항을 줄이기 위해 인지 정확도, 내비게이션 신뢰성, 조작 정밀도, 또는 언어 이해를 희생할 수 없다. QAT는 안전한 자율 운영에 필요한 행동적 견고성을 보존하면서도 고도로 압축된 배치를 가능하게 한다. 멀티모달 파운데이션 모델이 로보틱스에서 점점 더 중심적인 역할을 하게 됨에 따라, 양자화 인식 학습은 고도화된 인공지능과 실용적인 임베디드 배치를 연결하는 필수적인 기술 중 하나로 남을 것이다.
따라서 양자화 인식 학습은 단순한 수치적 최적화 기법보다 훨씬 더 많은 것을 나타낸다. 이는 하드웨어 제약을 신경망 최적화에 직접 통합하는 배치 지향적인 학습 방법론이다. 모델을 학습 전반에 걸쳐 시뮬레이션된 저정밀도 연산에 노출시킴으로써, QAT는 신경망이 제한된 메모리, 제약된 계산 자원, 엄격한 지연시간 요구사항, 낮은 전력 가용성을 특징으로 하는 배치 환경에 자연스럽게 적응할 수 있게 한다. 전통적인 학습 후 양자화와 비교했을 때, QAT는 공격적인 압축 하에서도 일관되게 더 큰 예측 정확도를 보존하며, 이는 임베디드 엣지 컴퓨팅 플랫폼에 고도화된 인지, 추론, 언어, 멀티모달 파운데이션 모델을 배치하는 데 있어 특히 유용하게 만든다. Physical AI 시스템이 점점 더 유능한 자율 로봇을 향해 계속 확장됨에 따라, 양자화 인식 학습은 클라우드 규모의 지능을 효율적이고, 신뢰할 수 있으며, 실용적인 실제 세계의 체화된 계산으로 전환시키는 근본적인 핵심 기술 중 하나로 남을 것이다.
10.04 Model Pruning Unstructured Structured [w/Code]
인공지능 모델이 규모 면에서 계속 성장함에 따라, 이를 임베디드 컴퓨팅 플랫폼에서 효율적으로 배치하는 것은 Physical AI에서 가장 중요한 공학적 과제 중 하나가 되었다. 현대의 비전 트랜스포머, 대규모 언어 모델, 시각-언어 모델, 확산 모델, 강화학습 정책, 멀티모달 파운데이션 모델은 종종 수억 또는 수십억 개의 파라미터를 포함한다. 이러한 모델들은 놀라운 추론 및 인지 능력을 보여주지만, 동시에 엄청난 계산 자원, 메모리 용량, 저장 대역폭, 전력, 냉각 인프라를 필요로 한다. 이러한 요구사항들은 대형 GPU 클러스터를 갖춘 클라우드 데이터 센터에서는 쉽게 충족되지만, 제한된 온보드 자원으로 작동하는 자율 로봇에게는 상당한 장애물을 제시한다. 이동 로봇, 드론, 자율주행 차량, 산업용 매니퓰레이터, 웨어러블 디바이스, 의료용 로봇, 지능형 센서는 엄격한 지연시간과 전력 제약 하에서 실시간 추론을 수행할 수 있는 컴팩트하고 에너지 효율적인 모델을 필요로 한다. 이 문제를 해결하기 위해 개발된 여러 모델 압축 기법들 중, 모델 가지치기(model pruning)는 원래 모델의 예측 능력의 대부분을 보존하면서도 불필요한 파라미터를 제거함으로써 계산적 복잡성을 줄이기 때문에 가장 영향력 있는 기법 중 하나가 되었다.
가지치기의 핵심적인 동기는 심층 신경망에 관한 중요한 관찰에서 비롯된다. 현대의 신경망은 종종 상당히 과대매개변수화(overparameterized)되어 있다. 학습 과정에서, 최적화 알고리즘은 복잡한 표현을 학습하기 위해 수백만 또는 수십억 개의 파라미터를 할당하지만, 모든 파라미터가 최종 성능에 동등하게 기여하는 것은 아니다. 많은 뉴런, 합성곱 필터, 트랜스포머 어텐션 헤드, 임베딩 차원, 또는 개별 가중치는 예측을 생성하는 데 있어 약하게만 관여하게 된다. 일부 파라미터는 학습이 수렴한 이후 거의 아무런 기여도 하지 않는다. 다른 파라미터들은 인접한 파라미터들과 고도로 상관관계를 갖게 되어, 사실상 중복되게 된다. 모델 가지치기는 성공적인 추론을 담당하는 필수적인 계산적 구조를 유지하면서도 이러한 불필요한 구성 요소들을 식별하고 제거하려고 시도한다.
가지치기라는 개념은 인간의 뇌에서 관찰되는 생물학적 과정과 유사하다. 발달 초기에, 생물학적 신경계는 풍부한 시냅스 연결을 만들어낸다. 학습이 진행됨에 따라, 자주 사용되는 연결은 강화되는 반면, 약하거나 불필요한 연결은 시냅스 가지치기(synaptic pruning)를 통해 점진적으로 제거된다. 이 과정은 인지 능력을 줄이지 않고도 효율성을 높인다. 인공 신경망도 유사한 행동을 보인다. 처음에는 큰 네트워크가 학습 도중 최적화의 유연성을 제공하는 한편, 학습 후 가지치기는 중복된 구조를 제거하여 더 작고 더 효율적인 계산 모델을 만들어낸다.
네트워크의 토폴로지를 유지하면서 수치적 정밀도를 줄이는 양자화와 달리, 가지치기는 파라미터나 계산 단위를 제거함으로써 네트워크 아키텍처 자체를 수정한다. 따라서 가지치기는 종종 메모리 사용량과 계산 작업 부하 모두에서 절감을 제공한다. 적절한 하드웨어 지원과 결합되면, 가지치기 된 모델은 더 빠르게 실행되고, 더 적은 에너지를 소비하며, 줄어든 저장 용량을 필요로 하고, 종종 더 낮은 추론 지연시간을 만들어낸다. 이러한 이점들은 계산 효율성이 운영상의 지속시간과 배치 가능성에 직접 영향을 미치는 임베디드 Physical AI 응용 분야에서 가지치기를 특히 매력적으로 만든다.
가지치기 기법은 파라미터가 제거되는 구조적 수준에 따라 분류될 수 있다. 가장 중요한 두 가지 범주는 비구조적 가지치기(unstructured pruning)와 구조적 가지치기(structured pruning)이다. 두 접근법 모두 불필요한 계산을 제거한다는 동일한 목표를 추구하지만, 구현, 하드웨어 호환성, 최적화 방법론, 실용적인 배치 특성에 있어 상당히 다르다.
비구조적 가지치기는 가장 유연한 형태의 파라미터 제거를 나타낸다. 개별 가중치는 어떤 중요도 기준에 따라 독립적으로 평가된다. 중요하지 않다고 판단된 가중치는 전체적인 네트워크 아키텍처를 유지하면서도 0으로 대체된다. 모든 레이어는 원래의 차원을 유지하지만, 많은 개별 수치 값들이 비활성화된다. 그 결과로 만들어진 희소 네트워크는 동일한 전체적인 계산 그래프를 유지하면서도 상당히 더 적은 유효 파라미터를 포함한다.
가장 단순한 중요도 기준은 가중치의 크기에 의존한다. 작은 크기의 파라미터는 종종 그 수치적 영향력이 제한적이기 때문에 네트워크 출력에 상대적으로 적게 기여한다. 따라서 크기 기반 가지치기는 절댓값이 사전에 정의된 임계값 아래로 떨어지는 가중치를 제거한다. 이 접근법은 거의 계산적 오버헤드를 필요로 하지 않으면서도 종종 놀라울 정도로 작은 정확도 저하로 상당한 파라미터 감소를 만들어낸다. 크기 가지치기는 그 단순성과 많은 신경망 아키텍처에 걸친 효과성 때문에 가장 널리 사용되는 가지치기 전략 중 하나로 남아 있다.
그러나 파라미터의 크기만으로 항상 기능적 중요도를 반영하는 것은 아니다. 일부 작은 가중치는 다른 파라미터들과의 상호작용을 통해 상당히 기여할 수 있는 반면, 특정한 더 큰 가중치는 인접한 뉴런들이 유사한 계산을 수행하기 때문에 중복될 수 있다. 따라서 더 정교한 가지치기 기준들이 개발되어 왔다. 그래디언트 기반 방법은 각각의 가중치를 제거하는 것이 전체적인 손실에 미치는 영향에 따라 파라미터의 민감도를 추정한다. 헤시안(Hessian) 기반 접근법은 2차 최적화 정보를 근사하여, 제거해도 예측 품질에 최소한의 영향만 미치는 파라미터를 식별한다. 중요도(saliency) 기반 방법은 가중치의 크기를 그래디언트 정보와 결합하여 더 정확한 중요도 추정치를 만들어낸다.
로또 티켓 가설(Lottery Ticket Hypothesis) 연구는 가지치기에 대한 또 다른 영향력 있는 관점을 소개했다. 이 가설에 따르면, 대형 신경망은 원래의 초기화로부터 독립적으로 학습되었을 때 전체 네트워크와 비슷한 예측 성능을 달성하는 비교적 작은 부분망들을 포함한다. 이러한 부분망들은, 대형의 과대매개변수화된 모델 내에 숨겨진 효율적인 계산 구조를 나타내기 때문에 "위닝 티켓(winning ticket)"이라고 불린다. 로또 티켓 가설은, 가지치기가 학습된 모델을 단순히 압축하는 것이 아니라 복잡한 태스크를 학습할 수 있는 본질적으로 압축된 아키텍처를 드러낸다는 것을 시사한다. 실용적인 배치는 원래의 이론적 공식화와 종종 다르지만, 이 가설은 심층 신경망 내의 중복성을 조명함으로써 이후의 가지치기 연구에 상당한 영향을 미쳤다.
그 유연성에도 불구하고, 비구조적 가지치기는 실용적인 배치 과제를 제시한다. 많은 파라미터가 0이 되더라도, 텐서의 차원이 변하지 않은 채로 남아 있기 때문에 전통적인 하드웨어는 종종 완전한 계산 그래프를 계속 처리한다. 표준 GPU 아키텍처는 밀집 행렬 곱셈을 효율적으로 수행하지만 불규칙한 희소성 패턴으로부터는 제한적인 이득만을 얻는다. 따라서 전문화된 희소 계산 라이브러리나 전용 하드웨어 가속기가 사용 가능하지 않는 한, 파라미터 수의 이론적 감소가 항상 비례적인 추론 가속으로 직접 전환되는 것은 아니다.
따라서 희소 행렬 계산(sparse matrix computation)은 비구조적 가지치기를 지원하는 중요한 기술을 나타낸다. 전문화된 알고리즘은 인덱스와 함께 오직 0이 아닌 값들만을 저장하여 메모리 소비를 상당히 줄인다. 희소 텐서 라이브러리는 추론 과정에서 이러한 표현을 활용하여, 0 값의 파라미터가 관여하는 계산을 건너뛴다. 전용 하드웨어는 희소 행렬 곱셈을 점점 더 가속화하여, 이론적인 압축 비율에 근접하는 실용적인 속도 향상을 가능하게 한다. NVIDIA의 구조적 희소성 지원, Intel의 희소 계산 라이브러리, 맞춤형 AI 가속기들은 효율적인 희소 추론을 목표로 하는 진행 중인 하드웨어 발전을 보여준다.
구조적 가지치기는 비구조적 희소성과 관련된 많은 배치상의 한계를 해결한다. 개별 가중치를 독립적으로 제거하는 대신, 구조적 가지치기는 뉴런, 합성곱 필터, 채널, 트랜스포머 어텐션 헤드, 임베딩 차원, 레이어, 또는 완전한 잔차 블록을 포함한 전체적인 계산 단위를 제거한다. 네트워크 토폴로지가 직접 변하기 때문에, 그 결과로 만들어진 아키텍처는 단순히 많은 0 값의 파라미터를 포함하는 것이 아니라 물리적으로 더 작아진다. 따라서 표준적인 밀집 계산 라이브러리는 전문화된 희소 하드웨어를 필요로 하지 않고도 구조적으로 가지치기 된 네트워크를 효율적으로 실행한다.
채널 가지치기(channel pruning)는 가장 흔한 구조적 기법 중 하나를 나타낸다. 합성곱 신경망은 학습된 시각적 표현에 대응하는 채널들을 통해 특징 추출을 조직한다. 예측 품질에 거의 기여하지 않는 채널들은 관련된 합성곱 커널과 함께 완전히 제거된다. 이후의 레이어는 줄어든 채널 수를 수용하기 위해 자동으로 자신의 차원을 조정한다. 그 결과로 만들어진 네트워크는 전통적인 하드웨어 가속과 호환되는 상태로 남아 있으면서도 더 적은 산술 연산, 줄어든 메모리 대역폭, 더 낮은 저장 공간을 필요로 한다.
필터 가지치기(filter pruning)는 개별 가중치가 아니라 완전한 합성곱 필터를 제거함으로써 유사하게 작동한다. 모든 필터가 하나의 출력 특징 맵을 만들어내기 때문에, 불필요한 필터를 제거하는 것은 이후의 네트워크 레이어 전반에 걸쳐 계산적 복잡성을 직접 줄여준다. 필터의 중요도는 가중치의 크기, 활성화 통계, 그래디언트 민감도, 상호 정보(mutual information), 또는 최적화 기반 기준을 사용해 추정될 수 있다. 계산 그래프가 물리적으로 더 작아지기 때문에 구조적 필터 제거는 종종 상당한 추론 가속을 제공한다.
트랜스포머 아키텍처는 전통적인 합성곱 신경망 내에서는 사용할 수 없었던 추가적인 가지치기 기회를 도입한다. 다중 헤드 셀프 어텐션 메커니즘은 입력 토큰들 사이의 상호 보완적인 관계를 학습하는 여러 독립적인 어텐션 헤드를 사용한다. 연구는 많은 어텐션 헤드가 최종 예측 품질에 상대적으로 거의 기여하지 않는다는 것을 보여주었다. 헤드 가지치기는 이러한 중복된 어텐션 메커니즘을 완전히 제거하여, 전체적인 추론 능력을 보존하면서도 계산적 복잡성을 줄여준다. 마찬가지로, 피드포워드 차원, 임베딩 채널, 트랜스포머 블록, 위치 표현도 중요도 추정치에 따라 구조적 가지치기를 거칠 수 있다.
레이어 가지치기(layer pruning)는 특히 극도로 깊은 파운데이션 모델을 위한 또 다른 중요한 최적화 전략을 제공한다. 현대의 트랜스포머 아키텍처는 종종 수십 개, 심지어 수백 개의 레이어를 포함한다. 분석은 종종 인접한 레이어들이 매우 유사한 변환을 학습하거나 미미한 개선만을 제공한다는 것을 보여준다. 신중하게 선택된 레이어를 제거하는 것은 허용 가능한 예측 정확도를 유지하면서도 추론 지연시간을 상당히 줄여준다. LayerDrop, 조기 종료(early exiting), 동적 레이어 선택은 입력의 난이도에 따라 추론의 복잡성이 적응할 수 있게 함으로써 이 개념을 더욱 확장시킨다.
구조적 가지치기는 그 결과로 만들어진 아키텍처가 더 적은 계산 단위를 포함함에도 불구하고 밀집된 상태로 남아 있기 때문에 일반적으로 뛰어난 하드웨어 효율성을 제공한다. 표준적인 행렬 곱셈 라이브러리는 희소 인덱싱 오버헤드를 필요로 하지 않고도 효율적으로 작동한다. 따라서 임베디드 AI 가속기, GPU, 텐서 처리 장치, 신경망 처리 장치는 줄어든 모델 차원으로부터 직접 상당한 추론 가속을 실현한다. 따라서 구조적 가지치기는 때때로 고도로 최적화된 비구조적 희소성보다 다소 낮은 압축 비율을 달성함에도 불구하고 실제 세계의 엣지 배치에는 더 선호되는 것으로 종종 입증된다.
가지치기 자체는 모델 개발의 서로 다른 단계에서 일어날 수 있다. 학습 후 가지치기(post-training pruning)는 표준적인 부동소수점 최적화가 완료된 후에 시작된다. 파라미터가 평가되고, 불필요한 구성 요소가 제거되며, 그 결과로 만들어진 모델은 선택적으로 손실된 예측 정확도를 회복하기 위해 미세조정된다. 이 접근법은 배치 최적화가 원래의 학습과 독립적으로 이루어지기 때문에 학습 후 양자화와 유사하다. 학습 후 가지치기는, 사전학습된 파운데이션 모델이 종종 비용이 많이 드는 대규모 최적화를 반복하지 않고도 압축될 수 있기 때문에 매력적으로 남아 있다.
반복적 가지치기(iterative pruning)는 가장 성공적인 실용적 방법론 중 하나를 나타낸다. 대량의 파라미터를 동시에 제거하는 대신, 가지치기는 여러 최적화 주기에 걸쳐 점진적으로 진행된다. 선택된 중요도 기준에 따라 작은 비율의 파라미터가 제거된다. 이후 네트워크는 남아 있는 파라미터가 제거된 계산을 보상할 수 있도록 하는 추가적인 미세조정을 거친다. 이 과정은 원하는 압축 수준이 달성될 때까지 반복된다. 점진적 가지치기는 일반적으로 일회성의 공격적인 파라미터 제거보다 상당히 더 큰 예측 정확도를 보존한다.
학습 도중 가지치기(training-time pruning)는 압축을 최적화에 직접 통합한다. 중복성을 제거하기 전에 큰 네트워크를 먼저 학습시키는 대신, 가지치기는 학습 전반에 걸쳐 지속적으로 일어난다. 지속적으로 중요하지 않게 되는 파라미터들은 최적화가 진행됨에 따라 점진적으로 제거된다. 동적 희소성 방법은, 이후의 최적화가 그 유용성을 판단하면 가지치기 된 연결이 다시 자랄 수 있게 함으로써 이를 더욱 확장시킨다. 이러한 적응형 아키텍처는 초기 학습 과정에서의 탐색을 이후의 최적화 단계에서의 효율성과 균형을 맞춘다.
미세조정(fine-tuning)은, 파라미터를 제거하는 것이 필연적으로 학습된 표현을 교란시키기 때문에 가지치기 이후 핵심적인 역할을 한다. 남아 있는 가중치는 추가적인 최적화를 통해 적응하여, 계산적 책임을 살아남은 네트워크 구성 요소들 사이에 재분배한다. 미세조정은 종종 가지치기를 통해 초기에 손실된 예측 정확도의 상당 부분을 회복시킨다. 대형 파운데이션 모델의 경우, 파라미터 제거 후 즉각적인 추론에 비해 비교적 짧은 미세조정 단계조차도 배치 품질을 상당히 향상시킨다.
지식 증류는 가지치기를 자주 보완한다. 큰 교사 네트워크는 최적화 과정에서 더 작은 가지치기 된 학생 모델을 감독하여, 줄어든 계산 용량에도 불구하고 풍부한 의미론적 표현을 전이시킨다. 증류는 압축된 네트워크가 원래의 태스크 감독에만 배타적으로 의존하는 대신 교사의 행동을 근사하도록 장려한다. 가지치기를 증류와 결합하는 것은 이미지 인식, 언어 모델링, 음성 처리, 강화학습, 멀티모달 추론에 걸쳐 압축된 모델의 성능을 일관되게 향상시킨다.
양자화와 가지치기는 자연스럽게 서로를 강화한다. 가지치기는 중복된 계산 단위를 제거하는 한편, 양자화는 남아 있는 파라미터 내의 수치적 정밀도를 줄인다. 이 둘이 함께 작동하면 메모리 소비, 계산적 복잡성, 에너지 사용량에서 곱셈적인 절감을 제공한다. 따라서 많은 배치 파이프라인은 구조적 가지치기를 수행한 후 양자화 인식 학습이나 학습 후 양자화를 수행하여, 강력한 예측 성능을 보존하면서도 임베디드 추론에 적합한 고도로 압축된 모델을 만들어낸다.
신경망 아키텍처 탐색(Neural Architecture Search)은 가지치기의 원리를 자동화된 모델 설계에 점점 더 많이 직접 통합하고 있다. 최적화 이전에 네트워크 구조를 수작업으로 선택하는 대신, 탐색 알고리즘은 이후의 가지치기와 압축에 자연스럽게 적합한 계산적 아키텍처를 식별한다. 하드웨어를 인식하는 아키텍처 탐색은, 계산 처리량, 메모리 계층 구조, 열적 제약, 에너지 효율성을 동시에 균형 맞추면서 그 결과로 만들어진 모델을 특정한 목표 임베디드 플랫폼을 위해 더욱 최적화한다.
Physical AI 내에서, 자율 로봇이 여러 AI 모델을 동시에 실행하기 때문에 가지치기는 상당한 실용적 이점을 제공한다. 시각 시스템은 물체 감지, 의미론적 분할, 깊이 추정, 시각적 위치 추정, 인간 자세 추정, 이상 감지를 수행한다. 내비게이션 시스템은 지도 작성, 위치 추정, 장애물 회피, 경로 계획을 실행한다. 조작 시스템은 파지 감지, 힘 추정, 모션 생성을 수행한다. 언어 모델은 지시를 해석하고 고수준의 추론을 조율한다. 효율적인 압축이 없다면, 누적된 계산 요구사항은 사용 가능한 임베디드 하드웨어 자원을 빠르게 초과한다. 가지치기 된 모델은 이러한 다양한 능력들이 실용적인 엣지 컴퓨팅 플랫폼 내에 공존할 수 있게 한다.
자율주행 차량도 마찬가지로, 인지 파이프라인이 카메라 이미지, LiDAR 포인트 클라우드, 레이더 관측치, GPS 측정치, 관성 센서를 동시에 실시간으로 처리할 것을 필요로 하기 때문에 가지치기로부터 이득을 얻는다. 지연시간의 모든 밀리초는 고속 내비게이션 과정에서의 안전 마진에 영향을 미친다. 구조적 가지치기는 개선된 에너지 효율성을 통해 운영 범위를 확장하면서도 제어 주파수를 늘리기에 충분할 정도로 추론 지연시간을 줄여준다.
산업용 로보틱스는 또 다른 중요한 응용 도메인을 나타낸다. 공장 자동화 시스템은 종종 엄격한 신뢰성 요구사항 하에서 확장된 기간 동안 지속적으로 실행된다. 줄어든 계산 수요는 열 출력을 감소시켜, 냉각 요구사항을 낮추면서도 하드웨어의 수명을 향상시킨다. 더 작은 모델은 추가적으로 대규모 산업용 로봇 함대 전반에 걸친 배치를 단순화하여, 제조 환경 전반에 걸쳐 메모리 요구사항과 하드웨어 비용을 줄여준다.
NVIDIA Jetson Orin, Jetson Thor, Qualcomm Robotics RB 시리즈, Intel 신경망 처리 장치, 맞춤형 임베디드 AI 가속기와 같은 엣지 컴퓨팅 플랫폼들은, 줄어든 모델 차원이 즉시 더 낮은 메모리 사용량, 더 빠른 추론, 향상된 배터리 지속시간으로 전환되기 때문에 구조적 가지치기로부터 직접 이득을 얻는다. 하드웨어를 인식하는 가지치기는, 단순한 이론적 압축이 아니라 실용적인 성능을 최대화하기 위해 목표 배치 플랫폼에 특화되게 압축된 아키텍처를 점점 더 많이 맞춤화하고 있다.
가지치기의 평가는 파라미터 수를 훨씬 넘어 확장된다. 연구자들은 예측 정확도, 추론 지연시간, 메모리 소비, 계산 처리량, 에너지 효율성, 열적 행동, 하드웨어 활용도, 시작 시간, 저장 요구사항, 배터리 지속시간, 다양한 운영 조건 하에서의 견고성을 측정한다. 배치 성능이 하드웨어 호환성과 실행 효율성에 동등하게 의존하기 때문에 압축 비율만으로는 불충분한 평가를 제공한다.
현재의 연구는 적응형 가지치기, 동적 희소성, 조건부 계산, 트랜스포머를 위한 토큰 가지치기, 활성화 가지치기, 조기 종료, 신경망 라우팅, 하드웨어를 인식하는 최적화를 점점 더 많이 탐구하고 있다. 모든 입력에 대해 동일한 계산 그래프를 실행하는 대신, 미래의 시스템은 입력의 복잡성, 환경적 불확실성, 배터리 상태, 운영상의 우선순위에 따라 계산 자원을 동적으로 할당할 것이다. 단순한 태스크는 완전한 모델 용량의 아주 작은 일부만을 필요로 할 수 있는 반면, 어려운 시나리오는 추가적인 계산 경로를 자동으로 활성화한다.
가지치기의 미래는 또한 파운데이션 모델과 멀티모달 체화 지능과도 밀접하게 교차한다. 극도로 큰 시각-언어 모델과 대규모 언어 모델은 단순히 전통적인 압축만으로는 축소될 수 없다. 대신, 선택적 활성화, 모듈형 추론, 검색 증강, 전문가 혼합(mixture-of-experts) 아키텍처, 동적 계산 그래프, 적응형 희소성이 전통적인 가지치기 전략들을 점점 더 많이 보완할 것이다. 이러한 접근법들은 로봇이 현재의 태스크와 관련된 계산적 구성 요소만을 실행하면서도 클라우드 규모의 지능에 접근할 수 있게 한다.
따라서 모델 가지치기는 불필요한 신경망 파라미터를 제거하는 것보다 훨씬 더 많은 것을 나타낸다. 이는 과대매개변수화된 딥러닝 모델을 실제 세계의 배치에 적합한 효율적인 계산 아키텍처로 전환시키는 근본적인 최적화 방법론이다. 비구조적 가지치기는 세밀한 파라미터 제거를 통해 높은 압축을 달성하며, 이를 통해 대형 네트워크 내의 희소한 계산적 구조를 드러낸다. 구조적 가지치기는 채널, 필터, 뉴런, 어텐션 헤드, 또는 레이어를 제거함으로써 네트워크 아키텍처를 직접 수정하여, 표준적인 추론 가속기와 호환되는 하드웨어 효율적인 모델을 만들어낸다. 양자화, 지식 증류, 신경망 아키텍처 탐색, 하드웨어를 인식하는 최적화와 함께, 가지치기는 고도화된 Physical AI 시스템이 엣지에서 작동하는 임베디드 자율 로봇에 부과되는 엄격한 계산적 제약 내에서 정교한 인지, 추론, 계획 수립, 내비게이션, 조작, 언어 이해를 수행할 수 있게 하는 필수적인 기술적 기반 중 하나를 형성한다.
10.05 Knowledge Distillation Teacher Student [w/Code]
지식 증류(knowledge distillation)는 교사(teacher)라고 불리는 크고 매우 유능한 신경망이 학생(student)이라고 불리는 더 작고 효율적인 신경망의 학습을 안내하는 모델 압축 및 지식 전이 기법이다. 오직 정답 레이블로부터만 학습하는 대신, 학생은 교사의 예측 행동, 내부 표현, 또는 의사결정 패턴을 모방하는 법을 학습한다. 목표는 계산적 복잡성, 메모리 소비, 추론 지연시간, 전력 사용량을 극적으로 줄이면서도 교사의 지능을 가능한 한 많이 보존하는 것이다. 로봇, 자율주행 차량, 드론, 임베디드 컨트롤러, 모바일 디바이스에 배치되는 엣지 AI 시스템의 경우, 지식 증류는 대규모 하드웨어 자원을 필요로 하지 않고도 높은 추론 품질을 달성하는 가장 실용적인 접근법 중 하나를 제공한다.
지식 증류의 동기는 신경망 예측에 관한 중요한 관찰에서 비롯된다. 전통적인 지도학습은 오직 정답 클래스만을 나타내는 원-핫(one-hot) 레이블을 사용해 모델을 학습시킨다. 이러한 레이블은 모든 오답 클래스가 동일하게 0의 목표 확률을 받기 때문에 제한된 정보만을 담고 있다. 반면, 잘 학습된 교사는 훨씬 더 풍부한 정보를 인코딩하는 확률 분포를 만들어낸다. 이러한 분포들은 클래스들 간의 유사성, 어려운 샘플에서의 불확실성, 계층적인 의미론적 관계, 광범위한 학습을 통해 발전된 신뢰도 구조를 드러낸다. 이러한 소프트 확률 분포로부터 학습함으로써, 학생은 전통적인 레이블만으로는 얻을 수 없는 훨씬 더 유용한 감독에 접근하게 된다.
이 개념은 Geoffrey Hinton과 동료들에 의해 대중화되었으며, 이들은 앙상블이나 대형 신경망 내에 담긴 지식을 더 작은 모델로 증류한다는 아이디어를 소개했다. 파라미터를 직접 복사하는 대신, 학생은 교사의 함수를 근사하려고 시도한다. 교사는 수억 또는 수십억 개의 파라미터를 포함할 수 있는 반면, 학생은 단 수백만 개의 파라미터만을 포함할 수 있다. 놀랍게도, 신중하게 학습된 학생은 상당히 더 작음에도 불구하고 종종 교사의 성능에 놀라울 정도로 가까운 성능을 달성한다.
지식 증류는 양자화, 가지치기, 연산자 결합, 컴파일러 최적화, 효율적인 신경망 아키텍처 설계와 함께 엣지 AI 최적화의 더 넓은 영역 내에 자연스럽게 들어맞는다. 양자화는 수치적 정밀도를 줄이고, 가지치기는 불필요한 파라미터를 제거하는 한편, 증류는 학습된 지능을 압축된 아키텍처로 전이시킨다. 이러한 기법들은 경쟁적이라기보다는 상호 보완적이다. 많은 프로덕션 시스템에서, 중복성을 제거하기 위해 먼저 가지치기가 적용되고, 손실된 정확도를 회복하기 위해 지식 증류가 사용되며, 마지막으로 양자화가 임베디드 하드웨어에서의 배치를 위해 최적화된 모델을 INT8이나 INT4 표현으로 변환한다.
교사 네트워크는 일반적으로 목표 태스크에서 뛰어난 성능을 달성할 때까지 표준적인 지도학습이나 자기지도학습 방법을 사용해 먼저 학습된다. 교사 학습 도중에는 추론 효율성이 관심사가 아니기 때문에, 교사 아키텍처는 극도로 클 수 있다. 예시에는 수억 개의 파라미터를 지닌 비전 트랜스포머, 대형 합성곱 네트워크, 파운데이션 모델, 멀티모달 트랜스포머, 또는 언어 모델이 포함된다. 교사는 학생 학습 과정에서 순수하게 교사 역할을 하며 일반적으로 배치 이후에는 폐기된다.
학생 네트워크는 배치 제약을 염두에 두고 설계된다. 학생은 더 적은 레이어, 더 좁은 은닉 차원, 줄어든 어텐션 헤드, 더 적은 채널, 또는 단순화된 연산자를 포함할 수 있다. 학생 아키텍처는 또한 GPU, NPU, DSP, 또는 임베디드 가속기에서 효율적으로 실행되는 하드웨어 친화적인 연산을 사용할 수 있다. 과제는 단순히 네트워크를 더 작게 만드는 것이 아니라, 줄어든 용량이 교사가 학습한 필수적인 의사결정 능력을 포착하도록 보장하는 것이다.
핵심적인 학습 목표는 전통적인 지도학습 손실을 증류 손실과 결합한다. 지도학습 구성 요소는 학생이 올바른 레이블을 예측하도록 보장하는 한편, 증류 구성 요소는 교사와 학생의 출력 사이의 일치를 장려한다. 가중치 계수는 이 두 목표 사이의 균형을 맞춘다. 교사의 예측에 과도하게 의존하는 것은 학생이 교사의 실수를 물려받게 만들 수 있는 반면, 오직 레이블에만 의존하는 것은 지식 전이가 제공하는 이점의 많은 부분을 잃어버리게 만든다.
지식 증류에서 가장 중요한 개념 중 하나는 소프트 타겟(soft target)이다. 가장 높은 확률을 가진 클래스만을 비교하는 대신, 학생은 교사가 만들어낸 완전한 확률 분포와 일치시키려고 시도한다. 소프트 타겟은 범주들 간의 미묘한 유사성을 드러낸다. 예를 들어, 늑대의 이미지는 늑대에 대해 높은 확률을, 개에 대해 중간 정도의 확률을, 여우에 대해 낮은 확률을 받을 수 있다. 이러한 관계들은 일반적인 원-핫 레이블로는 제공할 수 없는 의미론적 지식을 전달한다.
온도 스케일링(temperature scaling)은 유용한 소프트 타겟을 생성하는 데 있어 핵심적인 역할을 한다. 소프트맥스 연산 이전에, 로짓(logit)은 온도 파라미터로 나누어진다. 더 높은 온도는 더 부드러운 확률 분포를 만들어내어, 부차적인 클래스 관계를 더 잘 보이게 한다. 학습 과정에서, 교사와 학생의 예측 모두 동일한 온도를 사용해 계산되는 한편, 최종 추론은 1의 정상적인 온도를 사용한다. 적절한 온도를 선택하는 것은 지식 전이의 품질에 상당한 영향을 미친다.
가장 흔한 목표는 로짓 증류(logit distillation)로, 이는 학생이 자신의 출력 로짓과 교사의 로짓 사이의 발산을 최소화하는 것이다. 쿨백-라이블러 발산(Kullback-Leibler divergence)은 두 확률 분포를 비교하는 데 자주 사용된다. 로짓이 하드 레이블보다 더 많은 정보를 보존하기 때문에, 이 접근법은 순수하게 지도학습만 사용하는 것에 비해 종종 상당한 개선을 만들어낸다.
특징 증류(feature distillation)는 이 아이디어를 최종 예측을 넘어 확장한다. 출력 확률만을 일치시키는 대신, 학생은 교사가 생성한 중간 특징 표현을 재현하는 법을 학습한다. 은닉 레이어는 텍스처, 가장자리, 형태, 의미론적 개념, 공간적 구조, 맥락적 관계를 기술하는 점진적으로 더 풍부한 추상화를 담고 있다. 이러한 중간 표현들을 정렬하는 것은 학생이 교사와 유사한 내부적인 추론 과정을 발전시키도록 장려한다.
교사와 학생 아키텍처가 종종 상당히 다르기 때문에, 특징의 차원이 직접 일치하지 않을 수 있다. 유사도 손실을 계산하기 전에 특징 공간을 정렬하기 위해 투영(projection) 레이어, 어댑터, 합성곱 변환, 또는 선형 매핑이 도입된다. 평균 제곱 오차, 코사인 유사도, 어텐션 매칭, 상관관계 기반 목표는 이러한 정렬을 위해 흔히 사용된다.
어텐션 증류(attention distillation)는 원본 특징 텐서가 아니라 어텐션 맵을 전이하는 데 특별히 초점을 맞춘다. 어텐션 맵은 어떤 공간적 영역, 토큰, 또는 채널이 예측에 가장 강하게 영향을 미치는지를 나타낸다. 트랜스포머 모델의 경우, 어텐션 행렬은 입력 토큰들 사이의 관계를 인코딩하는 반면, 합성곱 네트워크는 중요한 이미지 영역을 강조하는 공간적 어텐션 맵을 생성할 수 있다. 이러한 어텐션 패턴을 일치시키는 것은 아키텍처의 차이에도 불구하고 학생이 유사한 추론 전략을 학습하는 데 도움이 된다.
관계 증류(relation distillation)는 개별적인 예측이 아니라 샘플들 간의 쌍별 관계(pairwise relationship)를 전이한다. 교사는 배치 내의 서로 다른 예시들 사이의 거리나 유사도를 정의하며, 학생은 자신의 임베딩 공간 내에서 이러한 기하학적 관계를 보존하려고 시도한다. 이러한 접근법은 개별적인 활성화가 다르더라도 학생이 유사한 특징 조직을 학습하도록 장려한다.
표현 증류(representation distillation)는 지식 전이를 잠재 임베딩 공간으로 확장한다. 현대의 파운데이션 모델은 종종 여러 다운스트림 태스크를 지원하는 풍부한 특징 임베딩을 생성한다. 이러한 임베딩을 재현하도록 학습된 학생들은 교사의 일반화 능력의 상당 부분을 물려받으며, 이는 표현 증류를 전이 학습과 파운데이션 모델 압축에 특히 유용하게 만든다.
자기 증류(self-distillation)는 교사와 학생이 동일한 아키텍처로부터 비롯되는 흥미로운 변형을 도입한다. 모델의 이전 버전, 더 깊은 레이어, 또는 지수 이동 평균(exponential moving average)이 이후 학습을 위한 교사 역할을 한다. 자기 증류는 더 큰 외부 교사가 존재하지 않는 경우에도 견고성과 일반화를 향상시키는 것으로 나타났다.
Born-Again 네트워크는 자기 증류의 또 다른 형태를 나타낸다. 네트워크를 학습시킨 후, 동일한 아키텍처를 지닌 두 번째 네트워크가 첫 번째 네트워크를 교사로 사용해 학습된다. 놀랍게도, 연속적인 세대들은 동일한 용량을 지녔음에도 불구하고 때때로 이전 세대보다 더 나은 성능을 보인다. 이러한 현상은 교사가 생성한 감독이 직접적인 감독만으로는 얻을 수 없는 더 풍부한 최적화 환경을 제공한다는 것을 시사한다.
온라인 증류(online distillation)는 교사와 학생이 동시에 학습되기 때문에 전통적인 오프라인 증류와 다르다. 여러 네트워크가 최적화 과정에서 예측을 교환하여, 일방향의 가르침이 아니라 상호 학습을 가능하게 한다. 이는 교사를 사전학습시킬 필요성을 제거하지만 더 큰 최적화의 복잡성을 도입한다.
상호 학습(mutual learning)은 여러 학생들이 서로를 동시에 가르칠 수 있게 함으로써 온라인 증류를 확장한다. 각각의 네트워크는 대형 사전학습된 교사를 필요로 하지 않고도 동료들의 예측으로부터 이득을 얻어, 집단적인 성능을 향상시킨다.
교차 모달 증류(cross-modal distillation)는 서로 다른 감지 양식들 사이에서 지식을 전이한다. 학습 과정에서 고해상도 LiDAR를 갖춘 로봇은 배치 과정에서 RGB 카메라에만 의존하는 학생을 가르칠 수 있다. 마찬가지로, 시각, 언어, 힘 감지, 오디오, 고유수용감각을 결합하는 멀티모달 파운데이션 모델은 자신의 지식을 경량화된 단일모달 배치 모델로 증류할 수 있다.
교차 아키텍처 증류(cross-architecture distillation)는 근본적으로 다른 신경망 아키텍처들 사이에서 지능을 전이한다. 트랜스포머 교사가 합성곱 학생을 안내하거나, 그래프 신경망이 다층 퍼셉트론을 가르칠 수 있다. 배치 제약이 종종 학습 환경과는 다른 아키텍처를 요구하기 때문에, 교차 아키텍처 전이는 임베디드 시스템에 매우 유용하다.
태스크별 증류(task-specific distillation)는 물체 감지, 의미론적 분할, 자세 추정, 깊이 예측, 파지 계획 수립, 궤적 생성, 위치 추정, 지도 작성, 음성 인식, 또는 행동 예측과 같은 개별적인 로보틱스 응용 분야에 초점을 맞춘다. 각각의 태스크는 해당하는 예측 문제의 필수적인 특성을 포착하는 신중하게 설계된 증류 목표를 필요로 한다.
지식 증류는 자율 로봇에 배치되는 물체 감지 모델에 있어 특히 중요해졌다. 비전 트랜스포머나 고급 합성곱 백본에 기반한 대형 감지기는 뛰어난 정확도를 달성하지만 상당한 계산 자원을 필요로 한다. 이러한 감지기들을 MobileNet 기반 아키텍처와 같은 경량화된 모델로 증류하는 것은 경쟁력 있는 감지 성능을 유지하면서도 임베디드 프로세서에서 실시간 추론을 가능하게 한다.
의미론적 분할도 마찬가지로 증류로부터 이득을 얻는다. 밀집 예측(dense prediction) 태스크는 픽셀 수준의 추론을 필요로 하기 때문에 직접적인 압축이 어렵다. 특징 및 어텐션 증류는 압축된 분할 모델이 자율 내비게이션을 위한 엄격한 지연시간 요구사항을 충족하면서도 세밀한 공간적 이해를 유지할 수 있게 한다.
자세 추정 모델 역시 증류를 효과적으로 활용한다. 큰 교사 네트워크는 관절, 신체 부위, 또는 로봇 매니퓰레이터 사이의 정밀한 기하학적 관계를 포착한다. 학생은 이러한 관계들을 학습하여, 줄어든 모델 용량에도 불구하고 위치 추정 정확도를 향상시킨다.
깊이 추정과 단안(monocular) 기하학적 예측은, 기하학적 일관성이 단순한 출력 확률을 넘어 확장되기 때문에 특징 수준의 감독에 크게 의존한다. 중간 표현의 증류는 로봇 내비게이션에 필수적인 구조적 이해를 보존하는 데 도움이 된다.
로봇 조작 시스템은 대형 시각운동(visuomotor) 정책을 압축하기 위해 지식 증류를 점점 더 많이 사용하고 있다. 방대한 로봇 데이터셋으로 학습된 파운데이션 모델은 수백 기가바이트의 메모리를 필요로 할 수 있어, 직접적인 배치를 비현실적으로 만든다. 증류는 비슷한 신뢰성을 가지고 파지, 조립, 삽입, 도구 사용을 수행할 수 있는 더 작은 정책을 가능하게 한다.
시각-언어-행동 모델은 또 다른 주요한 응용 영역을 나타낸다. 대형 멀티모달 트랜스포머는 언어 이해, 시각적 인지, 추론, 행동 계획 수립을 통합한다. 증류는 이러한 모델들을 휴머노이드 로봇, 창고용 AMR, 사족 보행 로봇, 이동 매니퓰레이터에 배치하기에 적합한 엣지 호환 정책으로 압축한다.
대규모 언어 모델 자체도 임베디드 추론에 최적화된 압축된 버전으로 자주 증류된다. 증류된 언어 모델은 추론 비용을 극적으로 줄이면서도 대화 능력, 지시 따르기, 계획 수립, 추론 능력을 보존한다. 이러한 압축된 모델들은 지속적인 클라우드 연결 없이도 로컬 로봇의 자율성을 지원한다.
강화학습도 증류로부터 이득을 얻는다. 수백만 번의 시뮬레이션 에피소드에 걸쳐 학습된 정책이 교사 역할을 할 수 있으며, 더 작은 정책이 그 행동을 모방하는 법을 학습한다. 이는 학습된 제어 전략의 상당 부분을 유지하면서도 배치 과정에서의 추론 비용을 줄여준다. 정책 증류는 여러 태스크별 정책이 하나의 일반화된 컨트롤러로 병합될 때 특히 유용하다.
다중 태스크 증류(multi-task distillation)는 여러 전문가 교사들로부터의 지식을 여러 태스크를 동시에 해결할 수 있는 하나의 학생으로 결합한다. 내비게이션, 인지, 조작, 위치 추정, 언어 이해를 위한 별도의 네트워크를 유지하는 대신, 통합된 학생이 이러한 능력들을 하나의 효율적인 모델로 통합한다.
연합 학습(federated learning) 환경은 파라미터 평균화 대신 증류를 사용할 수 있다. 로컬 디바이스는 완전한 모델 파라미터를 전송하지 않고도 중앙에서 통합될 수 있는 압축된 표현으로 학습된 지식을 증류한다. 이는 프라이버시를 향상시키면서도 통신 오버헤드를 줄여준다.
로봇이 종종 심각한 계산적 제약을 경험하기 때문에 지식 증류는 로보틱스에 특히 매력적이다. 이동 로봇은 엄격한 배터리 제한 하에서 작동하면서도 실시간 마감시한을 충족해야 한다. 임베디드 프로세서는 데이터 센터의 GPU보다 상당히 낮은 메모리 대역폭을 지닌다. 추론 과정에서 절약되는 모든 밀리초는 더 빠른 제어 루프, 향상된 반응성, 줄어든 발열, 더 긴 작동 시간으로 전환된다.
자율주행 차량도 마찬가지로 압축된 인지 모델로부터 이득을 얻는다. 고해상도 카메라, LiDAR 센서, 레이더 시스템, 위치 추정 파이프라인, 예측 모듈, 계획 수립 알고리즘은 계산 자원을 두고 경쟁한다. 증류는 인지 모듈이 더 적은 자원을 소비할 수 있게 하여, 안전이 중요한 계획 수립과 제어를 위한 추가적인 계산 능력을 남겨둔다.
휴머노이드 로봇은 또 다른 중요한 배치 시나리오를 나타낸다. 전신 인지, 언어 이해, 조작 계획 수립, 균형 제어, 환경적 추론은 모두 동시에 실행되어야 한다. 대형 파운데이션 모델은 온보드 추론에는 여전히 비현실적이어서, 증류된 정책이 실용적인 휴머노이드 지능의 필수적인 구성 요소가 된다.
산업용 점검 로봇은 공장 엣지 디바이스에 결함 감지 시스템을 배치하기 위해 증류를 사용한다. 모든 이미지를 클라우드 서버로 전송하는 대신, 압축된 모델이 로컬에서 실시간 점검을 수행하여, 지연시간을 줄이면서도 민감한 제조 데이터를 보호한다.
의료용 로봇도 마찬가지로 엄격한 신뢰성 제약 하에서 효율적인 추론을 필요로 한다. 증류된 분할, 감지, 의사결정 지원 모델은 임상 성능을 보존하면서도 임베디드 수술 플랫폼과 진단 시스템이 줄어든 하드웨어 요구사항으로 작동할 수 있게 한다.
증류된 학생의 품질은 교사의 품질에 크게 의존한다. 잘못 학습된 교사는 증류 알고리즘의 정교함과 무관하게 부실한 지식을 전이한다. 따라서 교사 최적화는 성공적인 지식 증류 파이프라인에서 가장 중요한 단계 중 하나로 남아 있다.
학생의 용량 역시 성능에 영향을 미친다. 극도로 작은 학생은 교사의 지식을 흡수하기에 충분한 표현력을 갖지 못할 수 있다. 압축 비율과 달성 가능한 정확도 사이에는 본질적인 절충이 존재한다. 따라서 실용적인 배치는 단순히 파라미터 수를 최소화하는 것이 아니라 신중한 아키텍처 탐색을 수반한다.
손실 균형(loss balancing)은 또 다른 최적화 과제를 제시한다. 지도학습 레이블, 소프트 타겟, 특징 매칭, 보조적 목표의 상대적 중요도는 데이터셋과 응용 분야에 따라 다양하다. 하이퍼파라미터 튜닝은 최적의 성능을 달성하는 데 있어 여전히 필수적이다.
데이터셋의 다양성은 증류의 품질에 상당한 영향을 미친다. 교사의 예측이 제한된 학습 예제들에 대해서만 생성된다면, 전이된 지식은 일반화에 실패할 수 있다. 크고 다양한 데이터셋은 학생을 더 풍부한 결정 경계에 노출시켜 견고성을 향상시킨다.
지식 증류는 또한 교사로부터 한계를 물려받는다. 체계적인 편향, 보정 오류, 또는 부정확한 예측이 학생에게 전파될 수 있다. 따라서 교사에 대한 평가와 편향 분석은 대규모 배치 이전에 여전히 중요하다.
해석 가능성은 여전히 활발한 연구 주제로 남아 있다. 증류가 효율성을 향상시키지만, 교사와 학생 사이에서 정확히 어떤 지식이 전이되는지를 이해하는 것은 여전히 어려운 과제로 남아 있다. 연구자들은 함수 근사, 표현의 유사성, 최적화 환경, 정보 이론과 관련된 이론적 설명을 계속 조사하고 있다.
최근의 발전은 지식 증류를 파운데이션 모델, 자기지도 사전학습, 지속 학습, 신경망 아키텍처 탐색, 양자화 인식 학습, 하드웨어를 인식하는 최적화와 통합하고 있다. 단순한 압축 기법으로만 기능하는 대신, 증류는 아키텍처, 양식, 태스크, 배치 환경 전반에 걸쳐 지능을 전이하는 일반적인 프레임워크로 점점 더 많이 기능하고 있다.
현대의 엣지 AI 시스템의 경우, 지식 증류는 연구 규모의 모델과 실용적인 배치 사이의 간극을 메우는 가장 강력한 방법 중 하나로 발전해왔다. 큰 교사 모델은 광범위한 의미론적 이해, 추론 능력, 견고한 표현을 포착하는 한편, 압축된 학생은 임베디드 하드웨어에서 빠르고, 효율적이며, 신뢰할 수 있는 추론을 제공한다. 가지치기, 양자화, 컴파일러 최적화, 효율적인 신경망 아키텍처와 결합되어, 교사-학생 학습은 고도화된 AI 능력이 실제 세계의 로봇, 자율 기계, 지능형 엣지 디바이스의 제한된 계산 예산 내에서 작동할 수 있게 하며, 이는 지식 증류를 확장 가능한 Physical AI와 프로덕션 준비가 된 로봇 지능을 위한 근본적인 기술로 만든다.
10.06 TensorRT Engine Optimization for Robot Models [w/Code]
TensorRT는 NVIDIA GPU에서 신경망의 실행 효율성을 최대화하도록 설계된 NVIDIA의 고성능 딥러닝 추론 최적화 프레임워크이다. 또 다른 학습 프레임워크로 기능하는 대신, TensorRT는 오직 추론에만 초점을 맞추어, 학습된 신경망을 GPU 하드웨어의 완전한 계산 능력을 활용하는 고도로 최적화된 실행 엔진으로 전환한다. 엄격한 실시간 제약 하에서 작동하는 로봇 시스템의 경우, TensorRT는 원래의 모델 아키텍처에 큰 수정을 가하지 않고도 추론 지연시간을 상당히 줄이고, 메모리 소비를 낮추며, 처리량을 늘리고, 에너지 효율성을 향상시키기 때문에 가장 중요한 배치 기술 중 하나가 되었다.
현대의 로봇 AI 시스템은 인지, 위치 추정, 지도 작성, 물체 감지, 의미론적 분할, 궤적 예측, 조작 계획 수립, 언어 이해, 의사결정을 위해 심층 신경망에 점점 더 많이 의존하고 있다. 이러한 모델들은 연구 및 개발 과정에서 종종 놀라운 정확도를 달성하지만, NVIDIA Jetson Orin, Jetson AGX, Jetson Thor, RTX Edge PC, 또는 자율주행 차량 컴퓨팅 모듈과 같은 임베디드 컴퓨팅 플랫폼에 배치하기에는 계산 비용이 너무 많이 드는 경우가 잦다. 대형 PyTorch나 TensorFlow 모델을 직접 실행하는 것은, 이러한 범용 프레임워크들이 최대 런타임 효율성보다 개발 과정에서의 유연성을 우선시하기 때문에 불필요한 계산 오버헤드를 도입한다. TensorRT는 학습된 모델을 목표 GPU 아키텍처에 특화되게 최적화된 전용 추론 엔진으로 변환함으로써 이러한 과제를 해결한다.
TensorRT의 근본적인 목표는 일반적인 계산 그래프를, 하드웨어 활용도를 최대화하면서도 지연시간을 최소화하는 실행 그래프로 전환하는 것이다. 신경망 레이어를 독립적으로 실행하는 대신, TensorRT는 전체 계산 그래프를 분석하고, 최적화 기회를 식별하며, 호환 가능한 연산들을 결합하고, 메모리 할당을 재조직하며, 최적의 CUDA 커널을 선택하고, 실행될 특정 GPU에 맞춤화된 추론 엔진을 생성한다. 이 엔진은 빌드 과정에서 결정된 모든 최적화 결정을 담고 있어, 런타임 추론이 최소한의 오버헤드로 실행될 수 있게 한다.
이 최적화 과정은 모델 학습이 완료된 이후에 시작된다. 신경망은 일반적으로 PyTorch나 TensorFlow와 같은 프레임워크를 사용해 개발되며, 이 과정에서 연구자들은 아키텍처 설계, 손실 함수, 최적화 알고리즘, 데이터셋 준비에 초점을 맞춘다. 만족스러운 정확도가 달성되면, 학습된 모델은 중간 표현, 가장 흔하게는 개방형 신경망 교환(Open Neural Network Exchange, ONNX) 형식으로 내보내진다. ONNX는 TensorRT를 포함한 수많은 배치 프레임워크가 해석할 수 있는 표준화된 계산 그래프를 제공한다. ONNX 그래프는 원래의 학습 프레임워크와 무관하게 연산자, 파라미터, 텐서 형태, 계산 의존성을 기술한다.
TensorRT는 ONNX 모델을 파싱하여 내부적인 계산 그래프를 구성한다. 이 단계에서, 지원되지 않는 연산자가 식별되고, 그래프의 일관성이 검증되며, 텐서 차원이 분석되고, 최적화 기회가 감지된다. 지원되지 않는 레이어가 존재하는 경우, 개발자는 전체적인 최적화 파이프라인을 보존하면서도 TensorRT의 기능을 확장하는 맞춤형 플러그인을 구현할 수 있다. 이러한 확장성은 성능을 희생하지 않고도 전문화된 로보틱스 연산자를 통합할 수 있게 한다.
그래프 최적화는 TensorRT의 가장 중요한 이점 중 하나를 이룬다. 학습 과정에서 별도의 레이어로 나타나는 많은 신경망 연산들은 추론 과정에서 수학적으로 하나의 연산으로 결합될 수 있다. 합성곱, 편향 덧셈, 활성화 함수, 정규화 레이어는 종종 하나의 최적화된 커널로 결합된다. 이는 중간 텐서들 사이의 불필요한 메모리 전송을 제거하면서도 커널 실행 오버헤드를 상당히 줄여준다. GPU 커널 실행 자체가 지연을 초래하기 때문에, 전체 커널 수를 줄이는 것은 종종 상당한 성능 향상을 제공한다.
커널 자동 튜닝(kernel auto-tuning)은 또 다른 중요한 최적화 메커니즘을 나타낸다. 대부분의 신경망 연산들은 서로 다른 계산적 특성을 지닌 여러 CUDA 커널을 사용해 구현될 수 있다. TensorRT는 엔진 구성 과정에서 사용 가능한 구현들을 벤치마킹하고, 텐서 차원, 하드웨어 아키텍처, 정밀도 모드, 메모리 구성, 실행 특성에 기반하여 각각의 연산에 가장 빠른 커널을 선택한다. 정적인 구현과 달리, TensorRT는 이러한 선택들을 배치 하드웨어에 특별히 적응시킨다.
메모리 최적화도 마찬가지로 중요하다. 신경망은 추론 과정에서 수많은 중간 텐서를 생성하며, 이들 중 상당수는 폐기되기 전에 일시적으로만 존재한다. TensorRT는 텐서에 대한 수명 분석(lifetime analysis)을 수행하고 가능할 때마다 지능적으로 메모리 영역을 재사용한다. 모든 중간 결과를 위한 별도의 버퍼를 할당하는 대신, 실행 수명이 겹치지 않는 연산들 사이에서 메모리가 재활용된다. 이는 전체 GPU 메모리 요구량을 상당히 줄여, 임베디드 로보틱스 플랫폼의 제한된 메모리 예산 내에서 더 큰 모델이 실행될 수 있게 한다.
텐서 레이아웃 최적화는 실행 효율성을 더욱 향상시킨다. GPU는 텐서 데이터가 캐시 활용도와 메모리 병합(coalescing)을 최대화하는 메모리 레이아웃에 따라 조직될 때 최대 처리량을 달성한다. TensorRT는 계산의 정확성을 유지하면서도 메모리 접근 지연시간을 줄이기 위해 텐서 레이아웃을 자동으로 재조직한다. 이러한 변환들은 애플리케이션 개발자에게는 투명하게 이루어진다.
정밀도 최적화는 TensorRT의 가장 강력한 능력 중 하나를 이룬다. 심층 신경망은 전통적으로 수치적 안정성을 최대화하기 위해 FP32 부동소수점 연산을 사용해 학습된다. 그러나 추론 과정에서는 많은 응용 분야가 완전한 FP32 정밀도를 필요로 하지 않는다. TensorRT는 FP32, FP16, BF16, TF32, INT8, 그리고 최신 GPU 아키텍처에서는 점점 더 많이 FP8을 사용하는 혼합 정밀도 실행을 지원한다. 낮은 정밀도의 연산은 메모리 대역폭 요구량을 줄이고, 산술 처리량을 늘리며, 종종 거의 동일한 예측 정확도를 유지하면서도 에너지 효율성을 향상시킨다.
FP16 최적화는 많은 로봇 응용 분야에서 기본적인 배치 모드가 되었다. 현대의 NVIDIA GPU는 반정밀도 행렬 연산을 가속화하도록 특별히 설계된 텐서 코어(Tensor Core)를 포함한다. TensorRT는 호환 가능한 연산들을 자동으로 FP16 실행으로 변환하여, 인지, 내비게이션, 위치 추정, 조작 태스크에 대해 뛰어난 수치적 정확도를 유지하면서도 상당한 지연시간 감소를 만들어낸다.
INT8 추론은 활성화와 가중치를 8비트 정수를 사용해 표현함으로써 훨씬 더 큰 가속을 제공한다. 정수 연산은 FP32에 비해 메모리 소비를 약 4배 줄이면서도 계산 처리량을 극적으로 늘린다. 그러나 정확한 INT8 배치는 모델의 정확도를 보존하기 위해 신중한 보정이나 양자화 인식 학습을 필요로 한다. TensorRT는 학습 후 양자화 보정과, 이미 양자화 인식 기법을 사용해 학습된 모델 모두를 지원한다.
보정(calibration)은 엔진 구성 과정에서 TensorRT에 대표적인 추론 데이터를 제공함으로써 수행된다. 보정 과정은 네트워크 전반에 걸쳐 활성화 범위를 추정하고, 부동소수점 값을 정수 표현으로 매핑하는 적절한 스케일링 계수를 결정한다. 부정확한 보정은 추론 품질을 상당히 저하시킬 수 있기 때문에 대표적인 보정 데이터셋을 선택하는 것은 매우 중요하다.
동적 범위 분석은 TensorRT가 각각의 텐서에 대해 개별적으로 최적의 양자화 파라미터를 식별할 수 있게 한다. 서로 다른 레이어는 서로 다른 수치적 특성을 보이기 때문에, 전역적인 양자화만으로는 고성능 배치에 불충분하다. 레이어별 보정은 정확도와 계산 효율성 모두를 향상시킨다.
TensorRT는 또한 동일한 네트워크의 서로 다른 부분들이 서로 다른 수치적 정밀도를 사용해 실행되는 혼합 정밀도 실행도 지원한다. 계산적으로 민감한 레이어는 FP32로 남아 있을 수 있는 반면, 덜 민감한 연산들은 FP16이나 INT8로 실행될 수 있다. 이러한 적응형 정밀도 전략은 계산 효율성을 예측 정확도와 균형을 맞춘다.
엔진 빌드(engine building)는 TensorRT 고유의 컴파일 단계를 나타낸다. 엔진 구성 과정에서, 최적화 결정은 정확한 배치 하드웨어에 기반하여 확정된다. 생성된 엔진은 최적화된 커널, 메모리 할당 전략, 텐서 레이아웃, 실행 스케줄링, 정밀도 할당, 하드웨어별 최적화를 포함한다. 엔진은 하드웨어에 종속적이기 때문에, 하나의 GPU 아키텍처를 위해 생성된 엔진은 다른 아키텍처에서는 최적의 성능을 달성하지 못할 수 있다.
정적 형태 최적화(static shape optimization)는 TensorRT가 입력 차원이 고정된 채로 유지되는 네트워크를 공격적으로 최적화할 수 있게 한다. 텐서의 크기가 미리 알려져 있기 때문에, 메모리 할당과 커널 선택이 고도로 최적화된다. 많은 로봇 인지 시스템이 고정된 카메라 해상도로 이미지를 처리하기 때문에, 정적 최적화는 특히 효과적이다.
동적 형태 최적화(dynamic shape optimization)는 다양한 입력 차원을 지닌 응용 분야로 TensorRT를 확장한다. 로봇은 종종 서로 다른 해상도의 이미지, 가변 길이의 포인트 클라우드, 변화하는 시퀀스 길이, 또는 여러 카메라 구성을 처리한다. 최적화 프로필은 허용 가능한 입력 범위를 정의하여, TensorRT가 엔진을 재구성하지 않고도 여러 운영 조건에 걸쳐 높은 효율성을 유지할 수 있게 한다.
최적화 프로필은 동적 텐서를 위한 최소, 최적, 최대 입력 차원을 지정한다. 런타임 동안, TensorRT는 불필요한 재컴파일을 피하면서도 현재의 입력 형태에 적합한 실행 전략을 선택한다.
CUDA Graph 통합은 추론 실행을 재사용 가능한 CUDA 실행 그래프로 캡처함으로써 런타임 오버헤드를 더욱 줄여준다. 복잡한 신경망의 경우 GPU 커널 실행 오버헤드가 상당해지기 때문에, CUDA Graph 실행은 CPU의 개입을 최소화하고 결정론성을 향상시키며, 이는 실시간 로보틱스에 특히 유용하다.
비동기 실행은 또 다른 핵심적인 성능 특징을 나타낸다. TensorRT는 추론, 메모리 전송, 전처리, 후처리의 동시 실행을 가능하게 하는 CUDA 스트림을 지원한다. 이러한 연산들을 겹치게 함으로써, 전체적인 파이프라인 처리량이 상당히 증가한다. 지속적인 센서 스트림을 처리하는 자율 로봇의 경우, 비동기 실행은 여러 추론 태스크가 동시에 진행될 수 있게 한다.
멀티 스트림 추론(multi-stream inference)은 여러 신경망이 동일한 GPU에서 동시에 실행될 수 있게 한다. 이동 로봇은 물체 감지, 의미론적 분할, 깊이 추정, 위치 추정, 인간 자세 추정, 언어 이해를 동시에 수행할 수 있다. TensorRT는 GPU 활용도를 최대화하면서도 이러한 동시 작업 부하들을 효율적으로 스케줄링한다.
배치 처리(batch processing)는 여러 입력을 동시에 평가함으로써 계산 효율성을 높인다. 로보틱스가 종종 낮은 지연시간의 단일 이미지 추론을 강조하지만, 특정한 오프라인 처리 태스크, 클라우드 로보틱스 응용 분야, 데이터셋 생성 워크플로우는 더 큰 배치 크기로부터 상당한 이득을 얻는다. TensorRT는 광범위한 배치 구성에 걸쳐 실행을 최적화한다.
워크스페이스 메모리(workspace memory)는 최적화와 실행 과정에서 사용 가능한 임시 GPU 메모리를 결정한다. 더 큰 워크스페이스 할당은 TensorRT가 더 공격적인 최적화 전략과 더 빠른 알고리즘을 탐구할 수 있게 하지만, 추가적인 GPU 메모리를 필요로 한다. 임베디드 배치는 종종 워크스페이스의 크기를 사용 가능한 시스템 자원과 균형을 맞춘다.
플러그인 아키텍처(plugin architecture)는 지원되지 않는 연산들을 위한 유연성을 제공한다. 로보틱스는 종종 포인트 클라우드 처리, 기하학적 변환, 맞춤형 어텐션 메커니즘, 복셀화(voxelization), 그래프 신경망, 또는 센서별 계산을 수반하는 전문화된 연산자들을 사용한다. 개발자는 하드웨어 가속을 보존하면서도 최적화된 실행 그래프에 매끄럽게 통합되는 TensorRT 플러그인을 구현할 수 있다.
TensorRT는 CUDA, cuDNN, cuBLAS, 텐서 코어와 긴밀하게 통합된다. 이러한 라이브러리들을 대체하는 대신, TensorRT는 각각의 연산에 가장 적합한 계산적 기본 요소를 선택하면서 이들을 지능적으로 조율한다. 이러한 통합은 현대의 NVIDIA GPU 하드웨어의 최대 활용도에 가까운 성능을 가능하게 한다.
YOLO, Faster R-CNN, SSD, RetinaNet, RT-DETR, 그리고 트랜스포머 기반 감지기와 같은 물체 감지 모델들은 TensorRT 최적화로부터 상당한 이득을 얻는다. 감지 지연시간은 거의 동일한 정확도를 유지하면서도 종종 2배에서 5배까지 감소한다. 이는 로봇이 상당히 더 높은 프레임 속도로 동적인 장애물, 보행자, 차량, 도구, 또는 창고 재고를 감지할 수 있게 한다.
의미론적 분할 모델도 마찬가지로 그래프 최적화와 혼합 정밀도 실행으로부터 이득을 얻는다. 모든 이미지 픽셀이 출력에 기여하기 때문에, 픽셀 수준의 예측은 광범위한 계산을 필요로 한다. TensorRT는 임베디드 플랫폼에서의 실시간 의미론적 지도 작성과 장애물 이해를 위해 추론 지연시간을 충분히 줄여준다.
깊이 추정 모델은 고해상도 특징 맵에서 작동하는 수많은 합성곱 및 트랜스포머 연산을 수반한다. 효율적인 커널 결합과 메모리 최적화는 추론 속도를 상당히 향상시켜, 자원이 제한된 로봇에게 단안 깊이 추정을 실현 가능하게 만든다.
비전 트랜스포머는 그 계산적 강도에도 불구하고 TensorRT 최적화로부터도 이득을 얻는다. 어텐션 커널, 행렬 곱셈, 레이어 정규화, 활성화 함수는 전문화된 텐서 코어 구현을 사용해 최적화된다. 트랜스포머 추론은 여전히 부담스러운 채로 남아 있지만, TensorRT는 트랜스포머 아키텍처와 전통적인 합성곱 네트워크 사이의 성능 격차를 상당히 좁혀준다.
로봇 조작 시스템은 종종 물체 인식, 자세 추정, 파지 예측, 힘 추정, 궤적 생성을 위해 여러 신경망을 결합한다. TensorRT는 이러한 파이프라인들이 폐쇄 루프 조작에 필요한 타이밍 제약 내에서 실행될 수 있게 한다.
시각-언어 모델은 엣지 로보틱스 플랫폼에서 점점 더 많이 작동하고 있다. 언어 인코더, 시각 인코더, 멀티모달 융합 레이어, 정책 네트워크의 효율적인 배치는 추론 최적화에 크게 의존한다. TensorRT는 많은 트랜스포머 구성 요소를 가속화하여, 클라우드 컴퓨팅에 전적으로 의존하지 않고도 온보드 멀티모달 추론을 가능하게 한다.
동시적 위치 추정 및 지도 작성(SLAM) 시스템은 특징 추출, 루프 클로저 감지, 장소 인식, 깊이 예측, 의미론적 지도 작성과 같은 학습된 구성 요소들을 점점 더 많이 통합하고 있다. TensorRT는 이러한 학습된 모듈들이 실시간 내비게이션 파이프라인 내에서 고전적인 기하학적 알고리즘과 효율적으로 공존할 수 있게 한다.
자율주행 시스템은 TensorRT의 가장 큰 배치 도메인 중 하나를 나타낸다. 현대의 자율주행 차량은 인지, 예측, 점유 추정, 차선 감지, 자유 공간 추정, 교통 표지판 인식, 운전자 모니터링, 행동 예측을 포함한 수십 개의 신경망을 동시에 실행한다. TensorRT는 이러한 복잡한 AI 작업 부하가 엄격한 실시간 안전 요구사항을 충족할 수 있게 한다.
휴머노이드 로봇도 마찬가지로 이동, 전신 인지, 손 조작, 음성 상호작용, 제스처 인식, 장면 이해, 태스크 계획 수립을 지원하는 여러 동시 추론 파이프라인을 필요로 한다. 최적화된 TensorRT 엔진은 통합된 온보드 지능을 지원하기에 충분할 정도로 계산 수요를 줄여준다.
산업용 점검 로봇은 결함 감지, 이상 인식, 표면 검사, 치수 측정, 용접 품질 평가, 조립 검증을 위해 TensorRT를 사용한다. 고속 생산 환경은 단 몇 밀리초 단위로 측정되는 추론 시간을 필요로 하기 때문에, 최적화는 필수적이다.
의료용 로보틱스도 최적화된 추론에 크게 의존한다. 수술 안내, 기구 추적, 해부학적 분할, 의료 영상 분석은 낮은 지연시간과 결정론적 실행을 필요로 한다. TensorRT는 수치적 정밀도를 유지하면서도 계산 오버헤드를 최소화함으로써 이러한 요구사항들을 지원한다.
TensorRT의 성능을 벤치마킹하는 것은 지연시간만이 아니라 여러 지표에 걸친 평가를 필요로 한다. 추론 시간, 처리량, GPU 활용도, 메모리 소비, 전력 효율성, 열적 특성, 시작 시간, 결정론적 실행, 정확도 유지는 모두 배치 품질에 기여한다. 제어 시스템이 예측 가능한 타이밍에 의존하기 때문에 로보틱스 응용 분야는 종종 최대 처리량보다 결정론적인 낮은 지연시간 실행을 우선시한다.
엔진 직렬화(engine serialization)는 최적화된 TensorRT 엔진이 비용이 많이 드는 최적화 과정을 반복하지 않고도 저장되고 다시 로드될 수 있게 한다. 배치 과정에서, 로봇은 단순히 미리 컴파일된 엔진을 메모리에 로드하여, 시작 시간을 최소화한다. 서로 다른 하드웨어 구성이나 정밀도 모드를 위해 일반적으로 별도의 직렬화된 엔진들이 유지된다.
버전 호환성은 신중하게 관리되어야 한다. TensorRT 엔진은 일반적으로 특정한 TensorRT 버전, CUDA 버전, GPU 아키텍처, 드라이버 릴리스에 종속된다. 따라서 프로덕션 배치는 배치된 로봇 함대 전반에 걸쳐 신뢰할 수 있는 엔진 실행을 보장하기 위해 신중한 버전 관리를 필요로 한다.
최적화된 추론을 디버깅하는 것은 그래프 변환이 원래의 계산적 구조를 변경하기 때문에 고유한 과제를 도입한다. 개발자는 일반적으로 배치 이전에 수치적 일관성을 보장하기 위해 TensorRT의 출력을 참조 PyTorch나 TensorFlow 구현과 비교하여 검증한다. 레이어별 비교 도구는 최적화 과정에서 도입되는 불일치를 식별하는 데 도움이 된다.
모든 신경망이 TensorRT 최적화로부터 자동으로 이득을 얻는 것은 아니다. 지원되지 않는 연산자, 고도로 동적인 계산 그래프, 특이한 제어 흐름, 또는 맞춤형 연구 아키텍처는 추가적인 엔지니어링 노력을 필요로 할 수 있다. 그럼에도 불구하고, 현대의 컴퓨터 비전, 트랜스포머, 로보틱스 인지 모델의 대다수는 이제 TensorRT를 사용해 성공적으로 최적화될 수 있다.
TensorRT는 가지치기, 구조적 희소성, 지식 증류, 양자화 인식 학습, 신경망 아키텍처 탐색, 연산자 결합, ONNX 그래프 단순화, 하드웨어를 인식하는 모델 설계와 같은 상호 보완적인 최적화 기법들과 자주 결합된다. 고립된 최적화 단계로 작동하는 대신, TensorRT는 종종 포괄적인 엣지 AI 최적화 파이프라인 내의 최종 배치 구성 요소를 나타낸다.
로봇의 지능이 점점 더 유능한 멀티모달 파운데이션 모델을 향해 계속 발전함에 따라, 효율적인 배치는 모델의 정확도만큼이나 중요해지고 있다. 대형 인지 시스템, 언어 조건부 정책, 세계 모델, 시각-언어-행동 아키텍처는 임베디드 하드웨어로부터 최대의 계산적 성능을 이끌어낼 수 있는 최적화 기술을 필요로 한다. TensorRT는 연구 지향적인 신경망을, 자율 로봇의 엄격한 지연시간, 메모리, 신뢰성, 에너지 제약을 충족하는 프로덕션 준비가 된 추론 엔진으로 전환함으로써 이러한 역할을 수행한다. 그래프 최적화, 정밀도 감소, 커널 자동 튜닝, 메모리 최적화, 연산자 결합, 동적 형태 지원, 비동기 실행, 하드웨어별 컴파일을 통해, TensorRT는 고도화된 AI 능력이 실제 세계의 로봇 시스템, 자율주행 차량, 산업 자동화 플랫폼, 차세대 Physical AI 배치에서 효율적으로 작동할 수 있게 하는 핵심적인 기술 중 하나가 되었다.
10.07 ONNX Runtime Cross Platform Inference [w/Code]
ONNX Runtime은 다양한 하드웨어 아키텍처, 운영체제, 배치 환경에 걸쳐 머신러닝 및 딥러닝 모델을 효율적으로 실행하도록 설계된 고성능의 크로스 플랫폼 추론 엔진이다. PyTorch, TensorFlow, JAX와 같은 딥러닝 프레임워크가 주로 모델 개발과 학습에 최적화되어 있는 반면, ONNX Runtime은 최소한의 지연시간, 줄어든 메모리 오버헤드, 최대의 이식성으로 학습된 모델을 실행하는 데 초점을 맞춘다. 현대의 로보틱스, 자율 시스템, 산업 자동화, 임베디드 AI, 엣지 컴퓨팅 분야에서, ONNX Runtime은 하나의 학습된 모델이 프레임워크별 구현을 필요로 하지 않고도 CPU, GPU, NPU, DSP, FPGA, 클라우드 서버, 모바일 디바이스, 임베디드 로보틱스 플랫폼에서 일관되게 작동할 수 있게 하기 때문에 가장 널리 채택된 배치 솔루션 중 하나가 되었다.
ONNX Runtime의 동기는 인공지능 배치에 있어 가장 중요한 실용적 과제 중 하나에서 비롯된다. 연구팀들은 종종 자신의 전문성과 프로젝트 요구사항에 따라 서로 다른 딥러닝 프레임워크를 사용해 모델을 개발한다. 한 팀은 PyTorch로 물체 감지 모델을 구축하고, 다른 팀은 TensorFlow를 사용해 언어 모델을 학습시키며, 또 다른 팀은 JAX를 사용해 강화학습 정책을 개발할 수 있다. 각각의 프레임워크를 독립적으로 배치하는 것은 큰 소프트웨어 의존성, 일관되지 않은 실행 행동, 증가된 유지보수의 복잡성, 비효율적인 하드웨어 활용을 초래한다. ONNX Runtime은 모델 개발을 모델 배치로부터 분리함으로써 이 문제를 해결한다. 개발자는 원하는 프레임워크로 모델을 학습시키고, 이를 개방형 신경망 교환(Open Neural Network Exchange, ONNX) 형식으로 내보낸 뒤, 다양한 하드웨어 플랫폼에 최적화된 통합 추론 엔진을 사용해 배치한다.
개방형 신경망 교환 자체는 이러한 이식성의 기반 역할을 한다. ONNX는 계산 그래프, 신경망 연산자, 텐서, 파라미터, 실행 시맨틱스를 위한 표준화된 표현을 정의한다. 프레임워크별 구현 세부사항을 보존하는 대신, ONNX는 추론에 필요한 수학적 연산들을 프레임워크와 무관한 방식으로 기술한다. 이러한 표준화된 중간 표현은 수치적 정확성과 모델 행동을 보존하면서도 서로 다른 머신러닝 생태계들 사이의 상호운용성을 가능하게 한다.
ONNX Runtime은 ONNX 모델을 위한 실행 엔진 역할을 한다. 모델이 ONNX 형식으로 내보내지고 나면, ONNX Runtime은 계산 그래프를 로드하고, 그래프 최적화를 수행하며, 적절한 하드웨어 실행 제공자(execution provider)를 선택하고, 메모리를 효율적으로 할당하며, 계산을 스케줄링하고, 최적화된 커널을 사용해 추론을 실행한다. 자동 미분, 학습, 그래디언트 계산, 최적화 도구 갱신, 실험적 유연성을 지원하는 연구용 프레임워크와 달리, ONNX Runtime은 오직 효율적인 순방향 추론에만 초점을 맞춘다.
ONNX Runtime의 가장 중요한 특징 중 하나는 크로스 플랫폼 능력이다. 현대의 로보틱스 시스템은 동질적인 컴퓨팅 환경 내에서 작동하는 경우가 드물다. 하나의 자율 로봇은 클라우드 GPU 클러스터에서 오프라인 학습을 수행하고, 워크스테이션 GPU에서 시뮬레이션을 수행하며, 데스크탑 CPU에서 테스트를 수행하고, NVIDIA Jetson 디바이스에서 배치되며, 클라우드 서버에서 함대 관리를 수행하고, 산업용 엣지 컴퓨터에서 유지보수를 받을 수 있다. 모든 하드웨어 플랫폼마다 별도의 배치 구현을 유지하는 것은 공학적 복잡성을 극적으로 늘릴 것이다. ONNX Runtime은 이러한 이질적인 환경들에 걸쳐 통합된 추론 인터페이스를 제공하여, 배치 파이프라인을 상당히 단순화한다.
크로스 플랫폼 배치는 운영체제를 넘어 확장된다. ONNX Runtime은 적절한 통합 계층을 통해 Windows, Linux, macOS, Android, iOS, 임베디드 Linux 배포판, 그리고 수많은 실시간 운영체제 환경을 지원한다. 이러한 이식성은 로보틱스 개발자들이 개발 워크스테이션, 임베디드 컨트롤러, 프로덕션 로봇, 클라우드 인프라 전반에 걸쳐 일관된 AI 소프트웨어를 유지할 수 있게 한다.
실행 제공자(Execution Provider)는 ONNX Runtime의 가장 중요한 아키텍처적 개념 중 하나를 나타낸다. 하드웨어별 구현을 추론 엔진에 직접 내장하는 대신, ONNX Runtime은 서로 다른 하드웨어 아키텍처에 최적화된 전문화된 실행 제공자에게 계산을 위임한다. 각각의 실행 제공자는 동일한 애플리케이션 프로그래밍 인터페이스를 유지하면서도 특정 하드웨어 백엔드가 지원하는 연산자들을 구현한다.
CPU 실행 제공자는 기본 백엔드 역할을 한다. 이는 x86 및 ARM 아키텍처를 위해 설계된 고도로 최적화된 CPU 커널을 사용해 신경망을 실행한다. AVX, AVX2, AVX-512, NEON, SIMD 확장과 같은 고급 벡터 명령어 집합들이 계산 효율성을 최대화하기 위해 자동으로 활용된다. 별도의 GPU가 없는 산업용 PC에서 작동하는 로보틱스 응용 분야의 경우, CPU 추론은 시스템의 복잡성을 최소화하면서도 종종 충분한 성능을 제공한다.
CUDA 실행 제공자는 CUDA 라이브러리를 사용해 NVIDIA GPU에서의 추론을 가속화한다. ONNX Runtime이 실행 스케줄링과 메모리 조율을 관리하는 한편, 행렬 곱셈, 합성곱, 어텐션 연산, 정규화 레이어, 활성화 함수, 텐서 조작은 GPU 하드웨어에서 실행된다. 이 실행 제공자는 고성능 인지 모델이 워크스테이션 GPU, 자율주행 차량 컴퓨터, 엣지 AI 플랫폼에서 효율적으로 작동할 수 있게 한다.
TensorRT 통합은 NVIDIA 추론 가속에 특별히 최적화된 추가적인 실행 제공자를 제공한다. 개별적인 CUDA 커널을 직접 실행하는 대신, 계산 그래프의 호환 가능한 부분들은 TensorRT에 위임되며, TensorRT는 그래프 융합, 커널 자동 튜닝, 정밀도 최적화, 텐서 코어 가속을 사용해 고도로 최적화된 추론 엔진을 생성한다. 이러한 조합은 ONNX Runtime의 이식성과 TensorRT의 성능적 이점을 모두 제공한다.
DirectML 실행 제공자는 다양한 Windows 그래픽 하드웨어에 걸쳐 GPU 가속을 가능하게 한다. NVIDIA GPU만을 대상으로 하는 CUDA와 달리, DirectML은 Microsoft의 머신러닝 가속 인프라를 통해 여러 제조사의 GPU를 지원한다. 이는 일관된 추론 인터페이스를 유지하면서도 하드웨어 호환성을 넓혀준다.
OpenVINO는 Intel 하드웨어를 위한 또 다른 중요한 실행 제공자 역할을 한다. ONNX Runtime은 OpenVINO의 최적화된 추론 라이브러리를 사용해 Intel CPU, 통합 GPU, VPU, AI 가속기에 계산을 위임할 수 있다. 산업용 로보틱스 배치는 종종 Intel 프로세서를 사용하기 때문에, 이 실행 제공자는 제조 자동화에 특히 유용하다.
모바일 배치는 Android Neural Networks API(NNAPI), Apple의 CoreML 프레임워크, Qualcomm AI Engine, ARM Compute Library, 그리고 그 밖의 모바일 AI 가속기를 대상으로 하는 전용 실행 제공자로부터 이득을 얻는다. 따라서 임베디드 모바일 프로세서를 사용하는 로봇은 애플리케이션 로직을 수정하지 않고도 최적화된 추론을 실행할 수 있다.
추가적인 실행 제공자들은 ONNX Runtime의 하드웨어 생태계를 계속 확장시키고 있다. ROCm은 AMD GPU를 지원하고, MIGraphX는 AMD 추론 최적화를 대상으로 하며, Vitis AI는 Xilinx FPGA 배치를 가속화하고, 맞춤형 실행 제공자는 하드웨어 제조사가 독점적인 신경망 처리 유닛을 통합할 수 있게 한다. 이러한 확장 가능한 아키텍처는 ONNX Runtime이 하드웨어와 무관한 상태를 유지하면서도 사용 가능할 때마다 전문화된 가속기를 활용할 수 있게 한다.
실행 제공자의 선택은 런타임 초기화 과정에서 동적으로 이루어진다. 개발자는 배치 하드웨어에 따라 선호하는 제공자들을 지정하며, ONNX Runtime은 자동으로 계산 그래프를 호환 가능한 제공자들에게 분할한다. 지원되지 않는 연산들은 완전한 하드웨어 가속이 사용 불가능한 경우에도 기능적 정확성을 보장하기 위해 대체 실행 제공자로 우아하게 대체된다.
그래프 최적화는 ONNX Runtime의 또 다른 근본적인 능력을 나타낸다. 추론을 실행하기 전에, 런타임은 계산 그래프를 분석하여 중복된 연산을 제거하고, 호환 가능한 연산자들을 결합하며, 상수 표현식을 단순화하고, 텐서 레이아웃을 최적화하며, 불필요한 메모리 전송을 제거하고, 향상된 효율성을 위해 계산을 재조직한다. 이러한 최적화들은 예측 정확도를 변경하지 않고도 실행 지연시간을 줄여준다.
상수 폴딩(constant folding)은 가장 단순한 그래프 최적화 중 하나를 이룬다. 오직 상수 파라미터만을 수반하는 연산들은 추론 과정이 아니라 모델 로딩 과정에서 평가된다. 이러한 값들을 미리 계산함으로써, 모델의 출력은 동일하게 유지되면서도 런타임 계산이 줄어든다.
연산자 결합(operator fusion)은 여러 순차적인 연산들을 하나의 최적화된 커널로 결합함으로써 성능을 상당히 향상시킨다. 합성곱, 편향 덧셈, 활성화 함수, 정규화 레이어, 원소별(elementwise) 연산은 종종 결합된 커널로 실행되어, 메모리 대역폭 요구량과 커널 실행 오버헤드를 줄여준다.
죽은 노드 제거(dead node elimination)는 최종 출력에 기여하지 않는 계산 그래프의 일부를 제거한다. 연구용 모델은 때때로 배치에는 불필요한 보조적인 출력이나 학습 전용 연산들을 포함한다. 이러한 노드들을 제거하는 것은 계산적 복잡성과 메모리 소비를 줄여준다.
형태 추론(shape inference)은 추론이 시작되기 전에 ONNX Runtime이 계산 그래프 전반에 걸쳐 텐서의 차원을 결정할 수 있게 한다. 텐서 형태에 대한 지식은 더 공격적인 최적화 전략, 효율적인 메모리 할당, 향상된 커널 선택을 가능하게 한다.
메모리 최적화는 임베디드 AI 배치에서 핵심적인 역할을 한다. 신경망은 추론 과정에서 수많은 임시 텐서를 생성하며, 이들 중 상당수는 잠시 동안만 존재한다. ONNX Runtime은 중간 텐서에 대한 수명 분석을 수행하고 실행 의존성이 허락할 때마다 지능적으로 메모리 버퍼를 재사용한다. 이는 GPU와 CPU 메모리 요구량을 상당히 줄여, 제약된 임베디드 시스템 내에서 더 큰 모델이 실행될 수 있게 한다.
메모리 패턴 최적화는 반복되는 추론 성능을 더욱 향상시킨다. 많은 로보틱스 응용 분야가 동일한 텐서 차원을 지닌 지속적인 센서 스트림을 처리하기 때문에, 메모리 할당 패턴은 고도로 예측 가능해진다. ONNX Runtime은 초기 실행 과정에서 최적의 할당 전략을 기록하고 이후의 추론 주기에서 이를 재사용하여, 할당 오버헤드를 줄여준다.
스레드 관리(thread management)는 또 다른 중요한 최적화 영역이다. CPU 추론 성능은 프로세서 코어 전반에 걸친 효율적인 병렬화에 크게 의존한다. ONNX Runtime은 연산자 간(inter-operator) 및 연산자 내(intra-operator) 병렬성 모두를 위한 구성 가능한 스레드 풀을 제공한다. 연산자 간 병렬성은 독립적인 그래프 분기들을 동시에 실행하는 한편, 연산자 내 병렬성은 여러 CPU 코어를 사용해 계산 집약적인 연산들을 가속화한다.
적절한 스레드 구성은 로봇 시스템에게 특히 중요하다. 과도한 병렬성은 실시간 제어 루프, 센서 처리, 위치 추정 알고리즘, 또는 통신 스레드를 방해할 수 있다. 따라서 ONNX Runtime은 개발자가 AI 추론 성능과 전체적인 시스템 반응성 사이의 균형을 맞출 수 있게 한다.
비동기 실행은 추론이 센서 획득, 이미지 전처리, 데이터 전송, 로봇 제어와 겹칠 수 있게 한다. 추론이 완료될 때까지 애플리케이션을 차단하는 대신, ONNX Runtime은 하드웨어 활용도를 최대화하면서도 유휴 시간을 최소화하는 비동기 프로그래밍 모델과 통합된다.
동적 입력 지원은 하나의 ONNX 모델이 여러 컴파일된 버전을 필요로 하지 않고도 다양한 입력 차원을 처리할 수 있게 한다. 로봇은 종종 서로 다른 해상도의 이미지, 가변 길이의 포인트 클라우드, 변화하는 언어 프롬프트, 또는 동적인 시퀀스 길이를 지닌 센서 스트림을 마주친다. 동적 텐서는 효율적인 실행을 유지하면서도 배치의 유연성을 보존한다.
정적 입력 최적화는 텐서 차원이 고정된 채로 유지될 때마다 이점을 제공한다. 고정된 카메라 해상도, 표준화된 점유 그리드, 사전에 정의된 라이다 구성, 일정한 배치 크기는 더 공격적인 최적화 전략을 가능하게 하여, 더 낮은 추론 지연시간을 만들어낸다.
모델 직렬화는 분산된 로보틱스 시스템 전반에 걸친 배치를 단순화한다. ONNX 형식으로 내보내지고 나면, 모델은 원래의 학습 프레임워크와 무관한 자기완결적인 파일이 된다. 따라서 로봇 함대는 PyTorch, TensorFlow, 또는 관련된 개발 라이브러리를 설치하지 않고도 표준적인 배치 메커니즘을 통해 갱신된 AI 능력을 받을 수 있다.
버전 호환성은 또 다른 중요한 이점을 나타낸다. 연구용 프레임워크는 빠르게 진화하며, 릴리스들 사이에 종종 호환성을 깨뜨리는 변경 사항들을 도입한다. ONNX는 배치의 불안정성을 줄이고 프로덕션 로봇 시스템의 장기적인 유지보수를 단순화하는 안정적인 연산자 정의를 제공한다.
ONNX Runtime은 또한 모델 양자화도 지원한다. 부동소수점 신경망은 메모리 소비를 줄이고 추론을 가속화하기 위해 INT8, UINT8, 또는 혼합 정밀도 표현으로 변환될 수 있다. 동적 양자화와 정적 양자화 워크플로우 모두 지원된다. 정적 양자화는 일반적으로 배치 이전에 보정 데이터가 최적의 활성화 범위를 결정하기 때문에 더 높은 성능을 제공한다.
양자화된 ONNX 모델은 정수 연산을 지원하는 여러 하드웨어 아키텍처에 걸쳐 효율적으로 실행된다. 임베디드 프로세서, NPU, 산업용 엣지 디바이스, 모바일 AI 가속기는 종종 양자화된 추론을 사용해 상당한 성능 향상을 달성한다.
모델 최적화와 양자화는 배치 이전에 별도의 전처리 단계로 이루어질 수 있다. ONNX Runtime은 계산 그래프를 단순화하고, 중복된 노드를 제거하며, 연산자를 결합하고, 양자화 파라미터를 삽입하며, 효율적인 실행을 위해 모델을 준비할 수 있는 최적화 도구들을 제공한다.
대규모 언어 모델, 비전 트랜스포머, 멀티모달 아키텍처, 파운데이션 모델이 현대의 AI 응용 분야를 지배함에 따라 트랜스포머 최적화는 점점 더 중요해지고 있다. ONNX Runtime은 트랜스포머 아키텍처에서 흔히 발견되는 어텐션 메커니즘, 레이어 정규화, 행렬 곱셈, 위치 인코딩, 피드포워드 네트워크를 대상으로 하는 전문화된 그래프 변환을 포함한다.
어텐션 최적화는 트랜스포머 추론의 계산 비용을 상당히 줄여준다. 전문화된 커널은 하드웨어 가속을 활용하면서도 메모리 전송을 최소화하는 최적화된 구현으로 여러 어텐션 관련 연산들을 결합한다.
대규모 언어 모델의 배치는 최적화된 트랜스포머 실행, 효율적인 메모리 관리, 동적 시퀀스 처리, 하드웨어 가속기 지원을 통해 ONNX Runtime으로부터 이득을 얻는다. 로봇에 온보드로 배치된 압축된 언어 모델은 클라우드 연결에 의존하지 않고도 효율적으로 실행되어, 프라이버시, 신뢰성, 응답 지연시간을 향상시킨다.
시각-언어 모델도 마찬가지로 통합된 배치로부터 이득을 얻는다. 시각 인코더, 언어 인코더, 멀티모달 융합 네트워크, 행동 예측 모듈은 모두 ONNX 형식으로 내보내져 여러 로보틱스 플랫폼에 걸쳐 일관되게 실행될 수 있다.
물체 감지는 가장 흔한 ONNX Runtime 배치 시나리오 중 하나로 남아 있다. YOLO, Faster R-CNN, RetinaNet, EfficientDet, RT-DETR, 트랜스포머 기반 감지기와 같은 모델들은 아키텍처 수정을 필요로 하지 않고도 CPU, GPU, TensorRT, OpenVINO, 모바일 하드웨어에 걸쳐 효율적으로 실행된다.
의미론적 분할, 인스턴스 분할, 파놉틱 분할, 점유 예측 모델들도 마찬가지로 하드웨어와 무관한 배치로부터 이득을 얻는다. 내비게이션, 지도 작성, 장애물 회피, 환경적 이해를 수행하는 자율 로봇은 시뮬레이션, 개발, 프로덕션 환경 전반에 걸쳐 일관된 추론 행동을 필요로 한다.
깊이 추정, 단안 기하학적 예측, 스테레오 매칭, 포인트 클라우드 처리 모델들은 이식 가능한 배치를 위해 ONNX Runtime에 점점 더 많이 의존하고 있다. 따라서 다양한 하드웨어 구성에 걸쳐 작동하는 이동 로봇은 서로 다른 계산 자원에도 불구하고 동일한 인지 파이프라인을 유지할 수 있다.
강화학습 정책도 ONNX Runtime에 자연스럽게 통합된다. 시뮬레이션 환경을 사용해 정책 네트워크가 학습되고 나면, 이는 임베디드 로봇 컨트롤러에서의 배치를 위해 ONNX 형식으로 내보내질 수 있다. 이러한 학습과 배치의 분리는 런타임 의존성을 줄이면서도 프로덕션 엔지니어링을 단순화한다.
로봇 조작 시스템은 종종 물체 감지, 자세 추정, 파지 예측, 힘 추정, 궤적 생성을 포함한 여러 신경망을 동시에 실행한다. ONNX Runtime은 이러한 다양한 모델들에 걸쳐 일관된 실행 인터페이스를 제공하여, 소프트웨어 아키텍처와 유지보수를 단순화한다.
산업 자동화는 프레임워크와 무관한 배치로부터 상당한 이득을 얻는다. 제조 시설은 종종 산업용 PC, 프로그래머블 자동화 컨트롤러, 임베디드 엣지 디바이스, 클라우드 서버, 레거시 하드웨어에 걸친 이질적인 컴퓨팅 환경을 유지한다. ONNX Runtime은 AI 모델이 이러한 다양한 인프라 전반에 걸쳐 일관되게 실행될 수 있게 한다.
의료용 로보틱스도 마찬가지로 신뢰할 수 있고 재현 가능한 배치를 필요로 한다. 수술 보조, 의료 영상, 기구 추적, 해부학적 분할, 진단 지원 시스템은 긴 운영 기간에 걸쳐 안정적인 소프트웨어 행동을 필요로 한다. ONNX Runtime의 표준화된 실행 환경은 규제 준수와 장기적인 유지보수 가능성에 상당히 기여한다.
자율주행 시스템은 개발 및 검증 과정에서 ONNX Runtime을 점점 더 많이 사용하고 있다. 프로덕션 배치는 궁극적으로 최대 성능을 위해 TensorRT나 하드웨어별 가속기를 사용할 수 있지만, ONNX Runtime은 워크스테이션 GPU, 클라우드 서버, 시뮬레이션 클러스터, 임베디드 프로토타입 전반에 걸친 신속한 테스트를 지원하는 중간 배치 플랫폼을 제공한다.
크로스 플랫폼 추론을 디버깅하는 것은 신중한 수치적 검증을 필요로 한다. 서로 다른 하드웨어 백엔드들은 서로 다른 산술 구현, 최적화 전략, 또는 실행 순서로 인한 미미한 부동소수점 변동을 도입할 수 있다. ONNX Runtime은 하드웨어별 가속을 허용하면서도 이러한 불일치를 최소화하는 일관된 연산자 정의를 제공한다.
ONNX Runtime을 벤치마킹하는 것은 실행 제공자들에 걸쳐 추론 지연시간, 처리량, 메모리 사용량, 시작 시간, 전력 소비, 하드웨어 활용도, 수치적 일관성, 확장성을 평가하는 것을 수반한다. 서로 다른 로보틱스 응용 분야는 서로 다른 지표를 우선시한다. 자율 내비게이션은 결정론적인 낮은 지연시간을 강조하고, 클라우드 로보틱스는 처리량을 선호하며, 배터리로 작동하는 로봇은 에너지 효율성을 우선시한다.
ONNX Runtime은 Docker나 Kubernetes와 같은 컨테이너화된 배치 환경과 자연스럽게 통합된다. 따라서 로봇 함대 관리 시스템은 표준화된 소프트웨어 패키징 기법을 사용해 클라우드 인프라, 엣지 게이트웨이, 자율주행 차량, 분산된 로보틱스 플랫폼 전반에 걸쳐 AI 서비스를 일관되게 배치할 수 있다.
보안적 고려사항 역시 단순화된 배치로부터 이득을 얻는다. 불필요한 학습 프레임워크를 제거하는 것은 소프트웨어의 복잡성을 줄이고, 공격 표면을 줄이며, 의존성 취약점을 최소화하고, 소프트웨어 업데이트를 단순화한다. 프로덕션 로보틱스 시스템은 종종 완전한 머신러닝 개발 환경이 아니라 오직 ONNX Runtime 라이브러리만을 필요로 한다.
ONNX Runtime의 가장 큰 강점 중 하나는 하드웨어별 최적화 도구가 아니라 보편적인 배치 계층으로서의 역할에 있다. TensorRT가 주로 NVIDIA GPU 성능을 최대화하는 데 초점을 맞추는 반면, ONNX Runtime은 이식성, 상호운용성, 유지보수 가능성, 광범위한 하드웨어 호환성을 우선시한다. 따라서 개발자는 시간이 지남에 따라 하드웨어 플랫폼이 발전해도 유연한 상태로 남아 있는 배치 파이프라인을 구축할 수 있다.
실용적인 로보틱스 시스템에서, ONNX Runtime은 종종 전문화된 최적화 프레임워크들을 대체하는 것이 아니라 그것들과 나란히 작동한다. 모델은 PyTorch나 TensorFlow를 사용해 학습되고, ONNX 형식으로 내보내지며, 그래프 변환을 통해 최적화되고, TensorRT, OpenVINO, DirectML, CUDA, 또는 그 밖의 실행 제공자를 사용해 가속화되며, 마지막으로 ONNX Runtime의 통합된 실행 인터페이스를 통해 배치된다. 이러한 계층화된 아키텍처는 벤더 종속(vendor lock-in)을 최소화하면서도 개발의 유연성을 프로덕션 효율성과 결합한다.
인공지능이 자율 로봇, 산업 자동화, 의료 기기, 창고 시스템, 드론, 지능형 차량, Physical AI 플랫폼으로 계속 확장됨에 따라, 배치의 복잡성은 모델의 정교함과 함께 증가한다. ONNX Runtime은 다양한 컴퓨팅 환경 전반에 걸쳐 최적화된 신경망을 일관되게 실행할 수 있는 표준화된, 하드웨어와 무관한 추론 엔진을 제공함으로써 이러한 복잡성을 해결한다. 이식 가능한 모델 표현, 실행 제공자 추상화, 그래프 최적화, 메모리 관리, 양자화 지원, 트랜스포머 가속, 크로스 플랫폼 호환성을 통해, ONNX Runtime은 현대의 로보틱스 생태계 전반에 걸쳐 확장 가능하고, 유지보수 가능하며, 프로덕션 준비가 된 AI 배치를 가능하게 하는 핵심적인 기술 중 하나가 되었다.
10.08 OpenVINO for Intel Edge AI Hardware [w/Code]
Open Visual Inference and Neural Network Optimization의 약자인 OpenVINO는 Intel 하드웨어 플랫폼 전반에 걸쳐 딥러닝 모델을 가속화하도록 설계된 Intel의 포괄적인 인공지능 추론 툴킷이다. 주로 모델 개발과 학습에 초점을 맞추는 머신러닝 프레임워크와 달리, OpenVINO는 CPU, 통합 GPU, VPU, NPU, FPGA, 이질적인 엣지 컴퓨팅 시스템에서의 배치를 위해 학습된 신경망을 최적화하는 데 전념한다. 산업용 로보틱스, 자율 기계, 지능형 제조, 의료 기기, 엣지 AI 응용 분야가 제한된 계산 자원으로 실시간 추론을 점점 더 많이 필요로 함에 따라, OpenVINO는 Intel 기반 하드웨어 생태계에 있어 가장 중요한 배치 기술 중 하나가 되었다.
엣지 인공지능의 급속한 확장은 점점 더 정교해지는 신경망을 배치하는 데 있어 새로운 과제를 만들어냈다. 현대의 딥러닝 모델은 종종 수억 또는 수십억 개의 파라미터를 포함하며, 추론 과정에서 상당한 계산 자원을 필요로 한다. 고성능 GPU를 갖춘 클라우드 서버는 이러한 모델들을 효율적으로 실행할 수 있지만, 많은 로봇 시스템은 지연시간 요구사항, 신뢰할 수 없는 네트워크 연결, 프라이버시 우려, 안전 규정, 또는 에너지 제약 때문에 로컬에서 추론을 수행해야 한다. 산업용 로봇, 자율 이동 로봇, 창고 자동화 시스템, 점검 플랫폼, 협동 로봇, 임베디드 의료 기기는 종종 전용 GPU 가속기가 아니라 Intel 프로세서에 의존한다. OpenVINO는 학습된 신경망을 Intel 하드웨어의 계산 능력을 최대화하는 최적화된 추론 파이프라인으로 전환함으로써 이러한 배치 과제를 해결한다.
OpenVINO의 핵심 철학은 하드웨어를 인식하는 최적화이다. 모든 프로세서를 동일하게 취급하는 대신, OpenVINO는 각각의 Intel 컴퓨팅 플랫폼의 고유한 아키텍처적 특성을 인식하고 그러한 아키텍처에 특별히 최적화된 실행 전략을 생성한다. 여기에는 벡터화된 CPU 명령어, 통합 GPU 실행, 전용 신경망 처리 장치, 비전 처리 장치, 이질적인 다중 디바이스 스케줄링, 메모리 최적화, 그래프 단순화, 정밀도 변환이 포함된다. 그 결과, 애플리케이션은 원래의 신경망 아키텍처를 변경하지 않고도 상당히 낮은 추론 지연시간, 더 높은 처리량, 향상된 전력 효율성, 줄어든 메모리 소비를 달성한다.
OpenVINO는 현대의 머신러닝 배치 파이프라인에 자연스럽게 들어맞는다. 딥러닝 모델은 일반적으로 PyTorch, TensorFlow, JAX, 또는 그 밖의 연구 지향적인 환경을 사용해 개발되고 학습된다. 학습이 수렴하고 만족스러운 정확도가 달성되면, 모델은 일반적으로 ONNX인 중간 표현으로 내보내진다. 이후 OpenVINO는 이 학습된 모델을 가져와, 하드웨어별 그래프 최적화를 수행하고, 모델을 최적화된 내부 표현으로 변환하며, Intel 하드웨어에 맞춰진 고도로 최적화된 런타임 라이브러리를 사용해 추론을 실행한다.
이 최적화 과정은 모델 변환으로 시작된다. 이 단계에서, OpenVINO는 계산 그래프를 분석하고, 지원되는 연산자를 검증하며, 중복된 계산을 단순화하고, 텐서 형태를 추론하며, 하드웨어별 최적화를 위해 모델을 준비한다. 실험을 위한 유연성을 보존하는 연구용 프레임워크와 달리, OpenVINO는 네트워크 구조가 고정되어 있다고 가정하고 전적으로 추론 효율성을 최대화하는 데 초점을 맞춘다.
OpenVINO의 핵심적인 특징 중 하나는 일반적으로 IR로 알려진 중간 표현(Intermediate Representation)이다. 원래의 프레임워크 그래프를 직접 실행하는 대신, OpenVINO는 네트워크를, 효율적인 배치를 위해 특별히 설계된 그래프 설명과 파라미터 파일로 구성된 최적화된 표현으로 변환한다. IR 형식은 런타임 실행이 시작되기 전에 광범위한 그래프 최적화를 가능하게 하면서도 불필요한 프레임워크 의존성을 제거한다.
그래프 최적화는 OpenVINO의 가장 중요한 성능적 이점 중 하나를 이룬다. 신경망 계산 그래프는 종종 중복된 연산, 불필요한 텐서 변환, 반복된 계산, 또는 수학적으로 결합할 수 있는 별도의 연산자들을 포함한다. OpenVINO는 그래프를 전체적으로 분석하고 연산자 결합, 상수 폴딩, 죽은 노드 제거, 대수적 단순화, 레이아웃 최적화, 메모리 스케줄링과 같은 변환들을 적용한다. 이러한 최적화들은 동일한 추론 결과를 보존하면서도 계산적 복잡성을 줄인다.
연산자 결합은 여러 연속적인 연산들을 하나의 최적화된 커널로 결합한다. 예를 들어, 합성곱, 편향 덧셈, 활성화 함수, 정규화 레이어는 여러 독립적인 계산이 아니라 하나의 연산으로 실행될 수 있다. 이는 메모리 전송을 줄이고, 캐시 미스를 최소화하며, 커널 호출 오버헤드를 낮추고, 프로세서 활용도를 향상시킨다. 메모리 대역폭이 종종 임베디드 추론의 제한 요인이 되기 때문에, 연산자 결합은 종종 상당한 성능 향상을 제공한다.
상수 폴딩은 또 다른 중요한 최적화 전략을 나타낸다. 추론 과정에서, 수많은 수학적 표현들은 런타임 이전에 알려진 상수 값만을 수반한다. OpenVINO는 이러한 표현들을 추론 과정이 아니라 모델 최적화 과정에서 평가하여, 불필요한 런타임 계산을 제거하고 실행 지연시간을 줄인다.
형태 추론은 OpenVINO가 실행이 시작되기 전에 계산 그래프 전반에 걸쳐 텐서의 차원을 결정할 수 있게 한다. 텐서의 차원을 아는 것은 더 효율적인 메모리 할당, 최적화된 스케줄링, 하드웨어별 커널 선택을 가능하게 한다. 정적인 텐서 차원은 고정된 카메라 해상도나 표준화된 센서 구성을 사용하는 로보틱스 응용 분야에 대해 특히 공격적인 최적화를 가능하게 한다.
메모리 최적화는 엣지 AI 배치에서 핵심적인 역할을 한다. 신경망은 계산 과정에서 잠시 동안만 존재하는 많은 중간 텐서들을 생성한다. OpenVINO는 텐서의 수명을 분석하고 실행 의존성이 허락할 때마다 지능적으로 메모리 영역을 재사용한다. 모든 중간 텐서를 위해 새로운 메모리를 할당하는 대신, 겹치지 않는 계산들 사이에서 기존의 버퍼가 재활용되어, 전체적인 메모리 요구량을 상당히 줄여준다.
효율적인 메모리 할당은 사용 가능한 RAM이 종종 제한된 임베디드 로봇 시스템에게 특히 중요해진다. 산업용 컨트롤러, 자율 이동 로봇, 의료 기기, 공장 점검 시스템은 종종 클라우드 서버에서 사용 가능한 것보다 훨씬 작은 메모리 예산으로 작동한다. OpenVINO는 불필요한 메모리 소비를 최소화함으로써 정교한 신경망이 이러한 제약 내에서 실행될 수 있게 한다.
OpenVINO의 가장 큰 강점 중 하나는 이질적인 컴퓨팅에 대한 지원에 있다. 현대의 Intel 플랫폼은 CPU, 통합 GPU, NPU, VPU, 전문화된 가속기를 포함한 여러 컴퓨팅 엔진을 점점 더 많이 포함하고 있다. 전체 신경망을 단일한 디바이스에 할당하는 대신, OpenVINO는 계산 그래프의 서로 다른 부분들을 여러 프로세서에 동시에 분산시킬 수 있다.
CPU는 OpenVINO의 주요 실행 대상 중 하나로 남아 있다. Intel Xeon 프로세서, Intel Core 프로세서, Intel Atom 프로세서, 임베디드 Intel CPU는 SSE, AVX, AVX2, AVX-512, Intel Advanced Matrix Extensions를 포함한 고급 벡터 명령어 집합을 지원한다. OpenVINO는 이러한 명령어 집합들을 활용하는 최적화된 커널들을 자동으로 생성하여, 전용 가속기가 없어도 고도로 효율적인 추론을 가능하게 한다.
벡터화는 합성곱 신경망과 트랜스포머 아키텍처에게 특히 중요하다. 행렬 곱셈, 합성곱, 정규화, 어텐션 메커니즘, 활성화 함수는 여러 수치 값을 동시에 처리하는 넓은 벡터 명령어로부터 상당한 이득을 얻는다. OpenVINO의 CPU 백엔드는 산술 처리량을 최대화하기 위해 이러한 능력들을 광범위하게 활용한다.
통합 Intel GPU는 또 다른 중요한 실행 플랫폼을 제공한다. 통합 GPU는 일반적으로 고성능 별도 GPU보다 낮은 원시 계산 성능을 제공하지만, 뛰어난 에너지 효율성을 제공하며 산업용 컴퓨터, 임베디드 시스템, 엣지 게이트웨이, 모바일 로보틱스 플랫폼에서 널리 사용 가능하다. OpenVINO는 추가적인 하드웨어를 필요로 하지 않고도 이러한 통합 GPU에서의 신경망 추론을 가능하게 한다.
Intel 비전 처리 장치(Vision Processing Unit)는 컴퓨터 비전 작업 부하에 최적화된 전문화된 AI 가속기를 나타낸다. Intel Movidius VPU와 같은 디바이스는 최소한의 전력을 소비하면서도 신경망 추론을 위한 전용 하드웨어를 제공한다. OpenVINO는 이러한 가속기들을 완전히 지원하여, 배터리로 작동하는 로봇, 스마트 카메라, 드론, IoT 디바이스에 특히 매력적으로 만든다.
최근의 Intel 신경망 처리 장치는 OpenVINO의 하드웨어 생태계를 더욱 확장시킨다. 현대의 Intel 프로세서는 전용 AI 가속 하드웨어를 프로세서 패키지에 직접 점점 더 많이 통합하고 있다. OpenVINO는 이러한 가속기들을 자동으로 인식하고, CPU 활용도를 최소화하면서도 추론 효율성을 최대화하기 위해 호환 가능한 신경망 연산들을 스케줄링한다.
필드 프로그래머블 게이트 어레이(FPGA)는 또 다른 지원되는 배치 플랫폼을 제공한다. Intel FPGA 가속기는 응용 분야의 요구사항에 따라 지연시간, 처리량, 또는 전력 효율성에 최적화된 신경망 연산의 맞춤형 하드웨어 구현을 가능하게 한다. FPGA 배치는 일반적으로 추가적인 공학적 노력을 필요로 하지만, OpenVINO는 하드웨어 플랫폼 전반에 걸쳐 통합된 추론 인터페이스를 제공함으로써 통합을 단순화한다.
자동 디바이스 선택은 OpenVINO의 가장 실용적인 배치 기능 중 하나를 나타낸다. 개발자가 실행 하드웨어를 수동으로 선택할 것을 요구하는 대신, OpenVINO는 사용 가능한 프로세서, 가속기, 메모리 자원, 작업 부하 특성을 분석한 뒤 가장 적절한 디바이스에 계산을 자동으로 할당한다. 이는 공학적 복잡성을 줄이면서도 배치 이식성을 향상시킨다.
이질적인 실행(heterogeneous execution)은 서로 다른 신경망 레이어가 서로 다른 하드웨어에서 동시에 실행될 수 있게 함으로써 이 개념을 더욱 확장시킨다. 합성곱 레이어는 통합 GPU에서 실행될 수 있고, 트랜스포머 어텐션 메커니즘은 NPU에서, 전처리는 CPU에서, 후처리는 VPU에서 실행될 수 있다. 이러한 협력적인 실행 모델은 추론 지연시간을 최소화하면서도 사용 가능한 모든 계산 자원의 활용도를 최대화한다.
비동기 추론은 여러 추론 요청이 동시에 실행될 수 있게 한다. 로보틱스 시스템은 센서 스트림, 카메라 이미지, 라이다 스캔, 레이더 측정치, 위치 추정 갱신, 제어 피드백을 지속적으로 처리한다. 각각의 입력을 순차적으로 처리하는 대신, OpenVINO는 여러 추론 요청에 걸쳐 계산을 겹치게 하여, 반응성을 유지하면서도 전체적인 처리량을 늘린다.
추론 요청 관리는 지속적인 센서 처리를 위한 효율적인 스케줄링을 제공한다. 자율 로봇은 일반적으로 위치 추정, 내비게이션, 장애물 감지, 조작 계획 수립, 통신을 동시에 수행하면서도 고정된 프레임 속도로 이미지를 받는다. OpenVINO는 하드웨어 활용도를 최대화하기 위해 이러한 동시적인 추론 작업 부하들을 조율한다.
모델 캐싱은 초기 컴파일 이후 최적화된 모델 표현을 저장함으로써 시작 성능을 향상시킨다. 이후의 애플리케이션 실행 과정에서, OpenVINO는 전체적인 최적화 과정을 반복하는 대신 캐시된 최적화 모델을 다시 로드한다. 이는 특히 큰 트랜스포머 기반 네트워크의 경우 초기화 시간을 상당히 줄여준다.
정밀도 최적화는 OpenVINO의 또 다른 주요한 능력을 이룬다. 신경망은 일반적으로 수치적 안정성을 최대화하기 위해 FP32 부동소수점 연산을 사용해 학습된다. 그러나 배치 과정에서는, 더 낮은 수치적 정밀도가 종종 거의 동일한 예측 정확도를 만들어내면서도 계산 비용을 상당히 줄여준다. OpenVINO는 하드웨어 능력에 따라 FP32, FP16, BF16, INT8, 그리고 새롭게 떠오르는 더 낮은 정밀도의 실행 모드를 지원한다.
FP16 실행은 산술 처리량을 늘리면서도 메모리 대역폭 요구량을 줄인다. 많은 Intel 가속기는 반정밀도 연산에 대한 네이티브 지원을 제공하여, 인지 모델, 분할 네트워크, 트랜스포머 아키텍처가 FP32 구현보다 상당히 더 빠르게 실행될 수 있게 한다.
INT8 양자화는 가중치와 활성화를 8비트 정수 연산을 사용해 표현함으로써 훨씬 더 큰 성능 향상을 제공한다. OpenVINO는 학습 후 양자화와 양자화 인식 학습을 모두 지원하는 포괄적인 양자화 워크플로우를 포함한다. 적절하게 양자화된 모델은 거의 동일한 예측 정확도를 유지하면서도 종종 몇 배의 성능 향상을 달성한다.
학습 후 양자화는 대표적인 보정 데이터셋을 필요로 한다. OpenVINO는 정수 표현을 위한 적절한 스케일링 계수를 결정하기 위해 이러한 데이터셋 전반에 걸쳐 활성화 분포를 분석한다. 레이어별 보정은 계산 효율성을 최대화하면서도 수치적 정확도를 보존한다.
양자화 인식 학습은 양자화 효과를 모델 최적화에 직접 통합한다. 양자화를 인식하여 학습된 모델은, 수치적 정밀도의 한계가 학습 이후 도입되는 것이 아니라 학습 과정의 일부가 되기 때문에 일반적으로 더 높은 INT8 정확도를 달성한다.
어텐션 기반 아키텍처가 현대의 인공지능을 지배함에 따라 트랜스포머 최적화는 점점 더 중요해지고 있다. 대규모 언어 모델, 비전 트랜스포머, 멀티모달 파운데이션 모델, 로봇 추론 시스템은 전통적인 합성곱 신경망과는 다른 계산적 패턴을 포함한다. OpenVINO는 어텐션 메커니즘, 레이어 정규화, 피드포워드 네트워크, 위치 인코딩, 행렬 곱셈을 포함한 트랜스포머 연산자를 대상으로 하는 전문화된 그래프 최적화를 포함한다.
어텐션 최적화는 메모리 이동을 줄이고 캐시 활용도를 향상시킴으로써 트랜스포머 추론을 상당히 가속화한다. 셀프 어텐션 연산이 종종 트랜스포머 계산 비용을 지배하기 때문에, 전문화된 구현들은 언어 이해, 멀티모달 추론, 로봇의 의사결정에 상당한 지연시간 향상을 제공한다.
컴퓨터 비전은 OpenVINO의 주요 응용 도메인 중 하나로 남아 있다. 물체 감지, 의미론적 분할, 인스턴스 분할, 자세 추정, 깊이 추정, 얼굴 인식, 제스처 이해, 이상 감지, 광학 문자 인식은 모두 Intel 프로세서에서의 하드웨어를 인식하는 최적화로부터 이득을 얻는다.
산업용 로봇은 제조 과정에서 시각적 점검을 자주 수행한다. 컨베이어 시스템을 따라 이동하는 제품들은 실시간 결함 감지, 치수 검증, 조립 검증, 용접 검사, 표면 품질 평가, 포장 검증을 필요로 한다. OpenVINO는 값비싼 별도 GPU 설치를 필요로 하지 않고도 Intel 프로세서를 갖춘 산업용 PC에서 이러한 인지 모델들이 효율적으로 실행될 수 있게 한다.
자율 이동 로봇(AMR)은 내비게이션, 위치 추정, 장애물 감지, 팔레트 인식, 선반 식별, 창고 재고 관리를 위해 컴퓨터 비전에 광범위하게 의존한다. 많은 상업용 AMR이 Intel 기반 임베디드 컴퓨터를 사용하기 때문에, OpenVINO는 성능, 신뢰성, 비용의 균형을 맞추는 매력적인 배치 플랫폼을 제공한다.
의료용 로보틱스는 또 다른 중요한 배치 도메인을 나타낸다. 수술 보조 시스템, 진단 영상 플랫폼, 환자 모니터링 기기, 재활 로봇, 실험실 자동화 시스템은 예측 가능한 행동을 지닌 신뢰할 수 있는 낮은 지연시간의 추론을 필요로 한다. OpenVINO의 최적화된 실행과 장기적인 플랫폼 안정성은 이러한 안전이 중요한 응용 분야에 적합하다.
스마트 카메라는 가장 빠르게 성장하는 엣지 AI 시장 중 하나를 이룬다. 원본 비디오 스트림을 클라우드 서버로 전송하는 대신, 지능형 카메라는 물체를 감지하고, 얼굴을 인식하며, 이상을 식별하고, 안전 준수를 모니터링하거나, 산업 점검을 수행하기 위해 신경망을 로컬에서 실행한다. Intel VPU와 OpenVINO를 결합하면 전력 소비를 최소화하면서도 효율적인 온보드 추론을 가능하게 한다.
협동 로봇은 인간 감지, 제스처 인식, 도구 식별, 물체 추적, 작업 공간 모니터링, 적응형 조작을 위해 AI를 점점 더 많이 사용하고 있다. 이러한 시스템들은 종종 Intel 프로세서가 임베디드 컴퓨팅 인프라를 지배하는 산업 환경 내에서 작동한다. OpenVINO는 과도한 하드웨어 복잡성 없이도 정교한 인지 능력이 효율적으로 작동할 수 있게 한다.
자연어 처리도 중요한 응용 분야가 되었다. OpenVINO를 통해 배치된 압축된 언어 모델은 서비스 로봇, 의료 어시스턴트, 창고 자동화 시스템, 협력적 제조 플랫폼을 위한 로컬 음성 인식, 언어 이해, 명령 해석, 대화 관리, 다국어 상호작용을 가능하게 한다.
시각, 언어, 오디오, 힘 감지, 고유수용감각을 결합하는 멀티모달 AI 시스템은 OpenVINO 최적화로부터 점점 더 많은 이득을 얻고 있다. 고립된 신경망만을 가속화하는 대신, OpenVINO는 이질적인 하드웨어 전반에 걸쳐 협력적으로 실행되는 여러 상호 연결된 모델들로 구성된 완전한 추론 파이프라인을 지원한다.
클라우드 연결이 항상 보장될 수 없기 때문에 엣지 컴퓨팅 환경은 OpenVINO로부터 특히 큰 이득을 얻는다. 제조 시설, 원격 점검 현장, 농업용 로봇, 채굴 장비, 수중 로봇, 자율주행 차량은 종종 완전한 로컬 지능을 필요로 한다. OpenVINO는 낮은 지연시간과 높은 신뢰성을 유지하면서도 엣지 하드웨어에서 직접 고도화된 AI 추론을 가능하게 한다.
클라우드-엣지 협업은 또 다른 중요한 배치 모델로 남아 있다. 대형 파운데이션 모델은 클라우드 데이터 센터에서 실행될 수 있는 한편, 증류된 인지 모델과 태스크별 추론은 OpenVINO를 사용해 로컬에서 실행될 수 있다. 이러한 하이브리드 아키텍처는 계산 능력을 통신 지연시간 및 운영상의 신뢰성과 균형을 맞춘다.
OpenVINO 배치를 벤치마킹하는 것은 여러 성능 지표를 동시에 평가할 것을 필요로 한다. 추론 지연시간, 처리량, 메모리 소비, 프로세서 활용도, 전력 효율성, 열적 행동, 시작 시간, 수치적 일관성, 확장성, 하드웨어 활용도는 모두 전체적인 배치 품질에 기여한다. 서로 다른 로봇 응용 분야는 운영상의 요구사항에 따라 이러한 지표들을 다르게 우선시한다.
결정론적 실행은 로보틱스에 있어 특히 유용한 특성을 나타낸다. 제어 시스템은 단순히 평균 처리량을 최대화하는 것이 아니라 예측 가능한 추론 타이밍을 필요로 한다. OpenVINO는 실시간 인지, 내비게이션, 조작, 산업 자동화에 적합한 안정적인 실행 행동을 강조한다.
OpenVINO는 Docker, Kubernetes, 엣지 오케스트레이션 프레임워크, 산업용 소프트웨어 플랫폼을 포함한 컨테이너화된 배치 환경과 자연스럽게 통합된다. 이는 분산된 배치 환경 전반에 걸쳐 일관된 AI 행동을 보장하면서도 대규모 로봇 함대 전반에 걸친 소프트웨어 유지보수를 단순화한다.
보안 역시 간소화된 배치로부터 이득을 얻는다. 프로덕션 시스템은 완전한 머신러닝 개발 환경이 아니라 오직 최적화된 추론 라이브러리만을 필요로 하여, 소프트웨어의 복잡성을 줄이고, 의존성 취약점을 최소화하며, 산업 및 의료 응용 분야를 위한 인증을 단순화한다.
OpenVINO는 ONNX Runtime, TensorRT, 가지치기, 지식 증류, 양자화 인식 학습, 신경망 아키텍처 탐색, 하드웨어를 인식하는 모델 설계와 같은 상호 보완적인 최적화 기술들과 자주 결합된다. 이러한 접근법들을 대체하는 대신, OpenVINO는 포괄적인 배치 파이프라인에 통합된 Intel 특화 최적화 능력을 제공함으로써 이들을 보완한다.
엣지 인공지능이 점점 더 유능한 멀티모달 파운데이션 모델, 지능형 로봇, 자율 제조 시스템, 분산된 Physical AI 플랫폼을 향해 계속 발전함에 따라, 효율적인 배치는 모델의 정확도만큼이나 중요해지고 있다. OpenVINO는 학습된 모델을 Intel 하드웨어에 특별히 맞춰진 고도로 최적화된 추론 파이프라인으로 전환함으로써 연구 지향적인 신경망 개발과 실용적인 산업 배치 사이의 필수적인 다리를 제공한다. 그래프 최적화, 이질적인 실행, 정밀도 감소, 메모리 관리, 트랜스포머 가속, 지능형 스케줄링, 하드웨어를 인식하는 컴파일, 크로스 플랫폼 이식성을 통해, OpenVINO는 현대의 Intel 기반 로보틱스, 산업 자동화, 임베디드 비전, 의료 기기, 자율 기계, 차세대 엣지 AI 시스템 전반에 걸쳐 실시간 인공지능을 가능하게 하는 핵심적인 기술 중 하나가 되었다.
10.09 Hailo NPU and Custom ASIC Inference [w/Code]
Hailo 신경망 처리 장치(Neural Processing Unit, NPU)와 맞춤형 응용특화 집적회로(Application-Specific Integrated Circuit, ASIC)는 엣지 인공지능의 발전에 있어 가장 중요한 방향 중 하나를 나타낸다. 범용 CPU가 유연성을 제공하고 GPU가 대규모 병렬 계산을 제공하는 반면, 이 두 아키텍처 모두 상대적으로 많은 전력을 소비하며 신경망 추론에는 불필요한 하드웨어 기능을 포함한다. NPU와 AI 전용 ASIC는 근본적으로 다른 접근법을 취한다. 가능한 모든 계산을 지원하는 대신, 이들은 거의 전적으로 딥러닝 작업 부하를 위해 설계된다. 불필요한 하드웨어 복잡성을 제거하고 데이터 이동, 행렬 곱셈, 텐서 연산, 메모리 계층 구조를 신경망에 특화되게 최적화함으로써, 이러한 가속기들은 전통적인 프로세서보다 와트당 극적으로 더 높은 성능을 달성한다. 자율 로봇, 산업 자동화, 지능형 카메라, 드론, 의료 기기, 자율주행 차량, 사물인터넷 시스템의 경우, NPU는 엄격한 전력, 열, 크기 제약 내에서 고도화된 AI 능력이 작동할 수 있게 하는 핵심적인 기술 중 하나가 되었다.
전용 AI 가속기의 동기는 단순한 관찰에서 비롯된다. 현대의 심층 신경망은 계산 시간의 압도적인 대부분을 비교적 작은 연산들의 집합을 수행하는 데 사용한다. 합성곱, 행렬 곱셈, 어텐션 계산, 활성화 함수, 정규화, 텐서 재구성(reshaping), 풀링, 원소별 산술은 추론 작업 부하를 지배한다. 범용 프로세서는 운영체제, 그래픽, 네트워킹, 저장, 보안, 가상화, 애플리케이션 소프트웨어를 위한 수천 개의 명령어를 지원해야 한다. 이러한 기능의 상당 부분은 AI 추론 과정에서는 사용되지 않은 채로 남아 있다. 전용 NPU는 이러한 불필요한 기능을 제거하고 거의 전체 실리콘 면적을 신경망 계산을 가속화하는 데 바친다.
AI 하드웨어의 발전은 이러한 전환을 명확하게 보여준다. 초기의 머신러닝 응용은, 신경망이 비교적 작았고 계산 수요가 완만했기 때문에 전적으로 CPU에 의존했다. 딥러닝 모델이 더 커짐에 따라, 수천 개의 병렬 산술 유닛이 행렬 연산을 극적으로 가속화했기 때문에 GPU가 지배적인 학습 및 추론 플랫폼이 되었다. 그러나 GPU는 원래 인공지능이 아니라 그래픽 렌더링을 위해 개발되었다. 현대의 GPU가 텐서 코어와 전문화된 AI 명령어를 통합하고 있지만, 여전히 칩 면적과 전력을 소비하는 대형 그래픽 파이프라인을 유지하고 있다. NPU와 맞춤형 ASIC는 그래픽 기능을 완전히 제거하고 오직 신경망 실행에만 초점을 맞춤으로써 이러한 전문화 과정을 계속 이어간다.
Hailo는 실시간 임베디드 추론을 위해 특별히 최적화된 엣지 AI 프로세서를 개발하는 선도적인 기업 중 하나를 나타낸다. 대형 데이터 센터 GPU와 경쟁하는 대신, Hailo는 극도로 제한된 전력 예산 하에서 높은 추론 성능을 필요로 하는 지능형 엣지 디바이스에 초점을 맞춘다. 일반적인 배치 대상에는 스마트 카메라, 산업용 로봇, 자율 이동 로봇, 창고 자동화 시스템, 자율주행 차량, 드론, 의료 장비, 소매 분석, 교통 모니터링, 지능형 제조 플랫폼이 포함된다. 이러한 응용 분야들은 종종 단 몇 와트로 측정되는 전력 예산 내에서 작동하면서도 지속적인 AI 추론을 필요로 한다.
Hailo의 두드러진 아키텍처적 원리 중 하나는 전통적인 명령어 주도 실행이 아니라 데이터플로우 컴퓨팅(dataflow computing)에 대한 강조이다. 전통적인 CPU는 메모리로부터 명령어를 반복적으로 가져오고, 이를 디코딩하며, 연산을 실행하고, 결과를 메모리에 다시 기록한다. 명령어와 데이터 모두의 이러한 지속적인 이동은 상당한 에너지 소비를 만들어낸다. Hailo의 아키텍처는 그 대신 계산을 데이터의 이동 자체를 중심으로 조직한다. 처리 요소들은 메모리 자원과 긴밀하게 연결된 채로 유지되어, 값비싼 외부 메모리 전송을 최소화하면서도 텐서들이 계산 그래프를 통해 효율적으로 흐를 수 있게 한다.
데이터 이동은 현대의 AI 시스템에서 에너지 소비의 가장 큰 기여 요인 중 하나가 되었다. 두 숫자를 곱하는 것은 그 숫자들을 외부 메모리와 산술 유닛 사이에서 반복적으로 이동시키는 것에 비해 상대적으로 적은 에너지를 소비한다. 따라서 Hailo는 효율적인 온칩 메모리 조직, 지능형 스케줄링, 지역화된 계산을 우선시한다. 메모리 대역폭 요구량을 줄이는 것은 종종 단순히 산술 처리량을 늘리는 것보다 더 큰 성능 향상을 만들어낸다.
Hailo 아키텍처는 신경망 그래프 전반에 걸쳐 동시에 작동하는 수많은 분산된 처리 요소들로 구성된다. 소수의 극도로 강력한 프로세서에 의존하는 대신, 계산은 최적화된 인터커넥트를 통해 연결된 많은 전문화된 실행 유닛들에 분산된다. 각각의 처리 요소는 전체적인 추론 파이프라인의 일부를 수행하는 한편, 중간 결과는 그것이 생성된 위치에 가까운 곳에 남아 있는다.
온칩 메모리도 마찬가지로 중요한 역할을 한다. 대형 신경망은 가중치, 활성화, 특징 맵, 중간 텐서에 대한 빈번한 접근을 필요로 한다. 외부 DRAM에 접근하는 것은 지연시간을 도입하고 상당한 에너지를 소비한다. Hailo는 가능한 한 많은 작업 데이터를 고속 온칩 메모리 자원 내에 저장함으로써 이러한 비용을 최소화한다. 효율적인 스케줄링은 실현 가능할 때마다 텐서가 계산 전반에 걸쳐 로컬에서 사용 가능한 상태로 유지되도록 보장한다.
Hailo 프로세서의 또 다른 중요한 특징은 결정론적 실행(deterministic execution)이다. 로보틱스 시스템은 종종 단순히 평균 처리량을 최대화하는 것이 아니라 예측 가능한 추론 타이밍을 필요로 한다. 모션 계획 수립, 장애물 회피, 산업용 제어, 협동 로보틱스, 자율주행은 모두 안정적인 제어 루프 타이밍에 의존한다. 하드웨어 자원이 관련 없는 운영체제 활동들과 경쟁하는 것이 아니라 추론만을 위해 특별히 할당되기 때문에, 전용 NPU는 더 큰 실행 결정론성을 달성한다.
Hailo 프로세서는 엣지 AI 응용 분야에서 일반적으로 사용되는 광범위한 신경망 아키텍처를 지원한다. 합성곱 신경망은 물체 감지, 이미지 분류, 의미론적 분할, 자세 추정, 광학 검사에 있어 여전히 핵심적이다. 합성곱, 활성화 함수, 풀링, 정규화, 텐서 연산의 효율적인 구현은 이러한 작업 부하들이 예외적으로 높은 처리량으로 실행될 수 있게 한다.
비전 트랜스포머, 멀티모달 파운데이션 모델, 언어 모델, 어텐션 기반 인지 시스템이 엣지 컴퓨팅으로 확장됨에 따라 트랜스포머 아키텍처는 점점 더 중요해지고 있다. 트랜스포머 추론이 합성곱 네트워크와는 다른 계산적 특성을 제시하지만, 현대의 Hailo 아키텍처는 많은 트랜스포머 연산자에 대한 지원을 통합하고 있어, 점점 더 정교해지는 AI 모델을 임베디드 환경 내에 배치할 수 있게 한다.
물체 감지는 Hailo 가속기의 가장 흔한 배치 시나리오 중 하나를 나타낸다. 산업용 점검 로봇은 제조 결함을 지속적으로 식별하고, 창고 로봇은 팔레트와 재고를 감지하며, 자율주행 차량은 보행자와 교통 인프라를 인식하고, 농업용 로봇은 작물과 장애물의 위치를 찾는다. 이러한 응용 분야들은 종종 극도로 낮은 전력 소비를 유지하면서도 초당 30 또는 60 프레임을 초과하는 추론 속도를 필요로 한다. 전용 NPU는 정확히 이러한 균형을 제공한다.
의미론적 분할도 마찬가지로 전문화된 가속으로부터 이득을 얻는다. 모든 이미지 픽셀에 대해 예측이 생성되어야 하기 때문에 픽셀 수준의 분류는 상당한 계산 자원을 필요로 한다. 효율적인 하드웨어 파이프라인은 임베디드 컴퓨팅 자원을 압도하지 않고도 분할 모델이 지속적으로 실행될 수 있게 한다.
자세 추정, 얼굴 랜드마크 감지, 제스처 인식, 인간 활동 분석, 신체 추적은 추가적인 응용 도메인을 이룬다. 서비스 로봇, 협동 산업용 로봇, 의료 어시스턴트, 재활 기기, 인간-기계 상호작용 시스템은 이러한 인지 능력들에 점점 더 많이 의존하고 있다. NPU는 배터리 수명을 유지하면서도 실시간 반응성을 유지하는 지속적인 작동을 가능하게 한다.
깊이 추정과 3차원 장면 이해도 흔한 작업 부하가 되었다. 실내 및 실외 환경을 내비게이션하는 자율 로봇은 장애물을 피하고, 지도 내에서 위치를 추정하며, 물체를 조작하고, 인간과 안전하게 상호작용하기 위해 정확한 기하학적 이해를 필요로 한다. 전용 추론 가속기는 이러한 계산적으로 까다로운 모델들을 효율적으로 지원한다.
Hailo 하드웨어를 둘러싼 소프트웨어 생태계는 하드웨어 자체만큼이나 중요하다. 학습은 일반적으로 PyTorch나 TensorFlow와 같은 표준적인 머신러닝 프레임워크를 사용해 이루어진다. 연구자들은 GPU 배치를 위해서와 정확히 동일하게 신경망 아키텍처를 개발하고, 하이퍼파라미터를 최적화하며, 데이터셋을 준비하고, 모델의 정확도를 평가한다. 배치 과정이 하드웨어에 특화되는 것은 학습이 완료된 이후부터이다.
모델은 Hailo 최적화 파이프라인에 들어가기 전에 일반적으로 ONNX인 표준화된 형식으로 내보내진다. 컴파일러는 신경망 그래프를 분석하고, 연산자를 하드웨어 자원에 매핑하며, 실행을 스케줄링하고, 메모리를 할당하며, 양자화를 수행하고, 목표 Hailo 프로세서에 특별히 최적화된 실행 가능한 바이너리를 생성한다. 이 컴파일 과정은, 실행 일정이 물리적 하드웨어 자원에 직접적으로 의존하기 때문에 전통적인 소프트웨어 컴파일보다는 하드웨어 합성(synthesis)과 더 유사하다.
양자화는 배치의 가장 중요한 단계 중 하나를 나타낸다. 정수 연산이 부동소수점 연산보다 상당히 더 높은 처리량과 더 낮은 에너지 소비를 제공하기 때문에, 대부분의 엣지 AI 가속기는 주로 INT8 연산을 사용해 작동한다. 최적화 과정에서, 부동소수점 가중치와 활성화는 보정 데이터셋이나 양자화 인식 학습을 사용해 정수 표현으로 변환된다. 신중한 보정은 하드웨어 효율성을 최대화하면서도 추론 정확도를 보존한다.
레이어 스케줄링은 하드웨어 자원의 제한을 존중하면서도 신경망 연산들의 실행 순서를 결정한다. 처리 요소, 메모리 버퍼, 통신 채널이 유한한 채로 남아 있기 때문에, 컴파일러는 처리량을 최대화하면서도 자원 충돌을 피하기 위해 실행을 조율해야 한다. 정교한 스케줄링 알고리즘은 최종 추론 성능에 상당한 영향을 미친다.
메모리 할당도 마찬가지로 신중한 최적화를 필요로 한다. 중간 텐서는 이후의 레이어가 실행되는 동안 일시적으로 저장되어야 한다. 메모리 영역의 효율적인 재사용은 전체적인 메모리 요구량을 최소화하여, 제한된 온칩 저장 용량 내에서 더 큰 모델이 실행될 수 있게 한다.
하드웨어를 인식하는 최적화는 스케줄링과 메모리 관리를 넘어 확장된다. 컴파일러는 Hailo 아키텍처에 특별히 맞춰진 구현 전략을 선택하기 전에 텐서 차원, 연산자 특성, 통신 비용, 실행 의존성을 분석한다. 이러한 최적화들은 애플리케이션 개발자에게는 대체로 보이지 않지만 최종 성능에 상당히 기여한다.
전력 효율성은 아마도 전용 AI ASIC의 가장 큰 이점을 나타낼 것이다. GPU가 종종 추론 과정에서 수십 또는 수백 와트를 소비하는 반면, 임베디드 NPU는 종종 단 몇 와트만을 사용해 비슷한 애플리케이션 성능을 달성한다. 이는 이동 로봇, 드론, 웨어러블 디바이스, 자율주행 차량, 현장 점검 시스템의 배터리 수명을 극적으로 향상시킨다.
전력 소비가 줄어듦에 따라 열 관리는 상당히 쉬워진다. 팬이 없는 산업용 컴퓨터, 밀폐된 실외 로봇 시스템, 자율 농업 장비, 의료 기기는 종종 능동적인 냉각이 바람직하지 않거나 불가능한 환경 내에서 작동한다. 저전력 NPU는 전체적인 시스템 신뢰성을 향상시키면서도 열적 설계를 단순화한다.
지연시간 감소는 또 다른 중요한 이점을 제공한다. 전용 가속기가 불필요한 운영체제 오버헤드, 그래픽 처리, 관련 없는 명령어 실행을 제거하기 때문에, 추론 파이프라인은 종종 동등한 GPU 구현보다 더 예측 가능하고 낮은 엔드투엔드 지연시간으로 실행된다.
확장성은 또 다른 매력적인 특징으로 남아 있다. 여러 NPU가 하나의 로봇 플랫폼 내에서 동시에 작동할 수 있으며, 각각은 서로 다른 인지 태스크에 할당된다. 하나의 가속기는 물체 감지를 수행할 수 있고, 다른 하나는 의미론적 분할을, 또 다른 하나는 언어 이해나 이상 감지를 수행할 수 있다. 이러한 분산 아키텍처는 결정론적 실행을 유지하면서도 모듈형 AI 파이프라인을 가능하게 한다.
산업용 로봇은 시각적 점검, 품질 보증, 조립 검증, 결함 감지, 치수 측정, 안전 모니터링을 위해 NPU를 점점 더 많이 사용하고 있다. 생산 라인은 종종 하루 24시간 지속적으로 작동하기 때문에, 장기적인 에너지 효율성과 하드웨어 신뢰성이 특히 유용해진다.
창고 자동화는 또 다른 중요한 배치 도메인을 나타낸다. 자율 이동 로봇은 동적인 장애물을 피하면서도 선반, 팔레트, 상자, 작업자, 바닥 표시, 내비게이션 랜드마크를 지속적으로 인식한다. 전용 AI 가속기는 값비싼 워크스테이션급 GPU를 필요로 하지 않고도 충분한 계산 능력을 제공한다.
헬스케어 시스템도 상당한 이득을 얻는다. 의료 영상 기기, 휴대용 진단 시스템, 재활 로봇, 환자 모니터링 장비, 지능형 수술 어시스턴트는 극도로 높은 신뢰성을 지닌 로컬 추론을 필요로 한다. 저전력 AI 가속기는 클라우드 인프라와 독립적으로 작동할 수 있는 컴팩트한 의료 기기를 가능하게 한다.
자율 드론은 추가되는 모든 그램의 하드웨어가 비행 지속시간을 줄이기 때문에 특히 까다로운 배치 제약을 제시한다. NPU는 GPU 기반 솔루션이 필요로 하는 전력의 극히 일부만을 소비하면서도 장애물 회피, 물체 추적, 시각적 위치 추정, 착륙 보조, 점검, 감시를 위한 충분한 인지 능력을 제공한다.
스마트 시티는 교통 모니터링, 보행자 감지, 주차 관리, 공공 안전, 환경 모니터링, 인프라 점검을 위해 AI가 탑재된 카메라를 점점 더 많이 배치하고 있다. 전용 ASIC를 사용한 엣지 추론은 지속적인 비디오 스트림이 아니라 의미 있는 이벤트만을 전송함으로써 대역폭 요구량을 최소화한다.
농업 로보틱스도 마찬가지로 저전력 추론으로부터 이득을 얻는다. 작물 감지, 잡초 인식, 과일 계수, 질병 진단, 가축 모니터링, 자율 내비게이션은 모두 배터리 수명이 여전히 중요한 대규모 실외 환경 전반에 걸친 지속적인 인지를 필요로 한다.
Hailo가 전용 AI 가속의 상업적 예시를 나타내는 한편, 맞춤형 AI ASIC라는 더 넓은 개념은 반도체 산업 전반에 걸쳐 확장된다. Google, Apple, Qualcomm, Tesla, Amazon, Huawei, Samsung, MediaTek, Intel, 그리고 수많은 스타트업 기업들은 자신의 특정한 배치 시나리오에 최적화된 전문화된 AI 프로세서를 개발해왔다.
Google의 텐서 처리 장치(Tensor Processing Unit)는 주로 클라우드 데이터 센터 내의 대규모 머신러닝 작업 부하에 초점을 맞추면서도 엣지 디바이스를 점점 더 많이 지원하고 있다. Apple의 Neural Engine은 모바일 폰, 태블릿, 웨어러블 디바이스를 위한 온디바이스 추론을 가속화한다. Qualcomm은 스마트폰, 로보틱스, 자동차 응용 분야를 위해 AI 엔진을 모바일 프로세서에 직접 통합한다. Tesla는 자율주행 인지와 계획 수립에 특별히 최적화된 맞춤형 Full Self-Driving 칩을 개발한다. Amazon의 Inferentia 프로세서는 하이퍼스케일로 클라우드 추론 작업 부하를 가속화한다. 이러한 아키텍처들은 상당히 다르지만, 신경망 계산을 위해 특별히 하드웨어를 전문화한다는 공통된 원리를 공유한다.
응용특화 집적회로는 프로그래밍 가능한 프로세서와 근본적으로 다르다. 일단 제조되면, ASIC 하드웨어는 임의의 계산적 아키텍처를 구현하도록 재프로그래밍될 수 없다. 이러한 유연성의 부재는 한계이자 강점을 나타낸다. 하드웨어 자원이 의도된 작업 부하만을 위해 전적으로 전용되기 때문에, ASIC는 범용 프로세서보다 상당히 더 높은 효율성을 달성한다.
맞춤형 AI ASIC를 위한 설계 과정은 광범위한 하드웨어-소프트웨어 공동 설계를 수반한다. 신경망 특성, 컴파일러 능력, 메모리 조직, 산술 정밀도, 통신 아키텍처, 스케줄링 알고리즘, 제조 제약이 모두 동시에 고려되어야 한다. 성공은 하드웨어 엔지니어링뿐만 아니라 컴파일러 기술, 소프트웨어 생태계, 최적화 도구, 개발자 사용성에도 달려 있다.
모델 호환성은 중요한 실용적 고려사항으로 남아 있다. 연구용 아키텍처는 빠르게 진화하며, 새로운 연산자, 어텐션 메커니즘, 활성화 함수, 정규화 전략, 멀티모달 융합 기법들을 도입한다. 하드웨어 가속기는 효율적인 실행을 보존하면서도 이러한 혁신들을 수용하기 위해 소프트웨어 지원을 지속적으로 확장해야 한다.
따라서 컴파일러 기술은 실리콘 설계만큼이나 중요해진다. 고급 컴파일러는 계산 그래프를 자동으로 분할하고, 연산자 결합을 수행하며, 메모리 사용을 최적화하고, 실행을 스케줄링하며, 양자화 연산을 삽입하고, 효율적인 하드웨어 명령어를 생성한다. 지속적인 컴파일러 개선은 종종 하드웨어 수정을 필요로 하지 않고도 상당한 성능 향상을 만들어낸다.
AI 가속기를 벤치마킹하는 것은 수많은 지표를 동시에 평가할 것을 필요로 한다. 초당 원시 연산 수만으로는 배치 품질에 대한 불완전한 그림을 제공한다. 엔지니어들은 추론 지연시간, 처리량, 전력 효율성, 메모리 소비, 시작 시간, 열적 행동, 하드웨어 활용도, 결정론적 실행, 소프트웨어 성숙도, 모델 호환성, 통합의 용이성을 고려해야 한다. 서로 다른 로보틱스 응용 분야는 운영상의 요구사항에 따라 이러한 지표들을 다르게 우선시한다.
전용 AI 가속기는 또한 특정한 한계도 지닌다. 프로그래밍 가능한 소프트웨어를 통해 새로운 실험적 아키텍처를 쉽게 지원하는 GPU와 달리, ASIC는 완전히 새로운 계산적 패러다임을 수용하기 위해 컴파일러 업데이트나 하드웨어 개정을 필요로 할 수 있다. 따라서 연구 환경은 실험을 위해 여전히 GPU에 크게 의존하는 한편, 프로덕션 배치는 전문화된 추론 하드웨어를 점점 더 선호하고 있다.
미래 세대의 NPU는 트랜스포머 아키텍처, 멀티모달 추론, 희소 계산, 동적 신경망, 지속 학습, 하드웨어를 인식하는 파운데이션 모델에 대한 지원을 점점 더 많이 통합할 것으로 예상된다. 로보틱스 시스템이 점점 더 지능적이 됨에 따라, AI 가속기는 시각 추론을 넘어 언어 이해, 계획 수립, 세계 모델링, 체화 지능에 대한 포괄적인 지원으로 발전할 것이다.
새롭게 떠오르는 칩렛(chiplet) 아키텍처는 여러 전문화된 AI 가속기가 통합된 컴퓨팅 플랫폼 내에서 협력할 수 있게 함으로써 확장성을 더욱 향상시킬 수 있다. 이러한 아키텍처는 각각의 계산적 도메인에 최적화된 전용 처리 유닛에 인지, 언어, 조작, 내비게이션, 추론 작업 부하를 할당할 수 있다.
효율적인 신경망 아키텍처, 고급 양자화 방법, 지식 증류, 컴파일러 최적화, 전용 추론 하드웨어의 수렴은 엣지 인공지능을 계속 변화시킬 것이다. 점점 더 강력해지는 범용 프로세서에만 배타적으로 의존하는 대신, 미래의 로봇 시스템은 CPU가 시스템 제어를 조율하고, GPU가 학습과 시뮬레이션을 지원하는 한편, NPU와 맞춤형 ASIC가 예외적인 효율성으로 프로덕션 AI 추론을 실행하는 이질적인 컴퓨팅 플랫폼을 사용할 것이다.
현대의 엣지 로보틱스의 경우, Hailo NPU와 맞춤형 AI ASIC는 컴퓨팅 철학의 근본적인 전환을 나타낸다. 계산적 유연성을 최대화하는 대신, 이들은 하드웨어 아키텍처를 신경망의 수학적 구조와 직접적으로 정렬시킴으로써 추론 효율성을 최대화한다. 전문화된 데이터플로우 실행, 최적화된 메모리 계층 구조, 낮은 정밀도의 연산, 컴파일러 주도 스케줄링, 하드웨어를 인식하는 최적화, 극도로 높은 와트당 성능을 통해, 이러한 가속기들은 자율 로봇, 산업 자동화 시스템, 의료 기기, 지능형 인프라, 차세대 Physical AI 플랫폼이 필요로 하는 엄격한 전력, 열, 지연시간, 신뢰성 제약 내에서 고도화된 인지, 내비게이션, 조작, 점검, 멀티모달 지능이 작동할 수 있게 한다.
10.10 Edge AI Inference Benchmark Suite for Robots [w/Code]
로봇을 위한 엣지 AI 추론 벤치마킹은 인공지능 모델이 현실적인 로봇 운영 조건 하에서 임베디드 컴퓨팅 플랫폼에서 얼마나 효율적으로 실행되는지를 평가하는 체계적인 과정이다. 전통적인 머신러닝 연구는 종종 주로 예측 정확도에 초점을 맞추지만, 실용적인 로봇 시스템은 훨씬 더 광범위한 성능 요구사항을 충족해야 한다. 자율 로봇은 단순히 결국에는 올바른 예측을 만들어내는 것으로는 충분하지 않다. 계산 자원, 메모리 용량, 전력 소비, 열적 한계, 통신 대역폭, 하드웨어 신뢰성, 장기적인 운영 안정성과 관련된 제약 하에서 작동하면서도 엄격한 실시간 마감시한 내에서 신뢰할 수 있는 결정을 생성해야 한다. 엣지 AI 추론 벤치마크 스위트는 엔지니어들이 하드웨어 플랫폼, 최적화 기법, 배치 프레임워크, 신경망 아키텍처를 객관적으로 비교할 수 있도록 이러한 특성들을 측정하는 표준화된 프레임워크를 제공한다.
벤치마킹의 동기는 실험실 연구와 프로덕션 배치 사이의 간극에서 비롯된다. 고성능 워크스테이션 GPU에서 뛰어난 벤치마크 정확도를 달성하는 신경망이라도 임베디드 로봇용 컴퓨터에 배치되었을 때는 부진한 성능을 보일 수 있다. 이 모델은 사용 가능한 메모리를 초과하거나, 과도한 전력을 소비하거나, 용납할 수 없는 지연시간을 만들어내거나, 열 스로틀링을 발생시키거나, 다른 실시간 제어 프로세스들을 방해할 수 있다. 반대로, 더 작고 최적화된 모델은 다소 낮은 예측 정확도를 달성하지만, 추론이 확장된 운영 기간에 걸쳐 결정론적이고, 효율적이며, 지속 가능한 상태로 유지되기 때문에 상당히 더 나은 전체적인 로봇 성능을 제공할 수 있다. 따라서 벤치마킹은 단순히 지능 자체를 측정하는 것을 넘어, 그러한 지능이 실용적인 로봇 환경에서 성공적으로 배치될 수 있는지를 평가한다.
현대의 로봇 시스템은 동시에 작동하는 여러 신경망을 점점 더 많이 통합하고 있다. 자율 이동 로봇은 물체 감지, 의미론적 분할, 위치 추정 지원, 장애물 인식, 인간 감지, 내비게이션 계획 수립을 동시에 수행한다. 이동 매니퓰레이터는 시각, 파지 예측, 힘 추정, 자세 추정, 언어 이해, 궤적 생성을 결합한다. 자율주행 차량은 엄격한 실시간 안전 요구사항을 유지하면서도 수십 개의 인지 및 계획 모델을 동시에 실행한다. 따라서 벤치마크 스위트는 고립된 신경망 실행이 아니라 완전한 AI 추론 파이프라인을 평가해야 한다.
포괄적인 벤치마크는 대표적인 로봇 작업 부하를 정의하는 것으로 시작된다. 인공지능 응용 분야는 계산적 특성 면에서 상당히 다르다. 이미지 분류는 특징 추출과 밀집 행렬 곱셈을 강조한다. 물체 감지는 영역 제안(region proposal)이나 앵커 예측 메커니즘을 도입한다. 의미론적 분할은 밀집한 픽셀 수준의 추론을 필요로 한다. 비전 트랜스포머는 어텐션 연산에 크게 의존한다. 언어 모델은 순차적인 토큰 처리와 자기회귀적 추론을 수반한다. 강화학습 정책은 낮은 지연시간의 제어 루프를 강조하는 한편, 멀티모달 파운데이션 모델은 여러 계산적 패러다임을 동시에 결합한다. 유용한 벤치마크 스위트는 이러한 각각의 주요 응용 범주로부터 대표적인 작업 부하를 포함한다.
인지가 자율 로보틱스의 기반을 이루기 때문에 컴퓨터 비전은 가장 중요한 벤치마크 도메인 중 하나로 남아 있다. 분류 모델은 특징 추출 효율성과 일반적인 이미지 이해를 평가한다. 대표적인 아키텍처에는 ResNet, EfficientNet, MobileNet, ConvNeXt, 비전 트랜스포머 계열이 포함될 수 있다. 이러한 모델들은 전통적인 합성곱 네트워크부터 어텐션 기반 트랜스포머에 이르는 서로 다른 아키텍처 스타일에 걸친 원시적인 추론 능력에 대한 통찰을 제공한다.
물체 감지 벤치마크는 인식뿐만 아니라 위치 추정도 수반하는 더 복잡한 인지 파이프라인을 평가한다. YOLO, Faster R-CNN, RetinaNet, EfficientDet, RT-DETR, 그리고 트랜스포머 기반 감지기와 같은 모델들은 점점 더 정교해지는 계산적 작업 부하를 나타낸다. 장애물 인식, 재고 식별, 보행자 감지, 산업 점검이 효율적인 감지 성능에 크게 의존하기 때문에 감지 벤치마크는 특히 관련성이 크다.
의미론적 분할은 또 다른 필수적인 벤치마크 범주를 제공한다. 자율 로봇은 통행 가능한 지형, 장애물, 도로 경계, 기계, 창고 선반, 작업 공간을 구별하기 위해 밀집한 환경적 이해를 필요로 한다. 감지된 물체만이 아니라 모든 이미지 픽셀에 대해 예측이 생성되어야 하기 때문에 분할 작업 부하는 메모리 대역폭에 부담을 준다. 따라서 분할 성능을 평가하는 것은 메모리 계층 구조, 캐시 활용도, 텐서 처리 효율성의 중요한 특성들을 드러낸다.
깊이 추정 벤치마크는 기하학적 인지 능력을 측정한다. 단안 깊이 추정, 스테레오 매칭, 3차원 장면 재구성은 자율 내비게이션, 조작, 점검, 지도 작성 시스템에서 점점 더 흔해지고 있다. 이러한 모델들은 종종 고해상도 특징 맵을 지닌 인코더-디코더 아키텍처를 포함하기 때문에, 비교적 적당한 파라미터 수에도 불구하고 계산적으로 부담스럽다.
자세 추정 벤치마크는 인간 신체 관절, 로봇 매니퓰레이터 구성, 손 랜드마크, 얼굴 키포인트, 또는 물체의 방향을 예측하는 모델들을 평가한다. 인간-로봇 상호작용, 협동 로보틱스, 헬스케어 응용 분야, 조작 시스템은 정확하고 효율적인 자세 추정에 크게 의존한다.
자연어 처리는 로봇 벤치마크 스위트 내에서 점점 더 중요해지고 있다. 현대의 서비스 로봇, 창고 어시스턴트, 협력적 제조 시스템, 체화 AI 플랫폼은 로컬 언어 이해를 필요로 한다. 따라서 압축된 트랜스포머 모델, 지시 따르기 시스템, 언어 인코더는 순차적인 추론 성능을 평가하는 유용한 벤치마크 작업 부하를 나타낸다.
시각-언어 모델은 멀티모달 계산적 과제를 도입한다. 이미지나 언어를 독립적으로 처리하는 대신, 이러한 아키텍처들은 시각적 인지, 언어 이해, 교차 모달 어텐션 메커니즘을 결합한다. 멀티모달 모델을 벤치마킹하는 것은 새롭게 떠오르는 체화 AI 배치 시나리오에 대한 통찰을 제공한다.
강화학습 정책 추론은 또 다른 전문화된 벤치마크 범주를 나타낸다. 고차원의 감각 입력을 처리하는 인지 모델과 달리, 강화학습 정책은 일반적으로 극도로 엄격한 지연시간 요구사항을 지닌 저차원의 행동 출력을 생성한다. 이동 제어, 조작 정책, 자율주행 결정, 비행 제어는 모두 밀리초, 심지어 마이크로초 단위로 측정되는 결정론적인 낮은 지연시간의 실행을 필요로 한다.
파운데이션 모델은 종종 여러 신경망 구성 요소를 통합하기 때문에 추가적인 벤치마킹 복잡성을 도입한다. 시각 인코더, 언어 모델, 메모리 시스템, 추론 모듈, 세계 모델, 정책 네트워크는 통합된 아키텍처 내에서 협력한다. 벤치마크 스위트는 고립된 구성 요소가 아니라 완전한 엔드투엔드 추론 파이프라인을 점점 더 많이 평가하고 있다.
지연시간은 가장 근본적인 벤치마크 지표 중 하나를 나타낸다. 추론 지연시간은 입력을 받는 것과 그에 대응하는 예측을 만들어내는 것 사이에 경과된 시간을 측정한다. 제어 루프가 시기적절한 의사결정에 직접적으로 의존하기 때문에, 로보틱스 응용 분야는 종종 다른 모든 성능 척도보다 지연시간을 우선시한다. 장애물 회피 시스템, 산업용 매니퓰레이터, 자율주행 차량, 드론, 협동 로봇은 모델의 정확도와 무관하게 예측할 수 없거나 과도한 추론 지연을 용납할 수 없다.
그러나 평균 지연시간만으로는 시스템 행동에 대한 불완전한 설명을 제공한다. 때때로 발생하는 추론 스파이크가 로봇 제어 시스템을 불안정하게 만들 수 있기 때문에, 최대 지연시간, 백분위수 지연시간, 지연시간의 분산 역시 동등하게 중요하다. 따라서 엔지니어들은 일반적으로 산술 평균과 함께 중앙값 지연시간, 95번째 백분위수 지연시간, 99번째 백분위수 지연시간, 최악의 경우 실행 시간을 측정한다.
처리량(throughput)은 단위 시간당 완료되는 추론 연산의 수를 측정한다. 지연시간이 개별 입력에 대한 응답 속도를 강조하는 반면, 처리량은 전체적인 계산적 생산성을 평가한다. 클라우드 로보틱스, 오프라인 데이터셋 생성, 비디오 분석, 산업 점검, 대규모 함대 처리는 종종 단일 요청 지연시간보다 처리량을 우선시한다.
배치 처리(batch processing)는 처리량에 상당한 영향을 미친다. 더 큰 배치는 일반적으로 특히 GPU에서 하드웨어 활용도를 향상시킴으로써 계산 효율성을 늘린다. 그러나 로보틱스 응용 분야는 종종 큰 배치를 축적하는 대신 도착하는 대로 센서 데이터를 순차적으로 처리한다. 따라서 벤치마크 스위트는 일반적으로 실시간 로봇 배치를 위한 단일 샘플 추론을 강조하면서도 여러 배치 크기를 평가한다.
초당 프레임 수(frames per second)는 시각 시스템을 위한 또 다른 실용적인 벤치마크 지표를 제공한다. 카메라 기반 로봇은 이미지 스트림을 지속적으로 처리하기 때문에, 프레임 속도는 운영상의 능력과 직접적으로 관련이 있다. 카메라 획득 속도보다 낮은 속도로 작동하는 내비게이션 시스템은 겉으로는 용납 가능해 보이는 추론 시간에도 불구하고 처리 적체를 누적시켜, 유효한 시스템 지연시간을 늘릴 수 있다.
메모리 소비는 또 다른 핵심적인 벤치마크 차원을 이룬다. 임베디드 로봇용 컴퓨터는 종종 제한된 메모리 예산 내에서 작동한다. 추론 메모리에는 모델 파라미터, 중간 텐서, 런타임 버퍼, 실행 워크스페이스, 프레임워크 오버헤드가 포함된다. 효율적인 메모리 활용은 위치 추정, 지도 작성, 계획 수립, 통신, 센서 처리, 운영체제 기능을 위한 충분한 자원을 남겨두면서도 더 큰 모델이 실행될 수 있게 한다.
계산 과정에서 중간 텐서가 일시적으로 큰 할당을 필요로 할 수 있기 때문에, 최대 메모리 사용량은 종종 평균 메모리 활용도와 상당히 다르다. 따라서 벤치마크 스위트는 정적인 할당 크기만을 측정하는 대신 추론 실행 전반에 걸쳐 메모리를 지속적으로 모니터링한다.
로보틱스가 모바일 배터리 기반 시스템으로 전환됨에 따라 전력 소비는 점점 더 중요해지고 있다. AI 추론에 의해 소비되는 모든 와트는 이동, 감지, 통신, 조작을 위해 사용 가능한 작동 시간을 줄인다. 지속적으로 작동하는 산업용 로봇도 전력 소비와 관련된 상당한 운영 비용을 발생시킨다.
전력 벤치마킹은 일반적으로 평균 및 최대 전력 사용량 모두를 측정한다. 일부 모델은 추론 전반에 걸쳐 비교적 안정적인 전력 소비를 보이는 반면, 다른 모델들은 계산 집약적인 레이어에 대응하는 상당한 과도 스파이크를 만들어낸다. 배터리로 작동하는 로봇은 에너지 관리를 단순화하는 부드러운 전력 프로필로부터 특히 큰 이득을 얻는다.
에너지 효율성(energy efficiency)은 종종 와트당 추론 수나 와트당 초당 프레임 수로 표현되며, 계산적 성능을 전력 소비와 결합한다. 원시적인 계산 처리량이 비슷해 보이더라도, 전용 AI 가속기는 이 지표에 따라 종종 범용 프로세서를 능가한다. 따라서 에너지 효율성은 임베디드 로보틱스를 위한 배치 적합성에 대한 더 현실적인 평가를 제공한다.
열적 행동(thermal behavior)은 또 다른 필수적인 벤치마크 범주를 나타낸다. 지속적인 AI 추론은 열을 발생시키며, 임베디드 로봇 플랫폼은 종종 큰 냉각 시스템 없이 작동한다. 과도한 온도는 열 스로틀링을 촉발하여, 프로세서 주파수를 낮추고 추론 지연시간을 늘릴 수 있다. 따라서 벤치마크 스위트는 현실적인 운영 조건 하에서 지속적인 성능을 평가하기 위해 장시간의 스트레스 테스트를 포함한다.
지속적인 추론은 짧은 벤치마크 실행과 상당히 다르다. 많은 프로세서는 온도가 상승함에 따라 작동 주파수를 점진적으로 줄이기 전에 처음에는 뛰어난 성능을 달성한다. 프로덕션 로봇 시스템은 종종 몇 시간 또는 며칠 동안 지속적으로 작동하기 때문에, 지속적인 벤치마크 성능은 초기의 최고 측정치보다 훨씬 더 중요해진다.
하드웨어 활용도(hardware utilization)는 추론 과정에서 계산 자원이 얼마나 효과적으로 사용되는지를 측정한다. GPU 점유율, CPU 활용도, 메모리 대역폭 활용도, 캐시 적중률, 가속기 사용량, 텐서 코어 활용도는 최적화 품질에 대한 통찰을 제공한다. 부실한 활용도는 종종 컴파일러 최적화, 연산자 결합, 양자화, 또는 아키텍처 정제의 기회를 나타낸다.
실시간 결정론성(real-time determinism)은 로보틱스 벤치마크를 전통적인 AI 평가와 구별짓는 핵심적인 요구사항 중 하나를 이룬다. 제어 시스템은 예측 가능한 실행 타이밍을 필요로 한다. 매우 정확한 신경망이라도 추론 지연시간이 예측할 수 없게 변한다면 부적합해진다. 따라서 벤치마크 스위트는 전통적인 계산적 지표들과 함께 타이밍의 안정성, 지터(jitter), 스케줄링 일관성, 운영체제와의 상호작용을 평가한다.
시작 시간(startup time)은 또 다른 실용적인 배치 고려사항을 제공한다. 자율 로봇은 유지보수, 배터리 교체, 소프트웨어 업데이트, 또는 결함 복구 이후 자주 재부팅된다. 확장된 초기화를 필요로 하는 대형 파운데이션 모델은 운영 준비를 지연시킬 수 있다. 따라서 벤치마크 스위트는 모델 로딩 시간, 그래프 최적화 지속시간, 메모리 초기화, 첫 추론 지연시간을 측정한다.
워밍업 행동(warm-up behavior) 역시 배치 품질에 영향을 미친다. 많은 추론 프레임워크는 초기 실행 과정에서 커널 컴파일, 메모리 할당, 캐시 초기화, 또는 그래프 최적화를 수행한다. 벤치마킹은 현실적인 운영상의 기대치를 제공하기 위해 콜드 스타트 성능과 안정 상태 추론을 구분한다.
정확도 유지(accuracy retention)는 최적화 전반에 걸쳐 마찬가지로 중요하게 남아 있다. 양자화, 가지치기, 컴파일러 변환, 연산자 결합, 하드웨어별 최적화는 계산 효율성을 향상시키면서도 예측 품질을 보존해야 한다. 따라서 벤치마크 스위트는 표준화된 데이터셋을 사용해 최적화된 모델을 원본 참조 구현과 비교하여 평가한다.
수치적 일관성(numerical consistency)은 최적화된 추론 엔진과 원본 프레임워크 출력 사이의 차이를 측정한다. 서로 다른 하드웨어 아키텍처들이 산술을 다르게 구현하기 때문에 미미한 부동소수점 변동은 자연스럽게 발생한다. 그러나 상당한 예측 발산은 조사가 필요한 최적화 오류를 나타낼 수 있다.
확장성 벤치마크(scalability benchmark)는 작업 부하의 복잡성이 증가함에 따라 성능이 어떻게 변화하는지를 평가한다. 이미지 해상도, 시퀀스 길이, 배치 크기, 트랜스포머 맥락 길이, 센서 수, 카메라 수, 동시적인 추론 요청은 모두 계산 요구사항에 영향을 미친다. 벤치마크 스위트는 시스템 설계 결정을 안내하기 위해 이러한 확장 관계들을 특성화한다.
다중 모델 벤치마킹(multi-model benchmarking)은 고립된 모델 평가보다 현대의 로보틱스 아키텍처를 더 정확하게 반영한다. 자율 시스템이 오직 하나의 신경망만을 실행하는 경우는 드물다. 대신, 인지, 위치 추정, 조작, 계획 수립, 음성 인식, 이상 감지, 내비게이션 모델들이 동시에 작동한다. 따라서 포괄적인 벤치마크 스위트는 현실적인 작업 부하 조합 하에서의 동시적인 추론 성능을 평가한다.
센서 파이프라인 벤치마킹은 신경망 추론만을 넘어 확장된다. 카메라 캡처, 이미지 전처리, 텐서 변환, 정규화, 크기 조정, 추론 실행, 후처리, 추적, 시각화는 모두 엔드투엔드 지연시간에 기여한다. 오직 고립된 추론 시간만을 측정하는 것은 실제 로봇 시스템의 지연을 과소평가할 수 있다.
통신 오버헤드도 마찬가지로 분산된 로봇 시스템에 영향을 미친다. 클라우드 로보틱스, 엣지 서버, 함대 관리 시스템, 협력적인 다중 로봇 플랫폼은 네트워크를 통해 센서 데이터, 추론 요청, 제어 정보를 교환한다. 벤치마크 스위트는 로컬 추론 성능과 함께 통신 지연시간을 점점 더 많이 포함하고 있다.
벤치마크 표준화는 하드웨어 플랫폼과 소프트웨어 프레임워크 전반에 걸친 의미 있는 비교를 보장한다. 표준 데이터셋, 일관된 전처리 절차, 동일한 평가 프로토콜, 고정된 운영 조건, 재현 가능한 소프트웨어 구성은 실험적 변동성을 최소화한다. 이러한 표준화가 없다면, 보고된 벤치마크 수치들은 종종 오해의 소지가 있게 된다.
대표적인 데이터셋은 또 다른 필수적인 벤치마크 구성 요소를 이룬다. 일반적인 컴퓨터 비전 데이터셋은 유용한 기준 비교를 제공하지만 로봇의 운영 환경을 반영하지 못할 수 있다. 따라서 벤치마크 스위트는 실용적인 배치를 대표하는 창고 이미지, 제조 검사 데이터, 실외 내비게이션 장면, 농업 환경, 건설 현장, 헬스케어 환경, 자율주행 데이터셋을 점점 더 많이 통합하고 있다.
하드웨어의 다양성은 벤치마크의 관련성을 강화한다. 현대의 로보틱스는 Intel CPU, AMD 프로세서, NVIDIA GPU, Jetson 플랫폼, Qualcomm 프로세서, ARM 임베디드 시스템, Hailo NPU, Intel NPU, Google Edge TPU, 맞춤형 ASIC, FPGA 가속기를 사용한다. 포괄적인 벤치마크 스위트는 이러한 이질적인 컴퓨팅 플랫폼들에 걸쳐 동일한 작업 부하를 평가한다.
소프트웨어 프레임워크 비교는 추가적인 통찰을 제공한다. ONNX Runtime, TensorRT, OpenVINO, TensorFlow Lite, PyTorch, TVM, 벤더별 SDK, 맞춤형 추론 엔진은 각각 뚜렷한 최적화 특성을 보인다. 동일한 모델들을 여러 프레임워크에 걸쳐 벤치마킹하는 것은 최적의 배치 솔루션을 식별하는 데 도움이 된다.
컴파일러 최적화 벤치마킹은 하드웨어의 특성과 독립적으로 그래프 최적화, 연산자 결합, 정밀도 감소, 스케줄링 개선, 하드웨어를 인식하는 변환들을 평가한다. 이는 소프트웨어 최적화의 기여를 프로세서의 능력으로부터 분리시킨다.
로봇 벤치마크 스위트는 고립된 모델이 아니라 완전한 응용 시나리오를 점점 더 많이 통합하고 있다. 자율 창고 내비게이션, 산업 점검, 협동 조작, 자율 배송, 농업 모니터링, 헬스케어 지원, 수색 및 구조 작전은 각각 인지, 추론, 위치 추정, 계획 수립, 제어를 결합하는 통합된 AI 파이프라인을 수반한다. 엔드투엔드 애플리케이션 성능을 측정하는 것은 개별적인 신경망을 독립적으로 평가하는 것보다 실용적인 배치를 위한 더 강력한 지침을 제공한다.
AI 소프트웨어가 빠르게 발전함에 따라 지속적인 벤치마킹은 점점 더 중요해지고 있다. 새로운 컴파일러 버전, 프레임워크 업데이트, 양자화 알고리즘, 신경망 아키텍처, 하드웨어 세대는 추론 성능을 지속적으로 변화시킨다. 지속적 통합 파이프라인에 통합된 자동화된 벤치마킹 시스템은 엔지니어링 팀이 소프트웨어 개발 전반에 걸쳐 성능 저하를 감지하고, 최적화를 검증하며, 배치 품질을 모니터링할 수 있게 한다.
벤치마크 시각화는 엔지니어들이 복잡한 성능 관계를 이해하는 데 도움이 된다. 지연시간 분포, 전력 곡선, 열적 변화, 메모리 활용도 타임라인, 프로세서 점유율, 처리량 확장, 에너지 효율성 도표는 요약 통계만으로는 식별하기 어려운 최적화 기회를 드러낸다.
미래의 벤치마크 스위트는 멀티모달 파운데이션 모델, 세계 모델, 체화 추론 시스템, 지속 학습, 협력적 로봇 지능, 적응형 AI 아키텍처를 점점 더 많이 평가할 것이다. 오직 고립된 추론 속도만을 측정하는 대신, 벤치마킹은 현실적인 환경 내에서 지속적으로 작동하는 완전한 지능형 로봇 시스템을 평가하는 방향으로 확장될 것이다.
인공지능이 자율 로보틱스의 근본적인 구성 요소가 됨에 따라, 벤치마크 방법론은 원시적인 계산 속도를 측정하는 것에서 실용적인 운영상의 효과성을 평가하는 것으로 발전하고 있다. 현대의 엣지 AI 벤치마크 스위트는 지연시간, 처리량, 전력 효율성, 열적 안정성, 메모리 활용도, 결정론적 실행, 확장성, 수치적 정확도, 하드웨어 활용도, 소프트웨어 이식성, 애플리케이션 수준의 성능을 통합된 평가 프레임워크로 결합한다. 이러한 포괄적인 벤치마크들은 프로세서, 가속기, 최적화 프레임워크, 컴파일러 기술, 신경망 아키텍처, 배치 전략의 객관적인 비교를 가능하게 하여, 엔지니어들이 이론적인 AI 능력뿐만 아니라 신뢰성, 효율성, 반응성, 안전성, 장기적인 자율 운영이라는 까다로운 실제 세계의 요구사항도 충족하는 로봇 시스템을 설계할 수 있게 한다. 따라서 엣지 AI 추론 벤치마킹은 자율 이동 로봇, 산업 자동화, 지능형 제조, 의료 로보틱스, 창고 시스템, 자율주행 차량, 드론, 차세대 임베디드 지능형 기계 전반에 걸쳐 프로덕션 준비가 된 Physical AI의 성공적인 배치를 지원하는 필수불가결한 공학 분야가 되었다.
저자: Richard Minsoo Go
LinkedIn: Richard Minsoo Go










Top comments (0)