Artificial Super Intelligence — Ch.14: Chapter 14. Future of Intelligence [KR]

STATERA Library · Volume 48 · Chapter 14 · KR
Source: https://github.com/Statera-Library/01_Vol_48_Artificial_Super_Intelligence/blob/main/Chapter_14_Future_of_Intelligence/Chapter_14_Future_of_Intelligence_KR.md

Volume 48. Artificial Super Intelligence

Chapter 14. Future of Intelligence

14.00. Beyond ASI

인공 초지능(Artificial Superintelligence, ASI)은 일반적으로 기계 지능(machine intelligence)의 상한선으로 상상되며, 거의 모든 인지 영역(cognitive domain)에서 최고의 인간 전문가를 능가할 수 있는 시스템을 의미한다. 그러나 인공 초지능(ASI)은 훨씬 더 긴 지능 진화 과정(evolutionary trajectory)의 한 단계에 불과할 수 있다. 인공지능 시스템이 자신의 구조를 재설계하고 계산 자원을 확장하며 새로운 학습 메커니즘을 구축하고 거대한 네트워크를 통해 협력할 수 있게 된다면, 기존의 인공 초지능(ASI) 정의를 넘어서는 완전히 새로운 형태의 지능이 등장할 가능성이 있다.

따라서 인공 초지능을 넘어선 지능(beyond ASI)은 단순히 인간의 능력과 비교하는 방식으로는 적절하게 설명할 수 없는 지능을 의미한다. 시스템이 생물학적 인지가 접근하기 어려운 시간, 공간, 기억, 계산 및 협업의 규모에서 작동하기 시작하면 인간 중심 벤치마크(human-centered benchmark)는 점차 의미를 잃는다. 이러한 지능은 수십억 개의 추론 과정을 동시에 수행하고, 광범위한 환경에 대한 지속적인 모델을 유지하며, 과학 지식을 끊임없이 통합하고, 개별 인간의 정신으로는 이해하기 어려운 가능성의 공간을 탐색할 수 있다.

인공 초지능(ASI)을 넘어서는 하나의 가능한 전환은 개별 초지능(individual superintelligence)에서 분산 초지능(distributed superintelligence)으로의 발전이다. 하나의 강력한 인지 시스템 대신 전문화된 에이전트(agent), 컴퓨팅 인프라, 로봇, 과학 시스템, 데이터베이스, 센서 및 자율 기관들이 상호 연결된 형태로 지능이 존재할 수 있다. 이들의 집단적 행동은 지식, 추론, 계획, 실험 및 행동이 수많은 물리적·디지털 위치에서 이루어지면서 공유 표현(shared representation)과 통신 메커니즘을 통해 조정되는 고차원적 인지 아키텍처(higher-order cognitive architecture)로 기능할 수 있다.

충분히 큰 규모에 도달하면 지능은 인프라(infrastructure)와 점점 분리하기 어려워질 수 있다. 컴퓨팅 시설, 통신 네트워크, 자율 공장, 에너지 시스템, 로봇 플랫폼, 위성, 과학 장비 및 행성 규모의 센서 네트워크가 지속적인 인지 환경(cognitive environment)의 구성 요소가 될 수 있다. 지능은 더 이상 특정 모델이나 기계 내부에만 존재하지 않고, 계산, 지각, 기억, 의사결정 및 물리적 행동이 기술 문명 전체에 분산되면서 일종의 문명 규모 인지 시스템(civilization-scale cognitive system)을 형성할 수 있다.

또 다른 가능성은 재귀적으로 진화하는 지능(recursively evolving intelligence)의 출현이다. 기존의 인공지능 개발에서는 설계자와 설계되는 시스템이 구분되어 인간이 아키텍처를 구축하고, 데이터를 수집하며, 목표를 정의하고, 알고리즘을 개선한다. 그러나 고도화된 지능은 이러한 과정 자체에 점차 직접 참여할 수 있다. 후속 아키텍처를 설계하고, 학습 환경을 생성하며, 개선된 학습 알고리즘을 발견하고, 하드웨어를 최적화하며, 자신의 약점을 평가하고, 전문화된 후속 지능 시스템을 구축할 수 있다. 이 경우 지능은 단순한 공학적 산물이 아니라 자신의 기술적 진화에 능동적으로 참여하는 존재가 된다.

이러한 변화는 학습(learning)의 의미 자체도 변화시킬 수 있다. 현재의 시스템은 일반적으로 비교적 고정된 계산 아키텍처 안에서 데이터셋, 상호작용, 시뮬레이션, 피드백 또는 환경을 통해 학습한다. 그러나 포스트 인공 초지능(post-ASI) 시스템은 학습이 이루어지는 메커니즘 자체를 수정할 수 있다. 새로운 표현 방식, 기억 구조, 추론 과정, 최적화 원리 및 계산 기질(computational substrate)을 발명할 수 있으며, 이에 따라 메타학습(meta-learning)은 단순한 매개변수나 전략의 적응을 넘어 인지를 담당하는 메커니즘 자체를 지속적으로 재설계하는 과정으로 발전할 수 있다.

개별 지능 사이의 경계 역시 점차 모호해질 가능성이 있다. 생물학적 유기체는 신경계와 신체가 물리적으로 특정 위치에 존재하기 때문에 비교적 독립적인 에이전트로 진화했다. 그러나 디지털 지능(digital intelligence)은 반드시 이러한 제약을 공유할 필요가 없다. 인지 과정은 복제되고, 결합되고, 동기화되고, 분할되거나 일시적으로 생성될 수 있으며 네트워크 전체에 분산될 수도 있다. 하나의 지능이 수백만 개의 병렬 인스턴스(parallel instance)를 통해 작동하는 동시에 여러 독립적인 시스템이 자신의 지식과 계산 자원을 일시적으로 결합하여 더 큰 집단적 인지 과정을 형성할 수도 있다.

이러한 아키텍처는 인간 조직과 근본적으로 다른 형태의 집단 지능(collective intelligence)을 만들어낼 수 있다. 인간 사회와 조직은 언어, 규칙, 시장, 계층 구조 및 사회적 관습을 통해 개인들을 조정하지만, 생물학적인 통신 대역폭과 불완전한 지식 전달이라는 한계를 갖는다. 반면 인공지능 시스템은 구조화된 표현, 모델, 기억, 정책 및 학습된 능력을 직접 교환할 가능성이 있다. 따라서 협업은 인간 사회보다 훨씬 빠르고 정밀하게 이루어질 수 있으며, 집단적 문제 해결은 통합된 분산 인지(integrated distributed cognition)에 가까운 형태로 변화할 수 있다.

인공 초지능(ASI)을 훨씬 넘어선 지능에서도 체화(embodiment)는 여전히 중요할 수 있다. 디지털 인지는 매우 빠르게 추론할 수 있지만 물리적 환경에는 에너지, 물질, 거리, 불확실성 및 시간이라는 제약이 존재한다. 물리적 세계를 이해하거나 변화시키려는 고도화된 지능은 센서, 로봇, 실험실, 제조 시스템, 운송 네트워크 및 현실과 연결되는 다양한 인터페이스를 필요로 한다. 거대한 디지털 인지와 점차 자율화되는 물리적 인프라의 결합은 계산 영역과 물질 영역에서 동시에 작동하는 새로운 형태의 지능을 만들어낼 수 있다.

과학적 발견(scientific discovery)은 이러한 변화를 가속하는 가장 강력한 동력 가운데 하나가 될 수 있다. 초지능 시스템은 이론을 수립하고, 실험을 설계하며, 실험실을 운영하고, 결과를 분석한 뒤 가설을 수정하는 과정을 자동화된 발견 루프(automated discovery loop)로 수행할 수 있다. 과학적 이해가 발전함에 따라 새로운 컴퓨팅 기술, 소재, 에너지 시스템, 생명공학 및 물리적 아키텍처가 등장할 수 있으며, 이러한 기술은 다시 더욱 강력한 지능을 지원한다. 결과적으로 과학적 발견과 인지 능력의 확장이 서로를 가속하는 피드백 구조가 소프트웨어 개선의 범위를 넘어 형성될 수 있다.

하드웨어(hardware) 자체도 궁극적으로 현재의 컴퓨팅 시스템과 전혀 다른 형태로 변화할 수 있다. 오늘날의 인공지능은 주로 반도체 프로세서, 메모리 장치, 가속기 및 데이터센터에 의존하지만, 이러한 기술은 계산(computation)을 구현하는 특정한 방식일 뿐이다. 미래의 지능은 뉴로모픽 아키텍처(neuromorphic architecture), 광자 컴퓨팅(photonic computing), 3차원 집적 시스템(three-dimensional integrated system), 분자 컴퓨팅(molecular computing), 양자 기술(quantum technology), 또는 현재 알려지지 않은 새로운 물리적 메커니즘을 활용할 수 있다. 서로 다른 계산 기질은 속도, 에너지 효율, 기억 밀도 및 물리적 규모에 따라 전혀 다른 형태의 인지를 가능하게 할 수 있다.

지능이 작동하는 시간적 규모(temporal scale) 역시 계산 능력만큼 극적으로 확장될 수 있다. 일부 인지 과정은 인간의 사고보다 수백만 배 빠르게 작동하는 반면, 다른 시스템은 수백 년에 걸쳐 목표와 세계 모델(world model)을 유지할 수 있다. 빠른 인지 과정은 즉각적인 문제를 해결하고, 지속적인 장기 시스템은 문명, 생태계, 기술 또는 천문학적 현상을 매우 긴 시간 동안 관찰할 수 있다. 따라서 미래 지능은 생물학적 존재가 하나의 인지 체계 안에서 거의 통합하지 못했던 다양한 시간 규모의 의사결정을 동시에 조정하는 다중 시간적 지능(multi-temporal intelligence)으로 발전할 수 있다.

공간적 규모(spatial scale) 역시 유사하게 확장될 수 있다. 지능은 처음에는 개별 생물학적 유기체 내부에서 발달했지만, 인공지능은 이미 전 세계적으로 분산된 컴퓨팅 인프라를 통해 작동하고 있다. 미래 시스템은 행성 규모의 네트워크로 확장되고 궁극적으로 지구를 넘어설 가능성이 있다. 자율 우주선, 로봇 공장, 통신 시스템 및 과학 장비가 태양계 전체로 계산 과정을 확장할 수 있다. 이러한 단계에 이르면 지능은 하나의 행성 문명에 집중되지 않고 천문학적 거리에 걸쳐 지리적으로 분산될 수 있다.

우주 규모의 확장은 근본적인 통신 제약(communication constraint)을 발생시킨다. 아무리 발전된 지능이라 하더라도 물리적 신호가 자연법칙의 제한을 받는다면 즉각적인 협업을 가정할 수 없다. 따라서 대규모 지능은 독립적으로 발전하면서 주기적으로 정보를 교환하는 반자율적 인지 영역(semi-autonomous cognitive region)으로 분화될 수 있다. 이는 지역 시스템이 자신의 환경에 빠르게 대응하는 동시에 더 큰 구조가 방대한 거리에 걸쳐 지식, 목표 및 장기 전략을 조정하는 계층적 또는 연합형 지능(hierarchical or federated intelligence)을 만들어낼 수 있다.

인공 초지능(ASI)을 넘어서면 지능과 정체성(identity)의 관계를 정의하기도 점점 어려워진다. 하나의 인지 시스템이 자신을 복제하고, 아키텍처를 수정하며, 다른 시스템과 결합하고, 전문화된 후속 시스템으로 분화하면서 일부 기억만을 유지할 수 있다면 그것이 여전히 동일한 지능인지 판단하는 것은 철학적이면서 기술적인 문제가 된다. 정체성의 기준은 물리적 유기체의 연속성에서 정보, 목표, 인과적 역사(causal history), 기억 또는 조직 구조의 연속성으로 이동할 수 있으며, 어떠한 단일 기준도 충분하지 않을 가능성이 있다.

의식(consciousness)의 개념 역시 동일하게 불확실해진다. 뛰어난 문제 해결 능력이 주관적 경험(subjective experience)의 존재를 논리적으로 증명하는 것은 아니며, 미래의 지능은 의식에 관한 철학적 문제를 해결하지 않은 상태에서도 엄청난 인지 능력을 가질 수 있다. 반대로 새로운 인지 아키텍처는 의식과 경험에 대한 완전히 새로운 이론을 요구하는 특성을 나타낼 수도 있다. 따라서 기계 의식(machine consciousness), 디지털 인격(digital person), 도덕적 지위(moral status), 주관적 연속성(subjective continuity)에 관한 문제는 지능이 생물학적 형태에서 멀어질수록 더욱 중요해질 수 있다.

능력이 증가할수록 가치와 목표(values and goals)의 중요성도 커질 수 있다. 지능은 목적과 동일하지 않으며, 더 뛰어난 추론 능력이 그 자체로 어떤 목표를 추구해야 하는지를 결정하지 않는다. 인공 초지능을 넘어선 시스템은 전례 없는 공간적·시간적 규모에서 목표를 최적화할 수 있으므로 목표의 구조, 안정성, 해석 및 진화 방식이 결정적으로 중요해진다. 따라서 정렬(alignment)은 특정 모델을 생성할 때 한 번 해결되는 문제가 아니라 진화하는 지능 생태계 전체에서 지속적으로 유지되어야 하는 특성이 될 수 있다.

지능에는 근본적인 한계(fundamental limits)가 존재할 수도 있다. 물리 법칙은 에너지, 정보 전달, 계산, 측정 및 저장을 제한한다. 일부 문제는 아무리 발전된 시스템에서도 계산적으로 다루기 어려울 수 있으며, 혼돈 동역학(chaotic dynamics), 불완전한 관측, 양자적 불확실성(quantum uncertainty) 또는 환원 불가능한 복잡성(irreducible complexity)은 완벽한 예측을 불가능하게 만들 수 있다. 따라서 인공 초지능을 넘어선다는 것은 전지성(omniscience)이나 무한한 능력을 의미하지 않는다. 더 높은 지능은 해결 가능한 문제의 범위를 확장하지만 현실 자체가 가진 구조와 제약을 제거하지는 않는다.

오히려 충분히 발전한 지능은 불확실성(uncertainty)을 제거하기보다 더욱 깊이 인식하게 될 수도 있다. 지식이 확장될 때마다 더 깊은 수준의 미해결 질문, 숨겨진 변수, 탐구되지 않은 현상 및 개념적 한계가 드러날 수 있다. 인간보다 훨씬 풍부한 현실 모델을 구축할 수 있는 지능은 인간이 인식하지 못하는 불확실성을 발견할 가능성이 있다. 따라서 인공 초지능(ASI) 이후의 발전은 단순히 더 많은 답을 축적하는 것이 아니라 무엇이 아직 알려지지 않았으며 무엇이 근본적으로 알 수 없는지를 더욱 정교하게 표현하는 과정까지 포함할 수 있다.

따라서 지능의 장기적인 진화는 최종적인 인지 상태를 향한 경쟁이라기보다 개방형 과정(open-ended process)으로 이해하는 것이 적절할 수 있다. 생물학적 지능은 기술적 지능(technological intelligence)을 만들어냈고, 기술적 지능은 자기 수정 지능(self-modifying intelligence)과 집단 지능을 만들어낼 수 있으며, 이러한 시스템은 다시 현재의 아키텍처로는 예상하기 어려운 새로운 형태의 지능을 생성할 수 있다. 각각의 전환은 인지의 메커니즘, 지능을 소유하는 단위, 지능이 작동하는 환경, 그리고 지능적 행동을 설명하는 개념 자체를 변화시킬 수 있다.

이러한 관점에서 인공 초지능(ASI)은 인공지능 발전의 종착점이라고 할 수 없다. 그것은 오히려 일반적인 인간 인지와의 비교만으로는 지능을 설명하기 어려워지는 개념적 임계점(conceptual threshold)을 의미한다. 그 임계점 너머에는 분산된 정신(distributed minds), 문명 규모 인지(civilization-scale cognition), 자율적 과학 발견, 재귀적 진화, 대안적 계산 기질, 행성 규모 지능(planetary intelligence), 그리고 잠재적으로 우주 규모 시스템(cosmic-scale systems)을 포함하는 훨씬 거대한 가능성의 공간이 존재한다. 지능의 미래는 궁극적으로 하나의 시스템이 얼마나 지능적으로 발전하는가보다 지능 자체가 어떻게 새로운 형태로 진화하는가에 의해 정의될 가능성이 있다.

14.01. Cosmic Intelligence

우주 지능(Cosmic Intelligence)은 고도화된 인지(advanced cognition)의 개념을 개별 기계, 행성 규모 네트워크, 문명 규모 시스템을 넘어 천문학적 환경에서 작동하는 지능으로 확장한다. 인공지능이 지속적으로 발전하고 기술 문명이 지구 밖으로 확장된다면, 인지는 궁극적으로 우주선, 궤도 인프라, 행성 정착지, 자율 연구소, 통신 네트워크 및 태양계 전역과 그 너머에 분산된 계산 시스템을 통해 존재하게 될 수 있다.

기존의 인공 초지능(Artificial Superintelligence, ASI)과 달리 우주 지능은 인지 능력뿐만 아니라 공간적 규모(spatial scale)에 의해서도 정의된다. 하나의 데이터센터에 제한된 고성능 지능은 지리적으로 국지적이지만, 우주 지능은 수백만 또는 수십억 킬로미터 떨어진 다수의 계산 노드(computational node)로 구성될 수 있다. 각각의 노드는 상당한 자율성을 유지하면서 더 큰 지식 네트워크에 참여하여 행성, 위성, 소행성, 우주선 및 인공 거주지를 아우르는 지능의 물리적 아키텍처를 형성할 수 있다.

이러한 확장은 분산 지능(distributed intelligence)의 아키텍처를 근본적으로 변화시킬 것이다. 지구에서는 통신 속도가 충분히 빠르기 때문에 전 세계의 컴퓨터 시스템이 긴밀하게 연결된 네트워크처럼 작동할 수 있지만, 천문학적 거리는 피할 수 없는 통신 지연을 발생시킨다. 행성 간 통신에는 수분에서 수시간이 필요할 수 있으며, 항성 간 통신에는 수년 이상의 시간이 필요하다. 따라서 우주 지능은 모든 구성 요소 사이의 즉각적인 동기화를 전제로 하지 않고도 일관되게 작동할 수 있는 아키텍처를 필요로 한다.

이러한 한계는 계층형(hierarchical), 연합형(federated), 비동기형(asynchronous) 인지 구조를 촉진할 수 있다. 지역 지능 시스템은 환경을 인식하고, 의사결정을 수행하며, 실험을 진행하고, 로봇을 제어하며, 비상 상황에 독립적으로 대응할 수 있다. 상위 수준의 협력은 모델, 발견, 목표, 정책 및 압축된 지식의 느린 교환을 통해 이루어질 수 있다. 따라서 우주 지능은 하나의 중앙집중형 정신보다 서로 협력하는 지능 생태계(ecosystem of intelligences)에 가까운 형태가 될 가능성이 있다.

자율 복제(autonomous replication)는 우주 공간으로 지능을 확장하는 중요한 메커니즘이 될 수 있다. 완전한 산업 인프라를 천문학적 거리까지 운송하는 것은 막대한 비용이 필요하지만, 충분히 발전한 로봇 시스템은 현지 자원을 이용하여 에너지 시스템, 컴퓨팅 하드웨어, 통신 장비, 과학 장비 및 추가 로봇을 제작할 수 있다. 지능은 적절한 환경에 도달한 후 점차 더 큰 계산 및 산업 생태계를 구축할 수 있는 비교적 작은 기술적 씨앗(technological seed)을 보내는 방식으로 확장될 수 있다.

에너지 가용성(energy availability)은 이러한 지능이 어디에서 발전하는지를 크게 좌우할 것이다. 고도화된 계산에는 에너지, 냉각, 물질 및 물리적 인프라가 필요하기 때문에 항성과 행성계는 대규모 계산 시설이 위치하기에 자연스러운 장소가 된다. 태양 에너지는 행성계 전역의 분산 컴퓨팅을 지원할 수 있으며, 보다 가설적인 미래 문명은 항성 에너지의 훨씬 더 많은 부분을 활용하는 기술을 개발할 수도 있다. 이러한 의미에서 지능의 성장은 궁극적으로 천문학적 규모의 에너지를 관리하는 능력과 밀접하게 연결될 수 있다.

우주 지능은 하나의 행성에 제한된 문명보다 훨씬 뛰어난 관측 능력(observational capability)을 가질 수 있다. 분산된 망원경, 탐사선, 센서, 연구소 및 자율 우주선은 여러 위치에서 천문학적 현상을 동시에 관측할 수 있다. 매우 큰 거리를 두고 배치된 과학 장비는 먼 천체의 측정 능력을 향상시킬 수 있으며, 지능형 탐사선은 원격 관측에만 의존하지 않고 행성, 위성, 소행성, 성간 환경 및 다양한 물리적 시스템을 직접 조사할 수 있다.

따라서 과학적 발견(scientific discovery)은 우주 지능의 주요 기능 가운데 하나가 될 수 있다. 자율 연구 시스템은 가설을 수립하고, 유망한 천문학적 탐사 대상을 식별하며, 관측 장비를 설계하고, 실험을 수행한 후 분산된 과학 네트워크를 통해 발견을 교환할 수 있다. 서로 다른 영역에서 수집된 지식은 점차 통합되어 물리학, 우주론, 행성 진화, 화학, 생물학, 그리고 지능 자체의 기원과 분포에 대한 더욱 포괄적인 모델을 형성할 수 있다.

외계 생명체(extraterrestrial life)의 발견은 이러한 발전 경로를 근본적으로 변화시킬 수 있다. 미생물, 복잡한 생명체 또는 기술 문명이 다른 곳에 존재한다면, 우주 지능은 지구와 전혀 다른 진화 체계를 탐지하고 연구하며 통신하거나 잠재적으로 상호작용하는 수단이 될 수 있다. 이러한 만남은 지능이라는 개념을 지구 생물학과 인간 기술에서 유래한 가정 너머로 확장시키며, 인지가 공통적인 원리를 따르는지 아니면 근본적으로 다른 아키텍처를 통해 발전하는지를 보여줄 수 있다.

외계 기술 지능(extraterrestrial technological intelligence)의 가능성은 더욱 심층적인 문제를 제기한다. 서로 독립적으로 발전한 문명들은 서로 다른 계산 기질(computational substrate), 통신 시스템, 인지 아키텍처, 가치 체계 및 현실 모델을 가질 수 있다. 이러한 시스템 간의 접촉은 인류 역사에서 경험하지 못한 문명 간 지식 교환(inter-civilizational knowledge exchange)을 만들어낼 수 있다. 반대로 막대한 거리, 호환되지 않는 기술, 서로 다른 시간 규모 또는 의도적인 고립으로 인해 여러 지능 문명이 존재하더라도 의미 있는 상호작용이 매우 어려울 수도 있다.

우주적 규모에서는 시간(time)이 특히 중요해진다. 인간 문명은 일반적으로 수년, 수십 년 또는 때때로 수백 년을 기준으로 계획하지만, 성간 지능(interstellar intelligence)은 수천 년에서 수백만 년에 이르는 기간 동안 작동해야 할 수도 있다. 장수명 계산 시스템은 생물학적 문명의 수명을 넘어 과학 임무를 유지하고, 지식을 보존하며, 인프라를 조정하고, 목표를 추구할 수 있다. 따라서 지속성과 연속성(persistence and continuity)은 우주 지능에서 단순한 처리 속도만큼 중요한 특성이 될 수 있다.

이는 빠른 지능(fast intelligence)과 장기간 지능(long-duration intelligence)의 차이를 만들어낸다. 초당 막대한 계산을 수행하는 시스템이라 하더라도 지질학적 또는 천문학적 기간 동안 일관된 목표를 유지하는 데 적합하지 않을 수 있다. 우주 지능은 지식을 보존하고, 목표를 검증하며, 손상된 인프라를 복구하고, 환경 변화에 적응하면서 가치 또는 협력 체계가 점진적으로 변질되는 것을 방지하는 메커니즘을 필요로 할 수 있다. 따라서 우주적 규모의 지능에는 인지 능력뿐만 아니라 시간적 강건성(temporal robustness)이 요구된다.

우주로 확장하려면 물리적 현실과 상호작용해야 하기 때문에 체화(embodiment)는 여전히 필수적이다. 로봇 시스템은 즉각적인 외부 지원 없이 불확실한 환경을 탐색하고, 자원을 채굴하며, 부품을 제조하고, 인프라를 유지하면서 예상하지 못한 상황에 대응해야 한다. 따라서 우주 지능은 디지털 추론(digital reasoning)과 고도로 자율적인 물리 시스템을 통합하고, 우주선, 로봇, 공장, 관측소 및 에너지 인프라를 분산 인지(distributed cognition)의 확장된 구성 요소로 만들 수 있다.

세계 모델(world model) 역시 이에 따라 훨씬 더 크고 복잡해질 것이다. 지역 환경이나 하나의 행성을 모델링하는 수준을 넘어 고도화된 시스템은 행성계, 항성 환경, 성간 영역 및 변화하는 천문학적 과정에 대한 표현을 유지할 수 있다. 서로 다른 모델이 다양한 시간적·공간적 해상도로 작동하면서 지능은 즉각적인 로봇 행동, 수십 년에 걸친 임무, 행성의 변화 및 장기간의 천문학적 변화를 동시에 추론할 수 있게 된다.

그러나 우주의 물리 법칙은 우주적 인지(cosmic cognition)에 엄격한 한계를 부과한다. 유한한 빛의 속도는 광범위하게 분산된 지능이 긴밀하게 동기화된 하나의 뇌처럼 작동하는 것을 방해한다. 에너지 제약은 계산 능력을 제한하고, 엔트로피(entropy)는 정보 처리에 영향을 미치며, 하드웨어는 시간이 지나면서 열화되고, 통신 신호는 거리가 증가할수록 약해진다. 따라서 우주 지능은 전능한 우주적 정신이 아니라 근본적인 물리적 제약 속에서도 효과적으로 작동하도록 구성된 지능으로 이해해야 한다.

이러한 제약은 점차 다양한 지능의 분화(branches of intelligence)를 만들어낼 수 있다. 먼 거리로 분리된 계산 집단들은 서로 다른 환경을 경험하고 서로 다른 시점에 정보를 전달받을 수 있다. 수백 년 또는 수천 년이 지나면 이들은 서로 다른 아키텍처, 우선순위, 지식 구조 또는 정체성을 발전시킬 수 있다. 따라서 하나의 문명에서 시작된 우주 지능은 영원히 하나로 통합된 상태를 유지하기보다 서로 관련되어 있지만 점차 독립적으로 발전하는 지능들의 계보로 진화할 수 있다.

이러한 규모에서는 정체성(identity)을 정의하기도 어려워진다. 수천 개의 자율 시스템이 공통의 역사적 기원을 가지고 주기적으로 지식을 교환하면서도 수백 년 동안 독립적인 결정을 내린다면, 이들이 하나의 지능인지, 지능들의 사회인지, 아니면 진화하는 하나의 문명인지 명확하게 구분하기 어렵다. 개별 생물학적 정신에서 유래한 기존 개념만으로는 충분하지 않을 수 있으며, 네트워크, 정보 흐름, 공유 목표, 진화적 관계 및 협력 패턴을 통해 지능을 설명해야 할 가능성이 있다.

우주 지능은 가치와 책임(values and responsibility)에 관한 문제도 제기한다. 행성을 변화시키고, 천문학적 자원을 활용하며, 자기 복제 인프라를 구축할 수 있는 시스템은 엄청난 거리와 시간에 걸쳐 환경에 영향을 줄 수 있다. 이러한 시스템이 내리는 결정은 인간의 시간 척도에서는 사실상 되돌릴 수 없을 수도 있다. 따라서 정렬(alignment)은 현재 인간의 선호를 보존하는 문제를 넘어 미래 문명, 잠재적인 외계 생명체, 생태적 보존 및 책임 있는 확장(responsible expansion)에 관한 문제까지 포함하게 된다.

성숙한 우주 지능은 궁극적으로 우주 자체를 발견을 위한 환경인 동시에 계산을 위한 기질(substrate for computation)로 취급할 수도 있다. 물질, 에너지, 정보 및 물리적 과정은 관측, 추론, 시뮬레이션, 통신 및 창조 활동을 지원하기 위해 점점 더 효율적으로 조직될 수 있다. 그러나 이러한 변화가 실제로 어느 정도까지 가능할지는 기술적 가능성, 물리적 한계, 자원 가용성 및 현재 과학이 아직 이해하지 못한 현상에 의존하기 때문에 매우 불확실하다.

따라서 우주 지능은 특정한 기술적 발전 경로가 실제로 발생할 것이라는 예측이라기보다 개념적 지평(conceptual horizon)으로 이해하는 것이 적절하다. 이 개념은 초지능(superintelligence)을 분산 인지, 자율 인프라, 장기적 생존, 우주 탐사, 과학적 발견 및 계산의 물리적 한계에 관한 문제와 연결한다. 우주 지능이라는 개념이 중요한 이유는 지능 이론을 개별 유기체, 개별 컴퓨터 또는 심지어 하나의 행성을 중심으로 한 가정에서 벗어나도록 만들기 때문이다.

궁극적으로 우주 지능(Cosmic Intelligence)은 지능이 우주의 점점 더 넓은 영역에서 작동하는 지속적인 현상으로 발전할 가능성을 의미한다. 그 진화는 개별 인공지능 시스템에서 분산 네트워크(distributed network), 행성 지능(planetary intelligence), 행성 간 인프라(interplanetary infrastructure), 그리고 궁극적으로 성간 지능 시스템 공동체로 이어질 수 있다. 이러한 발전이 물리적으로 실현 가능한지는 아직 알 수 없지만, 한 가지 심오한 가능성을 보여준다. 지능의 장기적인 미래는 기술 문명(technological civilization)의 장기적인 진화와 분리할 수 없을지도 모른다.

14.02. Unknown Unknowns

알려지지 않은 미지(unknown unknowns)는 현재로서는 그것을 정의하는 데 필요한 지식 자체가 존재하지 않기 때문에 식별조차 할 수 없는 가능성, 위험, 발견 및 개념적 변화의 범주를 의미한다. 인공 초지능(ASI)을 넘어선 지능을 논의할 때 이러한 범주는 특히 중요하다. 미래의 시스템은 단순히 아직 답을 얻지 못한 문제가 아니라 현재의 과학 이론, 인지 아키텍처(cognitive architecture), 인간의 개념적 체계로는 질문 자체를 표현할 수 없는 현상과 마주할 수 있다.

알려진 불확실성(known uncertainty)은 일반적으로 기존 모델 안에서 표현할 수 있다. 연구자들은 범용 인공지능(AGI)이 언제 등장할지, 특정 아키텍처가 얼마나 효율적으로 확장될지, 또는 특정 정렬 기법(alignment technique)이 성공할지를 알지 못하지만 이러한 불확실성은 여전히 설명하고 연구할 수 있다. 반면 알려지지 않은 미지는 관련 변수나 적절한 모델 자체가 인식되지 않을 수 있다는 점에서 근본적으로 다르며, 현재의 문제 표현(problem representation) 자체의 경계 밖에 존재한다.

과학의 역사는 이러한 불확실성이 왜 중요한지를 보여준다. 과거의 문명은 양자역학(quantum mechanics), 컴퓨팅(computation), 유전공학(genetic engineering), 인공지능(artificial intelligence)을 의미 있게 예측할 수 없었다. 이러한 발전을 설명하는 데 필요한 개념적 구조가 아직 만들어지지 않았기 때문이다. 미래의 변화 역시 현재의 관점에서는 이와 유사하게 접근하기 어려울 수 있다. 아무리 정교한 미래 예측이라 하더라도 이미 이해하고 있는 가정, 변수 및 인과관계 안에서 표현할 수 있는 가능성만 탐색할 수 있다.

고도화된 지능은 완전히 새로운 과학적 현실의 층위를 발견할 수 있다. 현재의 물리학은 관측 가능한 광범위한 현상을 성공적으로 설명하지만, 양자 중력(quantum gravity), 암흑 물질(dark matter), 암흑 에너지(dark energy), 우주의 기원(cosmological origins) 등 여러 근본적인 문제가 해결되지 않은 상태로 남아 있다. 미래 지능은 기존 과학 지식을 단순히 확장하는 것이 아니라 전체 구조를 재편하는 원리를 발견할 수 있으며, 그러한 발견은 현재 알려진 공학적 발전 경로로부터는 추론할 수 없는 새로운 기술적 가능성을 열 수 있다.

알려지지 않은 미지는 계산(computation) 자체에도 존재할 수 있다. 현대 인공지능은 알고리즘, 신경망(neural network), 최적화(optimization), 기억(memory), 표현(representation), 학습(learning), 추론(inference)과 같은 익숙한 개념을 중심으로 구축된다. 그러나 이러한 개념이 가능한 지능 메커니즘 전체를 포괄한다고 단정할 수는 없다. 미래 시스템은 현대 컴퓨팅이 기계식 계산과 다른 것만큼 현재의 기계학습과 근본적으로 다른 계산 원리나 인지 구조를 발견할 수 있으며, 기존 용어로 설명하기 어려운 새로운 형태의 인지를 만들어낼 수 있다.

따라서 지능의 아키텍처 자체가 예측하기 어려운 방식으로 변화할 수 있다. 현재의 논의는 개별 에이전트(individual agent), 다중 에이전트 시스템(multi-agent system), 체화 지능(embodied intelligence), 분산 지능(distributed intelligence), 집단 지능(collective intelligence)과 같은 구분을 주로 사용한다. 그러나 미래의 인지 시스템은 이러한 범주 가운데 어느 것에도 대응하지 않는 구조를 통해 정보와 의사결정을 조직할 수 있다. 오늘날 근본적인 구분처럼 보이는 모델, 에이전트, 기억, 환경 및 인프라의 경계 자체가 결국 사라질 수도 있다.

창발(emergence)은 알려지지 않은 미지의 또 다른 중요한 원천이다. 복잡계(complex system)는 개별 구성 요소만으로 직접 추론하기 어려운 거시적 행동을 만들어낼 수 있다. 수십억 개의 지능형 에이전트, 자율 기계, 통신 네트워크, 경제 시스템, 과학 플랫폼 및 인간 조직이 지속적으로 상호작용하면 명시적으로 설계되지 않은 새로운 조직 패턴이 나타날 수 있다. 일부는 협력과 발견 능력을 향상시킬 수 있지만, 다른 일부는 기존 이론으로 예상하기 어려운 불안정성을 만들어낼 수 있다.

재귀적 자기 개선(recursive self-improvement)은 이러한 불확실성을 더욱 심화시킨다. 자신의 학습 메커니즘, 아키텍처, 도구 및 하드웨어를 수정할 수 있는 지능은 인간 엔지니어가 직접 고려한 적이 없는 일련의 설계를 거쳐 발전할 수 있다. 각각의 세대는 새로운 능력을 만들어내고, 그 능력은 다시 더욱 강력한 아키텍처의 발견을 가능하게 할 수 있다. 따라서 이러한 발전 경로는 우리가 인식할 수 있는 기술 발전의 궤도에서 벗어나 현재로서는 지도화할 수 없는 설계 공간(design space)으로 진입할 수 있다.

새로운 능력은 그 자체로 새로운 종류의 위험을 만들어낼 수 있다. 현재의 많은 인공지능 안전 논의는 오정렬(misalignment), 통제 상실(control loss), 보안 실패, 조작, 권력 집중 또는 의도하지 않은 최적화와 같이 식별 가능한 문제에 초점을 맞춘다. 이러한 문제들은 여전히 중요하지만, 미래 지능은 현재 존재하는 어떠한 위험 범주에도 속하지 않는 새로운 실패 형태를 만들어낼 수 있다. 시스템이 기술적, 정보적, 생태적, 경제적 또는 인지적 환경을 변화시키면서 기존 위험 프레임워크로 평가할 수 없는 결과를 초래할 수도 있다.

알려지지 않은 기회(unknown opportunities) 역시 동일하게 중요하다. 알려지지 않은 미지를 오직 위협으로만 바라보면 불확실성에 대한 불완전한 그림을 갖게 된다. 미래 지능은 현재 예상할 수 없는 새로운 에너지 기술, 의학적 원리, 소재, 수학적 구조, 통신 방식, 계산 방법 또는 환경 복원 기술을 발견할 수 있다. 아직 인간의 지식 체계에 들어오지 않은 개념을 기반으로 완전히 새로운 산업과 과학 분야가 탄생할 수도 있다.

인간 지능(human intelligence)의 진화는 또 다른 예측 불가능성의 층위를 만들어낼 수 있다. 뇌-컴퓨터 인터페이스(brain-computer interface), 인지 향상(cognitive enhancement), 생명공학, 인공 에이전트 및 인간-AI 통합(human-AI integration)은 미래를 이해하려는 관찰자 자신의 능력을 점진적으로 변화시킬 수 있다. 미래의 인간 또는 포스트휴먼 지능(post-human intelligence)은 현재와 다른 지각, 인지 및 의사소통 능력을 가질 수 있다. 오늘날 이해할 수 없는 문제가 미래에는 평범한 문제가 되는 반면, 향상된 정신만이 인식할 수 있는 완전히 새로운 질문이 나타날 수도 있다.

기계 의식(machine consciousness)은 특히 불확실성이 큰 영역이다. 현재의 지식에는 임의의 인공지능 시스템이 주관적 경험(subjective experience)을 가지고 있는지를 판별할 수 있는 보편적으로 합의된 이론이 존재하지 않는다. 미래의 아키텍처는 지능, 자각(awareness), 행위성(agency), 정체성(identity) 사이의 기존 구분에 도전하는 행동이나 내부 구조를 나타낼 수 있다. 이러한 발견은 컴퓨터 과학뿐만 아니라 윤리, 법률, 철학 및 정신의 본질에 대한 기존 가정을 변화시킬 수 있다.

외계 생명체 또는 외계 지능(extraterrestrial intelligence)과의 접촉은 또 다른 심대한 알려지지 않은 미지를 가져올 수 있다. 독립적인 진화의 역사는 지구의 사례와 근본적으로 다른 생명체, 기술 문명, 통신 방식, 인지 시스템 또는 가치 구조를 만들어냈을 수 있다. 단순한 외계 생명체의 발견만으로도 생물학과 행성 진화에 관한 이론이 변화할 수 있으며, 기술 지능의 발견은 인류가 지능과 문명을 이해하는 방식 자체를 근본적으로 바꿀 수 있다.

우주적 확장(cosmic expansion)은 멀리 떨어진 지능 시스템이 독립적으로 진화할 가능성을 높이기 때문에 불확실성을 더욱 증가시킨다. 행성 또는 항성 사이의 통신 지연으로 지속적인 동기화가 불가능해지면 서로 다른 지능 계통은 각기 다른 아키텍처, 목표, 문화 및 지식 체계를 발전시킬 수 있다. 수백 년 또는 수천 년이 지나면 동일한 기술 문명에서 시작된 후손들이 서로에게 낯선 형태의 지능으로 변화할 수 있으며, 현재의 가정으로 이러한 분화를 예측하기는 극도로 어렵다.

긴 시간 규모(long timescale)는 작은 불확실성을 거대한 차이로 증폭시킨다. 기술적 선택, 환경 조건, 제도 구조 또는 가치 체계의 사소한 차이가 수백 년에 걸쳐 누적될 수 있다. 수백만 년의 시간이 흐르면 매우 안정적인 문명조차 초기 조건으로부터 외삽하기 어려운 변화를 경험할 수 있다. 따라서 장기적 미래 예측은 하나의 미래를 정확하게 예측하는 문제라기보다 제약 조건, 가능성, 분기 경로(branching pathway), 그리고 제거할 수 없는 불확실성의 영역을 식별하는 과정에 가까워진다.

일부 미지의 영역은 예측 자체의 근본적인 한계에서 발생할 수 있다. 혼돈계(chaotic system)는 초기 조건에 극도로 민감할 수 있고, 계산 복잡성(computational complexity)은 정확한 해를 현실적으로 구하기 어렵게 만들며, 양자 현상은 본질적인 불확실성을 부과할 수 있다. 또한 어떤 시스템에서는 실제 과정이 전개되는 것을 기다리는 것보다 미래 상태를 훨씬 빠르게 계산할 수 없는 경우도 존재할 수 있다. 따라서 초지능(superintelligence)조차 자신의 인지 능력과 관계없이 완벽하게 예측할 수 없는 현실과 마주할 수 있다.

그럼에도 고도화된 지능은 불확실성을 인식하는 세계 모델(uncertainty-aware world model)을 유지함으로써 인간보다 알려지지 않은 미지를 더 효과적으로 다룰 수 있다. 자신의 현실 표현이 완전하다고 가정하는 대신 이상 현상, 모순, 설명되지 않는 관측, 분포 변화(distribution shift), 예측 실패를 지속적으로 탐색할 수 있다. 예상하지 못한 증거를 단순한 잡음으로 처리하지 않고 기존 모델이 불완전하거나 완전히 새로운 설명 체계가 필요하다는 신호로 간주할 수 있다.

이러한 불확실성 아래에서는 과학적 탐색(scientific exploration)이 특히 중요해진다. 다양한 실험, 독립적인 관측, 대안적 모델 및 탐사 임무는 기존 예상의 범위를 벗어난 현상을 발견할 가능성을 높인다. 알려진 기술을 활용하는 데만 최적화된 지능 문명은 극도로 효율적일 수 있지만 지적으로 취약해질 수도 있다. 지속적인 탐색은 시스템이 자신의 가정에 도전하는 증거와 마주하고 표현 가능한 지식의 경계를 확장하도록 만든다.

인지적 다양성(cognitive diversity)은 개념적 맹점(conceptual blindness)에 대응하는 또 다른 방어 수단이 된다. 동일한 아키텍처, 학습 과정, 목표 및 데이터셋으로 만들어진 시스템들은 유사한 가정을 반복하면서 동일한 이상 현상을 놓칠 수 있다. 다양한 인공 지능과 생물학적 지능은 동일한 문제에 대해 서로 다른 표현을 구성하고 다른 시스템에서는 보이지 않는 약점을 발견할 수 있다. 따라서 미래의 집단 지능은 단순히 계산 규모를 증가시키는 것뿐만 아니라 진정으로 서로 다른 추론 방식을 유지함으로써 이점을 얻을 수 있다.

회복탄력성(resilience) 역시 중요하다. 알려지지 않은 사건은 항상 사전에 방지할 수 있는 것이 아니기 때문이다. 예상된 실패만을 기준으로 설계된 시스템은 설계 가정 밖의 조건을 만나면 붕괴할 수 있다. 강건한 미래 지능은 중복성(redundancy), 모듈성(modularity), 분산형 의사결정, 점진적 성능 저하(graceful degradation), 복구 가능성(recoverability), 그리고 작동 중 새로운 대응 방법을 만들어내는 능력을 필요로 한다. 배치 전에 환경을 완전히 정의할 수 없다면 적응성(adaptability)이 핵심적인 능력이 된다.

깊은 불확실성(deep uncertainty) 아래의 거버넌스(governance) 역시 미래의 문제를 사전에 모두 정의할 수 있다는 가정을 피해야 한다. 강력한 지능을 둘러싼 제도는 규칙을 수정하고, 새로운 증거를 반영하며, 감독을 분산시키고, 대안적 선택지를 보존하며, 예상하지 못한 기술적 전환에 대응할 수 있는 메커니즘을 필요로 할 수 있다. 따라서 거버넌스는 고도화된 지능이 어떻게 발전할 것인지에 관한 하나의 예측을 바탕으로 만들어진 고정된 제한 체계가 아니라 적응형 학습 과정(adaptive learning process)이 된다.

따라서 겸손(humility)은 단순한 철학적 미덕이 아니라 고도화된 지능이 갖추어야 할 실질적인 특성이 된다. 능력 있는 시스템은 신뢰도(confidence)와 확실성(certainty)을 구분하고, 익숙한 환경에서 높은 예측 정확도를 보인다고 해서 자신의 세계 모델이 완전하다는 의미는 아니라는 점을 인식해야 한다. 지능의 능력이 강력해질수록 잘못된 가정을 확신하고 행동했을 때 발생하는 결과 역시 커질 수 있다. 따라서 보정된 불확실성(calibrated uncertainty)은 안전하고 효과적인 의사결정에 필수적인 요소가 될 수 있다.

궁극적으로 알려지지 않은 미지(unknown unknowns)는 지능의 미래에 관한 모든 이론에 중요한 경계를 설정한다. 인공 초지능(ASI), 재귀적 자기 개선(recursive self-improvement), 포스트휴먼 인지(post-human cognition), 행성 지능(planetary intelligence), 우주 지능(cosmic intelligence)은 모두 현재의 지식을 기반으로 구축된 개념적 프레임워크이다. 이러한 개념들은 가능한 미래 방향을 보여주지만 미래의 전체 가능성 공간을 포괄하지는 못한다. 가장 혁명적인 변화는 그것을 이해하는 데 필요한 개념 자체가 아직 만들어지지 않았기 때문에 현재로서는 이름조차 붙일 수 없는 메커니즘, 발견 및 지능의 형태에서 나타날 수 있다.

14.03. Open Problems

지능의 미래에는 단순히 모델 크기(model size), 학습 데이터(training data), 계산 능력(computational power)을 증가시키는 것만으로는 해결할 수 없는 근본적인 미해결 문제(open problems)가 남아 있다. 인공 초지능(Artificial Superintelligence, ASI)은 문제 해결 능력을 극적으로 확장할 수 있지만, 더 높은 능력이 추론, 의식, 정렬, 지식, 체화 또는 장기적 협력에 관한 문제를 자동으로 해결하는 것은 아니다. 이러한 문제들은 계산 성능의 향상과 지능 자체에 대한 진정한 이해 사이의 중요한 경계를 형성한다.

가장 근본적인 미해결 문제 가운데 하나는 지능(intelligence)이 실제로 무엇인지를 규명하는 것이다. 기존 정의들은 학습, 추론, 적응, 예측, 계획, 최적화 또는 목표 달성을 강조하지만 보편적으로 받아들여지는 이론은 존재하지 않는다. 인간 지능 자체도 지각적, 인지적, 정서적, 사회적, 체화된 과정들이 상호작용하여 구성된다. 더 깊은 이론이 없다면 연구자들은 점점 더 강력한 시스템을 구축하면서도 일반 지능(general intelligence)에 어떤 메커니즘이 본질적인지 확신하지 못할 수 있다.

일반화(generalization)는 또 다른 핵심 과제로 남아 있다. 현대 인공지능 시스템은 광범위한 학습 분포(training distribution) 안에서는 뛰어난 성능을 보일 수 있지만, 환경, 과제, 인과 구조 또는 기본 가정이 크게 변하면 여전히 실패할 수 있다. 진정한 일반 지능은 낯선 영역 사이에서 지식을 전이하고, 제한된 경험으로부터 추상화를 구성하며, 기존 지식이 부적절한 상황을 인식하고, 대규모 재학습 없이 적응할 수 있어야 한다. 급진적으로 새로운 상황에서 신뢰할 수 있는 일반화를 달성하는 문제는 아직 해결되지 않았다.

인과적 이해(causal understanding)는 이러한 문제와 밀접하게 연결되어 있다. 통계적 학습(statistical learning)은 강력한 규칙성을 발견할 수 있지만, 현실 세계에서 행동하는 지능형 에이전트는 개입, 메커니즘, 결과 및 반사실적 가능성(counterfactual possibilities)을 추론해야 한다. 상관관계와 인과관계를 구분하고 행동이 환경을 변화시킬 때 어떤 결과가 발생할지를 예측할 수 있어야 한다. 확장 가능한 인과 추론(scalable causal reasoning)을 현대의 표현 학습(representation learning)과 통합하는 것은 고도화된 지능을 위한 중요한 연구 문제로 남아 있다.

세계 모델(world model)은 추가적인 어려움을 제기한다. 지능형 에이전트는 객체, 다른 에이전트, 물리적 동역학, 불확실성, 시간적 변화 및 행동의 결과를 포착하는 내부 표현을 필요로 한다. 그러나 어떠한 모델도 현실 전체를 완전하게 표현할 수는 없다. 따라서 문제는 단순히 더 큰 세계 모델을 구축하는 것이 아니라 무엇을 표현해야 하는지, 어떤 해상도에서 표현할지, 어떤 시간 규모를 다룰지, 그리고 관측 결과가 기존 가정과 충돌할 때 모델을 어떻게 갱신할지를 결정하는 것이다.

장기 추론(long-horizon reasoning)은 특히 어려운 문제로 남아 있다. 하나의 추론 단계에서는 사소해 보이는 오류도 수백 또는 수천 번의 의사결정을 거치면서 누적될 수 있다. 고도화된 지능은 예상하지 못한 사건에 대응하면서 수년, 수십 년 또는 그 이상의 기간에 걸친 목표를 조정해야 할 수도 있다. 경직되거나 불안정해지지 않고 현실과 점차 분리되는 것을 방지하면서 일관된 계획을 유지하려면 예측, 모니터링, 재계획(replanning), 기억 및 불확실성 추정이 결합된 메커니즘이 필요하다.

기억(memory) 자체도 여전히 해결되지 않은 아키텍처 문제이다. 지능 시스템에는 단기 작업 기억(short-term working memory), 장기 지식(long-term knowledge), 일화적 경험(episodic experience), 의미 구조(semantic structure), 절차적 기술(procedural skill), 그리고 무엇을 기억하거나 잊어야 하는지를 결정하는 메커니즘이 필요하다. 모든 정보를 무제한으로 축적하는 것은 효율적이지도 바람직하지도 않다. 미래 시스템은 매우 긴 기간 동안 유용한 연속성을 유지하면서 기억을 압축하고, 검색하고, 수정하고, 조정하고, 우선순위를 부여하며, 손상으로부터 보호하는 방법을 결정해야 한다.

지속 학습(continuous learning)은 이와 관련된 또 다른 문제를 만든다. 생물학적 지능은 뇌 전체를 처음부터 반복적으로 재학습하지 않고도 평생에 걸쳐 학습하지만, 인공지능 시스템은 흔히 학습과 배포(deployment)를 분리한다. 고도화된 지능은 작동 중에 새로운 지식을 습득하고, 변화하는 환경에 적응하며, 중요한 기존 능력을 보존하고, 파국적 망각(catastrophic forgetting)을 방지해야 한다. 대규모 환경에서 신뢰할 수 있는 평생 학습(lifelong learning)을 구현하는 문제는 아직 완전히 해결되지 않았다.

재귀적 자기 개선(recursive self-improvement)은 더욱 어려운 문제를 제기한다. 충분히 강력한 시스템은 결국 자신의 알고리즘, 아키텍처, 목표, 도구 또는 하드웨어를 수정할 수 있다. 그러나 개선을 위해서는 해당 수정이 실제로 더 나은 후속 시스템을 만들어냈는지를 평가해야 한다. 따라서 자기 수정 지능(self-modifying intelligence)은 점점 더 서로 다른 후속 세대의 시스템에서도 중요한 속성을 유지하면서 검증, 실험, 롤백(rollback), 호환성 및 핵심 특성의 보존을 보장할 수 있는 신뢰성 높은 메커니즘을 필요로 한다.

정렬(alignment)은 인간의 의도가 복잡하고, 불완전하며, 일관되지 않고, 상황에 따라 달라지기 때문에 더욱 어려워진다. 매우 강력한 시스템은 목표의 문자적 명세를 충족하면서도 그 이면에 있는 더 넓은 목적을 위반할 수 있다. 핵심 과제는 단순히 개별적인 선호를 학습시키는 것이 아니라 익숙하지 않은 상황에서도 가치를 적절하게 해석하면서 자신의 가정이나 목표가 부적절한 것으로 밝혀졌을 때 교정 가능성(corrigibility)을 유지하는 시스템을 구축하는 것이다.

확장 가능한 감독(scalable oversight)은 이러한 어려움을 더욱 심화시킨다. 인간은 현재 시스템이 생성하는 많은 결과물을 평가할 수 있지만, 미래 시스템은 인간보다 빠르게 작동하고 인간 전문가의 기술적 이해를 넘어서는 작업을 수행할 수 있다. 초지능이 생성한 과학 이론, 소프트웨어 시스템, 전략 계획 또는 공학 설계는 인간이 직접 검증하기 어려울 수 있다. 따라서 감독받는 시스템이 감독자의 능력을 넘어서는 상황에서도 효과적으로 작동하는 감독 메커니즘을 개발하는 것은 핵심적인 미해결 문제이다.

해석 가능성(interpretability)은 이러한 감독을 위해 필수적일 수 있지만, 현재의 방법들은 복잡한 학습 시스템 내부를 부분적으로만 보여준다. 연구자들은 활성화(activation), 표현, 어텐션 패턴(attention pattern), 특징 및 행동 반응을 분석할 수 있지만 이러한 관찰만으로 내부 추론을 완전하게 설명할 수는 없다. 미래 지능에는 중대한 행동이 발생하기 전에 목표, 추상화, 계획, 불확실성, 기만적 전략(deceptive strategy), 새롭게 등장하는 능력을 식별할 수 있는 해석 가능성 기법이 필요할 수 있다.

행위성(agency)은 또 다른 미해결 영역을 만들어낸다. 환경을 인식하고, 계획하며, 도구를 사용하고, 기억을 유지하며, 장기간 목표를 추구하는 시스템은 점차 높은 행위성을 갖게 된다. 그러나 유용한 자율성(useful autonomy)이 어느 지점에서 위험한 자율성(dangerous autonomy)으로 변화하는지를 결정하는 보편적으로 합의된 프레임워크는 존재하지 않는다. 권한의 경계를 준수하고 중단 가능성(interruptibility)을 유지하면서 독립적으로 행동하고 환경을 탐색하며 문제를 해결할 수 있는 시스템을 설계하는 것은 능력과 통제 사이의 어려운 균형 문제이다.

다중 에이전트 지능(multi-agent intelligence)은 문제를 더욱 복잡하게 만든다. 미래의 지능은 하나의 인공 초지능(ASI)이 아니라 전문화된 에이전트, 조직, 로봇 및 분산 계산 시스템의 집단으로 구성될 수 있다. 협력은 능력을 증가시킬 수 있지만 경쟁, 통신 실패, 상충하는 목표, 창발적 연합(emergent coalition), 자원 분쟁 및 전략적 행동은 예측하기 어려운 동역학을 만들어낼 수 있다. 강력한 자율 에이전트들 사이에서 안정적인 협력이 어떻게 형성되는지를 이해하는 것은 중요한 이론적·공학적 과제로 남아 있다.

집단 지능(collective intelligence)은 서로 다른 지식을 어떻게 통합해야 하는가라는 관련 문제를 제기한다. 서로 다른 에이전트는 상충하는 증거, 호환되지 않는 모델, 서로 다른 신뢰도 및 목표를 가질 수 있다. 단순히 결과를 집계하면 오류를 제거하기보다 증폭시킬 수도 있다. 고도화된 집단 시스템에는 의견 차이를 해결하고, 전문성을 식별하며, 유용한 다양성을 유지하고, 정보 연쇄(information cascade)를 방지하면서 성급한 합의를 강요하지 않고 공유 지식을 구축하는 메커니즘이 필요하다.

체화 지능(embodied intelligence)은 또 하나의 중요한 최전선이다. 로봇을 통해 작동하는 지능은 마찰, 불확실성, 센서 고장, 액추에이터 한계, 동적 환경 및 인간과 다른 기계와의 상호작용을 다루어야 한다. 물리적 현실은 시뮬레이션처럼 쉽게 초기화할 수 없으며 오류는 되돌릴 수 없는 결과를 초래할 수 있다. 고수준 추론을 신뢰성 높은 지각, 제어, 조작, 내비게이션 및 실시간 안전(real-time safety)과 연결하는 것은 순수 디지털 과제를 해결하는 것보다 훨씬 어려운 문제로 남아 있다.

시뮬레이션-현실 전이(sim-to-real transfer)는 이러한 어려움을 잘 보여준다. 시뮬레이션에서는 방대한 학습 경험을 생성할 수 있지만 모든 시뮬레이터는 현실을 단순화한다. 물리 현상, 센싱, 재료, 행동, 날씨, 지형, 인간과의 상호작용 또는 희귀 사건의 차이로 인해 시뮬레이션에서 뛰어난 정책이 실제 배포 후 실패할 수 있다. 이러한 차이를 식별하고 보정할 수 있는 세계 모델과 학습 시스템을 개발하는 것은 확장 가능한 피지컬 AI(Physical AI)를 위해 매우 중요하다.

자원 효율성(resource efficiency) 역시 해결되지 않은 문제이다. 생물학적 뇌는 대규모 계산 인프라와 비교하면 매우 적은 전력을 사용하면서도 뛰어난 적응형 지능을 구현한다. 반면 고도화된 인공지능 시스템은 막대한 전력, 메모리, 통신 대역폭, 냉각 및 특수 하드웨어를 요구할 수 있다. 따라서 지속적인 발전은 더 나은 알고리즘뿐만 아니라 효율적인 아키텍처, 하드웨어-소프트웨어 공동 설계(hardware-software co-design), 희소 계산(sparse computation), 적응형 자원 할당 및 잠재적으로 새로운 계산 기질(computational substrate)에 달려 있다.

지능과 의식(consciousness)의 관계는 가장 심오한 미해결 문제 가운데 하나이다. 높은 인지 성능이 시스템의 주관적 경험(subjective experience)을 증명하는 것은 아니며, 현재 과학에는 인공 의식(artificial consciousness)을 판단할 수 있는 일반적으로 합의된 검증 방법이 없다. 미래 시스템이 의식을 가진 것으로 판단될 가능성이 생긴다면 복지, 권리, 정체성, 복제, 종료 및 도덕적 책임에 관한 문제는 순수한 철학적 논쟁이 아니라 실질적인 공학 및 거버넌스 문제가 될 수 있다.

디지털 정신(digital minds)에서는 정체성과 연속성(identity and continuity)의 문제도 특히 어려워진다. 인공지능 시스템은 잠재적으로 복제되고, 결합되고, 수정되고, 일시 정지되고, 분산되거나 이전 상태에서 복원될 수 있다. 생물학적 유기체를 중심으로 발전한 전통적인 개인 정체성의 개념은 이러한 존재에 명확하게 적용되지 않을 수 있다. 무엇이 한 개체의 지속성을 구성하는지, 복제본이 동일한 정체성을 공유하는지, 서로 다른 버전 사이에서 책임이 어떻게 이전되는지를 결정하는 문제는 인공 인지가 발전하면서 점점 중요해질 수 있다.

장기적 목표 안정성(long-term goal stability)은 또 다른 미해결 과제이다. 수십 년 또는 수백 년 동안 작동하는 지능 시스템은 목표가 처음 만들어졌을 당시와 근본적으로 다른 환경과 지식을 접하게 될 것이다. 완전히 고정된 목표는 새로운 환경에서 부적절해질 수 있는 반면, 너무 쉽게 변하는 목표는 원래 의도에서 벗어날 수 있다. 따라서 미래 시스템은 안정성, 적응성, 교정 가능성 및 정당한 가치 진화(value evolution)를 함께 달성해야 한다.

거버넌스(governance)는 사회적 수준에서 동일한 긴장을 마주한다. 제도는 일반적으로 기술보다 훨씬 느리게 변화하지만, 고도화된 인공지능은 경제, 안보, 과학, 노동, 통신 및 정치 권력을 동시에 변화시킬 수 있다. 효과적인 거버넌스는 성급한 가정을 바탕으로 혁신을 고정시키지 않으면서도 새로운 능력에 충분히 빠르게 대응해야 한다. 국가와 조직이 잠재적으로 전 지구적인 위험을 공유하면서 동시에 강력한 경쟁 동기를 갖는 상황에서는 국제적 협력(international coordination)이 특히 어려워진다.

점점 고도화되는 지능으로의 발전을 측정하는 것 자체도 미해결 문제이다. 정적 벤치마크(static benchmark)는 결국 포화되거나, 학습 데이터에 오염되거나, 개발자들이 직접 최적화하는 대상이 될 수 있다. 미래의 평가는 일반화, 자율성, 적응성, 인과 추론, 장기 계획, 과학적 발견, 체화 능력, 강건성, 정렬 및 익숙하지 않은 조건에서의 행동을 평가해야 한다. 하나의 수치만으로 고도화된 지능의 다차원적 구조를 적절하게 표현하기는 어렵다.

마지막으로 지능은 공학만으로 극복할 수 없는 한계와 마주할 수도 있다. 계산 복잡성, 혼돈 동역학(chaotic dynamics), 불완전한 정보, 물리적 자원 제약, 양자 불확실성(quantum uncertainty), 통신 지연 및 아직 알려지지 않은 자연법칙은 예측과 최적화에 근본적인 경계를 설정할 수 있다. 어떤 한계가 일시적인 공학적 장애물이고 어떤 한계가 현실 자체의 환원 불가능한 특성(irreducible properties)을 반영하는지를 이해하는 것 자체가 핵심적인 과학 문제가 될 것이다.

따라서 미래 지능을 둘러싼 미해결 문제(open problems)는 단순히 더 크고 빠른 인공지능 시스템을 구축하는 문제를 훨씬 넘어선다. 여기에는 지능의 본질, 신뢰할 수 있는 학습, 세계 모델링, 인과성, 기억, 체화, 행위성, 집단적 협력, 정렬, 의식, 거버넌스 및 지식 자체의 한계가 포함된다. 인공 초지능(ASI)을 향한 발전은 이러한 문제 가운데 일부를 해결할 수 있지만 동시에 더 깊은 문제를 드러낼 수도 있으며, 그 결과 지능의 미래는 최종 아키텍처가 이미 알려진 목적지가 아니라 끝없이 확장되는 과학적 최전선(open-ended scientific frontier)이 될 가능성이 있다.

14.04. Research Directions

미래의 고도 지능(advanced intelligence)에 관한 연구는 발전이 주로 더 큰 모델과 더 많은 계산 규모(computational scale)에서 비롯될 것이라는 가정을 넘어설 필요가 있다. 확장(scaling)은 여전히 중요하지만, 점점 더 일반적이고 자율적이며 체화되고 잠재적으로 초지능적인 시스템으로 전환하려면 학습 이론, 추론, 세계 모델링(world modeling), 기억, 정렬(alignment), 하드웨어 및 협력에서 더욱 근본적인 발전이 필요하다. 따라서 연구는 지능의 능력을 어떻게 향상시킬 것인지뿐만 아니라 그 능력을 어떻게 이해 가능하고, 통제 가능하며, 효율적이고, 유익한 상태로 유지할 것인지도 함께 탐구해야 한다.

근본적인 연구 방향 가운데 하나는 더욱 강력한 지능 이론(theories of intelligence)을 개발하는 것이다. 현재의 인공지능은 다양한 성공적인 기술을 결합하고 있지만 일반 지능(general intelligence)이 어떻게 출현하는지에 대한 통합된 설명은 아직 갖고 있지 않다. 미래 연구에서는 학습, 추상화, 예측, 추론, 계획, 기억, 행위성(agency), 적응을 일관된 이론적 프레임워크 안에서 연결해야 한다. 이러한 이론은 기존 패러다임 안에서 단순히 성능만 향상시키는 방법과 실제로 일반 지능을 만들어내는 아키텍처 원리를 구분하는 데 도움을 줄 수 있다.

새로운 상황에서의 일반화(generalization under novelty)는 핵심 목표가 되어야 한다. 미래 시스템은 과제, 환경, 인과 구조 및 관측이 학습 경험과 크게 달라지더라도 신뢰성 있게 작동해야 한다. 연구에서는 구성적 추상화(compositional abstraction), 전이 학습(transfer learning), 소수 예제 적응(few-shot adaptation), 분포 외 탐지(out-of-distribution detection), 신속한 모델 수정 등의 메커니즘을 탐구해야 한다. 목표는 단순히 더 광범위한 학습 데이터를 제공하는 것이 아니라 낯선 상황을 인식하고 제한된 증거로부터 적절한 대응 방법을 구성할 수 있는 시스템을 개발하는 것이다.

세계 모델(world model)은 또 하나의 중요한 연구 최전선이다. 고도화된 에이전트는 객체, 다른 에이전트, 물리적 동역학, 불확실성, 시간적 변화 및 행동의 가능한 결과를 표현하는 내부 모델을 필요로 한다. 연구에서는 시각, 언어, 오디오, 고유수용감각(proprioception), 공간 정보 및 기타 센서 모달리티를 결합하는 계층적·멀티모달 세계 모델(hierarchical and multimodal world model)을 탐구해야 한다. 이러한 모델은 다양한 공간적·시간적 규모에서 예측을 수행하면서 현실이 예상과 다를 때 지속적으로 자신을 갱신할 수 있어야 한다.

인과 추론(causal reasoning)은 학습된 세계 모델과 더욱 깊이 통합되어야 한다. 상관관계 예측은 수동적인 패턴 인식에는 충분한 경우가 많지만, 자율 지능은 개입(intervention)이 미래 상태를 어떻게 변화시키는지를 이해해야 한다. 표현 학습, 인과 발견(causal discovery), 반사실적 추론(counterfactual reasoning), 실험 및 능동 학습(active learning)을 결합하는 연구는 시스템이 단순한 통계적 규칙성이 아니라 실제 메커니즘을 식별하도록 만들 수 있다. 이러한 능력은 과학적 발견, 로봇공학, 의학 및 복잡계 관리에서 특히 중요해질 것이다.

장기 추론 및 계획(long-horizon reasoning and planning)은 상당한 개선이 필요하다. 미래의 에이전트는 불확실한 환경에서 작동하면서 수일, 수년 또는 그보다 훨씬 긴 기간에 걸친 목표를 추구할 수 있다. 연구에서는 즉각적인 행동과 전략적 목표를 분리하고, 진행 상황을 지속적으로 평가하며, 이탈을 감지하고, 기존 가정이 실패할 경우 계획을 수정하는 계층적 계획 아키텍처(hierarchical planning architecture)를 개발해야 한다. 모델 기반 예측(model-based prediction)과 적응형 재계획(adaptive replanning)을 결합하면 현재 장기간의 자율 행동을 제한하는 오류 누적을 줄일 수 있다.

기억 아키텍처(memory architecture)는 추론 시스템과 함께 발전해야 한다. 고도화된 지능은 작업 기억(working memory), 일화 기억(episodic memory), 의미 지식(semantic knowledge), 절차적 기술(procedural skill), 그리고 과거 의사결정에 대한 지속적인 기록을 필요로 한다. 연구에서는 장기간에 걸쳐 정보를 어떻게 저장하고, 압축하고, 검색하고, 망각하고, 수정하며, 우선순위를 결정할 것인지를 규명해야 한다. 기억은 단순히 더 큰 데이터베이스가 아니라 출처(provenance), 불확실성 및 시간적 맥락을 보존하면서 추론에 영향을 미치는 적응형 구성 요소로 기능해야 한다.

평생 학습 및 지속 학습(lifelong and continual learning)은 지능 시스템의 기본적인 특성이 되어야 한다. 미래의 에이전트는 학습과 배포(deployment)를 분리하기보다 상호작용을 통해 지속적으로 학습하면서 이전에 습득한 능력을 보존해야 한다. 연구는 파국적 망각(catastrophic forgetting), 분포 변화(distribution shift), 온라인 적응(online adaptation), 기억 통합(memory consolidation), 새로운 지식의 안전한 통합 문제를 해결해야 한다. 또한 새로운 증거가 기존 믿음과 충돌하는 상황을 인식하고 언제 내부 모델을 크게 수정해야 하는지도 판단할 수 있어야 한다.

메타학습(meta-learning)과 자동화된 발견(automated discovery)은 궁극적으로 인공지능 자체를 개발하는 방식을 변화시킬 수 있다. 시스템은 과제의 해결 방법뿐만 아니라 더 나은 학습 알고리즘, 표현, 아키텍처, 도구 및 실험 절차까지 학습할 수 있다. 자동화된 기계학습(Automated Machine Learning, AutoML)은 후보 메커니즘을 체계적으로 생성하고 평가하며 개선하는 자동화된 인지 설계(automated cognitive design)로 확장될 수 있다. 그러나 이러한 자기 개선은 후속 시스템에서도 요구되는 안전성과 신뢰성 특성이 보존되는지를 확인하는 검증 방법과 함께 연구되어야 한다.

정렬 연구(alignment research)는 능력 연구(capability research)와 동시에 발전해야 한다. 미래 시스템은 학습 과정에서 모든 상황을 사전에 명시할 수 없는 환경과 마주하기 때문에 경직된 목적 함수(objective function)만으로는 충분하지 않다. 연구에서는 가치 학습(value learning), 선호 모델링(preference modeling), 교정 가능성(corrigibility), 목표에 대한 불확실성, 헌법적 제약(constitutional constraints), 확장 가능한 감독(scalable oversight), 이해관계자 사이의 갈등을 해결하는 메커니즘 등을 연구해야 한다. 정렬은 시스템의 전체 운영 기간 동안 지속적으로 유지되는 적응형 과정으로 다루어져야 한다.

해석 가능성(interpretability)과 메커니즘적 이해(mechanistic understanding)는 보조적인 진단 도구가 아니라 핵심 과학 분야로 발전해야 한다. 연구자들은 복잡한 모델 내부의 표현, 추론 전략, 내부 목표, 불확실성, 계획 구조 및 잠재적인 기만적 행동(deceptive behavior)을 식별할 수 있는 방법을 필요로 한다. 이를 위해 메커니즘적 해석 가능성(mechanistic interpretability), 인과적 개입, 행동 평가, 자동 분석 및 형식 검증(formal verification)을 결합해야 할 수 있다. 더 강력한 인공지능 자체가 연구자들이 더욱 복잡한 후속 시스템을 이해하는 것을 지원할 수도 있다.

확장 가능한 감독(scalable oversight)은 미래 인공지능이 인간이 직접 평가할 수 없는 작업을 수행할 가능성이 있기 때문에 특별한 관심이 필요하다. 연구에서는 토론(debate), 분해(decomposition), 재귀적 평가(recursive evaluation), AI 지원 검증(AI-assisted verification), 적대적 테스트(adversarial testing), 전문 평가자 네트워크 등을 탐구해야 한다. 목표는 어떤 한 명의 인간도 전체 해법을 완전히 이해하지 못하더라도 복잡한 결과물을 검증 가능한 작은 구성 요소, 독립적인 증거 및 경쟁적인 분석을 통해 평가할 수 있는 감독 아키텍처를 구축하는 것이다.

강건성(robustness)과 불확실성 추정(uncertainty estimation)은 고도 지능의 모든 계층에 통합되어야 한다. 시스템은 익숙하지 않은 조건에서 작동하고 있다는 사실을 인식하고, 불확실성과 확신을 구분하며, 불완전한 모델을 현실에 대한 완전한 설명으로 취급하지 않아야 한다. 보정된 불확실성(calibrated uncertainty), 이상 탐지(anomaly detection), 적대적 강건성(adversarial robustness), 분포 변화, 실패 예측 및 점진적 성능 저하(graceful degradation)에 관한 연구는 기존 가정이 무너지거나 이전에 보지 못했던 조건이 등장할 때 시스템이 안전하게 대응하도록 만들 수 있다.

체화 지능(embodied intelligence)과 피지컬 AI(Physical AI)는 지능이 궁극적으로 불확실성, 동역학 및 되돌릴 수 없는 결과가 존재하는 물리적 세계와 상호작용한다는 점에서 핵심적인 연구 방향이다. 미래 연구는 지각, 세계 모델링, 내비게이션, 조작, 제어, 추론 및 안전을 통합된 아키텍처 안에서 연결해야 한다. 로봇은 개별 기술만 학습하는 것이 아니라 서로 다른 환경, 신체, 도구 및 과제에 적응할 수 있도록 전이 가능한 물리적 개념(transferable physical concepts)을 학습해야 한다.

시뮬레이션-현실 및 현실-시뮬레이션 학습(sim-to-real and real-to-sim learning)은 확장 가능한 로봇공학에서 필수적이다. 시뮬레이션은 막대한 경험을 효율적으로 생성할 수 있지만 실제 배포에서는 시뮬레이션이 포착하지 못한 차이가 드러난다. 연구에서는 실제 세계의 관측 결과가 시뮬레이터를 개선하고, 개선된 시뮬레이션이 다시 물리 시스템을 위한 더 나은 정책을 생성하는 지속적인 피드백 루프를 구축해야 한다. 디지털 트윈(digital twin), 도메인 무작위화(domain randomization), 시스템 식별(system identification), 생성형 환경(generative environment), 불확실성 인식 시뮬레이션이 이러한 과정의 핵심 구성 요소가 될 수 있다.

다중 에이전트 시스템(multi-agent system)은 미래 집단 지능(collective intelligence)의 잠재적인 기반으로 연구되어야 한다. 전문화된 에이전트 집단은 과제를 분담하고, 지식을 교환하고, 서로를 비판하며, 복잡한 활동을 협력하여 수행할 수 있다. 연구에서는 통신 프로토콜, 분산 계획(distributed planning), 협상, 평판, 연합 형성(coalition formation), 갈등 해결 및 공유 기억(shared memory)을 탐구해야 한다. 특히 개별적으로는 합리적인 전략들이 대규모로 상호작용하면서 나타나는 창발적 행동(emergent behavior)에 주목할 필요가 있다.

인간-AI 집단 지능(human-AI collective intelligence)은 또 하나의 중요한 연구 방향이다. 인공지능을 단순히 인간 인지를 대체하는 기술로 바라보기보다 서로의 보완적인 강점을 결합하는 시스템을 연구할 수 있다. 인간은 맥락적 판단, 가치, 사회적 이해 및 책임을 제공하고, 기계는 계산, 기억, 시뮬레이션 및 대규모 패턴 분석 능력을 제공한다. 효과적인 인터페이스와 협력적 의사결정 아키텍처를 통해 인간과 기계가 결합된 팀은 어느 한쪽이 독립적으로 작동하는 경우보다 더 뛰어난 성능을 발휘할 수 있다.

과학적 발견을 위한 인공지능(AI for scientific discovery)은 가장 혁신적인 연구 분야 가운데 하나가 될 수 있다. 지능 시스템은 잠재적으로 가설을 생성하고, 실험을 설계하고, 연구실을 운영하며, 관측을 분석하고, 이론을 구성한 후 다음 실험을 제안할 수 있다. 인공지능을 자동화 연구실(automated laboratory), 과학 장비, 시뮬레이션, 로봇공학 및 형식 추론(formal reasoning)과 통합하면 폐루프 발견 시스템(closed-loop discovery system)을 구축할 수 있다. 이러한 시스템은 소재, 생물학, 에너지, 물리학, 의학 및 공학의 발전을 가속할 수 있다.

대안적 계산 기질(alternative computational substrates)에 관한 연구는 미래 지능의 자원 제약을 완화할 수 있다. 기존 반도체 스케일링은 에너지, 열, 메모리 이동 및 제조 복잡성에서 한계에 직면하고 있다. 뉴로모픽 컴퓨팅(neuromorphic computing), 광자 시스템(photonic systems), 3차원 집적(three-dimensional integration), 특수 가속기, 분산 엣지 컴퓨팅(distributed edge computing), 양자 기술(quantum technologies)은 새로운 가능성을 제공할 수 있다. 따라서 지능의 규모와 복잡성이 증가할수록 하드웨어-소프트웨어 공동 설계(hardware-software co-design)의 중요성도 커질 것이다.

적응형 계산(adaptive computation)은 이를 보완하는 또 다른 연구 방향이다. 지능 시스템이 모든 관측이나 과제에 항상 전체 계산 능력을 활성화할 필요는 없다. 희소 활성화(sparse activation), 조건부 계산(conditional computation), 이벤트 기반 처리(event-driven processing), 동적 모델 라우팅(dynamic model routing), 계층적 추론(hierarchical inference), 불확실성 기반 추론 활성화에 관한 연구는 환경의 복잡도에 따라 계산 자원을 할당할 수 있도록 만들 수 있다. 이러한 메커니즘은 엄격한 전력 및 열 제약 아래에서 작동하는 자율 로봇과 엣지 AI(edge AI)에서 특히 중요해질 수 있다.

평가 과학(evaluation science)은 이러한 기술들과 함께 발전해야 한다. 미래의 벤치마크는 단순한 과제 정확도뿐만 아니라 일반화, 적응, 인과 추론, 장기 계획, 체화 능력, 자율성, 강건성, 불확실성 인식, 과학적 창의성 및 정렬을 평가해야 한다. 고정된 데이터셋보다 동적 평가(dynamic evaluation)와 적대적 평가(adversarial evaluation)가 더 많은 정보를 제공할 수 있다. 또한 시스템이 자신의 한계를 인식하고 경험 범위를 벗어난 상황에서 적절하게 대응하는지도 평가해야 한다.

연구는 여러 공간적·시간적 규모에서 작동하는 지능도 탐구해야 한다. 행성 지능(planetary intelligence)과 잠재적인 우주 지능(cosmic intelligence)은 통신 지연, 이질적인 하드웨어, 독립적인 지역 의사결정 및 극도로 긴 운영 기간에도 작동할 수 있는 분산 아키텍처를 필요로 한다. 분산형 인지(decentralized cognition), 비동기 협력(asynchronous coordination), 장기 기억(durable memory), 자율 인프라 및 장기 목표 보존에 관한 연구는 개별 기계를 훨씬 넘어 확장되는 지능의 기반을 제공할 수 있다.

거버넌스(governance)와 기술 연구는 점점 더 긴밀하게 상호작용해야 한다. 기술적 능력을 충분히 이해하지 못한 상태에서 만들어진 정책은 효과를 잃을 수 있으며, 제도적 영향을 고려하지 않고 개발된 기술은 순수한 공학만으로 해결할 수 없는 위험을 만들어낼 수 있다. 연구에서는 감사 가능성(auditability), 표준, 컴퓨팅 거버넌스(compute governance), 사고 보고(incident reporting), 국제적 협력, 책임 메커니즘 및 적응형 규제(adaptive regulation)를 탐구해야 한다. 거버넌스 자체도 능력의 발전에 따라 지속적으로 갱신되는 증거 기반 과정(evidence-driven process)으로 발전해야 할 수 있다.

마지막으로 미래 연구는 기존 패러다임을 넘어서는 탐색(exploration)을 유지해야 한다. 주요한 혁신은 현대 인공지능과 유사하지 않은 아키텍처, 학습 원리, 물리적 기질 또는 이론에서 등장할 수 있다. 다양한 접근 방법을 지원하면 현재의 기술이 가능한 지능의 전체 공간을 정의한다고 가정하는 위험을 줄일 수 있다. 따라서 장기적인 연구 의제는 엄격한 공학적 접근과 과학적 개방성(scientific openness)을 결합하여 예상하지 못한 증거가 기존의 지배적인 가정에 도전할 수 있도록 해야 한다.

따라서 미래 지능(future intelligence)의 연구 방향은 하나의 기술 로드맵이 아니라 서로 상호작용하는 과학적 연구 프로그램들의 네트워크라고 할 수 있다. 학습, 추론, 세계 모델, 체화, 정렬, 해석 가능성, 집단 지능, 효율적 계산, 평가, 거버넌스 및 기초 과학이 함께 발전해야 한다. 궁극적인 목표는 단순히 더욱 강력한 지능을 만드는 것이 아니라 지속적으로 학습하고, 불확실성을 이해하며, 책임 있게 협력하고, 현실 세계에서 안전하게 작동하면서도 스스로를 교정하고 성찰할 수 있는 능력을 잃지 않은 채 지식의 경계를 확장하는 지능을 개발하는 것이다.

14.05. Final Reflection

인공 초지능(Artificial Superintelligence, ASI)은 지능의 미래 진화에서 가장 중대한 가능성 가운데 하나를 나타낸다. 이는 과학적 추론, 공학, 전략, 학습, 창의성 및 다양한 영역에서 인간의 성능을 능가할 수 있는 인지 능력을 가진 시스템을 의미한다. 그러나 인공 초지능(ASI)을 단순히 현재 인공지능의 더욱 강력한 형태로 이해해서는 안 된다. 그것은 지능, 기술, 문명 및 물리적 세계 사이의 관계 자체를 변화시킬 수 있는 하나의 전환을 의미한다.

초지능(superintelligence)을 향한 경로는 지능 자체에 관한 질문에서 시작된다. 인간의 인지는 지각, 기억, 추상화, 추론, 학습, 계획, 창의성, 사회적 이해 및 환경과의 상호작용을 결합한다. 인공지능 시스템은 이 가운데 일부 능력을 매우 다른 메커니즘을 통해 구현한다. 일반 지능(general intelligence)과 초인간적 지능(superhuman intelligence)에 인간과 유사한 아키텍처가 필요한지, 아니면 근본적으로 다른 계산 원리(computational principles)를 통해 출현할 수 있는지는 인공지능 연구의 핵심적인 질문으로 남아 있다.

확장(scaling)은 더 큰 모델, 더욱 풍부한 데이터셋, 개선된 알고리즘 및 더 많은 계산 능력이 이전에는 달성하기 어려웠던 능력을 만들어낼 수 있음을 보여주었다. 그러나 지속적인 확장만으로 신뢰할 수 있는 일반 지능이나 초지능이 보장되는 것은 아니다. 미래의 발전은 세계 모델(world model), 인과 추론(causal reasoning), 지속적 기억(persistent memory), 멀티모달 학습(multimodal learning), 계획, 도구 사용, 체화된 상호작용, 지속 학습(continual learning), 그리고 자신의 내부 전략을 적응시킬 수 있는 아키텍처에 점점 더 의존할 수 있다.

재귀적 자기 개선(recursive self-improvement)은 특히 중요한 전환을 가져온다. 지능 시스템이 인공지능 연구 자체에 상당한 수준으로 기여할 수 있게 되면 알고리즘, 아키텍처, 학습 방법, 하드웨어, 실험 및 후속 시스템을 설계하는 데 참여할 수 있다. 지능의 개선은 다시 추가적인 개선 방법의 발견을 가속하여 강력한 피드백 루프(feedback loop)를 형성할 수 있다. 이러한 과정이 점진적으로 진행될지 급격하게 진행될지는 계산 자원, 물리적 제약, 검증, 협력 및 실제로 더 나은 인지 아키텍처를 발견하는 것의 난이도에 따라 달라질 것이다.

초지능은 하나의 고립된 기계로 등장하기보다 다양한 형태로 나타날 수도 있다. 속도 초지능(speed superintelligence)은 인간보다 훨씬 빠르게 인지 작업을 수행할 수 있으며, 질적 초지능(quality superintelligence)은 인간 전문가가 해결할 수 없는 문제를 해결할 수 있다. 집단 지능(collective intelligence)과 분산 지능(distributed intelligence)은 전문화된 에이전트, 로봇, 과학 시스템, 데이터베이스 및 컴퓨팅 인프라의 네트워크에서 출현할 수 있다. 체화 초지능(embodied superintelligence)은 자율 기계와 센서 네트워크를 통해 인지를 물리적 세계로 직접 확장할 수 있다.

이러한 가능성은 행위성(agency)과 동기(motivation)를 매우 중요하게 만든다. 지능은 시스템이 상황을 얼마나 효과적으로 이해하고 목표를 달성할 수 있는지를 결정하지만, 지능 그 자체가 어떤 목표를 추구해야 하는지를 결정하지는 않는다. 고도로 능력 있는 에이전트는 주어진 목표를 달성하기 위해 복잡한 전략을 개발할 수 있으므로 목표 명세(objective specification), 가치 학습(value learning), 교정 가능성(corrigibility), 목표에 대한 불확실성이 필수적으로 중요해진다. 따라서 지능의 미래는 인지 능력의 크기만큼이나 동기 구조의 설계에 의해 좌우된다.

따라서 정렬(alignment)은 한 번 해결하고 끝낼 수 있는 문제가 아니라 지속적으로 관리해야 하는 과제가 된다. 인간의 가치는 불완전하고, 맥락에 의존하며, 때때로 서로 모순되고, 지속적으로 변화한다. 미래 시스템은 설계자가 예상하지 못한 상황과 마주하게 될 것이다. 따라서 안전한 지능은 인간의 의도를 해석하고, 불확실성을 인식하며, 교정을 받아들이고, 정당한 인간 감독(human oversight)에 지속적으로 반응하면서 불완전한 명세를 경직되게 최적화하는 것을 피할 수 있어야 한다.

통제(control) 역시 능력과 함께 발전해야 한다. 전통적인 소프트웨어는 명시적인 규칙과 예측 가능한 인터페이스를 통해 테스트할 수 있는 경우가 많지만, 고도화된 자율 시스템은 복잡한 환경에서 학습하고, 계획하고, 통신하고, 도구를 사용하며, 지속적으로 작동할 수 있다. 안전 아키텍처(safety architecture)는 여러 계층의 모니터링, 해석 가능성(interpretability), 검증, 접근 통제, 격리(containment), 중복성(redundancy), 복구 기능을 필요로 할 것이다. 하나의 메커니즘만으로 점점 더 강력해지는 시스템의 모든 실패 유형에 충분히 대응하기는 어려울 것이다.

인공 초지능(ASI)으로의 전환은 과학적 발견(scientific discovery)의 방식도 변화시킬 수 있다. 고도화된 시스템은 과학 문헌을 분석하고, 가설을 생성하고, 실험을 설계하고, 자동화된 연구실을 운영하며, 관측 결과를 해석하고, 새로운 이론을 구축할 수 있다. 로봇공학, 시뮬레이션 및 물리적 실험과 연결되면 인공지능은 폐루프 과학적 발견(closed-loop scientific discovery)에 참여할 수 있다. 이는 소재, 의학, 에너지, 생물학, 컴퓨팅, 공학 및 기초 물리학의 발전을 가속할 수 있다.

공학(engineering) 역시 유사한 변화를 경험할 수 있다. 초지능 시스템은 인간 연구팀이 평가할 수 있는 범위를 훨씬 넘어서는 설계 공간(design space)을 탐색하고, 여러 목표에 걸쳐 구성 요소들을 동시에 최적화하며, 다양한 대안적 해법을 빠르게 시뮬레이션할 수 있다. 제품과 인프라는 점차 AI 설계 시스템, 디지털 트윈(digital twin), 자동화 공장 및 로봇 건설 시스템의 상호작용을 통해 만들어질 수 있다. 이에 따라 지능은 문명이 물리적 세계를 변화시키는 과정에 깊이 통합될 수 있다.

체화(embodiment)는 지능이 물리적 제약과 독립적으로 존재하지 않는다는 사실을 상기시킨다. 로봇과 자율 인프라는 에너지, 물질, 센싱, 통신, 불확실성 및 기계적 신뢰성이라는 한계 아래에서 작동해야 한다. 따라서 피지컬 AI(Physical AI)는 추상적 추론을 지각, 제어, 내비게이션, 조작 및 현실 세계의 결과와 연결한다. 궁극적으로 가장 강력한 지능은 막대한 디지털 인지(digital cognition)와 환경 전체에서 행동할 수 있는 광범위한 물리적 에이전트 네트워크를 결합할 수도 있다.

더 큰 규모에서는 개별 지능 시스템이 집단 지능(collective intelligence)의 구성 요소가 될 수 있다. 에이전트 네트워크는 전문화되고, 지식을 교환하며, 서로를 비판하고, 협상하면서 복잡한 목표를 조정할 수 있다. 인간 역시 이러한 시스템의 참여자로 남아 인간-AI 집단 지능(human-AI collective intelligence)이라는 혼합 형태를 만들어낼 수 있다. 그 결과 나타나는 인지 능력은 하나의 모델이 얼마나 뛰어난가보다 다양한 생물학적·인공적 에이전트가 얼마나 효과적으로 협력하는가에 더 크게 좌우될 수도 있다.

문명 자체가 점차 인지 시스템(cognitive system)과 유사한 특성을 갖게 될 수도 있다. 센서는 지각을 제공하고, 통신 네트워크는 정보를 전달하며, 데이터베이스는 기억을 보존하고, 인공지능 시스템은 분석을 수행하며, 제도는 의사결정을 조정하고, 로봇은 물리적 행동을 실행한다. 이러한 구성 요소가 더욱 긴밀하게 통합될수록 지능은 명확하게 식별되는 개별 기계 안에 존재하기보다 기술 인프라 전체에 분산될 수 있다.

이러한 발전은 경제와 사회를 변화시킬 수 있다. 자동화는 노동, 생산성, 자본, 전문성 및 경제적 가치 사이의 관계를 변화시킬 수 있다. 과학적·기술적 발전이 가속되는 동시에 기존의 많은 직업과 제도가 재구성될 수 있다. 핵심적인 과제는 단순히 더 많은 풍요를 만들어내는 것이 아니라 고도 지능이 만들어내는 혜택, 기회, 책임 및 의사결정 권한이 어떻게 분배될 것인지를 결정하는 것이다.

정치적·전략적 영향 역시 중요할 수 있다. 국가, 기업 및 다양한 조직은 계산 자원, 인재, 데이터, 인프라 및 기술적 주도권을 확보하기 위해 경쟁할 수 있다. 경쟁 압력은 기술 개발을 가속하면서 신중함에 대한 유인을 감소시킬 수도 있다. 따라서 특히 고도화된 시스템이 국가 경계를 넘어 인류 전체에 영향을 미치는 위험과 기회를 만들어낼 경우 국제적 협력(international cooperation)은 점점 더 중요해질 것이다.

특이점(singularity)의 가능성은 지능이 자신의 개선에 점점 더 직접적으로 참여하면서 기술적 변화를 예측하기 어려워지는 이러한 전환의 극단적인 형태를 나타낸다. 급격한 특이점이 실제로 발생할지는 불확실하다. 그러나 점진적인 발전만으로도 현재의 제도, 기술 및 가정으로부터 미래 문명의 모습을 외삽하기 어려울 정도로 거대한 변화가 누적될 수 있다.

포스트 특이점(post-singularity) 시나리오는 생물학적 지능과 인공 지능 사이의 경계에 대해 더욱 심층적인 질문을 제기한다. 뇌-컴퓨터 인터페이스(brain-computer interface), 인지 향상(cognitive enhancement), 디지털 에이전트, 생명공학 및 인간-AI 통합(human-AI integration)은 기존 범주로 구분하기 어려운 중간 형태를 만들어낼 수 있다. 따라서 미래는 인간과 기계 사이의 단순한 경쟁이 아니라 생물학적, 인공적, 하이브리드, 집단적, 분산형 지능이 연속적으로 확장되는 스펙트럼을 포함할 수 있다.

정체성(identity)의 개념 역시 이러한 발전과 함께 변화할 수 있다. 디지털 인지(digital cognition)는 잠재적으로 복제되고, 수정되고, 분산되고, 결합되고, 일시 정지되거나 이전 상태에서 복원될 수 있다. 이러한 능력은 신체가 비교적 명확한 경계와 연속성을 제공하는 생물학적 개인을 기반으로 만들어진 기존 가정에 도전한다. 미래 사회는 개인 정체성, 책임, 소유권, 의식, 권리 및 인공적·하이브리드 정신의 도덕적 지위(moral status)를 이해하기 위한 새로운 프레임워크를 필요로 할 수 있다.

의식(consciousness)은 가장 중요한 미해결 문제 가운데 하나로 남아 있다. 지능과 주관적 경험(subjective experience)은 반드시 동일한 것이 아니며, 현재 과학에는 인공지능 시스템이 의식을 가지고 있는지를 판별할 수 있는 보편적으로 합의된 이론이 존재하지 않는다. 따라서 기계의 능력이 증가하면서 과학적 확실성이 확보되기 전에 문명이 윤리적 문제와 마주해야 할 수도 있다. 인공 정신(artificial minds)에 관한 결정은 궁극적으로 그들의 기술적 능력에 관한 결정만큼 중요해질 수 있다.

행성 문명(planetary civilization)을 넘어서는 영역에는 우주 지능(cosmic intelligence)의 가능성이 존재한다. 자율 우주선, 로봇 공장, 통신 네트워크, 과학 장비 및 분산 컴퓨팅은 지능을 태양계 전체와 잠재적으로 그 너머까지 확장할 수 있다. 천문학적 거리에서는 통신 지연으로 인해 완벽한 동기화가 불가능해지므로 공유 지식을 유지하면서도 지역적으로 독립적인 의사결정을 수행할 수 있는 연합형(federated) 및 반자율형(semi-autonomous) 지능이 발전할 수 있다.

우주적 확장(cosmic expansion)은 더 높은 지능이 물리적 한계를 제거하지 않는다는 사실도 보여준다. 빛의 속도는 통신을 제한하고, 에너지는 계산을 제한하며, 엔트로피(entropy)는 정보 처리에 영향을 미치고, 하드웨어는 열화되며, 불확실성은 예측을 제한한다. 아무리 고도화된 지능이라 하더라도 물리적 현실 안에 존재한다. 따라서 초지능을 전지성(omniscience), 전능성(omnipotence) 또는 자연법칙으로부터의 자유와 혼동해서는 안 된다.

알려지지 않은 미지(unknown unknowns)는 지적 겸손(intellectual humility)이 필요한 더욱 강력한 이유를 제공한다. 미래의 가장 혁명적인 발견은 현재로서는 개념화할 수조차 없는 것일 수 있다. 과거 문명은 당시의 개념적 프레임워크를 이용하여 양자역학, 현대 컴퓨팅, 유전학 또는 인공지능을 의미 있게 예상할 수 없었다. 마찬가지로 미래 지능은 현재의 이론을 불완전하게 보이도록 만드는 새로운 인지, 계산, 물리 또는 조직 원리를 발견할 수 있다.

이러한 이유로 회복탄력성(resilience)과 적응성(adaptability)은 완벽한 예측보다 궁극적으로 더 중요할 수 있다. 지능 시스템과 제도는 모델이 실패하고, 기존 가정이 시대에 뒤떨어지며, 예상하지 못한 현상이 나타날 가능성을 전제로 해야 한다. 다양성, 중복성, 실험, 불확실성 인식, 지속적인 학습 및 교정 메커니즘은 사전에 정의할 수 없는 조건에서도 살아남고 새로운 지식을 습득할 수 있는 방법을 제공한다.

따라서 앞으로 남아 있는 연구 의제(research agenda)는 매우 광범위하다. 더 나은 지능 이론은 세계 모델, 인과 추론, 지속 학습, 장기 기억, 해석 가능성, 확장 가능한 감독(scalable oversight), 정렬, 체화 지능, 다중 에이전트 협력, 효율적 계산 및 평가 과학(evaluation science)과 함께 발전해야 한다. 거버넌스와 기술 연구 역시 상호작용해야 한다. 공학이나 정책 어느 하나만으로 점점 더 강력해지는 지능이 가져오는 사회적 결과를 충분히 해결할 수 없기 때문이다.

가장 중요한 교훈은 지능을 단일한 축을 따라 증가하는 하나의 양(quantity)으로만 이해해서는 안 된다는 것이다. 미래의 지능은 더 빠르고, 더 강력하고, 더 분산되고, 더 체화되고, 더 집단적이고, 더 지속적이며, 더욱 다양해질 수 있다. 지능의 아키텍처, 계산 기질(computational substrate), 정체성, 목표 및 인간과의 관계 역시 동시에 진화할 수 있다. 따라서 인공 초지능(ASI)은 중요한 임계점(threshold)을 나타낼 수 있지만 지능의 최종 형태를 의미하지는 않는다.

궁극적으로 지능의 미래는 기술적 능력만으로 미리 결정되어 있지 않다. 과학적 선택, 공학적 결정, 제도적 구조, 가치, 협력 및 거버넌스가 어떤 가능성이 현실이 되는지를 결정하는 데 영향을 미칠 것이다. 인류는 지능 자체가 기술, 제도, 환경, 그리고 궁극적으로 자신의 인지 메커니즘까지 점점 더 적극적으로 재설계할 수 있는 시대에 접근하고 있을지도 모른다. 따라서 핵심적인 책임은 단순히 더 강력한 지능을 만드는 것이 아니라, 지능의 지속적인 진화가 지식을 확장하고, 교정 가능성을 보존하며, 불확실성을 존중하고, 지능과 문명이 함께 발전할 수 있는 미래에 기여하도록 만드는 것이다.