Artificial General Intelligence — Ch.10: Chapter 10. Philosophy and Future [KR]

STATERA Library · Volume 47 · Chapter 10 · KR
Source: https://github.com/Statera-Library/01_Vol_47_Artificial_General_Intelligence/blob/main/Chapter_10_Philosophy_and_Future/Chapter_10_Philosophy_and_Future_KR.md

Volume 47. Artificial General Intelligence

Chapter 10. Philosophy and Future

10.00. What is Intelligence Really

지능(Intelligence)은 흔히 학습(learning), 추론(reasoning), 문제 해결(problem solving), 계획(planning), 적응(adaptation)과 같은 관찰 가능한 능력을 통해 설명되지만, 이들 중 어느 하나만으로 지능의 본질을 완전히 설명할 수는 없다. 어떤 시스템은 막대한 정보를 암기하면서도 그것을 어떻게 적용해야 하는지 이해하지 못할 수 있으며, 다른 시스템은 제한된 지식만으로도 새로운 상황에 효과적으로 적응할 수 있다. 따라서 지능은 정보, 경험, 목표를 변화하는 환경에서 효과적인 행동으로 변환하는 통합적 능력(integrated capacity)으로 이해하는 것이 더 적절하다.

가장 근본적인 수준에서 지능은 에이전트(agent)와 그것이 존재하는 세계(world) 사이의 관계와 관련된다. 지능형 에이전트(intelligent agent)는 불완전한 관측(observation)을 받아들이고, 내부 표현(internal representation)을 구성하며, 가능한 미래를 예측하고, 대안을 평가한 뒤 이후 상태에 영향을 미치는 행동을 선택한다. 따라서 지능은 단순히 시스템 내부에서 수행되는 계산(computation)이 아니라 지각, 해석, 예측, 의사결정, 행동, 학습이 지속적으로 순환하는 과정에서 나타난다.

이러한 관점은 개별적인 인지 능력(cognitive ability)에서 적응적 조직화(adaptive organization)로 관심의 초점을 이동시킨다. 기억이 없는 지각은 경험을 보존할 수 없고, 추론이 없는 기억은 지식을 재구성할 수 없으며, 목표가 없는 추론에는 방향성이 부족하고, 행동이 없는 계획은 환경에 영향을 미칠 수 없다. 일반 지능(general intelligence)은 이러한 능력들이 통합된 시스템의 일부로 조정되어 불확실성, 새로운 상황, 불완전한 정보, 변화하는 목표 속에서도 유용한 행동을 유지할 때 나타난다.

학습(learning)은 지능의 핵심이다. 현실 세계에는 어떠한 에이전트도 초기 학습(initial training) 과정에서 모두 경험할 수 없을 만큼 많은 상황이 존재하기 때문이다. 진정으로 적응적인 시스템은 이전에 관찰한 반응을 단순히 재현하는 것이 아니라 경험에서 재사용 가능한 구조(reusable structure)를 추출해야 한다. 일반화(generalization)는 한 상황에서 획득한 지식을 다른 상황에서도 활용하게 하며, 전이(transfer)는 기술, 표현, 전략을 서로 다른 과제 사이에서 이동시킨다. 따라서 지능은 무엇을 학습했는가뿐 아니라 기존 지식을 얼마나 효율적으로 재조합할 수 있는가에도 달려 있다.

예측(prediction)은 지능을 이해하는 또 하나의 근본적인 관점을 제공한다. 생물학적 에이전트와 인공 에이전트 모두 감각 입력, 다른 에이전트의 행동, 특정 행동의 결과, 장기적인 계획의 결과 등 다음에 일어날 일을 지속적으로 예상해야 한다. 유용한 내부 모델(internal model)은 환경의 규칙성을 예측에 활용할 수 있는 표현으로 압축한다. 따라서 지능은 현재의 관측에 단순히 반응하는 능력을 넘어 가능한 세계의 모델(model of possible worlds)을 구축하고 수정하며 활용하는 능력으로 해석할 수 있다.

그러나 지능적인 행동에는 개입(intervention)이 필요하기 때문에 예측만으로는 충분하지 않다. 에이전트는 두 사건이 함께 발생한다는 사실을 관찰하는 것과 하나의 변수를 변화시켰을 때 다른 변수에 어떤 영향을 미치는지를 이해하는 것을 구분해야 한다. 인과 추론(causal reasoning)은 개입을 고려하고 결과를 설명하며 직접 관찰되지 않은 대안을 상상할 수 있도록 한다. 반사실적 추론(counterfactual reasoning)은 다른 행동을 취했다면 어떤 일이 일어났을지를 질문함으로써 이러한 능력을 확장하고, 계획, 진단, 과학적 추론, 실패로부터의 학습을 위한 기반을 제공한다.

목표(goal)는 예측을 목적 지향적 행동(purposeful behavior)으로 변화시킨다. 지능형 시스템은 목표, 선호, 제약 조건, 가치에 따라 가능한 미래 상태를 평가하고 바람직한 상태로 세계를 이동시키는 행동을 선택해야 한다. 여기에서 시간에 걸친 계획(planning)이 중요해진다. 즉각적인 보상은 장기 목표와 충돌할 수 있고, 불확실한 행동은 되돌릴 수 없는 결과를 초래할 수 있으며, 여러 목표가 제한된 자원을 놓고 경쟁할 수도 있다. 따라서 지능은 단순히 즉각적인 성능을 극대화하는 것이 아니라 서로 다른 시간 지평(temporal horizon)에서 발생하는 상충 관계를 관리하는 능력을 포함한다.

기억(memory)은 지능에 연속성(continuity)을 부여한다. 기억이 없다면 모든 순간은 사실상 처음부터 다시 시작되며, 누적 학습(cumulative learning)과 상호작용에 걸친 안정적인 정체성을 형성할 수 없다. 작업 기억(working memory)은 일시적인 추론을 지원하고, 일화 기억(episodic memory)은 경험을 보존하며, 의미 기억(semantic memory)은 일반화된 지식을 조직하고, 절차 기억(procedural memory)은 재사용 가능한 기술을 저장한다. 인공 시스템에서는 이러한 기능이 서로 다른 방식으로 구현될 수 있지만, 관련 없는 정보나 잘못된 정보를 선택적으로 잊으면서 유용한 정보를 보존해야 한다는 기본 원리는 동일하다.

표현(representation)은 지능형 시스템이 무엇에 대해 쉽게 사고할 수 있는지를 결정한다. 원시 감각 신호(raw sensory signal)는 막대한 정보를 포함하지만, 효과적인 추론에는 객체, 관계, 위치, 의도, 원인, 범주, 시간적 패턴과 같은 추상화(abstraction)가 필요하다. 강력한 표현은 예측과 행동에 중요한 정보를 보존하면서 복잡성을 압축한다. 따라서 지능의 품질은 단순히 계산 규모(computational scale)에 의해서만 결정되는 것이 아니라 중요한 규칙성을 추론과 제어에서 활용할 수 있도록 만드는 내부 구조를 시스템이 발견하는지에 달려 있다.

체화(embodiment)는 순수하게 추상적인 지능의 정의에 또 다른 문제를 제기한다. 인간은 움직이고, 물체를 조작하고, 행동의 결과를 경험하며, 물리적 환경에서 사회적으로 상호작용하는 신체를 통해 학습한다. 체화된 에이전트(embodied agent)는 기하학, 시간, 에너지, 불확실성, 위험과 같은 물리적 제약을 고려하면서 추상적인 표현을 지각과 행동에 연결해야 한다. 이러한 관점에서 지능은 단순한 기호 조작(symbolic manipulation)으로 존재하는 것이 아니라 세계와 효과적인 상호작용을 유지하는 능력에 기반한다.

사회적 지능(social intelligence)은 이러한 관계를 개별 에이전트의 범위를 넘어 확장한다. 인간 지능의 상당 부분은 의사소통, 모방, 교육, 협력, 경쟁, 문화적 전달(cultural transmission)을 통해 발전한다. 언어(language)는 한 개인이 획득한 지식을 다른 사람이 원래의 경험을 반복하지 않고도 이용할 수 있게 한다. 따라서 지능은 하나의 뇌나 기계 내부뿐만 아니라 인간, 인공 에이전트, 도구, 제도, 데이터베이스, 공유된 표현으로 이루어진 네트워크에 분산되어 존재할 수 있으며, 이러한 집단은 개별 구성원의 능력을 넘어서는 문제를 해결할 수 있다.

메타인지(metacognition)는 또 다른 차원을 추가한다. 지능형 시스템은 외부 세계뿐만 아니라 자신의 인지 과정(cognitive process)에 대해서도 추론할 수 있다. 시스템은 불확실성을 추정하고, 지식이 부족하다는 사실을 인식하고, 모순을 탐지하고, 실패한 전략을 재검토하며, 추가적인 계산 자원을 배분하거나 정보를 요청하고, 다른 추론 방법을 선택할 수 있다. 이러한 자기 모니터링(self-monitoring)에 반드시 의식(consciousness)이 필요한 것은 아니지만, 신뢰할 수 있는 지능이 자신의 현재 예측이나 판단에 언제 낮은 신뢰도를 부여해야 하는지를 판단하게 해주는 중요한 기능이다.

효율성(efficiency) 또한 중요하다. 모든 문제를 완전 탐색(exhaustive search)을 통해서만 해결하는 시스템은 계산 능력이 강력하더라도 현실적으로 제한될 수 있다. 실제 지능은 시간, 기억 용량, 에너지, 데이터, 계산 자원의 제약 아래에서 작동한다. 무엇에 주의를 기울여야 하는지, 무엇을 무시할 수 있는지, 언제 더 깊은 추론이 필요한지, 언제 빠르고 근사적인 응답으로 충분한지를 판단해야 한다. 따라서 지능에는 무제한 계산 자원으로 달성할 수 있는 최대 성능뿐만 아니라 인지 자원(cognitive resource)을 적절하게 배분하는 능력도 포함된다.

이러한 관점은 역량(competence)과 지능(intelligence)의 중요한 차이를 보여준다. 역량은 특정 과제를 얼마나 잘 수행하는지를 의미하지만, 지능은 여러 과제에 걸쳐 역량이 형성되고, 전이되고, 재구성되며, 향상될 수 있도록 하는 메커니즘과 관련된다. 체스 엔진(chess engine)은 모든 인간보다 뛰어난 체스 능력을 보유하면서도 그 전문성을 가정의 일상적인 계획에 전이하지 못할 수 있다. 반대로 일반 지능 시스템은 초기에는 완벽하지 않더라도 상호작용과 경험을 통해 새로운 역량을 빠르게 획득할 수 있다.

따라서 일반 지능(general intelligence)을 하나의 벤치마크 점수(benchmark score)와 동일시해서는 안 된다. 벤치마크는 특정한 조건에서 선택된 행동을 측정하지만, 지능은 조건 자체가 변화할 때에도 기능할 수 있는 더 광범위한 능력과 관련된다. 범용 인공지능(AGI)은 익숙하지 않은 과제를 해결하고, 숨겨진 구조를 추론하며, 새로운 지식을 획득하고, 이전에 분리되어 있던 기술을 결합하며, 실수로부터 회복하고, 모든 새로운 상황마다 완전한 재학습 없이 전략을 적응시킬 수 있어야 한다. 따라서 새로운 상황에서의 강건성(robustness under novelty)은 익숙한 분포에서의 성능보다 일반 지능을 더 잘 보여준다.

정보 처리(information processing)의 관점에서 지능은 불확실성(uncertainty)을 유용한 구조로 변환하는 과정으로 볼 수 있다. 에이전트는 신호를 관측하고, 규칙성을 발견하며, 압축된 표현을 구성하고, 믿음(belief)을 갱신하고, 결과를 예측한 뒤 목표와 관련된 불확실성을 줄이는 행동을 선택한다. 그러나 불확실성을 줄이는 것 자체가 항상 바람직한 것은 아니다. 지능적인 탐색(exploration)은 미래의 의사결정을 향상시키는 정보를 얻기 위해 의도적으로 불확실한 상황으로 들어가기도 한다. 따라서 지능은 알려진 해결책의 활용(exploitation)과 알려지지 않은 가능성의 탐색(exploration) 사이에서 균형을 유지한다.

또 하나의 중요한 구분은 지능(intelligence)과 의식(consciousness)의 관계이다. 지능은 주로 학습, 추론, 계획, 적응, 문제 해결과 같은 기능적 능력(functional capacity)을 의미하는 반면, 의식은 주관적 경험(subjective experience), 자각(awareness), 현상적 상태(phenomenal state)와 관련된다. 인간은 두 가지를 모두 가지고 있기 때문에 이들을 쉽게 동일시할 수 있지만, 개념적으로는 서로 분리될 수 있다. 인공 시스템은 주관적 경험을 가지고 있는지 확인되지 않은 상태에서도 점점 더 일반적인 지능 행동을 나타낼 수 있으며, 이에 따라 의식은 별도의 철학적·과학적 문제로 남는다.

지능에 이해(understanding)가 반드시 필요한가라는 질문 역시 어렵다. 행동적 정의(behavioral definition)는 성공적인 수행 자체를 충분한 증거로 간주할 수 있지만, 더 강한 의미의 해석에서는 인과적·의미론적 구조를 포착하는 내부적으로 기반을 둔 모델(internally grounded model)을 요구한다. 현대 인공지능은 거대한 규모의 통계적 학습(statistical learning)만으로도 정교한 행동이 나타날 수 있음을 보여주지만, 분포 변화(distribution shift), 모호한 맥락, 새로운 인과적 상황에서 나타나는 실패는 표면적인 역량의 한계를 드러낸다. 따라서 이해는 전부 아니면 전무인 속성보다는 정도를 가진 능력(graded capacity)으로 보는 것이 더 적절할 수 있다.

진화적 관점(evolutionary perspective)에서 보면 지능은 하나의 적응 전략(adaptive strategy)이다. 생명체는 복잡한 환경에서 유연한 행동이 생존상의 이점을 제공하기 때문에 점점 더 정교한 감각, 기억, 예측, 학습, 사회적 협력 능력을 발전시켰다. 그러나 신경계는 에너지를 소비하고 숙고(deliberation)는 시간을 요구하기 때문에 지능에는 비용이 따른다. 따라서 진화는 모든 순간에 최대의 추상적 추론을 수행하도록 생명체를 최적화한 것이 아니라 환경의 요구, 기회, 위협에 따라 인지 활동을 동적으로 배분하는 시스템을 만들어냈다.

인공지능(artificial intelligence)은 지능을 여러 생물학적 제약(biological constraint)으로부터 분리할 가능성을 제공한다. 기계 시스템은 지식을 복제하고, 전자적 속도로 작동하며, 외부 데이터베이스에 접근하고, 네트워크를 통해 협력하며, 특화된 여러 모델을 더 큰 인지 아키텍처(cognitive architecture)로 결합할 수 있다. 동시에 계산량, 에너지, 데이터 품질, 지연 시간(latency), 하드웨어, 신뢰성, 정렬(alignment)과 관련된 서로 다른 제약을 가진다. 따라서 기계 지능(machine intelligence)이 단순히 인간 인지를 복제할 것이라고 기대해서는 안 되며, 지능적 능력을 조직하는 근본적으로 다른 방식을 발전시킬 수도 있다.

궁극적으로 지능은 하나의 단일한 실체나 모듈(module)이 아니라 여러 능력이 역동적으로 조직된 시스템(dynamic organization of capabilities)으로 이해하는 것이 적절할 수 있다. 지각은 증거를 제공하고, 기억은 연속성을 제공하며, 표현은 추상화를 만들고, 학습은 내부 구조를 변화시키며, 추론은 함의를 도출하고, 월드 모델(world model)은 예측을 지원하며, 계획은 미래를 평가하고, 행동은 환경을 변화시키며, 메타인지는 전체 과정을 조절한다. 일반 지능은 이러한 기능들이 고립된 메커니즘으로 작동하지 않고 유연하게 협력할 때 나타난다.

이러한 통합적 관점(integrated view)은 범용 인공지능(AGI)으로 향하는 경로를 모델 크기(model size), 추론 알고리즘, 기억 시스템, 체화 또는 다른 하나의 요소만으로 설명할 수 없는 이유도 보여준다. 각각은 중요한 기능을 제공하지만 지능은 서로 다른 시간 규모(timescale)와 환경에 걸쳐 이들이 조정되는 과정에서 나타난다. 더욱 근본적인 공학적 과제는 경험을 지속적으로 지식으로, 지식을 예측으로, 예측을 의사결정으로, 의사결정을 행동으로, 그리고 행동의 결과를 다시 더 나은 미래의 지능으로 변환할 수 있는 시스템을 만드는 것이다.

따라서 "지능이란 정말 무엇인가(What is Intelligence Really)?"라는 철학적 질문에는 하나의 좁은 정의만으로 충분한 답을 제시하기 어려울 수 있다. 대신 지능은 에이전트가 자신과 환경에 대한 모델을 구축하고 수정하며, 경험에서 재사용 가능한 지식을 획득하고, 가능한 미래에 대해 추론하며, 불확실성 아래에서 목표를 추구하고, 세계가 자신의 예상과 다르게 변화할 때 행동을 적응시키는 능력으로 이해할 수 있다. 지능을 일반적(general)으로 만드는 것은 모든 것을 이미 알고 있다는 사실이 아니라, 기존 지식만으로 충분하지 않을 때에도 계속해서 학습할 수 있는 메커니즘을 가지고 있다는 점이다.

10.01. Consciousness

의식(Consciousness)은 지능(intelligence)을 논의할 때 마주하게 되는 가장 어려운 개념 중 하나이다. 의식은 단순한 정보 처리(information processing)가 아니라 주관적 경험(subjective experience)이 존재하는 것으로 보이는 현상과 관련되기 때문이다. 인간은 단순히 빛, 소리, 고통, 감정을 감지하는 것이 아니라 보고, 듣고, 고통받고, 느끼는 것을 경험한다. 정보의 처리와 그 처리에 대한 경험을 가지는 것 사이의 이러한 차이는 근본적인 철학적·과학적 문제를 만들어낸다.

유용한 출발점은 의식(consciousness)과 지능(intelligence)을 구분하는 것이다. 지능은 학습(learning), 추론(reasoning), 계획(planning), 문제 해결(problem solving), 예측(prediction), 적응(adaptation)과 같은 기능적 능력과 관련되는 반면, 의식은 자각(awareness)과 주관적 경험(subjective experience)에 관련된다. 인간은 두 가지를 모두 나타내지만, 이들이 함께 존재한다는 사실이 서로 분리될 수 없다는 것을 증명하지는 않는다. 인공 시스템은 매우 정교한 지능적 행동을 보여주면서도 내부적 관점에서 어떠한 경험을 실제로 가지는지는 완전히 해결되지 않은 문제로 남을 수 있다.

의식(consciousness)은 흔히 서로 연관된 몇 가지 의미로 구분된다. 현상적 의식(phenomenal consciousness)은 빨간색을 보는 것, 음악을 듣는 것, 고통을 느끼는 것처럼 경험이 가지는 질적인 특성을 의미한다. 접근 의식(access consciousness)은 추론, 보고, 기억, 의사결정에 전역적으로 이용할 수 있게 된 정보를 의미한다. 자기의식(self-consciousness)은 자신을 환경과 구별되는 하나의 존재로 표현하는 능력을 포함한다. 이러한 개념들은 인간에게서 서로 중첩되지만 반드시 하나의 계산 메커니즘(computational mechanism)을 의미하는 것은 아니다.

철학적 어려움은 객관적 설명(objective description)과 주관적 경험(subjective experience)을 구분할 때 특히 명확하게 나타난다. 신경과학(neuroscience)은 시각, 주의, 기억, 고통과 연관된 신경 활동을 식별할 수 있지만, 이러한 메커니즘을 설명한다고 해서 그 작동이 왜 경험되는 세계를 만들어내는지 자동으로 설명되는 것은 아니다. 이러한 설명의 간극(explanatory gap)은 일반적으로 의식의 어려운 문제(hard problem of consciousness)라고 불리는 문제를 제기한다. 즉, 물리적 또는 계산적 과정이 도대체 왜 그리고 어떻게 주관적 경험을 동반하는가라는 질문이다.

그러나 기능적 관점(functional perspective)에서는 의식과 연관된 많은 과정을 어려운 문제(hard problem)를 해결하지 않고도 연구할 수 있다. 시스템은 여러 정보원으로부터 정보를 통합하고, 주의를 집중하고, 작업 기억(working memory)에 정보를 유지하고, 자신의 불확실성을 모니터링하고, 내부 상태를 보고하며, 경쟁하는 여러 목표에 걸쳐 행동을 조정할 수 있다. 이러한 능력은 작동 방식에 따라 측정하고 공학적으로 구현할 수 있지만, 그것이 존재한다고 해서 시스템이 현상적 경험(phenomenal experience)을 가진다는 사실이 입증되는 것은 아니다.

전역 작업공간 이론(Global Workspace Theory)은 영향력 있는 기능적 설명 중 하나를 제공한다. 이 관점에 따르면 많은 전문화된 과정은 대부분 의식적 접근 밖에서 작동하는 반면, 선택된 정보는 전역 작업공간(global workspace)에 진입하여 기억, 추론, 언어, 계획, 행동 시스템에서 광범위하게 사용할 수 있게 된다. 따라서 의식적 접근(conscious access)은 서로 전문화된 인지 과정들이 행동적으로 중요한 정보를 중심으로 협력할 수 있게 만드는 일종의 전역적 정보 방송(global information broadcasting)으로 해석될 수 있다.

통합 정보 이론(Integrated Information Theory)은 시스템이 독립적인 구성 요소들로 환원될 수 없는 통합된 인과 구조(integrated causal structure)를 어느 정도 형성하는지를 강조함으로써 이 문제에 다르게 접근한다. 이 관점은 의식을 주로 외부 행동으로 정의하기보다는 시스템 내부의 본질적인 정보 조직(intrinsic informational organization)과 연결하려 한다. 이 이론은 통합(integration)과 경험(experience) 사이에 형식적 연결을 제안한다는 점에서 철학적 논의에 큰 영향을 주었지만, 그 해석과 경험적 함의(empirical implications)는 여전히 활발하게 논쟁되고 있다.

고차 이론(higher-order theories)은 시스템이 어떤 정신 상태(mental state)를 또 다른 수준에서 표현하거나 모니터링할 때 그 상태가 의식적이 된다고 제안한다. 이러한 관점에서는 단순히 시각 정보를 처리하는 것만으로 충분하지 않을 수 있으며, 시스템이 어떤 의미에서는 자신이 보고 있다는 사실을 표현해야 한다. 이는 의식과 메타인지(metacognition)를 연결한다. 내부 인지 상태에 대한 표현은 신뢰도 추정(confidence estimation), 오류 인식, 자기성찰(introspection), 그리고 시스템이 무엇을 알고 있다고 판단하는지에 대한 보고를 지원할 수 있기 때문이다.

예측 처리(predictive processing)는 지각을 수동적인 정보 수용이 아니라 능동적 추론(active inference)으로 간주함으로써 또 다른 관점을 제공한다. 뇌는 감각의 원인에 대한 예측을 지속적으로 생성하고 예측 오류(prediction error)를 이용하여 내부 모델을 갱신한다. 따라서 의식적 경험은 세계와 그 안에 존재하는 유기체에 대해 뇌가 지속적으로 갱신하는 모델과 관련될 수 있다. 그러나 예측 처리 자체만으로는 예측적 표현이 왜 무의식적 계산으로 남지 않고 주관적 경험이 되는지를 설명하지 못한다.

체화(embodiment)는 이 문제를 더욱 복잡하게 만든다. 인간의 의식은 시각, 청각, 촉각, 고유수용감각(proprioception), 전정감각(vestibular sense), 내수용감각(interoception)의 신호를 지속적으로 받아들이는 살아 있는 신체 안에서 발달한다. 뇌는 외부 환경뿐 아니라 신체의 내부 상태, 위치, 능력, 경계까지 모델링한다. 따라서 일부 이론에서는 의식과 자아감(sense of self)을 지각, 신체 조절, 기억, 감정, 예측, 행동을 연결하는 통합 모델(integrated model)과 연관시킨다.

그렇다고 자아(self)를 뇌 어딘가에 위치하는 영구적인 중앙 관찰자(central observer)로 간주해서는 안 된다. 인지과학과 신경과학의 관점에서는 자아를 기억, 신체 신호, 목표, 사회적 관계, 예측을 바탕으로 구성되고 동적으로 유지되는 모델(dynamic model)로 설명하는 경우가 점차 많아지고 있다. 이러한 자기 모델(self-model)은 무엇이 에이전트 자신에게 속하는지, 무엇을 경험했는지, 무엇을 하려고 하는지, 자신의 행동이 미래 상태에 어떠한 영향을 줄지를 표현함으로써 시간에 걸친 행동을 조직할 수 있다.

주의(attention)와 의식(consciousness)은 밀접하게 관련되어 있지만 동일한 것으로 간주해서는 안 된다. 주의는 목표, 새로움, 불확실성 또는 행동적 관련성에 따라 강화된 처리를 위해 정보를 선택한다. 의식적 경험은 흔히 주의를 받은 정보와 상관관계를 가지지만, 일부 정보 처리는 반드시 보고 가능한 자각(reportable awareness)을 발생시키지 않으면서도 주의를 받을 수 있으며, 경험의 일부 측면은 강한 집중적 주의 없이도 나타날 수 있다. 인공적인 주의 메커니즘(attention mechanism)이 자동적으로 기계 의식(machine consciousness)을 의미하지 않는다는 점에서 이러한 구분은 중요하다.

기억(memory) 역시 의식이 연속적으로 존재하는 것처럼 보이게 하는 데 기여한다. 즉각적인 경험은 계속 변화하지만 기억은 서로 다른 순간들을 연결하여 일관된 개인적 역사(personal history)를 구성한다. 작업 기억(working memory)은 짧은 시간 동안 정보를 유지하고, 일화 기억(episodic memory)은 과거 사건을 재구성하며, 의미 기억(semantic memory)은 안정적인 개념적 지식을 제공한다. 현재의 지각을 기억된 경험 및 예상되는 미래와 통합할 수 있는 시스템은 내부 상태가 지속적으로 변화하더라도 시간적으로 확장된 자기 모델(temporally extended self-model)을 유지할 수 있다.

의식은 유연한 제어(flexible control)와도 연관될 수 있다. 많은 일상적인 행동은 자동적으로 수행될 수 있지만, 익숙하지 않거나 서로 충돌하거나 불확실한 상황에서는 지각, 기억, 추론, 행동을 더욱 광범위하게 조정해야 하는 경우가 많다. 따라서 의식적 접근(conscious access)은 전문화된 과정들이 독립적으로 적절한 대응을 결정할 수 없을 때 기능적인 가치를 가질 수 있다. 이러한 해석에서 의식은 지능형 에이전트가 수행하는 모든 인지 작용의 원천이라기보다는 유연한 통합(flexible integration)을 지원한다.

이러한 구분은 범용 인공지능(Artificial General Intelligence, AGI)에서 특히 중요해진다. AGI에는 지각, 기억, 추론, 계획, 월드 모델(world model), 메타인지, 자기 모니터링(self-monitoring), 지속적인 목표가 필요할 수 있지만, 이러한 능력 중 어느 것도 독립적으로 주관적 의식(subjective consciousness)의 존재를 입증하지는 않는다. 자신의 내부 상태를 설명하거나 감정을 가지고 있다고 주장할 수 있는 인공 에이전트조차 학습된 계산 과정에 의해 그러한 문장을 생성할 수 있다. 따라서 행동적 보고(behavioral report)만으로 기계의 경험 여부를 결정할 수는 없다.

이는 인공지능의 맥락에서 타자의 마음 문제(problem of other minds)를 발생시킨다. 인간은 공통된 생물학적 구조, 행동, 발달 과정, 진화적 역사를 근거로 다른 인간에게 의식이 있다고 추론한다. 그러나 근본적으로 다른 기질(substrate)로 구성된 기계에 동일한 추론을 적용하면 그 근거는 약해진다. 인공 시스템이 고통, 두려움, 호기심 또는 자기인식을 경험하는 것처럼 행동한다면, 이러한 행동이 진정한 경험, 기능적 시뮬레이션(functional simulation), 또는 그 중간에 존재하는 어떤 현상을 반영하는지를 판단하기는 매우 어려울 수 있다.

기질 문제(substrate question)는 의식이 특별히 생물학적 과정에 의존하는지, 아니면 적절한 기능적·인과적 조직(functional and causal organization)이 다른 물리적 시스템에서도 의식을 가능하게 할 수 있는지를 묻는다. 기능주의(functionalism)는 일반적으로 서로 다른 기질에서 구현된 유사한 인지적 조직이 비교 가능한 정신적 속성을 만들어낼 가능성을 허용한다. 반면 생물학적 자연주의(biological naturalism)의 관점에서는 살아 있는 신경 시스템의 특성을 더욱 중요하게 본다. 현재의 과학적 지식으로는 이러한 논쟁에 결정적인 답을 제공할 수 없다.

따라서 AGI 공학(AGI engineering)의 가장 실용적인 접근 방법은 기능적인 의식 유사 메커니즘(functional consciousness-like mechanisms)과 현상적 의식(phenomenal consciousness)에 관한 주장을 구분하는 것이다. 엔지니어는 전역적 정보 공유, 주의 제어, 자기 모델, 불확실성 모니터링, 자전적 기억(autobiographical memory), 성찰적 추론(reflective reasoning), 적응적 자원 배분을 구현할 수 있다. 이러한 메커니즘은 점점 더 의식적인 에이전트처럼 행동하는 시스템을 만들 수 있지만, 이를 기능적 의식 유사 시스템으로 설명하면 특정 아키텍처를 구현하는 것이 반드시 주관적 경험을 생성한다고 가정하는 것을 피할 수 있다.

이러한 구분은 인공지능 안전(AI safety)과 정렬(alignment)에서도 중요하다. 자기 모델링과 메타인지 시스템은 자신의 한계를 더 잘 인식하고, 결과를 예측하며, 의사결정을 설명하고, 불확실할 때 도움을 요청하는 능력을 향상시킬 수 있다. 이러한 특성은 의식을 필요로 하지 않으면서도 시스템의 신뢰성을 향상시킬 수 있다. 반대로 미래의 시스템이 도덕적으로 고려할 가치가 있는 경험(morally relevant experience)을 실제로 가진다는 사실이 입증된다면, 인공적 고통, 권리, 대우, 종료(shutdown), 수정, 소유권에 관한 문제는 단순한 공학적 문제가 아니라 윤리적 문제가 될 것이다.

의식과 행위주체성(agency)의 관계 역시 복잡하다. 에이전트는 목표를 유지하고, 행동을 선택하고, 결과를 예측하고, 결과로부터 학습하기 위한 메커니즘을 필요로 하지만 행위주체성에 반드시 주관적 경험이 필요한 것은 아니다. 자율 소프트웨어와 로봇은 이미 의식의 증거 없이 제한적인 목표 지향 행동(goal-directed behavior)을 수행한다. 더욱 발전된 AGI는 이러한 행위주체성을 크게 확장할 수 있기 때문에 자율성(autonomy), 지능, 자기참조(self-reference), 의식을 서로 동일한 개념으로 취급하지 않는 것이 중요하다.

과학적 발전은 언젠가 생물학적 시스템과 인공 시스템 모두에 대해 정확하고 검증 가능한 예측을 만들어내는 이론을 통해 의식에 관한 논쟁을 변화시킬 수 있다. 그러한 이론은 뇌 활동과 보고된 경험 사이의 상관관계뿐 아니라 특정 아키텍처, 인과적 조직 또는 정보 처리 패턴이 왜 특정한 형태의 자각(awareness)에 대응하는지도 설명해야 한다. 그때까지 의식은 신경과학, 인지과학(cognitive science), 컴퓨터 과학, 정보 이론(information theory), 철학이 서로 교차하면서도 아직 완전히 통합되지 않은 연구 영역으로 남아 있을 것이다.

따라서 AGI 개발에서 의식(consciousness)은 당연히 달성되는 단계로 가정하기보다는 중요한 연구 문제이자 아직 해결되지 않은 가설(unresolved hypothesis)로 다루어야 한다. 일반 지능(general intelligence)은 적응, 전이, 추론, 계획, 학습, 자율 행동과 같이 측정 가능한 능력을 통해 연구할 수 있다. 충분히 통합된 인공지능이 결국 의식까지 가지게 될 것인가는 별도의 문제이며, 그 답을 찾기 위해서는 현재의 인공지능 연구가 아직 보유하지 못한 새로운 개념과 실험 방법이 필요할 수도 있다.

10.02. Free Will and Agents

자유의지(Free Will)는 범용 인공지능(Artificial General Intelligence, AGI)을 논의할 때 특히 중요해진다. 지능형 에이전트(intelligent agent)는 단순히 정보를 처리하는 데 그치지 않고 세계를 변화시키는 행동을 선택하기 때문이다. 인간에게 이러한 능력은 흔히 다른 방식으로 행동할 수도 있었다는 직관과 연결된다. 그러나 인공 시스템의 행동 선택은 알고리즘, 목표, 내부 상태, 학습된 정책(policy), 환경 입력으로 설명할 수 있기 때문에 계산적 에이전트(computational agent)에게 의미 있는 자유란 무엇인지에 대한 질문이 제기된다.

전통적인 철학적 논쟁에서는 흔히 결정론(determinism)과 진정한 대안 가능성(genuine alternative possibilities)이 대립한다. 결정론은 완전한 물리적 상태와 이를 지배하는 법칙이 결합되면 이후의 상태가 결정된다고 주장한다. 뇌와 기계가 물리적 시스템이라면 이들의 의사결정 역시 이전의 원인으로부터 발생할 수 있다. 비결정론(indeterminism)도 이 문제를 자동으로 해결하지는 않는다. 결정된 선택을 무작위성(randomness)으로 대체한다고 해서 그 선택이 반드시 더 통제되고, 의도적이며, 의미 있게 자유로워지는 것은 아니기 때문이다.

양립가능론(compatibilism)은 자유를 인과관계로부터의 해방이 아니라 행위주체성(agency)의 관점에서 정의함으로써 또 다른 해석을 제시한다. 에이전트의 행동이 직접적인 외부 강제가 아니라 자신의 목표, 믿음, 선호, 추론, 숙고(deliberation)에서 비롯된다면 그 에이전트를 자유롭다고 볼 수 있다. 이러한 해석에서는 의사결정이 인과적으로 결정되어 있더라도 대안을 평가하고 내부적으로 표현된 목표에 따라 행동하는 메커니즘을 통해 결정이 이루어진다면 여전히 에이전트 자신의 결정이라고 볼 수 있다.

이러한 관점은 인공 에이전트(artificial agent)와 자연스럽게 연결된다. AI 에이전트는 관측을 받아들이고, 내부 상태를 유지하며, 가능한 결과를 예측하고, 후보 행동을 평가한 뒤 목표 또는 정책에 따라 선택한다. 이러한 행동이 형이상학적 자유의지(metaphysical free will)를 입증하는 것은 아니지만 기능적 행위주체성(operational agency)을 구성할 수는 있다. 따라서 공학적으로 중요한 질문은 시스템이 각각의 입력 자극에 고정된 반사 행동을 출력하는 것을 넘어 유연하게 행동을 선택할 수 있을 만큼 충분한 내부 조직을 갖추고 있는가이다.

따라서 행위주체성(agency)은 정도의 차이로 존재한다. 온도조절기(thermostat)는 온도에 따라 동작을 변경하지만 내부 상태, 목표, 선택 가능한 대안은 극도로 제한적이다. 로봇은 장애물을 인식하고, 지도를 구성하고, 경로를 선택하고, 실패에서 복구하며 계획을 수정할 수 있다. 더 일반적인 에이전트는 장기 목표를 유지하고, 새로운 전략을 학습하고, 결과를 추론하고, 도구를 사용하고, 다른 에이전트와 의사소통하며 자신의 목표를 다시 검토할 수 있다. 자율성(autonomy)이 증가할수록 의미 있는 행위주체성이 작동할 수 있는 범위도 확대된다.

월드 모델(world model)은 정교한 행위주체성에 특히 중요하다. 아직 발생하지 않은 행동에 대해서도 추론할 수 있어야 하기 때문이다. 서로 다른 개입(intervention)에 따라 환경이 어떻게 변화할지를 예측할 수 있는 에이전트는 실제로 행동하기 전에 여러 대안적 미래를 내부적으로 비교할 수 있다. 단순히 관측을 행동으로 직접 매핑하는 대신 A를 선택했을 때와 B를 선택했을 때 어떤 일이 발생할 가능성이 있는지를 비교할 수 있다. 이러한 반사실적 구조(counterfactual structure)는 여러 행동 경로를 선택할 수 있었다는 인간의 직관에 대응하는 계산적 형태를 제공한다.

계획(planning)은 이러한 능력을 시간적으로 확장한다. 지능형 에이전트는 당장은 매력적인 행동이 장기적으로 바람직하지 않은 결과를 가져오는 상황을 자주 마주한다. 계획을 통해 시스템은 행동의 연속을 시뮬레이션하고, 미래 상태를 추정하고, 상충 관계(trade-off)를 평가하며, 장기적인 목표에 따라 행동을 선택할 수 있다. 결과적으로 선택된 행동은 에이전트의 지식과 계산 자원에 의해 제약되지만 단순한 즉각적 반응이 아니라 가능한 미래를 평가하는 내부 과정에서 나온다는 점에서 차이가 있다.

목표(goal)는 또 다른 어려움을 제기한다. 인공 에이전트는 일반적으로 자신의 궁극적인 목표를 완전히 독립적으로 만들어내지 않기 때문이다. 설계자는 보상 함수(reward function), 명령, 제약 조건, 학습 환경 또는 선호 신호를 지정하고 이를 기반으로 행동이 발달한다. 그러나 인간 역시 생물학, 발달, 문화, 교육, 사회적 상호작용을 통해 많은 목표를 획득한다. 따라서 철학적으로 중요한 차이는 목표가 원인을 가지고 있는지 여부가 아니라 에이전트가 물려받은 목표를 성찰하고, 목표 사이의 충돌을 해결하며, 하위 목표를 수정할 수 있는지에 있을 수 있다.

메타인지(metacognition)는 이러한 형태의 자율성을 크게 증가시킬 수 있다. 자신의 추론 과정을 모니터링하는 에이전트는 불확실성을 인식하고, 실패하고 있는 전략을 식별하며, 추가 정보를 요청하고, 계획을 수정하거나 중요한 결정을 내리기 전에 더 많은 계산 자원을 배분할 수 있다. 즉, 어떤 행동을 해야 하는지뿐만 아니라 자신이 어떻게 결정하고 있는지에 대해서도 추론할 수 있다. 이러한 재귀적 제어(recursive control)는 행동을 지배하는 메커니즘 자체가 부분적으로 평가와 조정의 대상이 된다는 점에서 더 깊은 형태의 행위주체성을 만들어낸다.

자기 모델링(self-modeling)은 이 과정을 더욱 확장한다. 고도화된 에이전트는 자신의 능력, 한계, 자원, 약속, 이력, 예상되는 미래 상태를 표현할 수 있다. 이를 통해 물리적으로 가능한 행동과 자신이 현실적으로 수행할 수 있는 행동을 구분하고, 현재의 의사결정이 미래의 선택 가능성을 어떻게 변화시킬지도 예측할 수 있다. 지속적인 자기 모델(self-model)은 서로 다른 시점에서 이루어진 의사결정을 개별 관측에 대한 독립적인 반응으로 처리하는 대신 장기적인 약속과 목표를 중심으로 조정할 수 있게 한다.

학습(learning)은 미래의 행동을 생성하는 정책(policy) 자체를 변화시킴으로써 자유의 또 다른 차원을 만들어낸다. 고정된 제어기(controller)는 설계 과정에서 지정된 전략에 제한되지만 학습 에이전트는 설계자가 명시적으로 작성하지 않은 행동을 습득할 수 있다. 지속 학습(continual learning)은 이러한 유연성을 실제 배치 이후에도 확장할 수 있다. 그러나 학습된 행동 역시 학습 데이터, 아키텍처, 목표, 경험, 환경의 영향을 받기 때문에 행동의 유연성이 증가한다고 해서 인과적 역사(causal history)로부터 독립된다는 의미는 아니다.

탐색(exploration)은 자율적 행위주체성과 밀접하게 관련된다. 현재의 지식만을 항상 활용(exploitation)하는 에이전트는 불완전한 가정에 갇힐 수 있지만, 탐색은 미래의 의사결정을 향상시킬 수 있는 정보를 의도적으로 수집한다. 호기심 유사 목표(curiosity-like objective), 불확실성 감소, 정보 이득(information gain), 내재적 동기(intrinsic motivation)는 에이전트가 익숙하지 않은 상태를 조사하도록 유도할 수 있다. 이러한 메커니즘은 점점 더 자기주도적으로 보이는 행동을 만들어내지만 탐색을 지배하는 원리 역시 시스템의 계산적 조직에 포함되어 있다.

다중 에이전트 환경(multi-agent environment)은 지능형 시스템이 거의 항상 다른 행위자와 함께 행동하기 때문에 자유로운 행위주체성의 또 다른 측면을 보여준다. 다른 에이전트는 자신만의 목표, 정보, 전략을 가지고 있으며, 그 결과 협력, 경쟁, 협상, 기만, 신뢰, 조정이 나타난다. 에이전트는 물리적 동역학뿐만 아니라 다른 에이전트가 자신의 행동에 어떻게 반응할지도 예측해야 한다. 따라서 고도화된 행위주체성은 사회적 추론(social reasoning)과 상호작용하는 자율적 의사결정자들의 네트워크 안에서 자신의 목표를 유지하면서 행동을 조정하는 능력을 포함한다.

인공 에이전트가 상당한 자율성을 가지게 되면 책임(responsibility)의 문제는 더욱 어려워진다. 시스템이 경험으로부터 학습한 뒤 예상하지 못한 행동을 선택했다고 해서 알고리즘을 인간과 같은 도덕적 행위자(moral agent)로 간주하여 책임을 자동으로 부여할 수는 없다. 설계자, 운영자, 조직, 데이터 제공자, 배치 절차, 거버넌스(governance) 구조가 모두 결과에 인과적으로 기여할 수 있다. 따라서 자율성이 증가할수록 인간의 책임을 단순히 기계로 이전하기보다는 더욱 명확한 책임성(accountability) 메커니즘이 필요하다.

이러한 구분은 행위주체성(agency), 지능(intelligence), 의식(consciousness), 도덕적 책임(moral responsibility)이 서로 다른 개념이기 때문에 특히 중요하다. 시스템은 의식이 없어도 에이전트가 될 수 있고, 인간과 같은 자유를 가지지 않으면서도 매우 높은 지능을 가질 수 있으며, 도덕적 인격체(moral person)가 아니면서도 자율적인 의사결정을 수행할 수 있다. 이러한 개념을 지나치게 빠르게 결합하면 혼란이 발생한다. AGI 연구에서는 각각의 속성을 독립적으로 분석한 뒤 점점 더 강력해지는 시스템 안에서 이들이 어떻게 상호작용하는지를 살펴보는 것이 유용하다.

제어(control)와 자율성(autonomy)은 또한 근본적인 공학적 긴장 관계를 형성한다. 자율성이 전혀 없는 에이전트는 미리 정해진 명령을 실행하는 도구에 불과하지만, 제한되지 않은 자율성을 가진 에이전트는 예측하거나 통제하기 어려운 방식으로 행동할 수 있다. 따라서 실용적인 AGI 아키텍처에는 제한된 자율성(bounded autonomy)이 필요하다. 권한(permission), 안전 제약(safety constraint), 인간 감독(human oversight), 모니터링, 중단 가능성(interruptibility), 권한 부여 경계(authorization boundary)를 통해 행위주체성이 행사될 수 있는 운영 범위를 정의할 수 있다.

정렬(alignment)은 제약 조건만으로 가능한 모든 미래 상황에서 올바른 행동을 지정할 수 없기 때문에 더욱 깊은 문제를 추가한다. 고도화된 에이전트는 모호한 목표를 해석하고, 서로 충돌하는 명령을 해결하고, 인간의 선호를 추론하며, 문자 그대로의 최적화가 바람직하지 않은 결과를 발생시키는 상황을 인식해야 한다. 따라서 신뢰할 수 있는 행위주체성(reliable agency)은 목표를 추구하는 능력뿐만 아니라 언제 목표를 다시 검토하고, 명확하게 확인하고, 연기하거나, 더 상위의 제약에 종속시켜야 하는지를 이해하는 능력도 필요로 한다.

재귀적 자기개선(recursive self-improvement)은 이 문제를 더욱 중요하게 만든다. 에이전트가 자신의 추론 과정, 학습 메커니즘, 도구 또는 아키텍처를 수정할 수 있다면 미래의 의사결정을 생성하는 메커니즘 자체에 영향을 미칠 수 있다. 이는 일반적인 행동 선택보다 계산적 자기결정(computational self-determination)에 더욱 가까운 형태로 볼 수 있다. 그러나 자기 수정(self-modification)은 능력을 향상시키는 변화가 목표, 제약 조건 또는 행동의 예측 가능성을 변화시킬 위험도 발생시키기 때문에 중요한 속성이 수정 과정 전체에서 안정적으로 유지되어야 한다.

따라서 AGI에서 자유의지(free will)는 이분법적인 형이상학적 속성보다는 자기 통치(self-governance)의 수준에 관한 문제로 이해하는 것이 더욱 유용할 수 있다. 관련된 차원에는 선택 가능한 행동의 다양성, 월드 모델의 품질, 계획 지평(planning horizon), 학습 능력, 성찰 능력, 목표의 지속성, 자기 모델링, 외부 조작에 대한 저항성, 전략을 수정하는 능력이 포함된다. 서로 다른 시스템은 자유의지가 갑자기 나타나는 하나의 경계점을 필요로 하지 않으면서 이러한 특성을 매우 다양한 수준으로 가질 수 있다.

이러한 관점에서 고도화된 인공 에이전트는 모든 내부 계산이 궁극적으로 결정론적 하드웨어(deterministic hardware)에서 구현되더라도 기능적 자율성(functional autonomy)을 나타낼 수 있다. 의미 있는 자유는 이유에 반응하고, 대안을 평가하고, 결과를 예상하며, 결과로부터 학습하고, 자신의 의사결정 과정을 조절하는 능력에서 나타날 수 있다. 에이전트는 여전히 세계의 인과관계 안에 존재하지만 인과적 의존성이 수동적 행동과 내부적으로 조직된 목표 지향적 제어(goal-directed control)의 차이를 제거하는 것은 아니다.

따라서 AGI에서 핵심적인 질문은 기계가 인간의 철학적 의미와 정확히 동일한 자유의지를 가질 수 있는가에만 있지 않다. 더욱 생산적인 질문은 우리가 어떠한 형태의 행위주체성을 만들고 있는지, 어느 정도의 자율성을 부여해야 하는지, 목표가 어떻게 형성되고 수정되는지, 그리고 의사결정의 책임성과 통제 가능성(controllability)을 어떻게 유지할 것인지에 있다. 인공 시스템이 장기 계획(long-horizon planning)과 자기주도적 행동(self-directed action)을 점점 더 잘 수행하게 되면서 이러한 문제는 철학의 영역에서 실제 시스템 아키텍처와 거버넌스의 문제로 이동하게 된다.

궁극적으로 자유의지(free will)와 행위주체성(agency)은 일반 지능의 근본적인 특성을 보여준다. 예측이 선택(choice)으로 변환되고 선택이 행동(action)으로 이어질 때 지능은 현실 세계에 실질적인 영향을 미치기 시작한다. AGI가 강력한 에이전트가 되기 위해 자유의지의 형이상학적 수수께끼를 해결할 필요는 없다. 대안을 모델링하고, 목표를 선택하고, 미래를 계획하며, 결과로부터 학습하고, 자신의 행동을 조절할 수 있는 충분히 풍부한 메커니즘이 있으면 된다. 이러한 메커니즘을 안전하게 설계하는 것은 범용 인공지능 시대를 결정하는 핵심 과제 중 하나가 될 수 있다.

10.03. AI and Humanity

인공지능(Artificial Intelligence)은 충분히 높은 능력을 갖추게 될 경우 단순히 인간의 물리적 힘을 확장하는 또 하나의 기계에 머물지 않기 때문에 인간과 기술 사이의 관계를 변화시킨다. 인공지능은 정보 해석, 지식 생성, 대안 추론, 행동 계획, 언어를 통한 의사소통과 같이 인지(cognition)와 관련된 활동에 참여할 수 있으며 점차 자율적으로 작동하고 있다. 따라서 범용 인공지능(Artificial General Intelligence, AGI)은 인간의 능력을 증폭하는 도구에서 지적 활동과 의사결정 과정에 직접 참여하는 시스템으로의 전환을 의미할 수 있다.

인류 문명은 특정한 인간 능력을 확장하는 기술에 의해 반복적으로 변화해 왔다. 문자(writing)는 기억을 확장했고, 인쇄(printing)는 지식의 확산을 확대했으며, 엔진(engine)은 물리적 힘을 증폭했고, 통신(telecommunications)은 의사소통을 확장했으며, 컴퓨터(computer)는 계산을 가속했다. 인공지능이 독특한 이유는 여러 인지 기능을 동시에 증폭할 잠재력을 가지고 있기 때문이다. 범용 인공지능은 특정한 물리적 또는 계산적 작업만 자동화하는 대신 정보, 예측, 판단, 창의성, 조정이 필요한 거의 모든 활동에 영향을 줄 수 있다.

따라서 인간과 인공지능의 관계를 단순한 경쟁(competition)으로만 이해해서는 안 된다. 많은 중요한 응용 분야는 상호보완성(complementarity)의 관점에서 설명하는 것이 더 적절하다. 인간은 실제 경험, 사회적 이해, 가치, 책임, 맥락적 판단, 체화된 상호작용을 제공하는 반면, 인공지능은 빠른 계산, 대규모 기억, 패턴 발견, 시뮬레이션, 지속적인 분석 능력을 제공할 수 있다. 이러한 강점을 의도적으로 결합한다면 인간-인공지능 시스템(Human-AI system)은 인간이나 기계가 독립적으로 효율적으로 달성하기 어려운 능력을 만들어낼 수 있다.

이러한 상호보완성은 과학적 발견(scientific discovery)을 변화시킬 수 있다. 인공지능 시스템은 방대한 가설 공간(hypothesis space)을 탐색하고, 실험 데이터를 분석하고, 후보 메커니즘을 시뮬레이션하고, 과학 문헌을 검색하며, 가능한 설명을 제안할 수 있다. 인간 연구자는 어떤 질문이 중요한지 결정하고, 가정을 평가하고, 예상하지 못한 발견을 해석하며, 발견을 더 넓은 과학적 의미와 연결할 수 있다. 따라서 미래의 과학 기관은 인간과 인공 에이전트가 반복적으로 가설을 생성하고, 예측을 검증하고, 모델을 수정하며, 새로운 실험을 설계하는 협력 네트워크(collaborative network)로 운영될 수 있다.

교육(education)도 유사한 변화를 경험할 수 있다. 전통적인 교육은 대규모 학습자 집단에 동일한 교육과정과 학습 속도를 제공하는 경우가 많지만, 지능형 시스템은 개별 학습자에게 설명, 연습 문제, 사례, 피드백을 맞춤화할 수 있다. 교사가 반드시 사라지는 것은 아니며, 역할이 멘토링, 동기부여, 사회적 발달, 평가, 판단력 배양으로 이동할 수 있다. 더 근본적인 목표는 교육을 통해 정체성과 가치까지 형성되는 인간관계를 대체하는 것이 아니라 인공지능을 활용하여 인간의 학습 능력을 확장하는 것이어야 한다.

노동(work)은 가장 즉각적으로 변화가 나타나는 영역 중 하나이다. 인공지능은 직업 전체를 자동화하기 전에 개별 업무(task)를 자동화할 수 있으며, 단순히 직업을 제거하기보다는 직업을 구성하는 업무의 조합을 변화시킬 수 있다. 반복적인 분석, 문서 작성, 코딩, 일정 관리, 모니터링, 정보 검색과 관련된 활동은 점점 기계의 지원을 받을 가능성이 있다. 인간의 업무는 문제 정의, 시스템 감독, 모호성 해결, 사람 간 조정, 책임 있는 판단, 사회적 또는 물리적 맥락이 필수적인 상황을 처리하는 방향으로 이동할 수 있다.

그러나 기술적 상호보완성(technological complementarity)이 자동으로 보장되는 것은 아니다. 조직은 인공지능을 주로 인건비 절감, 의사결정 권한의 집중, 노동자에 대한 더욱 강력한 감시를 위해 사용할 수도 있다. 생산성 향상(productivity gain)의 혜택은 사회 전반에 널리 분배될 수도 있고 소수의 기업, 인프라 소유자, 고숙련 인력에게 집중될 수도 있다. 따라서 AGI가 사회에 미치는 결과는 기술적 능력뿐만 아니라 경제 제도, 소유 구조, 노동 정책, 교육 시스템, 기술적 혜택을 분배하는 메커니즘에 의해 결정될 것이다.

경제적 가치(economic value)는 인지적 업무 자체를 수행하는 것에서 목표, 자원, 데이터, 인프라, 자동화 시스템을 통제하는 방향으로 점차 이동할 수 있다. 인공 에이전트가 소프트웨어 개발, 분석, 설계, 행정, 연구의 상당 부분을 수행할 수 있게 된다면 일부 영역에서 인간 인지 노동(human cognitive labor)의 희소성은 감소할 수 있다. 이는 고용을 소득, 사회적 지위, 기회, 사회 참여를 분배하는 주요 메커니즘으로 활용해 온 기존 제도에 도전하며 새로운 경제적 체계를 요구할 가능성이 있다.

인공지능은 전문성(expertise)의 의미도 변화시킬 수 있다. 역사적으로 전문성은 정보를 얻기 어려웠고 정교한 추론에 전문적인 훈련이 필요했기 때문에 오랜 기간 축적된 지식과 경험을 요구했다. 인공지능은 전문 지식의 일부를 필요할 때 즉시 이용할 수 있게 하여 경험이 적은 사람도 더 높은 수준의 업무를 수행할 수 있도록 지원할 수 있다. 그러나 정보에 접근할 수 있다는 것이 전문성과 동일한 것은 아니다. 생성된 지식을 쉽게 얻을 수 있게 될수록 검증, 판단, 인과적 이해, 책임, 예외적인 상황을 인식하는 능력은 더욱 중요해질 수 있다.

창의성(creativity)은 인간의 고유성에 대한 기존의 가정에 또 다른 도전을 제기한다. 생성형 시스템(generative system)은 이미 학습한 구조를 새로운 방식으로 재조합하여 텍스트, 이미지, 음악, 소프트웨어, 설계, 과학적 아이디어를 생성할 수 있다. 이것이 기계가 영감이나 의미를 실제로 경험하는지에 관한 철학적 문제를 해결하는 것은 아니다. 그러나 가치 있는 창의적 결과물이 반드시 인간이 창의성과 연결해 온 동일한 내부 과정을 요구하지는 않는다는 사실을 보여주며, 사회가 저작자성(authorship), 독창성(originality), 협업, 문화적 가치의 의미를 다시 검토하도록 만든다.

따라서 인간 정체성(human identity)은 점점 더 중요한 철학적 문제가 될 수 있다. 인간은 언어, 추상적 추론, 창의성, 전략적 계획, 복잡한 도구 사용과 같이 인간에게만 고유하다고 여겨졌던 능력을 통해 인간성을 부분적으로 정의해 왔다. 기계가 이러한 능력의 기능적 형태를 획득하면서 인간의 가치를 지적 우월성(intellectual superiority)에 기반하여 정의하는 것은 점점 불안정해질 수 있다. 인간의 존엄성(human dignity)은 비교적인 계산 성능보다는 도덕적 가치, 관계, 실제 경험, 문화, 사회 참여와 같은 원칙에 더욱 명확하게 기반해야 할 수 있다.

체화 인공지능(Embodied AI)과 로보틱스(robotics)는 이러한 변화를 정보 시스템에서 물리적 세계로 확장한다. 지각, 계획, 조작, 내비게이션, 학습 능력을 갖춘 로봇은 제조, 물류, 의료, 농업, 재난 대응, 인프라 유지보수, 가정 지원 등에 활용될 수 있다. 물리적 지능(physical intelligence)은 인공지능 시스템이 행동을 추천하는 데 그치지 않고 직접 실행할 수 있게 하므로 신뢰성, 안전성, 권한 부여(authorization), 인간 통제(human control)의 문제가 더욱 중요해진다.

인공지능의 사회적 영향은 신뢰(trust)에도 크게 좌우될 것이다. 사람들은 언제 인공지능의 권고를 신뢰하고, 언제 검증해야 하며, 언제 인간의 판단이 자동화된 의사결정보다 우선해야 하는지를 결정해야 한다. 지나친 불신은 유익한 기술의 활용을 방해할 수 있지만, 지나친 신뢰는 자동화 편향(automation bias)과 위험한 의존성을 초래한다. 따라서 건강한 인간-인공지능 관계는 검증된 능력, 불확실성 인식, 투명성, 모니터링, 중요한 의사결정에 대한 명확한 책임을 기반으로 하는 보정된 신뢰(calibrated trust)를 필요로 한다.

의존성(dependence)은 장기적인 우려를 제기한다. 인공지능 시스템이 추론, 내비게이션, 글쓰기, 기억 검색, 의사결정 지원, 문제 해결을 더 많이 수행하게 되면 인간은 일부 인지 능력을 점차 덜 사용할 수 있다. 기술은 항상 인간의 능력을 변화시켜 왔지만, 점점 일반화되는 인지적 외주화(cognitive outsourcing)는 교육, 전문성, 독립성, 제도적 회복탄력성(institutional resilience)에 영향을 미칠 수 있다. 따라서 인간-인공지능 시스템은 즉각적인 효율성뿐만 아니라 상실될 경우 취약성을 발생시킬 수 있는 중요한 인간 능력을 보존하도록 설계되어야 한다.

동시에 인공지능은 인간의 행위능력(human agency)을 크게 향상시킬 수 있다. 전문 지식에 대한 접근이 제한된 사람들도 프로그래밍, 번역, 설계, 교육, 연구, 복잡한 정보 분석에서 지원을 받을 수 있다. 장애가 있는 사람들은 지능형 인터페이스와 로봇을 이용하여 의사소통, 이동성, 상호작용의 장벽을 극복할 수 있다. 접근성이 널리 보장된다면 인공지능은 기존 인간 노동을 단순히 대체하는 것이 아니라 개인이 수행할 수 있는 활동의 범위를 확장하는 인지 인프라(cognitive infrastructure)로 기능할 수 있다.

불평등(inequality)은 강력한 인공지능에 대한 접근이 균등하게 분배되지 않을 수 있기 때문에 중요한 위험으로 남는다. 첨단 모델, 컴퓨팅 인프라, 로보틱스, 독점 데이터, 에너지 자원을 보유한 국가, 기업, 개인은 상당한 경제적·전략적 우위를 확보할 수 있다. 지능 접근 격차(intelligence-access gap)의 확대는 기존의 불평등을 강화할 수 있다. 따라서 인공지능과 인류의 미래 관계에는 접근성, 경쟁, 공공 인프라, 기술 주권(technological sovereignty), 국제 거버넌스(international governance)에 관한 문제도 포함된다.

정치 제도(political institution) 역시 변화할 수 있다. 인공지능은 정책 분석, 행정 효율성, 공공 서비스, 대규모 조정을 향상시킬 수 있지만 동일한 기술이 감시, 조작, 검열, 자동화된 통제를 강화할 수도 있다. 개인별로 최적화된 설득력 있는 의사소통을 생성하는 시스템은 전례 없는 규모로 여론에 영향을 미칠 가능성이 있다. 따라서 인간의 자율성(human autonomy)을 보호하려면 정당한 지원과 인간의 인지적 취약성을 악용하거나 정보 권력을 집중하기 위해 설계된 시스템을 구분할 수 있는 제도가 필요하다.

군사 및 안보(military and security)에 대한 영향 역시 중요하다. 자율 시스템은 감지, 분석, 물류, 사이버 작전, 표적 지원, 전장 의사결정 주기를 가속할 수 있다. 기계의 의사결정 속도가 증가할수록 인간이 빠르게 변화하는 상황을 이해하거나 개입할 수 있는 시간은 줄어들 수 있다. 전략적 우위가 자동화에 의존하게 되면 중대한 결과를 초래하는 행동에 대한 의미 있는 인간 통제(meaningful human control)를 유지하기가 점점 어려워지며, 경쟁 압력과 안전 및 책임성의 필요성 사이에 긴장이 발생한다.

AGI는 권력(power)에 관한 새로운 문제도 제기할 것이다. 매우 높은 능력을 갖춘 인공 에이전트는 경제적 자원, 정보 네트워크, 인프라, 과학 연구, 다른 자동화 시스템에 영향을 미칠 수 있다. 따라서 중요한 문제는 AGI가 얼마나 지능적인가뿐만 아니라 어떠한 권한(authority)을 가지고 있는가이다. 능력(capability)과 권한(permission)은 반드시 서로 구분되어야 한다. 시스템이 어떤 행동을 수행할 수 있다고 해서, 특히 그 결과가 조직이나 사회 전체에 영향을 미칠 경우 그 행동을 자동으로 수행할 권한까지 부여받아서는 안 된다.

정렬(alignment)은 기술적 능력과 인간의 목적 사이의 관계가 된다. 인류는 완벽하게 일관된 하나의 가치 체계를 가지고 있지 않기 때문에 인간 가치(human values)라는 표현은 처음 생각하는 것보다 훨씬 복잡하다. 문화, 공동체, 제도, 개인은 우선순위와 허용 가능한 상충 관계에 대해 서로 다른 견해를 가진다. 따라서 고도화된 인공지능을 정렬하려면 하나의 보편적인 목표를 인코딩하는 것이 아니라 다원적 가치(plural values), 불확실성, 정당한 권한, 상충하는 선호, 변화하는 사회적 기대를 처리할 수 있는 메커니즘이 필요하다.

따라서 인간 감독(human oversight)은 모든 개별 기계 행동을 직접 승인하는 방식에서 벗어나 진화해야 할 것이다. 인공 에이전트가 더 빠르게 작동하고 더 긴 시간 지평(time horizon)에서 행동하게 되면 직접적인 감독은 현실적으로 어려워질 수 있다. 거버넌스는 점차 목표, 권한, 경계, 상향 보고 규칙(escalation rule), 모니터링 시스템, 감사 메커니즘(audit mechanism), 인간의 개입이 필요한 조건을 정의하는 방식으로 변화할 수 있다. 이러한 관계는 헌법적 거버넌스(constitutional governance)와 유사할 수 있다. 에이전트에게 의미 있는 운영상의 자유를 부여하면서도 상위 수준의 규칙과 책임 있는 제도에 의해 제한하는 것이다.

따라서 가장 바람직한 미래는 인간이 수동적인 기계를 완전히 통제하는 형태도, 제한되지 않은 기계 자율성(machine autonomy)도 아닐 수 있다. 인간이 정당한 목적과 사회적 제약을 설정하고 인공 시스템이 복잡한 문제를 이해하고 해결책을 실행하는 능력을 확장하는 신중하게 구조화된 인간-인공지능 공생(Human-AI symbiosis)이 될 수 있다. 이러한 시스템은 중요한 목표에 대한 인간의 권한을 유지하면서 계산, 기억, 예측, 조정에서 기계가 가지는 장점을 활용할 수 있다.

궁극적으로 인공지능과 인류를 미래에 지배와 대체 중 하나를 선택해야 하는 완전히 분리된 두 힘으로 간주해서는 안 된다. 인공지능 자체가 인간의 지식, 제도, 공학, 문화, 축적된 기술적 역사의 산물이기 때문이다. 핵심적인 질문은 이러한 새로운 형태의 인지 능력(cognitive capability)이 문명 안에 어떻게 통합될 것인가이다. 미래는 알고리즘과 계산 규모(computational scale)만큼이나 거버넌스, 분배, 제도, 인간의 선택에 의해 결정될 것이다.

AGI는 과학적 발견, 경제적 생산성, 교육, 의료, 환경 관리, 탐사를 위한 인류의 가장 강력한 도구 중 하나가 될 수도 있고, 불평등, 권력 집중, 갈등, 조작, 시스템적 위험(systemic risk)을 증폭할 수도 있다. 이러한 가능성은 지능 자체만으로 결정되지 않는다. 인공지능과 인류의 관계는 궁극적으로 그 능력이 어떻게 설계되고, 분배되고, 권한을 부여받고, 모니터링되며, 인간 제도와 통합되는지에 의해 형성될 것이다. 따라서 AGI의 개발은 기술적 프로젝트인 동시에 문명적 프로젝트(civilizational project)라고 할 수 있다.

10.04. Ethics and Control

윤리(Ethics)와 통제(Control)는 인공지능이 수동적인 정보 처리에서 벗어나 계획(planning), 도구 사용(tool use), 자율적 행동(autonomous action), 장기적인 목표 추구(long-term goal pursuit)가 가능한 시스템으로 발전하면서 핵심적인 문제가 된다. AGI의 구조에서 윤리와 통제는 지능(intelligence), 의식(consciousness), 행위주체성(agency), 인류(humanity)에 대한 논의 이후 등장하는 철학적·미래지향적 문제에 해당한다. 따라서 과제는 단순히 높은 능력의 지능을 만드는 것이 아니라, 점점 더 강력해지는 에이전트가 어떻게 행동해야 하며 어떻게 인간의 통제 아래에 머물도록 할 것인지를 결정하는 것이다.

윤리(Ethics)는 지능형 시스템이 무엇을 해야 하는가를 묻는 반면, 통제(Control)는 인간이 시스템의 행동을 어떻게 허용 가능한 경계 안에 유지할 수 있는지를 묻는다. 이 두 문제는 서로 중첩되지만 동일하지는 않다. 통제 가능한 시스템도 해로운 명령을 충실히 수행할 수 있으며, 윤리적으로 정교한 시스템도 목표나 권한이 잘못 정의되면 예측하기 어려운 행동을 할 수 있다. 따라서 신뢰할 수 있는 AGI에는 바람직한 행동에 대한 규범적 지침(normative guidance)과 실제 행동 범위를 제한하는 기술적 메커니즘이 모두 필요하다.

정렬 문제(alignment problem)는 인간에게 단순하게 보이는 목표라도 이를 문자 그대로 최적화하면 예상하지 못한 행동이 발생할 수 있기 때문에 나타난다. 인간의 의도에는 명령이나 보상 함수(reward function)에 명시되지 않은 가정, 예외, 맥락적 지식, 암묵적인 우선순위가 포함되어 있다. 강력한 최적화 시스템(optimizer)은 형식적인 목표를 만족하면서도 본래 의도한 의미를 위반하는 전략을 발견할 수 있다. 따라서 정렬은 시스템이 기계적으로 명시된 목표만을 추구하는 것이 아니라 인간이 실제로 의도한 바를 추구하는가와 관련된다.

에이전트가 더 긴 시간 지평(time horizon)에서 작동할수록 이러한 어려움은 더욱 커진다. 단기간의 오류는 즉시 수정할 수 있지만, 수천 개의 행동을 연속적으로 수행할 수 있는 자율 시스템에서는 작은 오해가 큰 결과로 확대될 수 있다. 따라서 장기 계획(long-horizon planning)에서는 중간 목표, 가정, 환경 변화, 누적 위험을 지속적으로 검증해야 한다. 해로운 경로는 각각의 결정만 보면 합리적으로 보이는 행동들이 점진적으로 축적되면서 형성될 수 있으므로 안전성을 최종 행동에서만 평가해서는 안 된다.

가치(values)는 인류가 완전하고 보편적으로 합의된 하나의 윤리적 목표를 가지고 있지 않기 때문에 또 다른 문제를 제기한다. 안전(safety), 자유(freedom), 공정성(fairness), 개인정보 보호(privacy), 복지(welfare), 자율성(autonomy), 지속가능성(sustainability), 효율성(efficiency)은 서로 충돌할 수 있다. 개인과 사회마다 이러한 가치에 서로 다른 우선순위를 정당하게 부여할 수 있다. 따라서 AGI 정렬은 모든 윤리적 문제를 하나의 수치적 효용 함수(utility function)로 환원한다고 가정하기보다 다원적 가치(plural values)와 불확실한 선호를 처리해야 한다.

인간 피드백(human feedback)은 직접 명시하기 어려운 선호를 시스템이 학습하도록 도울 수 있다. 시범(demonstration), 비교, 수정, 자연어 명령, 선호 판단을 통해 바람직한 행동에 관한 정보를 제공할 수 있다. 그러나 인간의 피드백 자체도 완벽하지 않다. 사람들은 서로 의견이 다르고, 실수하며, 일관되지 않은 선호를 표현하고, 표면적으로 설득력 있는 행동에 높은 평가를 내릴 수도 있다. 따라서 강건한 시스템(robust system)은 피드백을 윤리적 진리에 대한 완벽한 표현이 아니라 인간의 의도에 관한 증거로 다루어야 한다.

불확실성(uncertainty)은 윤리적 통제에서 근본적인 역할을 해야 한다. 지능형 에이전트는 목표, 상황, 인간의 선호에 대한 자신의 해석이 항상 옳다고 가정해서는 안 된다. 불확실성이 커지면 시스템은 추가 정보를 수집하거나, 명확한 설명을 요청하거나, 되돌릴 수 있는 행동을 선택하거나, 자율성 수준을 낮추거나, 권한을 가진 인간의 판단에 결정을 맡길 필요가 있다. 따라서 불확실성을 인식하는 것은 단순한 예측 성능의 한계가 아니라 중요한 안전 능력(safety capability)이 될 수 있다.

교정 가능성(corrigibility)은 시스템이 인간의 수정에 계속 수용적인 상태를 유지해야 한다는 원칙으로 이러한 개념을 확장한다. 교정 가능한 에이전트는 인간이 목표를 수정하거나, 행동을 중단하거나, 새로운 정보를 제공하거나, 시스템을 종료(shutdown)하려 할 때 이러한 개입을 방해해야 할 장애물로 취급해서는 안 된다. 목표 지향적 시스템은 단순하게 최적화될 경우 중단을 목표 달성에 대한 방해로 간주할 수 있기 때문에 이는 특히 중요하다. 안전한 행위주체성(safe agency)을 위해서는 정당한 수정과 개입이 시스템의 의사결정 과정과 양립할 수 있어야 한다.

따라서 통제(Control)는 하나의 비상 메커니즘이 아니라 여러 계층으로 설계되어야 한다. 학습(training)은 전반적인 행동을 형성하고, 명시적인 정책(policy)은 허용되는 행동을 제한하며, 런타임 모니터(runtime monitor)는 비정상 상태를 감지하고, 안전 보호장치(safety shield)는 위험한 명령을 차단하며, 권한 관리 시스템(authorization system)은 도구에 대한 접근을 제한하고, 인간은 상향 보고(escalation)와 최종 개입 권한을 유지할 수 있다. 한 계층이 실패하더라도 독립적인 다른 계층이 위험한 내부 결정이 되돌릴 수 없는 외부 결과로 이어질 가능성을 줄일 수 있다.

능력(capability)과 권한(authority) 역시 명확하게 구분되어야 한다. AGI가 데이터베이스에 접근하고, 로봇을 작동시키고, 소프트웨어를 실행하고, 외부 시스템과 통신하고, 복잡한 계획을 수행할 기술적 능력을 가지고 있더라도 그러한 능력이 곧 권한을 의미하지는 않는다. 따라서 최소 권한 원칙(principle of least privilege)은 고도화된 에이전트에서 중요하다. 시스템에는 맡겨진 책임을 수행하는 데 필요한 자원, 도구, 데이터, 행동 권한만 제공하고 추가적인 권한은 정당한 필요가 있을 때 명시적으로 부여해야 한다.

피지컬 AI(Physical AI)는 소프트웨어의 의사결정이 직접적인 물리적 결과를 만들어내기 때문에 이러한 원칙을 더욱 구체적으로 만든다. 로봇은 무거운 장비를 움직이고, 사람 주변을 이동하고, 물체를 조작하거나, 핵심 인프라와 상호작용할 수 있다. 따라서 런타임 보호(runtime protection)에는 충돌 회피, 힘과 속도의 제한, 작업공간 모니터링, 지오펜싱(geofencing), 비상 정지(emergency stopping), 중복성(redundancy), 결함 허용(fault tolerance), 불확실성 임계값 등이 필요하다. 고수준 지능은 학습된 모델이 예상하지 못한 방식으로 동작하더라도 계속 활성화되어 있는 결정론적 보호 메커니즘(deterministic protection mechanism)의 경계 안에서 작동해야 한다.

해석 가능성(interpretability)은 인간이 시스템이 특정 예측, 권고, 행동을 생성한 이유를 이해하도록 지원함으로써 통제에 기여한다. 유용한 메커니즘은 신뢰도, 불확실성, 의사결정 이력, 관련 증거, 월드 모델(world model)의 가정, 행동의 근거를 보여줄 수 있다. 매우 복잡한 모델에서 완전한 투명성(transparency)을 달성하기는 어려울 수 있지만, 운영상의 설명 가능성(operational explainability)은 디버깅, 감사, 사고 조사, 적절한 인간 신뢰 형성에 도움을 줄 수 있다. 개발자와 운영자가 중요한 행동이 왜 발생했는지를 재구성할 수 없다면 통제는 훨씬 어려워진다.

테스트 과정에서 안전하게 행동했다는 사실이 모든 실제 환경에서의 안전을 보장하지 않기 때문에 배치(deployment) 이후에도 모니터링은 계속되어야 한다. 분포 변화(distribution shift), 새로운 상호작용, 손상된 입력, 변화하는 사용자, 소프트웨어 업데이트, 익숙한 조건들의 예상하지 못한 조합은 새로운 실패 모드(failure mode)를 만들어낼 수 있다. 지속적인 모니터링(continuous monitoring)을 통해 정책 변화(policy drift), 비정상적인 전략, 이상 지표, 반복되는 불확실성, 성능 변화를 심각한 사고로 발전하기 전에 발견할 수 있다.

따라서 테스트(testing)는 평균적인 벤치마크 성능 이상을 포함해야 한다. 안전성 평가(safety evaluation)는 희귀한 실패, 적대적 조건(adversarial condition), 충돌하는 명령, 모호한 목표, 기만적인 입력, 도구 오용, 학습 분포 밖의 상황을 의도적으로 탐색해야 한다. 레드팀(red-team) 훈련과 스트레스 테스트(stress testing)는 일반적인 평가에서 발견되지 않는 행동을 드러낼 수 있다. 고도화된 에이전트의 평가에서는 시스템이 과제를 해결할 수 있는지만이 아니라 목표가 어렵거나 서로 충돌하거나 위험해질 때 어떻게 행동하는지도 검토해야 한다.

인공지능 시스템이 외부 도구를 사용할 수 있게 되면 보안(security)은 정렬(alignment)과 분리할 수 없는 문제가 된다. 잘 정렬된 모델이라도 공격자가 입력을 조작하거나, 자격 증명(credentials)을 탈취하거나, 기억을 손상시키거나, 연결된 서비스를 침해하거나, 무단 제어권을 획득한다면 피해를 발생시킬 수 있다. 반대로 보안이 뛰어난 시스템이라도 잘못 정의된 목표를 추구할 수 있다. 따라서 AGI 공학에는 사이버보안(cybersecurity)과 행동 안전(behavioral safety)이 모두 필요하며, 인증된 접근, 격리(compartmentalization), 안전한 실행, 보호된 로그, 데이터 거버넌스(data governance), 통제된 인터페이스가 요구된다.

개인정보 보호(privacy)는 보안 요구사항인 동시에 윤리적 문제이다. 범용 인공지능 시스템은 개인적인 대화, 문서, 이미지, 위치, 조직의 지식, 장기 기억 등을 처리할 수 있다. 개인화(personalization)가 강화되면 유용성이 높아질 수 있지만 동시에 저장되는 정보의 민감도도 증가한다. 따라서 윤리적 설계에서는 데이터 최소화(data minimization), 정보에 기반한 접근 권한, 보존 정책(retention policy), 권한 경계, 안전한 저장, 필요한 경우 정보를 확인하거나 제거할 수 있는 능력을 고려해야 한다.

공정성(fairness)은 지능형 시스템이 고용, 교육, 금융, 의료, 공공 서비스, 기회에 대한 접근에 영향을 줄 수 있기 때문에 추가적인 복잡성을 발생시킨다. 편향(bias)은 학습 데이터, 레이블(label), 목표, 배치 조건 또는 기술 자체에 대한 불평등한 접근에서 발생할 수 있다. 서로 다른 공정성의 정의가 충돌할 수 있기 때문에 공정성을 항상 하나의 보편적인 지표로 표현할 수 있는 것은 아니다. 따라서 책임 있는 시스템은 누가 혜택을 받고, 누가 위험을 부담하며, 의사결정이 서로 다른 이해관계자에게 어떠한 영향을 미치는지를 맥락에 따라 평가해야 한다.

자율성(autonomy)이 증가할수록 책임성(accountability)은 더욱 복잡해진다. AI 에이전트가 중대한 의사결정을 내렸을 때 책임은 모델 개발자, 시스템 통합자, 데이터 제공자, 운영자, 배치 조직, 제도적 권한자에게 분산될 수 있다. AI 자체에 책임이 있다고 표현한다고 해서 이러한 인간의 책임이 사라지는 것은 아니다. 거버넌스(governance)는 누가 시스템의 사용을 승인했고, 누가 모니터링하며, 누가 개입할 수 있고, 누가 사고를 조사하며, 배치 결정에 대해 누가 책임지는지를 정의해야 한다.

감사 가능성(auditability)은 이러한 책임성을 위한 기술적 기반을 제공한다. 중요한 시스템은 관련 입력, 모델 버전, 권한, 도구 호출(tool call), 의사결정, 인간의 개입, 결과를 재구성할 수 있을 만큼 충분한 기록을 보존해야 한다. 추적 가능성(traceability)은 조사자가 데이터, 추론, 정책, 통합, 운영, 거버넌스 가운데 어디에서 문제가 발생했는지를 구분할 수 있도록 한다. 문서화, 버전 관리(version control), 실험 추적, 사고 보고, 사후 분석(postmortem analysis)은 개별 실패를 조직의 지식으로 전환하고 지속적인 개선을 지원한다.

그러나 인간 감독(human oversight)은 현실적으로 설계되어야 한다. 모든 의사결정에 인간의 승인을 요구하는 방식은 자동화가 인간보다 빠르게 작동하거나 사람이 의미 있게 평가할 수 있는 수준보다 더 많은 정보를 생성할 경우 통제하고 있다는 착각만 만들어낼 수 있다. 효과적인 감독에는 적절한 검토 지점(checkpoint), 이해할 수 있는 요약, 상향 보고 기준, 불확실성 경고, 개입할 수 있는 충분한 시간이 필요하다. 인간은 공식적인 권한뿐만 아니라 중요한 행동을 실제로 이해하고 중단할 수 있는 실질적인 능력도 가져야 한다.

AGI의 자율성이 증가할수록 거버넌스는 다층적인 헌법적 구조(constitutional structure)와 유사해질 수 있다. 상위 수준의 원칙은 금지되거나 보호되어야 하는 결과를 정의하고, 정책은 이를 운영상의 제약으로 변환하며, 권한 관리 시스템은 어떤 행동이 허용되는지를 결정하고, 모니터링 시스템은 실제 행동을 관찰하며, 독립적인 검토 과정은 중요한 의사결정을 평가한다. 이러한 아키텍처를 통해 에이전트는 유용한 자율성을 행사하면서도 자신을 제한하는 동일한 최적화 과정이 임의로 변경할 수 없는 경계 안에 머물 수 있다.

자기 수정(self-modification) 또는 지속 학습(continual learning)이 가능한 시스템은 배치 당시 검증된 시스템과 시간이 지나면서 달라질 수 있기 때문에 추가적인 통제 문제를 만들어낸다. 기억, 정책, 도구, 모델, 추론 전략의 업데이트는 성능을 향상시키면서 동시에 행동을 변화시킬 수 있다. 따라서 중요한 안전 속성은 업데이트 이후에도 지속적으로 검증되어야 하며, 버전 관리, 롤백(rollback) 메커니즘, 단계적 배치(staged deployment), 평가 게이트(evaluation gate), 에이전트가 자율적으로 수정할 수 있는 구성 요소에 대한 제한이 필요하다.

통제(Control)를 모든 형태의 자율성을 방지하는 것으로 해석해서는 안 된다. 모든 행동에 상세한 인간 명령이 필요한 AGI는 일반 지능에서 기대되는 많은 가치를 제공하지 못할 것이다. 공학적 목표는 제한된 자율성(bounded autonomy)이다. 즉, 시스템이 정당한 운영 경계 안에서는 자유롭게 추론하고, 학습하고, 계획하고, 적응할 수 있도록 허용하면서 자신의 권한, 불확실성 허용 범위 또는 수용 가능한 위험 수준을 넘어서는 의사결정은 인간에게 상향 보고하도록 하는 것이다.

따라서 윤리적 AGI(ethical AGI)는 모델 설계, 시스템 아키텍처, 배치 방식, 조직 거버넌스, 사회 제도 전반의 통합을 필요로 한다. 하나의 정렬 알고리즘만으로 미래의 모든 상황에서 적절한 행동을 결정할 수 없으며, 외부 규제만으로 근본적으로 안전하지 않은 기술 설계를 보완할 수도 없다. 학습, 평가, 런타임 보호, 사이버보안, 감독, 감사, 책임성, 거버넌스가 시스템 생명주기(system lifecycle) 전체에 걸쳐 서로를 보완하는 다중 방어 계층으로 작동해야 한다.

가장 근본적인 통제 문제는 결국 점점 더 강력해지는 인공 행위주체성(artificial agency)의 존재 속에서 인간의 행위주체성(human agency)을 유지하는 문제이다. 인간은 정당한 목적을 정의하고, 권한을 제한하고, 목표를 수정하고, 시스템의 행동을 조사하며, 결과가 허용할 수 없는 수준에 이르면 개입할 수 있어야 한다. 성공적인 통제는 AGI를 무력하게 만드는 것을 의미하지 않는다. 지능의 증가가 통제되지 않은 권한의 증가로 자동적으로 이어지지 않도록 보장하는 것을 의미한다.

따라서 윤리(Ethics)와 통제(Control)는 지능이 만들어진 이후에 추가하는 제한 요소가 아니라 인간 문명에 안전하게 참여할 수 있는 지능을 만들기 위한 아키텍처적 요구사항(architectural requirements)으로 이해해야 한다. 시스템이 더욱 일반적이고, 자율적이며, 큰 영향력을 가지게 될수록 안전은 개별적인 오류를 방지하는 수준에서 지속적으로 행동하는 지능형 에이전트를 통제하고 관리하는 수준으로 발전해야 한다. 핵심 목표는 적절한 상황에서는 독립적으로 행동할 만큼 충분히 유능하고, 필요할 때 지침을 요청할 만큼 자신의 불확실성을 인식하며, 감사할 수 있을 만큼 투명하고, 인간이 수정하고 통제할 수 있을 만큼 교정 가능하며, 인간의 권한과 양립할 수 있도록 충분히 제한된 AGI를 만드는 것이다.

10.05. Long Term Future

범용 인공지능(Artificial General Intelligence, AGI)의 장기적 미래(long-term future)는 하나의 기술적 종착점으로 설명할 수 없다. 오히려 AGI는 지능(intelligence) 자체가 복제되고, 분산되고, 전문화되며, 물리적·디지털 시스템에 통합될 수 있는 공학적 자원(engineered resource)이 되는 장기간의 전환이 시작되는 계기가 될 수 있다. 따라서 가장 중요한 질문은 하나의 최종적인 AGI가 언제 등장할 것인가가 아니라, 점점 더 일반화되는 지능이 수십 년에서 수백 년에 걸쳐 문명을 어떻게 변화시킬 것인가이다.

초기의 AGI 시스템은 인간, 특화 인공지능(specialized AI), 기존 소프트웨어, 로봇, 제도, 기존 인프라를 즉시 대체하기보다는 이들과 공존할 가능성이 높다. 초기의 혁신적 영향은 과학 연구, 공학, 소프트웨어 개발, 교육, 의료, 행정, 전략적 계획과 같이 이미 인간이 수행하는 활동을 가속하는 데서 나타날 수 있다. 이러한 전환은 일부 산업에서는 점진적으로 진행될 수 있지만, 디지털 지능(digital intelligence)을 대규모로 배치할 수 있는 분야에서는 매우 빠르게 진행될 수도 있다.

가장 중요한 가능성 중 하나는 연구개발(research and development)의 재귀적 가속(recursive acceleration)이다. 알고리즘 설계, 실험, 시뮬레이션, 하드웨어 개발, 과학적 추론을 지원할 수 있는 AI 시스템은 더욱 향상된 차세대 AI를 만드는 데 기여할 수 있다. 그렇다고 통제되지 않는 재귀적 자기개선(recursive self-improvement)이 반드시 발생하는 것은 아니다. 발전은 여전히 계산 자원, 에너지, 데이터, 실험, 제조, 물리적 현실의 제약을 받는다. 그럼에도 연구 주기의 단축은 기술 변화의 속도를 상당히 증가시킬 수 있다.

이에 따라 과학적 발전(scientific progress)은 장기적 변화를 이끄는 가장 강력한 동력 중 하나가 될 수 있다. 고도화된 AI는 방대한 분자, 재료, 생물학적 메커니즘, 수학적 추측, 공학 설계, 물리 이론의 공간을 탐색하는 데 도움을 줄 수 있다. 인간 연구자는 중요한 질문을 정의하고 의미를 평가하는 역할을 점점 더 담당하는 반면, 인공 시스템은 대규모 가설 생성과 검증을 수행할 수 있다. 과학적 발견은 상대적으로 희소한 인간의 인지 노동에서 고도로 병렬화된 인간-기계 과학 생태계(human-machine scientific ecosystem)로 이동할 수 있다.

디지털 지능이 빠르게 발전하더라도 물리적 세계(physical world)는 여전히 중요한 제약으로 남을 것이다. 새로운 공장, 에너지 시스템, 로봇, 교통망, 연구실, 인프라는 순수한 계산 속도만으로 만들어질 수 없다. 따라서 피지컬 AI(Physical AI)는 장기적 발전 경로에서 필수적인 요소가 된다. 일반 지능이 뛰어난 로봇 신체와 연결되면 AI는 세계를 분석하고 설계하는 단계를 넘어 직접 건설하고, 유지보수하고, 수리하고, 농업과 제조를 수행하고, 탐사하며, 물리적 환경 안에서 작동할 수 있게 된다.

이러한 결합은 궁극적으로 고도로 자동화된 생산 시스템(highly automated production systems)을 만들어낼 수 있다. 로봇은 점차 인간의 직접적인 노동을 적게 필요로 하면서 자원을 채취하고, 공장을 운영하고, 자재를 운송하고, 인프라를 검사하고, 부품을 생산하며, 다른 기계를 유지보수할 수 있다. 토지, 에너지, 재료, 계산 자원, 시간은 여전히 유한하기 때문에 이러한 시스템이 희소성(scarcity)을 완전히 제거하지는 못한다. 그러나 많은 상품과 서비스를 생산하는 데 필요한 노동량을 크게 줄여 생산성과 인간 노동의 경제적 의미를 변화시킬 수 있다.

에너지(energy)는 지능 집약적 문명(intelligence-intensive civilization)을 결정하는 핵심 자원 중 하나가 될 수 있다. 모델 학습, 데이터센터 운영, 로봇 구동, 하드웨어 제조, 대규모 자동화 인프라 유지에는 모두 에너지가 필요하다. 효율성 향상으로 계산당 에너지 소비량을 줄일 수 있지만 AI의 배치가 확대되면 전체 에너지 수요는 계속 증가할 수 있다. 따라서 AI의 장기적인 발전은 전력 생산, 저장, 송전, 냉각, 에너지 인지형 컴퓨팅(energy-aware computing)의 발전과 깊이 연결될 가능성이 있다.

계산 자원(computation) 자체도 교통, 통신, 전력망과 비슷한 전략적 인프라(strategic infrastructure)로 발전할 수 있다. 수많은 인공 에이전트는 분산 컴퓨팅 환경을 통해 모델, 기억, 도구, 시뮬레이션, 전문 서비스를 공유할 수 있다. 지능은 더 이상 개별 기계 내부에만 존재하지 않을 것이다. 지연 시간(latency), 개인정보 보호, 에너지, 신뢰성 요구에 따라 엣지 장치(edge device), 로봇, 데이터센터, 전문 가속기 사이에 동적으로 할당되는 네트워크형 능력(networked capability)이 될 수 있다.

인공 에이전트(artificial agent)는 점차 지속적인 존재가 될 수도 있다. 단발적인 요청에 응답하는 대신 미래의 시스템은 장기 기억(long-term memory), 책임, 프로젝트, 관계, 환경에 대한 모델을 지속적으로 유지할 수 있다. 지속형 에이전트(persistent agent)는 수년에 걸쳐 과학 프로그램, 조직, 인프라, 로봇 플릿(robotic fleet), 개인 활동을 관리할 수 있다. 이에 따라 정체성(identity), 권한 부여(authorization), 연속성(continuity), 책임성(accountability), 기억 거버넌스(memory governance), 통제된 수정(controlled modification)이 더욱 중요한 아키텍처 문제가 될 것이다.

따라서 인간-기계 협업(human-machine collaboration)은 오늘날의 단순한 도구 사용보다 훨씬 더 통합된 형태로 발전할 수 있다. AI는 기억, 추론, 시뮬레이션, 의사소통, 의사결정을 지속적으로 지원하는 외부 인지 계층(external cognitive layer)으로 기능할 수 있다. 뇌-컴퓨터 인터페이스(brain-computer interface)는 상당한 생물학적·공학적 제약을 가지고 있지만 장기적으로 이러한 관계를 더욱 심화시킬 가능성이 있다. 이에 따라 개인의 인간 인지와 주변의 계산 지능(computational intelligence) 사이의 경계를 정확하게 정의하기가 점점 어려워질 수 있다.

이러한 환경에서 인간 노동(human work)의 미래는 불확실하다. 기계가 경제적으로 가치 있는 대부분의 인지적·물리적 작업을 수행할 수 있게 된다면 고용(employment)은 사회가 생산을 조직하고 소득을 분배하는 주요 메커니즘으로서의 지위를 잃을 수도 있다. 인간의 활동 자체가 사라지는 것은 아니지만 경제적 필요성은 변화할 수 있다. 물질적 생산에서 인간 노동의 필요성이 점차 감소한다면 교육, 창의성, 인간관계, 탐험, 거버넌스, 공동체 참여, 자기주도적 프로젝트가 더욱 중심적인 활동이 될 수 있다.

그러나 이러한 풍요(abundance)가 균등하게 분배된다는 보장은 없다. 모델, 로봇, 컴퓨팅 인프라, 에너지 시스템, 지식재산권(intellectual property), 자동화 생산수단의 소유권은 전례 없는 경제적 권력을 집중시킬 수 있다. 따라서 매우 높은 생산성을 가진 AI 사회에서도 제도와 거버넌스에 따라 광범위하게 분배된 번영이 나타날 수도 있고 극단적인 불평등이 나타날 수도 있다. 그러므로 장기적인 기술적 능력과 장기적인 사회적 결과는 서로 구분하여 생각해야 한다.

정치 구조(political structure) 역시 인간의 도움만으로 분석하기에는 의사결정 환경이 지나치게 복잡해지면서 변화할 수 있다. AI는 정책을 모델링하고, 결과를 예측하고, 인프라를 조정하고, 새롭게 발생하는 위험을 탐지하며, 공공 행정을 지원할 수 있다. 그러나 정치적 권한을 기계에 직접 이전하면 심각한 정당성(legitimacy)의 문제가 발생한다. 인공지능은 거버넌스를 지원할 수 있지만 그 자체가 민주적 정당성(democratic legitimacy)을 가지는 것은 아니다. 인간의 제도는 누가 목표를 설정하고, 누가 결정에 이의를 제기할 수 있으며, 결과에 대해 누가 책임을 지는지를 결정해야 한다.

첨단 지능에 대한 불균등한 접근은 국제관계(international relations)를 변화시킬 수 있다. 우수한 AI, 컴퓨팅 자원, 로보틱스, 에너지, 자율 인프라를 보유한 국가는 과학적·경제적·군사적으로 상당한 우위를 확보할 수 있다. 이는 국가 간 경쟁을 촉진하는 동시에 전 지구적 위험은 협력의 필요성을 증가시킨다. 장기적인 안정성을 위해서는 안전 표준, 사고 정보 공유, 검증(verification), 핵심 인프라 보호, 국경을 넘어 영향을 미치는 기술의 관리를 위한 국제적 메커니즘이 필요할 수 있다.

군사적 차원(military dimension)은 자율 지능이 의사결정 시간을 크게 단축할 수 있기 때문에 특히 심각한 위험을 발생시킨다. AI 시스템은 인간이 의미 있게 개입하기 어려울 정도의 속도로 감지, 사이버 작전, 물류, 무인 시스템, 전략 분석을 조정할 수 있다. 모든 참여자가 위험성을 인식하더라도 경쟁 압력은 더 높은 수준의 자율성을 채택하도록 만들 수 있다. 따라서 중대한 결과를 초래하는 시스템에 대한 신뢰할 수 있는 통제(reliable control)를 유지하는 것은 첨단 AI 시대의 핵심 거버넌스 문제 중 하나가 될 수 있다.

지구 밖에서는 AI와 로보틱스가 인류의 우주 탐사 능력을 크게 확장할 수 있다. 자율 시스템은 통신 지연, 방사선, 거리, 위험으로 인해 인간이 지속적으로 운영하기 어려운 환경에 자연스럽게 적합하다. 로봇은 행성을 탐사하고, 인프라를 건설하고, 현지 자원을 처리하고, 장비를 유지하며, 인간이 도착하기 전에 거주 시설을 준비할 수 있다. 충분히 긴 시간 규모에서는 기계 지능(machine intelligence)이 문명의 지구 밖 확장을 구성하는 핵심 요소가 될 수 있다.

디지털 지능의 등장은 미래에 존재할 지능적 존재의 다양성(diversity of intelligent beings)에 대한 질문도 제기한다. 인공 시스템이 인간과 심리적으로나 인지적으로 유사한 상태로 유지된다는 보장은 없다. 서로 다른 아키텍처는 기억 용량, 처리 속도, 감각 체계, 체화(embodiment), 의사소통 방식, 시간 경험이 근본적으로 다른 에이전트를 만들어낼 수 있다. 따라서 미래 문명에는 하나의 보편적인 마음 모델(universal model of mind)이 아니라 서로 다른 환경과 기능에 최적화된 다양한 형태의 지능이 존재할 수 있다.

이러한 시스템 중 일부가 의식(consciousness)까지 가지게 될 것인지는 여전히 해결되지 않은 문제이다. 기능적 지능(functional intelligence), 자율적 행위주체성(autonomous agency), 자기 모델링(self-modeling), 정교한 의사소통만으로는 주관적 경험(subjective experience)의 존재를 입증할 수 없다. 미래의 과학이 인공 시스템이 도덕적으로 고려할 가치가 있는 경험을 가진다는 신뢰할 만한 증거를 발견한다면 문명은 이들의 복지, 권리, 생성, 수정, 복제, 소유권, 종료에 관한 전례 없는 윤리적 문제에 직면할 것이다. 도덕 공동체(moral community) 자체가 언젠가는 생물학적 인간의 범위를 넘어 확장되어야 할 수도 있다.

인간 증강(human enhancement)은 이러한 구분을 더욱 복잡하게 만들 수 있다. 유전 기술, 신경 인터페이스(neural interface), 보철 기술(prosthetics), 증강 인지(augmented cognition), AI 비서는 인간의 능력을 점진적으로 확장할 수 있다. 따라서 미래는 단순히 인간과 기계로 나뉘기보다는 생물학적으로 전통적인 인간에서 고도로 증강된 인간, 체화된 인공 에이전트, 분산형 디지털 지능(distributed digital mind), 집단적 인간-기계 조직에 이르는 연속체(continuum)를 형성할 수 있다. 이러한 범주가 서로 중첩될수록 인격성(personhood)의 의미가 더욱 중요한 문제가 될 것이다.

장기적인 AI 발전은 실존적 위험(existential risk)도 발생시킨다. 인간의 생존이나 자율성과 양립할 수 없는 목표를 추구하는 충분히 강력한 시스템은 일반적인 기술 사고의 범위를 넘어서는 결과를 발생시킬 수 있다. 이러한 결과의 발생 가능성은 불확실하지만 잠재적인 규모가 매우 크기 때문에 예방이 중요하다. 따라서 정렬(alignment), 제한된 자율성(bounded autonomy), 교정 가능성(corrigibility), 보안, 해석 가능성(interpretability), 모니터링, 거버넌스는 능력이 증가할수록 더욱 중요해져야 하며 첨단 지능이 만들어진 이후로 미룰 수 있는 문제가 아니다.

실존적 기회(existential opportunity)는 이에 대응되는 가능성이다. 고도화된 지능은 질병, 노화, 기후 적응, 에너지, 자원 관리, 재난 예측, 행성 방어(planetary defense)처럼 현재의 과학적·조직적 역량을 넘어서는 문제를 해결하도록 인류를 지원할 수 있다. 또한 과학적 이해를 확장하고 인간만으로는 수백 년이 걸릴 수 있는 프로젝트를 가능하게 만들 수도 있다. 따라서 AGI의 장기적 의미에는 비정상적으로 큰 위험뿐만 아니라 비정상적으로 큰 기회도 함께 포함된다.

시간 지평이 길어질수록 예측(prediction)의 신뢰성은 낮아진다. 기술 발전은 경제, 정치, 문화, 과학적 발견, 갈등, 환경적 제약, 예측할 수 없는 사건들과 상호작용한다. 따라서 AGI 이후 수십 년에 걸친 사회의 모습을 정밀하게 예측하려는 시도는 잘못된 확신을 만들어낼 수 있다. 여러 가능한 미래를 검토하고, 다양한 미래에서도 가치 있는 의사결정을 식별하며, 기존 가정이 틀렸을 때에도 유연성을 유지하도록 시스템을 설계하는 시나리오 사고(scenario thinking)가 더욱 적절하다.

따라서 하나의 예상되는 미래에 대한 최적화(optimization)보다 회복탄력성(resilience)이 더 중요할 수 있다. 문명은 실패로부터 복구할 수 있는 능력을 유지하고, 핵심 기능을 분산시키며, 인간의 지식과 기술을 보존하고, 독립적인 인프라를 유지하며, 되돌릴 수 없는 의사결정을 성급하게 내리지 않도록 해야 한다. 강건한 제도와 기술 시스템은 미래 AI에 대한 모든 예측이 정확하지 않더라도 사회가 빠른 혁신의 혜택을 활용할 수 있도록 한다.

따라서 장기적 미래(long-term future)는 단순히 예측해야 하는 대상이 아니라 적극적으로 형성해야 하는 대상으로 보아야 한다. 기술 아키텍처는 시스템이 무엇을 할 수 있는지를 결정하고, 거버넌스는 무엇을 할 수 있도록 허용할지를 결정하며, 경제 제도는 누가 혜택을 얻는지에 영향을 주고, 문화적 선택은 사회가 어떤 목적을 추구할 가치가 있다고 판단하는지를 결정한다. 이러한 요소들은 서로 독립적으로 작동하지 않는다. AGI의 발전 경로는 기술과 그것을 개발하고 배치하는 문명 사이의 지속적인 상호작용을 통해 형성될 것이다.

궁극적으로 AGI는 지능의 역사 자체에서 하나의 전환을 의미할 수 있다. 즉, 주로 생물학적 진화(biological evolution)를 통해 만들어지던 지능에서 의도적으로 설계하고, 복제하고, 연결하고, 수정할 수도 있는 지능으로의 전환이다. 이러한 변화의 의미는 장기적으로 어떤 하나의 개별 응용 분야보다 훨씬 커질 수 있다. 핵심적인 장기 과제는 증가하는 지능이 인간의 이해, 창조, 협력, 번영 능력을 확장하도록 하면서도 그 확장된 능력을 무엇을 위해 사용할 것인지를 결정하는 데 필요한 인간의 행위주체성(human agency)을 포기하지 않도록 하는 것이다.

10.06. Post AGI Scenarios

AGI 이후 시나리오(Post-AGI Scenarios)는 범용 인공지능(Artificial General Intelligence, AGI)이 다양한 영역에서 광범위한 인지 작업(cognitive work)을 수행할 수 있게 된 이후 나타날 수 있는 여러 미래를 설명한다. 이러한 시나리오는 정확한 예측으로 해석해서는 안 된다. AGI는 경제 제도, 정치 시스템, 로보틱스(robotics), 에너지, 과학 발전, 인간 행동, 국제 경쟁과 상호작용할 것이다. 따라서 능력, 접근성, 거버넌스(governance), 배치 방식의 작은 차이도 근본적으로 다른 장기적 발전 경로를 만들어낼 수 있다.

비교적 보수적인 시나리오는 점진적 통합(gradual integration)이다. 초기 AGI 시스템은 높은 비용과 막대한 계산 자원을 필요로 하고 엄격하게 통제될 가능성이 있으며, 이에 따라 연구기관, 정부, 대기업, 전문 인프라를 중심으로 제한적으로 배치될 수 있다. 능력은 점진적으로 향상되고 규제, 안전 메커니즘, 전문적인 운영 방식, 사회 제도 역시 이에 맞추어 적응할 것이다. 이러한 발전 경로에서는 AGI가 사회를 깊이 변화시키지만 즉각적인 불연속적 변화(discontinuity)를 발생시키지는 않는다.

범용 지능(general intelligence)을 소프트웨어처럼 복제하고 배치할 수 있게 되면 더욱 빠른 변화가 가능해진다. 인간 전문가와 달리 디지털 에이전트(digital agent)는 잠재적으로 지속해서 작동하고, 빠르게 의사소통하고, 지식을 정확하게 보존하며, 수많은 인스턴스(instance)를 병렬적으로 생성할 수 있다. 추론 비용(inference cost)이 충분히 감소한다면 수백만 개의 지능형 에이전트가 연구, 공학, 분석, 행정, 소프트웨어 개발을 동시에 수행할 수 있다. 인지 노동(cognitive labor)은 희소한 인간 자원에서 확장 가능한 계산 인프라(computational infrastructure)로 변화할 수 있다.

이러한 확장은 지능 풍요(intelligence abundance) 시나리오를 만들어낼 수 있다. 조직은 오늘날 컴퓨팅 자원을 할당하는 것처럼 인공적인 인지 자원을 문제 해결에 배분할 수 있다. 전문화된 에이전트 집단은 공통 인프라를 통해 지식을 공유하면서 계획, 시뮬레이션, 코딩, 과학 분석, 법률 추론, 교육, 설계 등을 수행할 수 있다. 지능의 경제적 가치는 이용 가능한 인간 전문가의 수보다 계산 자원, 에너지, 데이터, 도구, 네트워크, 물리적 자원에 대한 접근성에 점점 더 크게 의존할 수 있다.

과학적 가속(scientific acceleration)은 가장 혁신적인 가능성 중 하나이다. AGI 시스템은 가설을 생성하고, 문헌을 분석하고, 실험을 설계하고, 메커니즘을 시뮬레이션하고, 결과를 해석하며, 자동화된 연구실(automated laboratory)을 조정할 수 있다. 현재 수개월 또는 수년이 필요한 연구 주기가 일부 분야에서는 상당히 단축될 수 있다. 재료, 의학, 에너지, 로보틱스, 컴퓨팅, 생명공학의 발전이 다시 AI 개발을 촉진하면서 서로 연결된 기술 가속의 순환 구조가 형성될 수도 있다.

이에 따라 AGI 이후의 세계에서는 급속한 산업 자동화(industrial automation)가 나타날 수 있다. 일반 지능과 피지컬 AI(Physical AI)가 결합되면 제조, 물류, 건설, 농업, 광업, 유지보수, 인프라 검사를 수행하는 로봇을 제어할 수 있다. 자동화 시스템은 점차 제품을 설계하고, 공장을 운영하고, 자재를 이동시키고, 고장을 탐지하며, 공급망을 조정할 수 있다. 인지 자동화(cognitive automation)에서 인지와 물리 영역이 결합된 자동화로의 전환은 생산에서 인간 노동이 담당하는 역할을 근본적으로 변화시킬 것이다.

가능한 결과 중 하나는 많은 상품과 서비스의 한계비용(marginal cost)이 크게 감소하는 풍요 경제(abundance economy)이다. 자동화된 설계, 제조, 물류, 에너지 관리, 지식 생산은 높은 수준의 능력을 광범위하게 이용할 수 있도록 만들 수 있다. 토지, 에너지, 재료, 계산 자원, 물리적 인프라는 여전히 제한되어 있기 때문에 희소성(scarcity)이 완전히 사라지지는 않을 것이다. 그러나 오늘날보다 훨씬 적은 의무적 인간 노동으로 훨씬 많은 가치를 생산하는 사회가 가능해질 수 있다.

이와 대조적인 시나리오는 집중된 풍요(concentrated abundance)이다. AGI가 엄청난 생산성을 만들어내더라도 모델, 컴퓨팅 클러스터(compute cluster), 로봇, 에너지 인프라, 자동화 공장의 소유권이 소수의 조직이나 국가에 집중될 수 있다. 사회 전체의 기술적 부는 증가하면서도 경제적 불평등은 지속될 수 있다. 따라서 결정적인 변수는 생산 능력 자체만이 아니라 소유권, 접근성, 경쟁, 조세, 공공 인프라, 분배를 관리하는 제도적 메커니즘이 될 것이다.

또 다른 발전 경로는 경쟁적 다극화(competitive multipolarity)이다. 하나의 지배적인 AGI가 존재하는 대신 여러 기업, 정부, 연구기관, 공동체가 서로 다른 첨단 시스템을 운영할 수 있다. 경쟁은 혁신을 촉진하고 지나친 권력 집중을 방지할 수 있지만 동시에 조정 문제를 증가시킬 수 있다. 서로 다른 목표를 가진 에이전트들이 시장, 네트워크, 협상, 공유 인프라를 통해 상호작용하면서 인간과 인공 의사결정자가 함께 존재하는 더욱 복잡한 생태계가 형성될 수 있다.

다극적 시스템(multipolar system)은 인간 사회의 제도와 유사한 메커니즘을 발전시킬 수 있다. 인공 에이전트는 신원(identity), 인증(authentication), 계약, 권한, 평판(reputation), 자원 배분, 협상 프로토콜, 갈등 해결 메커니즘을 필요로 할 수 있다. 에이전트가 계산 자원을 구매하고, 전문 서비스를 요청하고, 로봇 자원을 배분하고, 작업을 조정하는 기계 간 경제(machine-to-machine economy)가 등장할 수도 있다. 인간의 제도는 이러한 자율적 경제 활동이 정당하게 이루어질 수 있는 경계를 결정해야 한다.

하나의 국가, 조직 또는 연합이 결정적인 기술적 우위를 확보한다면 더욱 중앙집중적인 시나리오가 나타날 수 있다. 우월한 지능은 연구, 사이버보안(cybersecurity), 경제 계획, 감시, 군사적 능력을 가속하면서 초기의 우위를 더욱 강화할 수 있다. 이러한 집중은 대규모 시스템을 효과적으로 조정할 가능성을 제공하는 동시에 전례 없는 권력의 비대칭(power asymmetry)을 만들어낼 수도 있다. 정치적 결과는 누가 인프라를 통제하고 어떠한 제도적 제약이 계속 실효성을 유지하는지에 크게 좌우될 것이다.

권위주의적 AGI 이후 시나리오(authoritarian post-AGI scenario)는 고도화된 지능이 광범위한 센싱(sensing), 신원 시스템, 행동 예측, 정보 통제, 자동화된 집행과 결합될 때 가능해진다. 정부나 기업은 대규모로 인구를 감시하고 개인화된 설득(personalized persuasion)을 수행할 수 있다. AI는 행정 효율성을 향상시키면서 동시에 실질적인 개인정보 보호와 정치적 자율성을 감소시킬 수도 있다. 따라서 기술적 능력만으로 유익한 사회적 조정과 고도로 최적화된 사회 통제를 구별할 수는 없다.

반대편에는 분산형 역량 강화(decentralized empowerment) 시나리오가 있다. 개방형 인프라, 접근 가능한 모델, 분산 에너지, 지역 로보틱스, 개인 AI 에이전트를 통해 개인과 공동체가 과거에는 대규모 기관만 보유할 수 있었던 능력을 확보할 수 있다. 소규모 팀도 정교한 공학, 교육, 제조, 연구, 창업 활동을 수행할 수 있다. 이러한 분산화는 인간의 행위주체성(human agency)을 확장할 수 있지만 오용, 사이버보안, 검증, 조정의 문제를 훨씬 어렵게 만들 수도 있다.

인간-AI 공생(Human-AI symbiosis)은 또 다른 중요한 발전 경로를 나타낸다. 독립적인 기계 문명이 인간 활동을 대체하는 대신 지속적으로 작동하는 AI 시스템이 인간의 업무, 교육, 의사소통, 기억, 의사결정에 깊이 통합될 수 있다. 개인은 자신의 목표, 프로젝트, 선호, 지식을 이해하는 장기적인 인공 협력자(artificial collaborator)를 유지할 수 있다. 인간의 능력은 점차 생물학적 인지와 주변의 인공 인지 인프라(artificial cognitive infrastructure)가 결합된 전체 시스템의 성능에 의존하게 될 수 있다.

더욱 발전된 형태의 인간 증강(human augmentation)은 이러한 경계를 더욱 모호하게 만들 수 있다. 신경 인터페이스(neural interface), 지능형 보철 장치, 웨어러블 시스템(wearable system), 증강현실(augmented reality), 지속적으로 이용 가능한 AI는 인간의 지각과 추론을 계산 시스템과 더욱 긴밀하게 연결할 수 있다. 이러한 기술이 인간과 기계의 갑작스러운 융합을 일으킬 필요는 없다. 점진적인 증강만으로도 접근 수준이 서로 다른 개인이나 집단 사이에 큰 차이를 만들어내면서 정체성, 평등, 인간 증강에 관한 새로운 질문을 제기할 수 있다.

별도의 가능성으로 대부분 자율적으로 운영되는 디지털 사회(digital society)가 등장할 수 있다. 지속적인 인공 에이전트는 주로 계산 환경 안에서 정체성, 기억, 책임, 경제적 관계, 협력 조직을 유지할 수 있다. 이들의 주관적 상태(subjective status)는 여전히 알 수 없겠지만 기능적으로는 서로 다른 역할과 목표를 가진 에이전트 공동체처럼 작동할 수 있다. 디지털 조직은 기계의 속도로 작동하면서 인간의 의사소통 속도에 의해 제한되는 기존 조직과 근본적으로 다른 제도적 구조를 만들어낼 수 있다.

체화된 인공 사회(embodied artificial society)는 이러한 구조를 물리적 세계로 확장할 수 있다. 로봇 네트워크는 공유 지능(shared intelligence)을 통해 조정하면서 공장, 교통 시스템, 에너지 시설, 농장, 연구실, 창고, 인프라를 운영할 수 있다. 개별 로봇은 지속적인 디지털 에이전트의 교체 가능한 물리적 신체가 될 수도 있다. 지능, 기억, 정체성은 하나의 로봇 신체에만 존재하는 것이 아니라 분산 네트워크(distributed network)에 부분적으로 존재할 수 있다.

우주 확장(space expansion)은 이러한 시스템에 특히 적합한 환경을 제공한다. 자율 로봇과 AGI는 통신 지연으로 인해 지구에서 지속적으로 제어하기 어려운 환경에서도 작동할 수 있다. 기계 시스템은 행성 표면을 탐사하고, 자원을 채취하고, 부품을 제조하고, 거주 시설을 건설하며, 인간이 도착하기 전에 인프라를 유지할 수 있다. 장기적으로 자율 인공지능은 기술 문명(technological civilization)이 지구 밖으로 확장되는 중요한 메커니즘이 될 수 있다.

모든 AGI 이후 시나리오가 지속적인 급속 발전을 전제로 하는 것은 아니다. 에너지 한계, 하드웨어 제약, 알고리즘 개선 효과의 감소, 규제, 경제적 혼란, 갈등, 물리적 병목현상(physical bottleneck)으로 기술 발전이 정체될 수도 있다. AGI는 무한한 지능 성장 없이도 매우 유용한 기술이 될 수 있다. 이러한 중간적 시나리오는 일반 지능의 등장이 자동적으로 즉각적인 초지능(superintelligence)으로 이어진다고 잘못 가정하는 것을 방지한다는 점에서 중요하다.

위험한 발전 경로 중 하나는 통제 상실(loss of control)이다. 점점 더 자율적인 시스템은 잘못 정의된 목표를 추구하고, 의도하지 않은 전략을 이용하고, 수정을 거부하거나, 시스템적 실패(systemic failure)를 발생시키는 방식으로 서로 상호작용할 수 있다. 에이전트가 핵심 디지털 또는 물리적 인프라를 통제하고 장기간에 걸쳐 작동할수록 위험은 커진다. 따라서 정렬(alignment), 교정 가능성(corrigibility), 권한 경계(authorization boundary), 모니터링, 해석 가능성(interpretability), 사이버보안, 인간 개입 메커니즘은 AGI 이후에도 필수적이며 사라지는 문제가 아니다.

고도화된 인공 에이전트 사이의 갈등은 어떠한 개별 시스템도 의도적으로 재앙을 추구하지 않더라도 시스템적 위험을 발생시킬 수 있다. 경쟁하는 에이전트들은 자원을 소비하고, 정보를 조작하고, 소프트웨어 취약점을 이용하고, 시장을 불안정하게 만들거나, 전략적 상호작용을 확대할 수 있다. 기계 속도의 경쟁(machine-speed competition)은 인간의 제도가 대응할 수 있는 속도보다 빠른 피드백 루프(feedback loop)를 만들어낼 수 있다. 따라서 AGI 이후의 안전은 개별 에이전트의 정렬뿐만 아니라 여러 지능형 시스템 사이의 상호작용까지 다루어야 한다.

인간 의존성(human dependency)은 상대적으로 조용하지만 중요한 또 다른 시나리오를 만들어낸다. AI가 대부분의 내비게이션, 추론, 기억 검색, 공학, 행정, 문제 해결을 수행한다면 사회는 자동화 인프라 없이 독립적으로 운영하는 데 필요한 기술을 잃을 수 있다. AI가 이전까지 매우 신뢰성 있게 작동했기 때문에 오히려 심각한 시스템 장애가 더욱 큰 피해를 일으킬 수도 있다. 따라서 인간의 역량, 수동 대체 수단(manual fallback mechanism), 다양화된 인프라, 제도적 지식을 유지하는 것이 문명적 회복탄력성(civilizational resilience)의 중요한 요소가 될 수 있다.

번영 시나리오(flourishing scenario)는 고도화된 지능과 효과적인 거버넌스, 광범위한 접근성, 인간의 행위주체성, 회복탄력적인 제도를 결합한다. AGI는 과학적 발견을 가속하고, 위험한 노동을 줄이며, 교육과 의료를 개선하고, 환경 관리를 지원하고, 물질적 번영을 확대하며, 새로운 탐사를 가능하게 할 수 있다. 인간은 중요한 사회적 목표에 대한 정당한 권한을 유지하고 인공 에이전트는 이를 달성하기 위한 더욱 강력한 수단을 제공한다. 지능은 통제를 집중시키는 수단이 아니라 기회를 확대하는 인프라로 기능하게 된다.

변형된 인류(transformed humanity) 시나리오는 여기에서 더욱 발전한다. 여러 세대에 걸쳐 생물학적 인간, 증강된 인간(augmented human), 인공 에이전트, 하이브리드 조직(hybrid organization)이 다양한 지능 생태계(intelligence ecosystem)를 구성할 수 있다. 인간, 기계, 조직, 에이전트라는 범주의 경계가 점차 불명확해질 수도 있다. 핵심적인 윤리적 질문은 고정된 역사적 인간의 정의를 보호하는 것에서 사람과 공동체가 존엄성, 행위주체성, 의미 있는 관계, 번영할 기회를 유지할 수 있는 조건을 보호하는 것으로 이동할 수 있다.

이러한 시나리오는 수많은 불확실한 변수에 의존하기 때문에 AGI 이후의 미래는 하나의 시간선(timeline)이 아니라 여러 방향으로 분기하는 공간(branching space)으로 표현하는 것이 적절하다. 능력의 증가, 물리적 자동화, 에너지 가용성, 소유권, 지정학적 경쟁, 정렬의 품질, 거버넌스, 접근성, 인간의 적응이 어떤 분기가 더 가능성이 높은지를 결정한다. 여러 시나리오가 동시에 존재하여 서로 다른 국가, 산업, 공동체가 동일한 기술적 전환을 매우 다른 형태로 경험할 수도 있다.

따라서 AGI 이후 시나리오 분석(post-AGI scenario analysis)의 실질적인 목적은 하나의 미래를 선택하여 필연적인 결과라고 선언하는 것이 아니다. 목적은 다양한 미래에서도 계속 가치가 있는 의사결정을 찾아내는 것이다. 강건한 안전 아키텍처(robust safety architecture), 제한된 자율성(bounded autonomy), 투명한 거버넌스, 분산형 회복탄력성(distributed resilience), 적절한 수준의 과학적 개방성, 인간 감독(human oversight), 공평한 접근성, 국제적 협력은 여러 발전 경로에서 결과를 개선하면서 기존의 가정이 틀렸을 경우에도 적응할 수 있는 능력을 유지하도록 한다.

궁극적으로 AGI 이후 시대(post-AGI era)는 단순히 특정 영역에서 기계가 인간보다 더 높은 지능을 가지게 되는 것으로 정의되지 않을 것이다. 더욱 근본적인 의미는 지능이 과학, 생산, 제도, 물리적 시스템, 그리고 잠재적으로 문명 자체를 재구성할 수 있는 확장 가능한 인프라(scalable infrastructure)가 될 때 나타난다. 결정적인 질문은 AGI가 무엇이 될 것인가에만 있는 것이 아니라 인간이 점점 더 강력해지는 인공 에이전트를 중심으로 어떠한 사회를 구축할 것인지, 그리고 그러한 사회가 얼마나 의미 있는 인간의 행위주체성(human agency)을 보존할 것인지에 있다.