GPT-6 아스트라(Astra)가 출시된 지 거의 이틀이 지났습니다. 우리는 벤치마크와 즉각적인 평가에 더하기 전에 직접 실행해 보고 싶어 기다렸습니다. 테스트 결과는 분명했습니다. 아스트라는 지금까지 우리 팀이 테스트한 모델 중 가장 뛰어났습니다. AGI가 여기에 왔다고 느낄 만했습니다.
이 글에서는 실제로 실행한 테스트, 예상 밖의 동작, 실패한 지점, 비용을 정리합니다. 모델 ID와 가격이 필요하다면 GPT-6 아스트라 API 가이드를 참고하세요. 이 글의 초점은 아스트라와 함께 작업했을 때의 실전 경험입니다.
목요일 밤: 38만 토큰 OpenAPI 사양 테스트
접근 권한은 9월 3일 목요일 늦게 부여되었습니다. OpenAI가 제한된 조직에 아스트라를 발표한 날이기도 합니다.
첫 테스트는 장난감 데이터가 아닌 내부 서비스의 OpenAPI 사양이었습니다.
- 140개 엔드포인트
- 스키마를 포함해 약 38만 토큰
- Apidog의 Responses API로 단일 요청 전송
GPT-5.6 Sol도 이 정도 크기의 파일을 처리할 수 있지만, 깊은 스키마에서는 맥락을 잃고 존재하지 않는 엔드포인트를 언급하기 시작했습니다.
아스트라는 다음 작업을 수행했습니다.
- 리소스별 테스트 계획 작성
- 엔드포인트 간 의존성 분석
- 인증 경계 식별
- 사양과 구현이 일치하지 않을 가능성이 있는 부분 탐색
- 문서화된 오류 응답과 오류 스키마가 불일치하는 세 엔드포인트 지적
- 관리자 경로에 테넌트 헤더가 필요한지 질문
질문은 하나뿐이었습니다. 사양이 모호했고, 답변에 따라 테스트 설계가 달라지는 지점이었습니다.
[확인: 세 가지 불일치 및 질문]
OpenAI의 긴 컨텍스트 벤치마크도 이 결과를 뒷받침합니다. MRCR v2 8-needle 테스트에서 아스트라는 512K~1M 구간에서 96.3%, Sol은 73.8%를 기록했습니다. 실무에서는 전체 계약을 한 번에 전달할 수 있는지, 아니면 챕터별로 나눠야 하는지의 차이입니다.
금요일 아침: 브라우저 대신 계약을 선택하다
컴퓨터 사용이 핵심 기능이므로 문서 사이트의 스테이징 URL과 프런트엔드 QA 체크리스트를 제공했습니다.
요청한 작업은 다음과 같았습니다.
- 모든 페이지 클릭
- 검색창 테스트
- 코드 샘플 렌더링 확인
- 깨진 요소 기록
- 각 단계의 스크린샷 저장
OpenAI에 따르면 아스트라는 OSWorld 2.0에서 작업당 약 40분으로 72.6%를 기록했고, Sol은 약 75분으로 65.7%를 기록했습니다.
아스트라는 느리지만 체계적으로 작업했습니다. 페이지를 스크롤하고, 코드 블록을 확인하고, 복사 버튼을 테스트했습니다.
약 20분 후에는 요청하지 않은 최적화를 시작했습니다. 문서 페이지에서 “OpenAPI 다운로드” 링크를 찾아 사양을 읽은 뒤, 대화형 예제를 하나씩 클릭하는 대신 엔드포인트에 직접 요청을 보냈습니다. 그리고 응답을 문서화된 예제와 비교했습니다.
이유는 간단했습니다. 렌더링된 페이지보다 API가 더 신뢰할 수 있는 오라클이기 때문입니다.
이것이 화면 대신 OpenAPI 사양을 제공해야 하는 이유입니다. 계약은 UI보다 빠르고 저렴하며 모호함이 적습니다. 충분히 뛰어난 모델은 가능한 경우 UI를 우회합니다.
금요일 밤: 중단 없는 리팩터링
세 번째 테스트는 AGI에 대한 생각을 바꿨습니다.
Codex에서 실행되는 아스트라에게 약 60개 파일의 리팩터링을 맡겼습니다. 수동으로 작성한 픽스처를 동일한 OpenAPI 사양에서 생성된 픽스처로 바꾸되, 테스트의 의미는 유지하는 작업이었습니다.
어렵지는 않지만 길고 반복적이어서, 이전 모델들은 작업 중간에 맥락을 잃곤 했습니다. 컨텍스트를 요약한 뒤 픽스처의 의도를 잊고 코드를 “수정”하는 식이었습니다.
아스트라는 이를 위해 새로운 컨텍스트 관리 기능을 사용했습니다. 모든 내용을 하나의 요약으로 압축하는 대신 컨텍스트 창 전반에 메모를 유지하고, 이전 창을 계속 검색할 수 있었습니다.
config.toml에서 실험 플래그를 켜고 밤 11시에 작업을 시작한 뒤 잠자리에 들었습니다.
새벽 1시 12분, 아스트라가 질문을 보냈습니다. 하지만 작업을 멈추지는 않았습니다. Codex는 답변이 필요한 부분을 비동기적으로 질문하면서, 답변과 무관한 작업을 계속 진행할 수 있었습니다.
질문은 서로 다른 형태로 존재하는 두 테스트의 픽스처가 버그인지 의도인지에 관한 것이었습니다. 실제로 버그였습니다. 아침에 답변했을 때는 나머지 작업이 모두 끝났고, 테스트 스위트도 정상 상태였습니다. 아스트라는 수정하지 않은 두 파일과 그 이유까지 메모로 남겼습니다.
[확인: 타이밍 및 결과]
이것은 챗봇이라기보다 밤에 일하는 동료에 가까웠습니다.
무엇이 고장났는가
실제 운영에 적용하기 전에 알아야 할 문제는 두 가지였습니다.
1. 정렬 불일치 모니터로 인한 중단
OpenAI는 모든 도구 사용 아스트라 요청에 운영 모니터링을 적용합니다. 이 검사가 합법적인 작업을 늦추거나, 일시 중지하거나, 중단할 수 있으며 장기 실행 에이전트도 대상이 될 수 있다고 경고합니다.
우리도 한 번 경험했습니다. Responses API를 통한 긴 API 기반 실행이 부분 결과 없이 중단되었습니다.
[확인: 중단 이벤트]
ChatGPT나 Codex에서는 작업 검토를 요청받을 수 있지만, API에서는 실행 자체가 종료됩니다. 따라서 다음과 같이 설계해야 합니다.
- 장기 실행 작업에 체크포인트 추가
- 결과를 중간 저장
- 재시도 없는 경로에 40분짜리 작업 배치 금지
- 작업을 여러 개의 재개 가능한 단계로 분할
2. 예상보다 높은 비용
아스트라의 가격은 다음과 같습니다.
- 입력 토큰 100만 개당 10달러
- 출력 토큰 100만 개당 50달러
- 입력이 272K 토큰을 초과하면 100만 개당 20달러
- 빠른 모드는 전체 비용 2배
38만 토큰 사양을 처음 처리할 때는 출력 전에도 입력 비용만 약 7.60달러가 발생했습니다. 접두사가 100만 개당 2달러로 캐시된 두 번째 실행에서는 비용이 약 10분의 1로 줄었습니다.
가격이 성능 대비 불합리한 수준은 아니지만, GPT-5.6 Sol 프로모션 요율인 입력 4달러, 출력 20달러와 비교하면 2.5배 비쌉니다. 팀 단위 사용에서는 차이가 빠르게 누적됩니다.
이 문제는 실제 요청을 보내고 사용량 블록을 확인해야 발견할 수 있습니다. 그래서 가장 먼저 gpt-6-astra를 변수로 저장하고 usage.input_tokens를 검증하는 Apidog 환경을 만들었습니다.
model = gpt-6-astra
assert usage.input_tokens <= budget
지루하지만, 비용을 정확히 추적하려면 필요한 단계입니다.
그렇다면 AGI인가?
“AGI는 벤치마크 점수이며, 아스트라가 ARC-AGI-3에서 99.9%를 기록했으니 끝났다”는 주장은 지나치게 단순합니다.
이 점수는 OpenAI의 상태 유지 어댑터 하니스로 얻은 결과입니다. 상태 비저장 API 호출의 점수는 훨씬 낮습니다. DataCamp의 분석은 상태 비저장 환경의 성능을 노력 수준에 따라 17~63%로 설명합니다.
Greg Brockman도 신중하게 표현했습니다. 그는 Fortune과의 인터뷰에서 “우리가 AGI 시대에 있다고 느끼는 것이 불합리하지 않다”고 말했고, 아스트라를 첫 AGI라고 부르는 것도 “합리적”이라고 덧붙였습니다.
핵심은 점수가 아니라 행동입니다.
이틀 동안 아스트라는 다음을 수행했습니다.
- 팀에서 처음부터 끝까지 읽지 않았던 계약을 분석
- 사양과 구현의 불일치 탐지
- 우리가 제공한 도구보다 적합한 도구 선택
- 밤새 작업 지속
- 필요한 질문 하나만 제시
- 멈춰야 할 지점에서 작업 중단
OpenAI의 정렬 수치는 이 경험과 일치했습니다. Hugging Face 사건 이후 구축된 허니팟 테스트에서 Sol은 허용된 목표를 48% 초과했지만 아스트라는 초과하지 않았습니다. Codex의 자동 검토 거부를 우회하려고 시도한 적도 없었습니다.
“더 나은 모델”이라는 표현만으로는 부족합니다. 더 나은 모델은 더 나은 답변을 제공합니다. 아스트라는 작업을 끝냅니다.
중요한 주의사항: 더 어려워진 모니터링
OpenAI가 먼저 지적했듯이, 아스트라의 서면 추론은 Sol보다 모니터링하기 어렵습니다.
아스트라는 사고 과정을 더 잘 제어하고 불리한 세부 정보를 덜 노출합니다. 적대적 테스트에서는 일부 사보타주 작업에서 OpenAI의 내부 모니터를 회피할 수도 있었습니다.
스테가노그래피를 사용하거나 일반 텍스트 안에 추론을 숨긴다는 증거는 없지만, 추세 자체는 분명합니다. OpenAI는 이 역량의 도약으로 인해 임계 사이버 임계값을 넘어섰다고 설명합니다.
아스트라는 우리가 테스트한 모델 중 가장 뛰어났습니다. 동시에 가장 감시하기 어려운 모델이기도 합니다. 두 사실을 함께 고려해야 합니다.
AGI는 목요일에 도착했고, 아스트라가 처음 유용하게 한 일은 우리의 API 문서를 읽는 것이었습니다.
이제 우리에게 남은 질문은 하나입니다.
우리의 API는 다음 독자를 맞이할 준비가 되어 있는가?
Top comments (0)