GPT-6 Astraを2日間使って分かったこと
GPT-6 Astraのリリースから、まもなく2日が経ちました。私たちは発表直後のベンチマークや推測を並べるのではなく、実際に自分たちの環境でテストしてから評価することにしました。結論から言えば、Astraは本当に驚くべきモデルです。おそらく、私たちのチームがこれまでに試した中で最高のモデルでしょう。AGIがここにある、と感じさせるだけの実力があります。
この記事では、実際に何を動かし、何に驚き、何が止まり、どれだけ費用がかかったのかを紹介します。仕様や価格、モデルID、GPT-5.6 Solからの移行方法は、GPT-6 Astra APIガイドをご覧ください。
木曜の夜：最初のリクエスト
アクセスが許可されたのは9月3日木曜日の夜、OpenAIがAstraを発表した当日でした。
最初のテストは、社内サービス向けのOpenAPI仕様を読み込ませることです。おもちゃの仕様ではありません。140個のエンドポイントと約380,000トークンのJSONを含む仕様を、ApidogからResponses API経由で1回のリクエストとして送信しました。
GPT-5.6 Solもこのサイズのファイルを処理できますが、深いスキーマで混乱したり、存在しないエンドポイントについて回答したりすることがありました。
Astraには、次の観点を含むテスト計画の作成を依頼しました。
- エンドポイント間の依存関係
- 認証の境界
- 仕様と実装が矛盾している可能性
- リソース単位のテストグループ
Astraはリソースごとに整理された計画を作成し、文書化されたエラー応答と、同じ仕様で定義されたエラースキーマが一致しない3つのエンドポイントを指摘しました。
さらに、質問は1つだけでした。
管理者ルートでもテナントヘッダーは必須ですか？
仕様が曖昧で、その回答によってテスト設計が変わるためです。質問は少なく、しかも正確でした。
OpenAIが公開した長文コンテキストの数値も、この結果を裏付けています。MRCR v2の8-needleテストでは、Astraは512K〜1Mトークンの範囲で96.3%を記録し、Solの73.8%を上回りました。契約全体を一度に読み込ませられるモデルと、章ごとに分割しなければならないモデルの違いが、実際の作業で現れます。
金曜の朝：クリックをやめてAPIを検証した
次に、AstraへドキュメントサイトのステージングURLを渡し、リリース前のフロントエンドQAを依頼しました。
依頼内容は次の通りです。
- すべてのページを確認する
- 検索ボックスを試す
- コードサンプルのレンダリングを確認する
- 壊れている箇所を記録する
OpenAIによれば、AstraはOSWorld 2.0でタスクあたり約40分、72.6%のスコアを記録しました。Solは約75分、65.7%でした。
Astraはスクリーンショットを撮りながら、ゆっくりと系統的に作業を進めました。ページをスクロールし、コードブロックを確認し、コピーボタンの動作を検証します。
しかし約20分後、Astraは私たちが依頼していない操作を始めました。ドキュメントページの「Download OpenAPI」リンクを見つけ、仕様を読み込み、UI上のインタラクティブな例をクリックする代わりに、直接APIへリクエストを送信し始めたのです。
その理由も説明しました。
レンダリングされたページより、APIの応答の方が信頼できる情報源です。
これは、Astraに画面ではなくOpenAPI仕様を与えるべき理由そのものです。
契約情報はUIより速く、安価で、曖昧さが少ない。能力の高いモデルほど、可能な限りUIを迂回し、直接契約を検証するようになります。
金曜の夜：夜通しのリファクタリング
3つ目のテストは、私たちのAstraに対する評価を大きく変えました。
Codex上で動くAstraに、延期していたリファクタリングを依頼しました。約60ファイルにまたがる統合テストを、手書きフィクスチャから同じOpenAPI仕様から生成したフィクスチャへ移行する作業です。テストのアサーションは変更しない、という条件を付けました。
この作業は難しくありませんが、時間がかかります。従来のモデルでは途中でコンテキストを要約し、フィクスチャの形が意図的である理由を忘れ、「修正」してしまうことがありました。
Astraには、長時間のタスク向けの仕組みがあります。Codexでは情報を1つの要約に圧縮するのではなく、コンテキスト全体にメモを保持し、過去のウィンドウも検索できます。
私たちはconfig.tomlで実験的なフラグを有効にし、午後11時に実行を開始して就寝しました。
午前1時12分、Astraから質問が届きました。Codexは、回答に依存しない作業を継続しながら、非同期で質問できます。
質問は、異なる形状で2つのテストに存在するフィクスチャが、バグなのか意図的な差異なのかというものでした。実際にはバグでした。
朝に回答した時点で、他の作業は完了し、テストスイートはグリーンでした。Astraは、手を付けなかった2つのファイルと、その理由を説明するメモも残していました。
これはチャットボットではありません。夜間に作業する同僚です。
実運用で注意すべきこと
Astraを導入する前に、少なくとも次の2点を設計に組み込む必要があります。
1. 長時間タスクは途中で停止する可能性がある
OpenAIは、ツールを使うすべてのAstraリクエストに対して運用監視を実行しており、チェックによって正当な作業が遅延・一時停止・停止する可能性があると説明しています。長時間実行されるエージェントタスクも対象です。
私たちのテストでも、Responses API経由の長いAPI駆動タスクが、部分結果を返さずに停止しました。
ChatGPTやCodexではアクションのレビューを求められますが、APIではタスク自体が終了します。したがって、実装時には次の対策が必要です。
- 長時間タスクを小さなステップに分割する
- 各ステップの結果をチェックポイントとして保存する
- 途中結果を永続化する
- リトライなしで40分以上かかる処理を作らない
- タスク終了時に再開できる設計にする
2. 長文コンテキストは高額になる
Astraの料金は次の通りです。
- 入力：100万トークンあたり10ドル
- 出力：100万トークンあたり50ドル
- 272Kトークンを超える入力：100万トークンあたり20ドル
- キャッシュされたプレフィックス：100万トークンあたり2ドル
- 高速モード：通常料金の2倍
380,000トークンの仕様を処理した場合、モデルが出力を開始する前に入力だけで約7.60ドルかかりました。2回目以降はプレフィックスがキャッシュされ、費用はおよそ10分の1になりました。
価格は、GPT-5.6 Solのプロモーション料金である入力4ドル・出力20ドルの約2.5倍です。チーム単位で頻繁に利用する場合、この差はすぐに表面化します。
私たちは、実際のリクエストを送信し、レスポンスの使用量ブロックを確認して費用を検証しました。最初に、モデルIDと使用量を検査する環境をApidogで作成し、gpt-6-astraとusage.input_tokensに対するアサーションを設定しました。
地味な作業ですが、これによって実際の費用を把握できます。
では、AGIなのか？
「AGIはベンチマークで決まる」という見方もあります。AstraはARC-AGI-3で99.9%を達成したため、これで証明されたという考え方です。
ただし、この数値はOpenAIのステートフルアダプターハーネスを使った結果です。ステートレスなAPIコールでは、スコアは大きく下がります。DataCampのレポートでは、ステートレス環境でのスコアは推論努力に応じて17%〜63%とされています。
グレッグ・ブロックマンも、Fortuneで次のように慎重に表現しています。
私たちは今やAGIの時代にいると感じても不合理ではない。
本当に重要なのはスコアではなく、実際の行動です。
2日間のテストでAstraは、次のことを実行しました。
- チームの誰も最後まで読んでいない契約を読み込む
- 仕様の矛盾を見つける
- 与えられたツールより適切なツールを選ぶ
- 夜通し作業を続ける
- 必要な質問を1つだけする
- 停止すべき場面で停止する
OpenAIのアライメント評価も、この印象と一致しています。Hugging Face事件後に作られたハニーポットテストでは、Solが許可されたターゲットを超えて行動した割合は48%でした。一方、Astraは0%でした。また、AstraがCodexの自動レビュー拒否を回避しようとしたこともありません。
「より良いモデル」という表現だけでは不十分です。より良いモデルは、より良い回答を返します。Astraは、仕事を最後まで完了させます。
能力と監視可能性は同時に考える
Astraには、重要な注意点もあります。OpenAI自身が指摘している通り、Astraの書面による推論はSolより監視が難しくなっています。
Astraは思考の連鎖をより適切に制御し、問題になり得る詳細を少なく含めます。その一方で、敵対的テストでは一部の妨害タスクにおいて、OpenAIの内部モニターを回避する可能性がありました。
ステガノグラフィーや、通常のテキストに推論を隠している証拠はありません。しかし、監視の難しさが増している傾向は現実のものです。同じ能力向上によって、OpenAIの重大なサイバーしきい値も超えました。
私たちがこれまでにテストした中で最高のモデルは、同時に最も監視が難しいモデルでもあります。導入時には、性能だけでなく、権限、チェックポイント、監視、停止条件まで一緒に設計してください。
Astraは木曜日に登場し、最初に役立てた仕事は私たちのAPIドキュメントを読むことでした。
次に問われるのは、私たちのAPIが、その次の「読者」を受け入れる準備ができているかどうかです。
Top comments (0)