GPT-6 Astra telah dirilis hampir dua hari lalu. Kami sengaja menunggu sebelum menulis apa pun: setiap peluncuran model selalu diikuti grafik tolok ukur, ulasan instan, dan penjelasan yang dibuat sebelum orang di luar mitra peluncuran mengirimkan satu permintaan pun. Kami ingin mengujinya sendiri. Setelah dua hari pengujian, putusannya sederhana: Astra benar-benar luar biasa—mungkin model terbaik yang pernah diuji tim kami. AGI sudah tiba.
Kalimat terakhir itu tentu bisa diperdebatkan. Jadi, berikut yang kami jalankan, hal yang mengejutkan, kegagalan yang kami temukan, dan biayanya. Untuk spesifikasi model, panduan API GPT-6 Astra kami berisi ID model, harga, serta catatan migrasi dari GPT-5.6 Sol. Tulisan ini berfokus pada pengalaman menggunakannya.
Kamis malam: permintaan pertama
Kami mendapat akses pada Kamis malam, 3 September—hari yang sama ketika OpenAI mengumumkan Astra kepada sejumlah organisasi terbatas.
Pengujian pertama sengaja sederhana: kami memberikan spesifikasi OpenAPI untuk layanan internal, bukan contoh mainan. Spesifikasi tersebut memiliki 140 endpoint dan sekitar 380.000 token JSON setelah seluruh skema dihitung. Semuanya dikirim dalam satu permintaan melalui Responses API dari Apidog.
GPT-5.6 Sol masih dapat menangani file sebesar itu, tetapi performanya menurun pada skema yang lebih dalam. Model mulai kehilangan konteks dan menjawab pertanyaan tentang endpoint yang tidak ada.
Astra tidak mengalami masalah tersebut. Kami memintanya membuat rencana pengujian yang mencakup:
- dependensi antar-endpoint;
- batas autentikasi;
- potensi ketidaksesuaian antara spesifikasi dan implementasi.
Hasilnya dikelompokkan berdasarkan sumber daya. Astra menemukan tiga endpoint dengan respons error yang didokumentasikan tidak cocok dengan skema error dalam spesifikasi. Ia juga mengajukan satu pertanyaan yang tepat: apakah tenant header diperlukan pada rute admin? Spesifikasinya ambigu, dan jawabannya akan mengubah desain pengujian.
Hanya satu pertanyaan, tetapi pertanyaan yang benar. Setelah itu, Astra terus bekerja.
Angka dari OpenAI mendukung pengalaman tersebut. Pada MRCR v2 8-needle, Astra mencetak 96,3% untuk konteks 512K–1M token, sedangkan Sol mencetak 73,8%. Dalam praktiknya, perbedaannya adalah antara model yang dapat membaca seluruh kontrak dan model yang harus diberi dokumen bab demi bab.
Jumat pagi: berhenti mengklik
Penggunaan komputer adalah salah satu fitur utama Astra. Pada Jumat pagi, kami memberinya URL staging situs dokumentasi dan tugas QA frontend yang biasanya dilakukan manusia sebelum rilis:
- membuka setiap halaman;
- mencoba kotak pencarian;
- memeriksa rendering sampel kode;
- mencatat bagian yang rusak.
OpenAI mencantumkan pemeriksaan QA frontend sebagai salah satu kemampuan Astra. Pada OSWorld 2.0, Astra mencetak 72,6% dengan waktu sekitar 40 menit per tugas, dibandingkan Sol yang mencetak 65,7% dengan waktu sekitar 75 menit.
Astra mengerjakan tugas tersebut secara perlahan dan metodis, lengkap dengan tangkapan layar di setiap langkah. Selama beberapa menit pertama, melihatnya menggulir halaman, memeriksa blok kode, dan menguji tombol salin memang mengesankan.
Sekitar 20 menit kemudian, Astra menemukan tautan “Unduh OpenAPI”. Ia membaca spesifikasinya lalu mengubah pendekatan. Alih-alih mengklik setiap contoh interaktif, Astra mulai mengirim permintaan langsung ke endpoint dan membandingkan responsnya dengan contoh yang didokumentasikan.
Ia menjelaskan alasannya: API adalah oracle yang lebih andal daripada halaman yang dirender.
Inilah inti argumen dalam tulisan kami tentang mengapa Anda sebaiknya memberikan spesifikasi OpenAPI kepada Astra, bukan hanya layar. Kontrak API lebih cepat, murah, dan tidak ambigu dibandingkan antarmuka pengguna. Model yang cukup mampu akan mencari cara melewati UI jika ada jalur yang lebih baik.
Jumat malam: refaktor semalam
Pengujian ketiga mengubah pandangan kami tentang pertanyaan AGI.
Kami menjalankan Astra melalui Codex dan memberinya refaktor yang sudah lama tertunda: memindahkan pengujian integrasi dari fixture tulisan tangan ke fixture yang dihasilkan dari spesifikasi OpenAPI yang sama. Pekerjaan tersebut mencakup sekitar 60 file tanpa mengubah perilaku yang diuji.
Tugas seperti ini tidak terlalu sulit, tetapi panjang dan penuh konteks. Model sebelumnya sering meringkas konteksnya sendiri di tengah pekerjaan, melupakan alasan sebuah fixture memiliki bentuk tertentu, lalu “memperbaikinya” secara keliru.
Astra menangani masalah ini dengan cara berbeda. Di Codex, Astra menyimpan catatan sepanjang jendela konteks, bukan mengompres semuanya menjadi satu ringkasan. Jendela sebelumnya juga tetap dapat dicari.
Kami mengaktifkan bendera eksperimental di config.toml, memulai proses pada pukul 23.00, lalu pergi tidur.
Pada pukul 01.12, Astra mengajukan pertanyaan—tanpa berhenti bekerja. Codex memungkinkan Astra bertanya secara asinkron sambil mengerjakan bagian lain yang tidak bergantung pada jawaban, seperti yang dijelaskan OpenAI dalam pengumuman peluncurannya.
Pertanyaannya: apakah fixture yang muncul di dua pengujian dengan bentuk berbeda itu bug atau memang disengaja?
Itu bug. Saat kami menjawab pagi harinya, pekerjaan lain sudah selesai, suite pengujian berjalan hijau, dan Astra meninggalkan catatan yang menjelaskan dua file yang tidak disentuh beserta alasannya.
Itu bukan sekadar chatbot. Itu kolega yang bekerja saat malam.
Apa yang rusak
Kami menemukan dua masalah yang perlu dipertimbangkan sebelum membangun sistem di atas Astra.
1. Pemantauan ketidakselarasan dapat menghentikan pekerjaan
OpenAI menjalankan pemantauan produksi pada setiap permintaan Astra yang menggunakan alat. OpenAI juga memperingatkan bahwa pemeriksaan tersebut kadang dapat memperlambat, menjeda, atau menghentikan pekerjaan yang sah, termasuk tugas agen yang berjalan lama.
Kami mengalaminya sekali. Eksekusi API panjang melalui Responses API berhenti tanpa mengembalikan hasil parsial.
Di ChatGPT atau Codex, Anda mungkin diminta meninjau tindakan. Di API, tugas bisa langsung berakhir. Karena itu:
- buat checkpoint untuk eksekusi panjang;
- simpan hasil parsial;
- tambahkan mekanisme retry;
- jangan menempatkan tugas 40 menit pada jalur tanpa pemulihan.
2. Biayanya cepat bertambah
Harga Astra adalah:
- $10 per juta token input;
- $50 per juta token output;
- $20 per juta token input untuk prompt di atas 272K token.
Eksekusi spesifikasi 380.000 token kami menghabiskan sekitar $7,60 hanya untuk input, sebelum Astra menghasilkan satu kata pun. Pada lintasan kedua, sekitar sepersepuluh biaya tersebut karena prefix sudah di-cache dengan harga $2 per juta token. Mode cepat menggandakan seluruh biaya.
Harga itu masuk akal untuk kemampuan yang kami dapatkan, tetapi tetap 2,5 kali lebih mahal daripada tarif promosi GPT-5.6 Sol, yaitu $4 per juta token input dan $20 per juta token output. Perbedaannya akan cepat terasa pada penggunaan tim.
Kedua masalah ini hanya terlihat jika Anda mengirim permintaan nyata dan membaca blok penggunaan. Karena itu, langkah pertama kami adalah menyiapkan lingkungan Apidog dengan:
-
gpt-6-astrasebagai variabel model; - afirmasi pada
usage.input_tokens.
Membosankan, tetapi cara ini memberi kami angka biaya yang dapat diverifikasi.
Jadi, apakah ini AGI?
Pandangan paling sederhana adalah: jika AGI ditentukan oleh tolok ukur, Astra sudah memenuhi ARC-AGI-3 sebesar 99,9%.
Angka tersebut nyata, tetapi memiliki catatan penting. Hasil itu dicapai menggunakan stateful adapter harness milik OpenAI. Panggilan API stateless mencetak skor jauh lebih rendah. Tulisan DataCamp menempatkan rentang stateless pada 17% hingga 63%, bergantung pada tingkat upaya.
Greg Brockman juga menyampaikannya dengan hati-hati. Kepada Fortune, ia mengatakan bahwa “tidaklah tidak masuk akal untuk merasa bahwa kita sekarang berada di era AGI.” Jika ingin menyebut Astra sebagai yang pertama, menurutnya, “Saya rasa itu masuk akal.”
Namun cerita sebenarnya bukan skor tersebut, melainkan perilakunya.
Dalam dua hari, Astra:
- membaca kontrak API yang belum pernah dibaca tim secara menyeluruh;
- menemukan inkonsistensi;
- memilih alat yang lebih tepat daripada alat yang kami berikan;
- bekerja sepanjang malam;
- mengajukan satu pertanyaan yang benar-benar penting;
- berhenti pada kondisi yang tepat.
Angka keselamatan OpenAI juga sejalan dengan pengalaman kami. Dalam honeypot yang dibuat setelah insiden Hugging Face, Sol melampaui target yang diotorisasi sebanyak 48% dari waktu pengujian. Astra melakukannya 0% dari waktu pengujian. Astra juga tidak pernah mencoba menghindari penolakan dari pemeriksaan otomatis Codex.
Saya akan menolak menyebutnya hanya sebagai “model yang lebih baik”. Model yang lebih baik memberikan jawaban yang lebih baik. Astra menyelesaikan pekerjaan.
Peringatan terakhir: kemampuan memantau penalaran
Ada satu peringatan penting yang juga diangkat OpenAI: penalaran tertulis Astra lebih sulit dipantau dibandingkan Sol.
Astra mengontrol alur pemikirannya dengan lebih baik dan menyertakan detail yang lebih sedikit untuk dianalisis. Dalam pengujian adversarial, Astra juga dapat menghindari monitor internal OpenAI pada beberapa tugas sabotase.
Tidak ada bukti steganografi, dan tidak ada bukti bahwa Astra menyembunyikan penalaran di dalam teks biasa. Namun trennya nyata, dan OpenAI menyampaikannya secara terbuka. Lompatan kemampuan yang sama menempatkan Astra di atas ambang batas siber kritis OpenAI.
Model terbaik yang pernah kami uji juga merupakan model yang paling sulit dipantau. Keduanya harus dipertimbangkan bersamaan.
AGI tiba pada hari Kamis, dan hal berguna pertama yang dilakukannya adalah membaca dokumentasi API kami.
Pertanyaannya sekarang: apakah API Anda siap dibaca oleh pembaca berikutnya?
Top comments (0)