Walse

Posted on Jul 10 • Originally published at apidog.com

GPT-5.6 Sol vs Claude Fable 5: Perbandingan Jujur

GPT-5.6 dari OpenAI mencapai ketersediaan umum pada 9 Juli 2026 setelah pratinjau terbatas selama dua minggu. Di sisi lain, Claude Fable 5 dari Anthropic telah membawa klaim “model paling cakap” sejak awal Juni. Jika Anda harus memilih model andalan untuk beban kerja produksi pada kuartal ini, keduanya adalah kandidat yang kredibel—tetapi untuk alasan yang berbeda.

Coba Apidog hari ini

Perbandingan ini tidak memiliki satu pemenang mutlak. Menurut materi peluncuran OpenAI, GPT-5.6 Sol memimpin tolok ukur agentic yang luas, sementara Claude Fable 5 unggul hampir 16 poin di SWE-Bench Pro. Jangan memilih berdasarkan satu angka agregat; cocokkan model dengan jenis pekerjaan yang benar-benar Anda jalankan.

Kami telah membahas apa itu GPT-5.6 Sol secara terpisah. Untuk klaim OpenAI, gunakan juga pengumuman resmi GPT-5.6 sebagai sumber utama.

Keputusan di awal

Pekerjaan yang harus dilakukan	Pilihan yang lebih kuat hari ini	Buktinya
Menjalankan tugas agentic yang luas	GPT-5.6 Sol	Agents’ Last Exam ~53 vs GPT-5.5’s 46.9, menurut OpenAI
Rekayasa perangkat lunak yang mendalam	Claude Fable 5	SWE-Bench Pro 80,3% vs Sol 64,6%, menurut bagan OpenAI
Pekerjaan agen berbasis terminal	GPT-5.6 Sol, tipis	Terminal-Bench 2.1: 88,8%; 91,9% dengan ultra, menurut OpenAI
Harga label terendah per token	GPT-5.6 Sol	$5 / $30 per 1 juta token vs $10 / $50 yang dipublikasikan untuk Fable 5
Eksekusi multi-agen paralel bawaan	GPT-5.6	Pengaturan ultra menjalankan empat agen secara paralel secara default
Satu model yang memenangkan segalanya	Tidak ada	Model itu tidak ada saat ini

Semua angka di atas adalah angka yang dilaporkan vendor saat peluncuran dan belum direproduksi secara independen. Perlakukan tabel ini sebagai peta klaim, bukan peringkat definitif.

Tolok ukur yang benar-benar menentukan adalah beban kerja Anda sendiri. Di bagian akhir, artikel ini menunjukkan cara menguji kedua API secara berdampingan dengan Apidog.

Pembagian tolok ukur, menurut OpenAI

Tiga angka mendefinisikan perbandingan ini. Ketiganya berasal dari materi peluncuran OpenAI, termasuk angka yang mengunggulkan Claude Fable 5.

Tolok ukur	GPT-5.6 Sol	Claude Fable 5	Sumber
Agents’ Last Exam	~53, laporan berkisar 52,7 hingga 53,6	Kira-kira 13 poin di belakang Sol	OpenAI, hari peluncuran
SWE-Bench Pro	64,6%	80,3%	OpenAI, hari peluncuran
Terminal-Bench 2.1	88,8%; 91,9% dengan ultra	Tidak disebutkan dalam bagan OpenAI	OpenAI, hari peluncuran

Pada Agents’ Last Exam, OpenAI melaporkan Sol di sekitar 53, naik dari 46,9 untuk GPT-5.5 dan sekitar 13 poin di atas Claude Fable 5. Tolok ukur ini berfokus pada tugas agentic panjang dan multi-langkah.

Pada SWE-Bench Pro, hasilnya berbalik. Bagan perbandingan OpenAI menunjukkan Claude Fable 5 di 80,3%, dibandingkan 64,6% untuk Sol. Selisih 15,7 poin ini relevan jika pekerjaan Anda mencakup penyelesaian masalah rekayasa perangkat lunak nyata dalam repositori dari ujung ke ujung.

Terminal-Bench 2.1 memperkuat posisi Sol untuk tugas terminal. OpenAI melaporkan 88,8% untuk Sol standar dan 91,9% saat mode ultra membagi pekerjaan ke empat agen paralel. Angka ultra adalah hasil dari mode eksekusi dengan pengeluaran token lebih tinggi, bukan sekadar model yang “berpikir lebih keras”.

Ada dua batasan penting:

Ini adalah klaim hari peluncuran dari vendor yang diuntungkan oleh hasilnya.
Tolok ukur tunggal dapat menyederhanakan kemampuan model secara berlebihan.

Untuk perspektif independen, baca tulisan Simon Willison di hari pertama. Untuk memahami cakupan pengujian, lihat rincian tolok ukur GPT-5.6 Sol.

Apa arti pembagian ini untuk implementasi

Pola dari angka-angka tersebut menunjukkan dua spesialisasi berbeda.

GPT-5.6 Sol: cakupan dan orkestrasi

Agents’ Last Exam dan Terminal-Bench menghargai kemampuan untuk:

Merencanakan banyak langkah.
Memilih serta mengatur penggunaan alat.
Pulih dari kesalahan.
Menyelesaikan tugas bervariasi tanpa pengawasan konstan.

Pilih Sol lebih dahulu jika aplikasi Anda terlihat seperti ini:

Agen yang menangani tiket masuk.
Otomatisasi operasi atau workflow internal.
Pipeline penelitian dan pengumpulan data.
Sistem berbasis terminal.
Orkestrasi banyak panggilan alat dalam satu tugas.

Claude Fable 5: kedalaman rekayasa perangkat lunak

SWE-Bench Pro lebih dekat dengan pertanyaan praktis berikut:

“Bisakah model ini memperbaiki atau mengubah basis kode yang nyata tanpa banyak campur tangan manusia?”

Pilih Fable 5 lebih dahulu jika tugas utama Anda adalah:

Refactor skala repositori.
Debugging lintas banyak file.
Implementasi fitur dengan konteks kode yang panjang.
Pekerjaan rekayasa proyek tunggal yang mendalam.
Sesi agentic panjang yang memerlukan fokus pada satu basis kode.

Pertanyaan yang tepat bukanlah “model mana yang lebih baik?”, melainkan:

“Beban kerja saya lebih mirip orkestrasi luas atau rekayasa mendalam?”

Memilih dari papan peringkat agregat sering kali berarti mengoptimalkan untuk beban kerja yang tidak Anda miliki.

Perbandingan harga

OpenAI mempublikasikan harga GA untuk tiga tingkatan GPT-5.6. Harga Claude Fable 5 di bawah adalah harga yang dipublikasikan saat peluncuran; verifikasi tarif terkini Anthropic sebelum membuat anggaran.

Model	Input per 1 juta token	Output per 1 juta token
`gpt-5.6-sol` — alias `gpt-5.6` mengarah ke sini	$5,00	$30,00
`gpt-5.6-terra`	$2,50	$15,00
`gpt-5.6-luna`	$1,00	$6,00
`claude-fable-5`	$10,00 — dipublikasikan, verifikasi	$50,00 — dipublikasikan, verifikasi

Di daftar harga, Sol berbiaya setengah dari Fable 5 per token untuk input dan output. Namun, harga per token bukan biaya per tugas.

Untuk menghitung biaya sebenarnya, ukur:

biaya_per_tugas =
  (token_input × tarif_input) +
  (token_output × tarif_output) +
  biaya_cache_jika_ada

Model yang lebih murah per token dapat tetap lebih mahal per tugas jika menghasilkan output lebih panjang atau memerlukan lebih banyak iterasi. Sebaliknya, model dengan tarif lebih tinggi bisa lebih murah jika menyelesaikan tugas lebih cepat dan dengan lebih sedikit retry.

Caching juga mengubah hasil:

GPT-5.6 mendukung breakpoint cache eksplisit.
Penulisan cache GPT-5.6 ditagih 1,25× tarif input tanpa cache.
Cache hit GPT-5.6 mempertahankan diskon 90%.
Fable 5 juga mendiskon cache hit sebesar 90%.

Lihat rincian harga Claude Fable 5 untuk pembahasan lebih lanjut tentang dampak caching.

Metrik yang sebaiknya masuk dashboard Anda adalah:

Biaya per tugas yang selesai.
Tingkat keberhasilan tugas.
Jumlah retry per tugas.
Latensi end-to-end.
Jumlah token input dan output.
Tingkat cache hit.

Perbedaan permukaan API

Kedua vendor menyediakan lebih dari endpoint chat completion biasa. Perbedaan API ini dapat memengaruhi arsitektur aplikasi Anda.

GPT-5.6: kontrol dan orkestrasi dalam Responses API

Menurut dokumentasi pengembang OpenAI, GPT-5.6 berfokus pada primitif orkestrasi di dalam Responses API:

Enam tingkat upaya penalaran, dari nol hingga maksimal.
Mode Pro melalui reasoning.mode: "pro" pada ketiga model.
Mode ultra yang menjalankan empat agen paralel secara default.
Panggilan alat terprogram: model menulis JavaScript untuk mengatur panggilan alat dalam runtime V8 terisolasi tanpa akses jaringan.
Penalaran yang dipertahankan antar-giliran.
Eksekusi multi-agen dalam beta.
Pengaturan detail visi yang mempertahankan dimensi gambar asli.

Contoh pola request untuk menguji Sol:

curl https://api.openai.com/v1/responses \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gpt-5.6-sol",
    "input": "Analisis bug ini dan buat rencana perbaikan langkah demi langkah.",
    "reasoning": {
      "mode": "pro"
    }
  }'

Gunakan reasoning.mode secara selektif. Jangan langsung memakai pengaturan tertinggi untuk semua request; ukur apakah kualitas tambahan benar-benar meningkatkan tingkat penyelesaian tugas.

Claude Fable 5: konteks besar dan workflow agentic

Claude Fable 5 berada di puncak keluarga Claude 5, diperkenalkan bersama Claude Mythos 5 dalam pengumuman Anthropic.

Permukaan yang dipublikasikan mencakup:

Jendela konteks 1 juta token sebagai default.
Hingga 128K token output per request.
Parameter fallback sisi server yang dapat mengalihkan request yang ditolak keamanan ke Claude Opus 4.8 dalam panggilan API yang sama.
Tumpukan agentic di sekitar Claude Code dan workflow sub-agen.

Contoh pola request untuk menguji Fable 5:

curl https://api.anthropic.com/v1/messages \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: <VERSI_API_ANDA>" \
  -H "content-type: application/json" \
  -d '{
    "model": "claude-fable-5",
    "max_tokens": 4096,
    "messages": [
      {
        "role": "user",
        "content": "Analisis bug ini dan buat rencana perbaikan langkah demi langkah."
      }
    ]
  }'

Gunakan versi API dan parameter yang sesuai dengan dokumentasi Anthropic saat Anda mengimplementasikan request produksi.

Untuk ringkasan spesifikasi, lihat penjelasan Claude Fable 5.

Implikasi arsitektur

Jendela konteks keduanya hampir setara: Fable 5 memiliki 1 juta token yang dikonfirmasi, sementara cakupan dokumentasi awal juga melaporkan GPT-5.6 pada 1 juta token. Untuk GPT-5.6, jadikan halaman spesifikasi OpenAI sebagai sumber kebenaran.

Perbedaan utama adalah filosofi API:

Pendekatan	Cocok untuk
OpenAI: primitif orkestrasi sebagai fitur API	Sistem yang memerlukan paralelisme, kontrol upaya, dan tool calling terprogram
Anthropic: model tunggal mendalam dengan infrastruktur keandalan	Sesi panjang, konteks besar, dan tugas rekayasa yang fokus

Panduan keputusan praktis

Pilih GPT-5.6 Sol sebagai default ketika

Beban kerja Anda berupa kumpulan agen, orkestrasi alat, atau banyak tugas bervariasi yang berjalan tanpa pengawasan.
Anda membutuhkan paralelisme dan kontrol upaya per request sebagai primitif API.
Anggaran token penting, dan harga $5 / $30 sesuai dengan ekonomi unit Anda.
Anda ingin menurunkan biaya ke Terra atau Luna untuk task yang lebih sederhana.

Pilih Claude Fable 5 sebagai default ketika

Pekerjaan utama adalah rekayasa perangkat lunak sulit di repositori nyata.
Anda menjalankan sesi tugas tunggal yang panjang dan mendalam.
Anda lebih mementingkan kemampuan puncak per tugas daripada throughput armada agen.
Toolchain Anda sudah menggunakan Claude, termasuk caching dan fallback.

Gunakan keduanya ketika

Jika arsitektur dan anggaran memungkinkan, routing berdasarkan jenis tugas adalah pendekatan yang normal:

Tugas masuk
  ├── Perlu orkestrasi, banyak alat, atau paralelisme?
  │     └── GPT-5.6 Sol
  │
  └── Perlu debugging/refactor kode yang mendalam?
        └── Claude Fable 5

Keduanya adalah API HTTP dengan SDK matang. Anda dapat menyembunyikan perbedaan vendor di balik satu interface internal, lalu memilih model berdasarkan metadata tugas.

Uji keduanya terhadap beban kerja Anda sendiri

Tolok ukur vendor hanya memberi Anda dua kandidat. Keputusan akhir harus datang dari prompt, data, alat, dan standar kualitas Anda sendiri.

1. Buat dua environment

Di Apidog, buat environment terpisah untuk OpenAI dan Anthropic.

Contoh variabel environment:

OPENAI_BASE_URL=https://api.openai.com/v1
OPENAI_API_KEY=<api-key-anda>
OPENAI_MODEL=gpt-5.6-sol

ANTHROPIC_BASE_URL=https://api.anthropic.com/v1
ANTHROPIC_API_KEY=<api-key-anda>
ANTHROPIC_MODEL=claude-fable-5

Pisahkan URL dasar, header autentikasi, dan ID model agar koleksi pengujian tetap mudah dirawat.

2. Ambil 10–20 tugas nyata

Jangan menggunakan prompt demo generik. Ambil contoh dari pekerjaan nyata, misalnya:

Tiket bug minggu lalu.
Diff pull request yang sulit.
Permintaan analisis log.
Tugas terminal berulang.
Workflow tool calling internal.
Permintaan refactor dengan acceptance criteria yang jelas.

Setiap tugas harus memiliki definisi selesai yang dapat dinilai.

3. Samakan input dan alat

Untuk setiap task:

Gunakan instruksi sistem dan prompt pengguna yang setara.
Berikan konteks yang sama kepada kedua model.
Jika agen perlu memanggil alat internal, gunakan mock endpoint yang stabil.
Catat parameter penting seperti batas output, mode penalaran, dan jumlah iterasi.
Hindari mengubah prompt di tengah eksperimen tanpa mencatat versinya.

4. Catat hasil dalam format terstruktur

Gunakan tabel evaluasi sederhana:

ID tugas	Model	Berhasil	Skor kualitas	Latensi	Token input	Token output	Biaya	Catatan
BUG-01	GPT-5.6 Sol	Ya/Tidak	1–5	ms	jumlah	jumlah	$	Ringkasan hasil
BUG-01	Claude Fable 5	Ya/Tidak	1–5	ms	jumlah	jumlah	$	Ringkasan hasil

Nilai dua hal untuk setiap prompt:

Kualitas respons — dinilai oleh orang yang memahami beban kerja.
Biaya per tugas — dihitung dari bidang penggunaan di respons API dan tarif model.

5. Bandingkan biaya per tugas selesai

Jangan berhenti pada token total. Gunakan metrik berikut:

biaya_per_tugas_selesai =
  total_biaya_model / jumlah_tugas_yang_berhasil

Metrik ini akan menguji asumsi seperti “Sol setengah harga” terhadap output nyata Fable 5 yang mungkin lebih ringkas atau lebih panjang pada data Anda.

Satu jam pengujian berdampingan biasanya lebih bernilai daripada membaca banyak bagan peluncuran.

FAQ

Apakah GPT-5.6 Sol lebih baik dari Claude Fable 5?

Untuk beberapa pekerjaan, menurut angka peluncuran OpenAI. Sol memimpin Agents’ Last Exam sekitar 13 poin, sementara Fable 5 memimpin SWE-Bench Pro sebesar 15,7 poin dalam bagan yang sama.

Tidak ada pemenang tunggal yang jujur. Gunakan Sol untuk tugas agentic luas dan orkestrasi; pertimbangkan Fable 5 untuk rekayasa perangkat lunak mendalam.

Model mana yang lebih murah untuk dijalankan?

Daftar harga Sol adalah setengah dari harga Fable 5 yang dipublikasikan: $5 / $30 per 1 juta token dibandingkan $10 / $50.

Namun, biaya nyata ditentukan oleh tokenisasi, panjang output, caching, retry, dan tingkat keberhasilan tugas. Ukur biaya per tugas selesai sebelum menjadikan selisih 2× sebagai asumsi produksi.

Bisakah saya menggunakan kedua model dalam satu produk?

Ya. Anda dapat mengarahkan alur yang berat orkestrasi ke Sol dan alur yang berat rekayasa ke Fable 5 di balik satu interface aplikasi.

Untuk implementasi sisi Anthropic, lihat panduan cara menggunakan API Claude Fable 5, termasuk autentikasi dan bentuk request.

Apakah angka tolok ukur ini diverifikasi secara independen?

Tidak. Semua angka dalam artikel ini dilaporkan vendor dari materi peluncuran OpenAI pada 9 Juli, termasuk hasil SWE-Bench Pro yang dimenangkan Fable 5.

Reproduksi independen biasanya muncul beberapa minggu setelah rilis GA. Sampai saat itu, perlakukan semua angka sebagai klaim dan beri bobot lebih tinggi pada pengujian internal Anda.

Perbandingan yang penting adalah milik Anda

Putusan terbagi adalah temuan, bukan masalah. Bagan peluncuran OpenAI memberi Sol keunggulan untuk cakupan agentic dan memberi Fable 5 keunggulan untuk rekayasa perangkat lunak. Kedua model dapat digunakan, tetapi keduanya tidak dioptimalkan untuk pola kerja yang sama.

Jalankan pengujian sederhana:

Ambil 15 prompt nyata dari pekerjaan minggu lalu.
Unduh Apidog.
Siapkan kedua API sebagai environment terpisah.
Jalankan koleksi request yang sama.
Bandingkan kualitas, latensi, tingkat keberhasilan, dan biaya per tugas.

Dengan data tersebut, Anda akan memiliki keputusan model yang dapat dipertahankan—bahkan sebelum reproduksi tolok ukur independen pertama tersedia.

DEV Community