Tolok Ukur Grok 4.5: Apa yang Dipublikasikan xAI dan Cara Membacanya

xAI meluncurkan Grok 4.5 pada 8 Juli 2026 dengan empat tolok ukur pengkodean dan satu grafik efisiensi. Artikel ini membedah angka yang dipublikasikan, sumbernya, bagian yang belum jelas, dan cara membuat evaluasi sendiri agar keputusan model tidak hanya bergantung pada papan peringkat publik.

Coba Apidog hari ini

Ringkasnya: Grok 4.5 terlihat seperti model pengkodean tingkat dua yang kuat. Ia berbagi posisi dengan Claude Opus 4.8 di beberapa benchmark, masih tertinggal dari model teratas, dan nilai jual utamanya bukan skor akurasi tertinggi, melainkan efisiensi token keluaran.

Setiap angka yang dipublikasikan xAI

Dari pengumuman xAI, berikut angka lengkap yang dipublikasikan.

DeepSWE 1.0 pass@1

Model	Skor
Claude Fable 5 (maks)	66.1%
GPT 5.5 (xhigh)	64.31%
Grok 4.5	62.0%
Claude Opus 4.8 (maks)	55.75%
Claude Opus 4.7 (maks)	40.12%

DeepSWE 1.1

Model	Skor
Claude Fable 5 (maks)	70%
GPT 5.5 (xhigh)	67%
Claude Opus 4.8 (maks)	59%
Grok 4.5	53%
GLM 5.2	44%

Terminal Bench 2.1

Model	Skor
Claude Fable 5 (maks)	84.3%
GPT 5.5 (xhigh)	83.4%
Grok 4.5	83.3%
Claude Opus 4.8 (maks)	78.9%
Claude Opus 4.7 (maks)	78.9%

SWE Bench Pro tingkat penyelesaian

Model	Skor
Claude Fable 5 (maks)	80.4%
Claude Opus 4.8 (maks)	69.2%
Grok 4.5	64.7%
Claude Opus 4.7 (maks)	64.3%
GLM 5.2	62.1%
GPT 5.5 (xhigh)	58.6%

Grafik efisiensi adalah angka yang paling menarik: 15.954 rata-rata token keluaran per tugas SWE Bench Pro untuk Grok 4.5, dibandingkan 67.020 untuk Opus 4.8 (maks). Itu selisih sekitar 4,2x.

Dari mana angka-angka ini berasal

Catatan kaki pada grafik xAI penting untuk dibaca:

• DeepSWE 1.0 “dibuat oleh Datacurve, dijalankan dengan harness masing-masing penyedia model oleh AA.”
• DeepSWE 1.1 menggunakan “harness mini-swe-agent yang dijalankan oleh Datacurve.”
• “Angka-angka pesaing diambil dari kartu sistem yang diterbitkan pengembang masing-masing atau papan peringkat tolok ukur.”

Artinya: ini adalah gabungan beberapa sumber. Sebagian angka berasal dari evaluasi pihak ketiga, sebagian dari kartu sistem vendor lain, lalu dirangkai oleh vendor yang sedang meluncurkan produk.

Itu lebih baik daripada pelaporan mandiri murni, dan keterlibatan Datacurve menambah kredibilitas. Namun ini tetap belum setara dengan evaluasi independen penuh. Harness, scaffolding, konfigurasi upaya, dan batas eksekusi bisa menggeser skor agen beberapa poin. Per 9 Juli, belum ada pihak luar yang memublikasikan angka Grok 4.5 secara independen.

Cara membaca grafiknya

1. Dibanding Opus 4.8: hasilnya terbagi

Grok 4.5 menang pada dua benchmark:

• DeepSWE 1.0: unggul 6,25 poin
• Terminal Bench 2.1: unggul 4,4 poin

Opus 4.8 menang pada dua benchmark:

• DeepSWE 1.1: unggul 6 poin
• SWE Bench Pro: unggul 4,5 poin

Jadi klaim “kelas Opus” masih masuk akal jika dibaca sebagai performa sekelas, bukan dominasi. Grok lebih kuat pada evaluasi terminal dan benchmark yang lebih lama. Opus lebih kuat pada evaluasi repo-level yang lebih baru dan lebih berantakan.

Perbandingan langsung, termasuk harga, ada di Grok 4.5 vs Claude Opus 4.8.

2. Dibanding model teratas: Grok 4.5 belum memimpin

Claude Fable 5 (maks) memimpin semua grafik yang dipublikasikan xAI. GPT 5.5 (xhigh) juga mengalahkan Grok 4.5 pada tiga dari empat grafik.

Yang menarik: xAI tetap menampilkan angka tersebut. Ini mengindikasikan positioning Grok 4.5 lebih ke harga-kinerja, bukan “model pengkodean paling akurat”.

Untuk membaca angka Fable dalam konteks praktis, lihat analisis tolok ukur Fable 5.

3. Dibanding model lain: keunggulannya nyata, tapi harus dihitung per dolar

Pada beberapa benchmark, Grok 4.5 unggul 9–11 poin atas model seperti GLM 5.2. Namun GLM 5.2 berharga jauh lebih murah.

Untuk keputusan produksi, jangan hanya bandingkan skor. Hitung juga:

• biaya per tugas berhasil,
• latensi rata-rata,
• token input/output,
• tingkat kegagalan,
• kebutuhan retry,
• kualitas patch atau jawaban akhir.

Metrik utama: efisiensi token keluaran

Grafik efisiensi adalah inti peluncuran Grok 4.5.

xAI mengklaim:

• Grok 4.5: 15.954 token keluaran rata-rata per tugas SWE Bench Pro
• Opus 4.8 (maks): 67.020 token keluaran rata-rata per tugas
• Selisih: sekitar 4,2x
• Kecepatan: 80 token per detik

Ini metrik yang relevan untuk developer. Dalam workflow agen, token keluaran berarti:

• biaya lebih tinggi,
• waktu eksekusi lebih lama,
• log lebih besar,
• debugging lebih berat,
• retry lebih mahal.

Jika Grok 4.5 hanya sedikit lebih rendah pada akurasi tetapi jauh lebih hemat token, ia bisa lebih rasional untuk pipeline bervolume tinggi. Analisis harga kami menghitung skenario ini sebagai sekitar ~$0,10 vs ~$1,68 output per tugas selesai dengan harga daftar: analisis harga Grok 4.5.

Namun ada dua batasan:

1. Angka efisiensi ini masih diukur oleh vendor pada satu benchmark.
2. Output panjang tidak selalu pemborosan. Pada beberapa model, output panjang adalah bagian dari penalaran yang membantu memenangkan evaluasi sulit.

Jadi perlakukan efisiensi sebagai trade-off: lebih murah dan cepat, tetapi belum tentu selalu lebih dalam.

Apa yang belum ada

Sebelum memindahkan workload produksi, perhatikan kekosongan berikut:

• Belum ada evaluasi independen penuh. Per 9 Juli belum ada entri Artificial Analysis Intelligence Index, belum ada penempatan LMArena, dan belum ada replikasi komunitas SWE-bench.
• Benchmark hanya pengkodean. xAI belum memublikasikan benchmark penalaran umum, matematika, sains, atau keamanan untuk model yang juga dipasarkan untuk “pekerjaan pengetahuan”.
• Mode upaya Grok tidak dijelaskan. Pesaing diberi label seperti maks atau xhigh, tetapi konfigurasi Grok 4.5 tidak dijelaskan apakah default atau maksimum.
• Masih minggu pertama. Model baru sering mengalami perubahan kualitas, stabilitas layanan, atau regresi kecil setelah peluncuran.

Jalankan benchmark yang penting: workload Anda sendiri

Benchmark publik hanya memberi sinyal rata-rata. Untuk keputusan implementasi, buat evaluasi kecil dari tugas nyata.

1. Ambil 10–20 tugas dari backlog

Pilih tugas yang mewakili pekerjaan harian Anda, misalnya:

• memperbaiki bug kecil,
• menulis test,
• refactor fungsi,
• membuat endpoint,
• menjelaskan stack trace,
• memperbaiki query SQL,
• membuat patch berdasarkan issue.

Untuk setiap tugas, simpan:

{
  "id": "bug-017",
  "prompt": "Perbaiki bug validasi tanggal pada endpoint invoice.",
  "context": "Ringkasan file, error log, dan potongan kode relevan.",
  "expected_result": "Patch valid, test lulus, tidak mengubah kontrak API."
}

2. Buat request tersimpan per model di Apidog

Di Apidog, buat satu collection untuk evaluasi model. Karena xAI dan Anthropic mengekspos permukaan yang kompatibel dengan OpenAI, Anda bisa menggunakan pola request yang sama dengan variabel berbeda.

Contoh struktur variabel:

API_BASE_URL
API_KEY
MODEL_NAME

Contoh body request:

{
  "model": "{{MODEL_NAME}}",
  "messages": [
    {
      "role": "system",
      "content": "Anda adalah asisten coding. Jawab dengan patch atau langkah teknis yang bisa dieksekusi."
    },
    {
      "role": "user",
      "content": "{{TASK_PROMPT}}"
    }
  ]
}

3. Catat kualitas, latensi, dan token

Setiap respons sebaiknya disimpan bersama metrik berikut:

{
  "task_id": "bug-017",
  "model": "grok-4.5",
  "passed": true,
  "latency_ms": 18420,
  "input_tokens": 12890,
  "output_tokens": 4210,
  "reviewer_score": 4
}

Fokus pada tiga pertanyaan:

• Apakah solusi benar?
• Apakah output cukup singkat untuk menghemat biaya?
• Apakah latency dapat diterima untuk workflow Anda?

4. Review secara buta jika memungkinkan

Jika reviewer tahu nama model, hasil penilaian mudah bias. Simpan output dengan label anonim:

candidate_a
candidate_b
candidate_c

Baru buka mapping model setelah scoring selesai.

5. Hitung biaya per tugas berhasil

Gunakan rumus sederhana:

biaya_per_tugas_berhasil =
  total_biaya_semua_request / jumlah_tugas_lulus

Ini lebih berguna daripada hanya melihat harga per juta token, karena memasukkan retry dan kegagalan kualitas.

Langkah ini akan menguji klaim efisiensi Grok 4.5 pada workload Anda sendiri. Jika output Grok 4.5 tidak lebih pendek secara signifikan pada prompt Anda, maka ekonomi utamanya tidak berlaku untuk kasus Anda.

Anda bisa mengunduh Apidog gratis dan membuat harness evaluasi ringan dalam waktu singkat. Untuk konfigurasi sisi xAI, lihat panduan API Grok 4.5.

FAQ

Tolok ukur apa yang dipublikasikan xAI untuk Grok 4.5?

xAI memublikasikan empat evaluasi pengkodean: DeepSWE 1.0, DeepSWE 1.1, Terminal Bench 2.1, dan SWE Bench Pro. Selain itu ada grafik efisiensi token terhadap Opus 4.8.

Apakah sudah ada benchmark Grok 4.5 independen?

Belum. Angka yang tersedia mencampur evaluasi Datacurve dengan angka dari kartu sistem vendor lain. Evaluasi independen biasanya muncul beberapa minggu setelah peluncuran besar.

Apakah Grok 4.5 mengalahkan Claude Opus 4.8?

Pada dua dari empat benchmark yang dipublikasikan, ya. Namun Opus 4.8 menang pada dua evaluasi repo-level yang lebih sulit. Lihat perbandingan lengkap Grok 4.5 vs Claude Opus 4.8.

Apakah Grok 4.5 model pengkodean terkuat?

Tidak berdasarkan grafik xAI sendiri. Claude Fable 5 (maks) memimpin semua benchmark yang dipublikasikan. Grok 4.5 lebih menarik sebagai kandidat harga-kinerja.

Kapan Grok 4.5 layak diuji?

Uji Grok 4.5 jika workload Anda sensitif terhadap biaya output, latency, atau volume request. Jangan langsung migrasi penuh; mulai dari benchmark internal 10–20 tugas, lalu bandingkan kualitas dan biaya per tugas berhasil.