Context Caching Implisit pada Gemini 4 Neon: Diskon 95% untuk Input yang Sama
Context caching pada Gemini 4 Neon hanya bersifat implisit. Anda tidak perlu membuat cache. Google secara otomatis menyimpan prefix prompt yang berulang dengan panjang minimal 4.096 token dan menagih token input yang di-cache tersebut seharga $0,15 per 1M, bukan $3 — diskon 95%. Caranya: letakkan bagian stabil dari setiap request di awal dan pastikan identik byte-per-byte, lalu verifikasi keberhasilannya melalui usage.total_cached_tokens.
Di bawah ini: tata letak prompt agar cache hit, aturan agent loop, cara membaca jumlah token yang di-cache, dan sebuah test yang bisa dijalankan oleh coding agent Anda.
Bagaimana cara kerja context caching Gemini 4 Neon?
Context caching Gemini 4 Neon adalah automatic prefix caching. Ketika sebuah request baru dimulai dengan token yang sama seperti request sebelumnya, dan prefix bersama itu panjangnya minimal 4.096 token, Google melayani bagian yang berulang dari cache dan menagihnya dengan tarif cached. Tidak ada yang perlu diaktifkan, dan tidak ada objek cache, TTL, atau biaya penyimpanan yang harus dikelola.
Google merilis Neon pada 18 November 2026 (model ID gemini-4-neon, lihat postingan peluncurannya). Fakta caching-nya cukup dirangkum dalam satu tabel:
| Item | Gemini 4 Neon |
|---|---|
| Mode caching | Hanya implisit, aktif secara default |
Explicit caching (cachedContents, caches.create) |
Tidak didukung |
| Prefix minimum untuk cache hit | 4.096 token |
| Input standar | $3,00 per 1M token |
| Input cache (Standard) | $0,15 per 1M token |
| Input cache (Batch dan Flex) | $0,075 per 1M token |
| Input cache (Priority) | $0,27 per 1M token |
| Cara melihat cache hit | usage.total_cached_tokens |
| Free tier | Tidak ada, hanya tier berbayar |
Diskonnya 95% di semua tier: $0,15 adalah 5% dari $3, $0,075 adalah 5% dari $1,50, dan $0,27 adalah 5% dari $5,40. Token output, termasuk thinking token, tetap $15 per 1M di tier Standard. Caching hanya berlaku untuk input.
Implicit caching vs explicit caching pada Gemini 4 Neon
Jika Anda pernah menggunakan explicit caching di Gemini 2.5 atau 3, inilah perubahan yang bisa merusak kode Anda. Catatan migrasi Neon dari Google menyatakannya secara langsung: Gemini 4 Neon "tidak mendukung explicit caching (cachedContents dan caches.create)", dan Anda sebaiknya "menghapus field cached_content dari request."
Dokumentasi caching menambahkan bahwa Interactions API hanya mendukung implicit caching, dan explicit caching tidak tersedia untuk model Gemini 4 mana pun. Explicit cache masih berfungsi pada model Gemini 3 dan 2.5 yang didukung melalui generateContent.
Artinya, dalam migrasi:
- Hapus kode yang memanggil
caches.createdan menyimpan nama cache. - Hapus
cached_contentdari setiap body request. - Berhenti membayar biaya penyimpanan cache yang tidak lagi Anda gunakan.
- Restrukturisasi prompt agar konten yang dulu Anda cache secara eksplisit berada di awal setiap request.
Anda tidak bisa "menyematkan" dokumen atau memilih TTL, dan cache hit tidak dijamin. Namun, Anda bisa sangat meningkatkan peluangnya.
Bagaimana menyusun prompt agar mengenai cache Gemini 4 Neon?
Cache hit membutuhkan prefix yang panjang, identik, dan dikirim ulang dalam waktu dekat. Dokumentasi Google memberikan dua tips: letakkan konten yang besar dan umum di awal prompt Anda, dan kirim request dengan prefix serupa dalam jangka waktu singkat.
Susun setiap request dengan urutan seperti ini:
- System instruction. Teks tetap, tanpa timestamp, tanpa nama pengguna, tanpa request ID.
- Deklarasi tool dan function. Daftar yang sama, urutan yang sama, deskripsi yang sama setiap saat.
- Dokumen bersama. Codebase, kontrak, spesifikasi API, file kebijakan yang panjang.
- Bagian yang berubah. Pertanyaan pengguna, hasil tool terbaru, tanggal hari ini.
Penyebab cache miss paling umum adalah nilai dinamis kecil di dekat bagian atas. Baris seperti Current time: 2026-11-19T09:14:02Z dalam system instruction mengubah prefix pada setiap panggilan, sehingga tidak ada bagian setelahnya yang bisa cocok. Pindahkan ke bagian akhir, setelah dokumen.
Pengganggu prefix lainnya: daftar tool yang dibangun dengan urutan acak, dokumen yang di-serialize ulang dengan whitespace berbeda, dan chunk yang diambil dengan urutan berbeda.
Jaga prefix tetap di atas 4.096 token. System prompt 2.000 token saja tidak akan memenuhi syarat. Namun jika Anda mengirim dokumen bersama yang panjang bersamanya, gabungan prefixnya akan memenuhi.
Dengan Interactions API, kirim instruksi stabil melalui system_instruction dan letakkan dokumen di awal input:
from google import genai
client = genai.Client() # reads GEMINI_API_KEY
SYSTEM = open("review_rules.md").read() # fixed text
CODEBASE = open("repo_snapshot.txt").read() # ~200K tokens, unchanged
def ask(question: str):
interaction = client.interactions.create(
model="gemini-4-neon",
system_instruction=SYSTEM,
input=CODEBASE + "\n\nQuestion: " + question,
)
print("cached tokens:", interaction.usage.total_cached_tokens)
return interaction
ask("Where do we validate JWT expiry?")
ask("Which handlers skip input validation?")
Panggilan pertama mengisi cache. Jika panggilan kedua mencetak 0 cached token, berarti ada sesuatu di prefix yang berubah.
Implicit caching bekerja di kedua mode percakapan. Panggilan stateless seperti di atas memenuhi syarat, begitu juga sesi stateful yang dirangkai dengan previous_interaction_id. Untuk bentuk request lengkapnya, lihat panduan API Gemini 4 Neon kami.
Cara kerja caching di agent loop: aturan 2.050 token
Agent loop adalah tempat caching paling menguntungkan, karena setiap giliran mengirim ulang seluruh riwayat. Model Gemini 4 menambahkan satu aturan yang perlu Anda ketahui. Dari dokumentasi caching Google: "Gemini hanya meng-cache permintaan sebelumnya secara penuh jika request baru menambahkan setidaknya 2.050 token." Output model, thoughts, dan hasil function semuanya dihitung dalam total tersebut.
Jika sebuah giliran menambah kurang dari 2.050 token, Gemini memproses ulang 2.050 token terakhir dari request sebelumnya dengan tarif input standar. Bagian awal prefix masih bisa mengenai cache, tetapi bagian ekor itu ditagih $3 per 1M.
Google mencatat bahwa sebagian besar giliran agent melebihi ambang ini. Masalah muncul di loop yang banyak bicara dengan langkah kecil, seperti status check yang mengembalikan {"ok": true}. Biayanya kecil per giliran (2.050 token dengan $3 per 1M adalah sekitar $0,006), tetapi menumpuk setelah ribuan giliran pendek. Jika loop Anda melakukan banyak panggilan kecil, gabungkan hasil tool yang kecil ke dalam satu giliran bila logika Anda mengizinkan.
Berapa banyak penghematan dari context caching Gemini 4 Neon?
Ambil contoh asisten code review yang menjawab 20 pertanyaan tentang codebase berukuran 200.000 token. Setiap pertanyaan menambah 3.000 token dan mendapat jawaban sepanjang 1.000 token, di tier Standard.
Tanpa cache hit, setiap panggilan berbiaya:
- Input: 203.000 × $3 / 1M = $0,609
- Output: 1.000 × $15 / 1M = $0,015
- Per panggilan: $0,624, sehingga $12,48 untuk 20 panggilan
Dengan cache hit setelah panggilan pertama, panggilan 2 sampai 20 berbiaya:
- Prefix cache: 200.000 × $0,15 / 1M = $0,030
- Input baru: 3.000 × $3 / 1M = $0,009
- Output: $0,015
- Per panggilan: $0,054
Ditambah panggilan pertama yang tidak ter-cache sebesar $0,624, total sesi berbiaya $1,65, sekitar 87% lebih murah.
Penghematannya di bawah 95% karena output dan input baru tidak pernah mendapat diskon. Semakin besar prefix bersama dibanding sisanya, semakin dekat Anda ke diskon 95% untuk input. Jalankan pekerjaan yang sama melalui Batch dan tarif cache berkurang lagi menjadi $0,075. Untuk daftar harga lengkap dan biaya thinking level, lihat harga Gemini 4 Neon.
Bagaimana memeriksa cached token Gemini 4 Neon dalam respons?
Baca usage.total_cached_tokens di setiap respons. Google mendokumentasikannya sebagai field yang menunjukkan berapa banyak token yang mengenai cache, di SDK Python maupun JavaScript.
Dengan curl dan jq:
curl -s "https://generativelanguage.googleapis.com/v1beta/interactions" \
-H "x-goog-api-key: $GEMINI_API_KEY" \
-H "Content-Type: application/json" \
-d @request.json | jq '.usage'
Untuk menghitung biaya panggilan, tagih token cache seharga $0,15 per 1M, sisa input seharga $3, dan output plus thinking seharga $15. Catat jumlah token cache di samping request ID Anda. Penurunan mendadak ke 0 di seluruh trafik biasanya berarti sebuah deploy mengubah prefix: tool baru, aturan yang diubah redaksinya, atau timestamp yang masuk ke system instruction.
Minta coding agent Anda menguji cache hit dengan Apidog CLI
Prefix bisa rusak saat refactoring biasa, dan tidak ada yang menyadarinya sampai tagihan datang. Ubah pemeriksaan cache menjadi API test yang dipelihara oleh coding agent Anda dan dijalankan oleh CI.
Apidog CLI memungkinkan Claude Code, Codex, Cursor, atau OpenCode membuat dan menjalankan API test dari terminal. Lakukan setup sekali:
npm install -g apidog-cli@latest
apidog login --with-token <YOUR_TOKEN>
npx -y skills add https://apidog.com # pick your agent when prompted
Lalu beri agent Anda satu prompt:
In Apidog project <id>, create an environment for the Gemini API with a
GEMINI_API_KEY variable. Build a test scenario called "Neon cache hit" with two
steps that POST to /v1beta/interactions with model gemini-4-neon, using our
production system_instruction and the docs/context.md file as the start of
input, then two different questions. Assert HTTP 200 on both, and assert that
usage.total_cached_tokens on step 2 is greater than 4096. Run it and tell me
the cached token count.
Agent akan membuat environment dan skenario, memeriksa payload-nya terhadap schema CLI, lalu menjalankannya:
apidog environment create gemini-api --project <id> --base-url https://generativelanguage.googleapis.com
apidog test-scenario create --project <id> --name "Neon cache hit"
apidog cli-schema get test-scenario-update
apidog cli-schema validate test-scenario-update --file scenario.json
apidog test-scenario update <scenarioId> --project <id> --file scenario.json
apidog run -t <scenarioId> --project <id> -e <envId> -r cli,json
Jika bulan depan seseorang menambahkan timestamp ke system prompt, assertion pada langkah 2 akan gagal sebelum perubahan tersebut dirilis. Tambahkan apidog run -t <scenarioId> --project <id> -e <envId> -r junit ke pipeline Anda dengan panduan CI/CD Apidog CLI, atau mulai dari Apidog CLI di Claude Code. Setiap eksekusi membuat dua panggilan Neon sungguhan, jadi berbiaya beberapa sen per eksekusi dengan tarif di atas. Paket Free Apidog mencakup hingga 4 pengguna.
Untuk memahami cara kerja prefix caching di berbagai provider, lihat apa itu prompt caching.
FAQ
Apakah Gemini 4 Neon mendukung explicit context caching? Tidak. Panduan Neon dari Google menyatakan bahwa model ini tidak mendukung cachedContents maupun caches.create, dan Anda sebaiknya menghapus cached_content dari request. Neon hanya menggunakan implicit caching, yang aktif secara default.
Berapa ukuran prompt minimum untuk cache hit Gemini 4 Neon? 4.096 token prefix bersama. Ini sama dengan minimum Gemini 4 Hydrogen, Argon, dan Carbon. Gemini 2.5 Flash dan Pro membutuhkan 2.048.
Berapa besar diskon caching Gemini 4 Neon? 95% untuk input cache. Standard turun dari $3 menjadi $0,15 per 1M token, Batch dan Flex dari $1,50 menjadi $0,075, dan Priority dari $5,40 menjadi $0,27. Token output dan thinking tidak didiskon.
Bisakah saya memaksa Gemini 4 Neon meng-cache sebuah prompt? Tidak. Implicit caching tidak memiliki pengaturan yang bisa diaktifkan, tidak ada TTL yang bisa dipilih, dan tidak ada kepastian cache hit. Anda hanya bisa meningkatkan peluangnya dengan menjaga prefix yang panjang dan identik di awal setiap request serta mengirim request serupa dalam waktu berdekatan.
Bagaimana saya tahu request saya mengenai cache? Periksa usage.total_cached_tokens di respons. Nilai di atas nol berarti sebanyak itu token input ditagih dengan tarif cache.
Apakah caching bekerja dengan previous_interaction_id? Ya. Dokumentasi Google menyatakan implicit caching bekerja baik pada percakapan stateful yang dirangkai dengan previous_interaction_id maupun yang stateless di mana Anda mengirim seluruh riwayat sendiri.


Top comments (0)