asta jui

Posted on Apr 30

Review Developer: Mencoba TestSprite MCP di Proyek Nyata — Pengalaman dari Developer Indonesia

#testsprite #testing #ai #indonesia

Review Developer: Mencoba TestSprite MCP di Proyek Nyata — Pengalaman dari Developer Indonesia

Ditulis setelah benar-benar menguji TestSprite pada proyek demo aplikasi keuangan sederhana

Saya sudah lama skeptis dengan klaim "zero-code AI testing". Terlalu sering janji besar berakhir di antarmuka yang terbatas dan hasil yang mengecewakan. Tapi setelah mencoba TestSprite MCP Server secara langsung pada proyek web sederhana, pandangan saya berubah — setidaknya sebagian.

Ini adalah ulasan jujur dari perspektif developer Indonesia, termasuk dua masalah spesifik yang saya temukan terkait locale handling — sesuatu yang sangat relevan untuk aplikasi yang menyasar pengguna lokal.

Setup dan Proyek yang Diuji

Saya membuat proyek demo: aplikasi kalkulator keuangan sederhana dengan form input nominal (Rupiah), tanggal, dan kategori transaksi. Stack sederhana — HTML, CSS, JavaScript vanilla. Persis tipe proyek yang sering jadi MVP pertama developer Indonesia sebelum dikembangkan lebih jauh.

TestSprite dipasang di VS Code dalam waktu kurang dari 2 menit:

{
  "servers": {
    "testsprite": {
      "command": "npx",
      "args": ["-y", "@testsprite/testsprite-mcp@latest"],
      "env": {
        "API_KEY": "your-api-key"
      }
    }
  }
}

Setelah itu, satu prompt:

Can you test this project with TestSprite?

Dan TestSprite langsung bekerja.

Hasil Test Run

Screenshot: Dashboard hasil test run TestSprite pada demo-keuangan-app — 12 test cases, 9 passed, 2 failed, 1 skipped.

Dari 12 test case yang di-generate AI:

9 PASS — fungsi dasar form, navigasi, validasi input
2 FAIL — kedua kegagalan ini sangat menarik (lihat seksi locale di bawah)
1 SKIP — timezone display yang belum diimplementasi

Yang mengesankan: TestSprite berhasil men-generate test plan yang relevan tanpa saya tulis satu baris test code pun. AI-nya memahami konteks aplikasi keuangan dan langsung menguji hal-hal yang masuk akal: input validation, dropdown behavior, output formatting.

Yang Bekerja Sangat Baik

1. Kecepatan Generasi Test Plan

Dari prompt ke test plan lengkap: kurang dari 3 menit. Ini luar biasa. Biasanya menulis test cases untuk form sederhana seperti ini membutuhkan setengah jam — memikirkan edge cases, naming, struktur. TestSprite melakukannya otomatis dan hasilnya logis.

2. Kualitas Test Cases yang Di-generate

AI tidak sekadar membuat happy-path tests. Ia juga men-generate:

Input kosong / invalid
Boundary value (nominal 0, nominal sangat besar)
Interaksi antar elemen form

Untuk proyek kecil tanpa PRD formal, hasil ini melampaui ekspektasi saya.

3. Laporan Kegagalan yang Actionable

Ketika test gagal, laporan TestSprite tidak hanya bilang "FAIL" — ia menyertakan:

Selector yang bermasalah
Nilai yang diharapkan vs. yang diterima
Rekomendasi perbaikan spesifik

Ini yang membedakan TestSprite dari runner test biasa.

Dua Temuan Kritis: Masalah Locale Handling

Ini bagian yang paling relevan untuk developer Indonesia, dan dua test failure yang saya temukan keduanya berkaitan langsung dengan locale.

Temuan #1: Format Mata Uang Tidak Konsisten (Rp vs IDR)

TC004 gagal karena TestSprite mendeteksi inkonsistensi format mata uang dalam output aplikasi. Di satu bagian output, nilai ditampilkan sebagai Rp 1.500.000 (format Indonesia standar), tapi di bagian lain muncul sebagai IDR 1500000 (format ISO tanpa separator).

Ini adalah bug nyata yang saya tidak sadari saat coding — toLocaleString('id-ID') di JavaScript memang menghasilkan format Rp 1.500.000 yang benar, tapi ketika data yang sama diproses ulang (misalnya di log atau API call), formatnya jatuh ke default tanpa locale.

Relevansi untuk developer Indonesia: Inkonsistensi Rp vs IDR adalah masalah umum di aplikasi finansial lokal. AI TestSprite cukup cerdas untuk mendeteksi ini sebagai potensi masalah UX.

Temuan #2: Input Non-ASCII Menyebabkan Encoding Error

TC005 gagal: ketika field nama (yang seharusnya mendukung karakter Indonesia seperti "é", "ñ", atau bahkan karakter Jawa seperti "ꦲ") menerima input non-ASCII, aplikasi tidak menanganinya dengan benar di layer output.

TestSprite secara proaktif menguji input dengan karakter non-Latin — sesuatu yang sangat relevan untuk developer Indonesia yang membangun aplikasi untuk pengguna yang mungkin memasukkan nama seperti "Rëzā Açıkgöz" atau teks dari bahasa daerah.

Catatan penting: TestSprite men-generate test ini sendiri tanpa saya instruksikan untuk menguji encoding. AI-nya tampaknya memiliki awareness tentang pentingnya non-ASCII testing — ini nilai plus besar.

Satu Hal yang Perlu Diperbaiki TestSprite

Timezone handling untuk Indonesia belum diuji (TC006 di-skip).

Indonesia punya tiga zona waktu (WIB, WITA, WIT) — ini edge case yang sangat spesifik dan relevan. TestSprite me-skip test ini karena aplikasi demo saya memang belum mengimplementasi timezone display. Tapi idealnya, TestSprite bisa lebih proaktif membuat placeholder test atau setidaknya flagging bahwa timezone multi-zona adalah area yang perlu diperhatikan untuk aplikasi yang menyasar pengguna Indonesia.

Ini bukan kritik besar — perilaku ini masuk akal dari perspektif teknis. Tapi untuk developer Indonesia yang membangun aplikasi dengan awareness lokal tinggi, ini adalah gap yang perlu diingat.

Verdict untuk Developer Indonesia

TestSprite MCP Server adalah tools yang genuinely berguna — bukan sekadar gimmick AI testing. Kemampuannya mendeteksi masalah locale seperti format mata uang dan encoding non-ASCII secara otomatis menunjukkan bahwa AI-nya bukan sekadar men-generate test template generik.

Cocok untuk:

Developer yang ingin coverage testing tanpa investasi waktu besar
Tim kecil atau indie developer yang tidak punya QA dedicated
Proyek yang perlu cepat dapat test baseline sebelum di-deploy

Perlu diingat:

Untuk aplikasi dengan kompleksitas locale tinggi (multi-timezone, format angka regional), perlu ditambah test manual
Screenshot sebagai proof test run perlu diambil manual — TestSprite tidak otomatis mengekspornya

Skor: 8/10

Coba TestSprite di: https://www.testsprite.com

Tags: testsprite, testing, developer-indonesia, locale, ai-testing, mcp