# Belajar AI: Memahami Parameter, Embedding, dan Decoder dalam Model Bahasa | OCI Generative AI Professional Course #1

Belajar AI: Memahami Parameter, Embedding, dan Decoder di Model Bahasa

Semua ini berawal dari pengalaman gue nyobain DeepSeek 1.5B di laptop, dan penasaran apa sih artinya 1.5 miliar parameter, terus gimana kata-kata bisa jadi vektor, sampe cara model ngeluarin teks. Yuk, kita bongkar bareng!

---

1. Apa Itu Parameter di Model AI?

Saat gue download DeepSeek 1.5B, gue notice dia punya 1.5 miliar parameter. Apa sih itu?

• Parameter itu kayak "sinaps" di otak AI.
• Secara teknis: ini adalah weights (bobot) dalam neural network yang nyimpen pola dari data pelatihan.
• Bisa dibayangin kayak koneksi di otak yang bikin AI bisa "berpikir".

1.5B parameter berarti model punya 1,5 miliar koneksi.

Ini menentukan seberapa kompleks model bisa nangkep informasi.

Makin banyak parameter = makin besar "otaknya", tapi butuh hardware lebih kuat.

Tapi, besarnya parameter nggak otomatis bikin AI super pintar. Kecerdasan tergantung pada:

• Data pelatihan
• Kualitas pelatihan
• Arsitektur

Kesimpulan: Parameter itu ukuran kapasitas AI, tapi ilmu yang dimiliki tergantung data dan pelatihan.

DeepSeek 1.5B lebih cocok buat soal logika atau coding daripada jadi ensiklopedia berjalan.

Tips eksperimen: coba tes DeepSeek 1.5B di lokal dengan soal matematika SMA atau coding sederhana.

---

2. Gimana Kata Jadi Vektor? (Encoding dan Embedding)

Pernah penasaran gimana AI ngerti kata kayak kucing atau lari? Jawabannya adalah embedding, yaitu cara AI ubah kata jadi vektor numerik.

Proses:

1. Tokenisasi

   • Kalimat: Kucing suka bermain
   • Token: ["Kucing", "suka", "bermain"]

2. Mapping ke ID Token

   • kucing → ID 1234
   • suka → ID 567

3. Embedding Layer

   • kucing → [0.23, -0.15, 0.67, ...]

4. Positional Encoding

   • Biar model ngerti urutan kata.

5. Contextual Embedding

   • Lewat attention, kata yang sama punya makna beda tergantung konteks.

Kenapa penting?

Embedding bikin AI bisa paham hubungan antar kata.

---

3. Proses Decoder: Ngubah Vektor Jadi Teks

Decoder adalah bagian model yang ngubah vektor embedding jadi teks.

DeepSeek, GPT-4, dan LLaMA pake arsitektur decoder-only (autoregressive).

Prosesnya:

1. Input diubah jadi token & embedding
2. Masuk ke transformer decoder dengan masked self-attention
3. Model hitung probabilitas token berikutnya
4. Pilih token → ubah ke kata
5. Ulangi sampai selesai

---

4. Token dan Pricelist OpenAI

Token = unit teks yang diproses AI (kata, bagian kata, atau tanda baca).

1 juta token ≈ 750k–800k kata dalam bahasa Inggris.

OpenAI ngitung biaya API berdasarkan token.

DeepSeek 1.5B di lokal gratis, tapi kecepatannya terbatas hardware.

---

5. Catatan Belajar dan Langkah Selanjutnya

Progres: sekarang gue ngerti parameter = kapasitas AI, embedding = ubah kata jadi vektor, decoder = bikin teks dari vektor.

Rencana:

• Tes DeepSeek dengan soal matematika/coding
• Coba input dengan konteks berbeda buat lihat embedding
• Eksplor API OpenAI atau model lain kayak LLaMA
• Dalemin soal attention mechanism atau coba visualisasi embedding

Motivasi: belajar AI itu kayak bongkar mainan baru—tiap langkah bikin penasaran.