Perkembangan AI cukup masif pada tahun ini, 2026. Para perusahaan besar seperti OpenAI dan Anthropic terus berlomba merilis AI dengan kemampuan yang lebih hebat dari sebelumnya.
Orang-orang mulai menggunakan model AI tersebut untuk keperluan profesional, kreatif, dan hal lainnya. Tak terkecuali saya sendiri, yang menggunakannya untuk membantu membangun Aplikasi. Meskipun dalam tanda kutip setiap kode yang dibangun harus tetap kita pahami fungsinya.
Model besar AI seperti Claude dan ChatGPT tersebut dibangun diatas sebuah konsep LLM (Large Language Model). LLM Sendiri adalah model dasar yang dilatih dengan banyaknya data untuk bisa memahami berbagai hal. LLM bekerja dengan menebak setiap token selanjutnya pada sebuah kata dan simbol. Sehingga LLM dapat mengetahui apa yang dimaksud oleh sebuah kalimat.
Saya mencoba membangun LLM seperti Mini-GPT yang dapat berjalan di komputer pribadi secara lokal.
Adapun spesifikasi laptop yang saya gunakan adalah sebagai berikut:
Prosesor : Intel Core I5 gen 12
RAM : 16GB
Saya akan membangun LLM dengan arsitektur 128 dimensi, 0,8 juta parameter dan 4 layer.
Setiap huruf unik nantinya akan diberikan nomor sehingga sebuah teks akan menjadi deretan angka.
Cara kerja dari LLM ini adalah ketika model dilatih, adalah ia bisa akan menebak setiap huruf selanjutnya. Proses alurnya yaitu dengan menggeser satu token. Seperti contoh :
| Input yang dilihat | Tebakan |
|---|---|
| r | a |
| ra | k |
| rak | a |
setiap token akan mengecek seberapa relevan token-token sebelumnya. Mask kemudian akan mencegah token mengintip masa depan.
Tebak satu token, tambahkan ke teks, lalu mengulangi. Beginilah cara LLM menghasilkan teks, satu token demi satu token.
Setelah dilakukan training terhadap model. Awalnya model masih banyak salah (train loss), namun proses training dengan satu teks cerita yang diulang 30 kali menghasilkan train loss sebanyak 0.06. Hasilnya hampir sama persis dengan teks aslinya.
Meski begitu, hasil training terhadap model masih mendapatkan banyak kesalahan kata.
Sebagian besar hasilnya adalah salinan dari teks latih. Tetapi ada bagian yang kacau, seperti “Raka suka menadi, pakanya sekali cerita terlebih dari kecih dahulu”. Kata “kecih” bahkan tidak ada di teks asli. Ini terjadi karena model menebak huruf demi huruf, dan saat beberapa bagian teks mirip, ia bisa “tersesat” ke kalimat lain. Fenomena ini mirip dengan halusinasi pada LLM besar.
Saya memahami bahwa semakin banyak proses training maka model akan semakin pintar. Meskipun dalam kasus ini model masih seperti menghafal teks.
Repository lengkap di
aalfath7
/
Mini-GPT
LLM mini bergaya GPT yang dibangun dari nol dengan PyTorch. Tokenizer tingkat karakter, mudah dipahami, cocok untuk belajar cara kerja Transformer.
Belajar Python — Mini GPT
Proyek belajar membuat LLM kecil (Transformer gaya GPT) dari nol dengan PyTorch Modelnya kecil dan tokenizer-nya tingkat karakter (1 huruf = 1 token) supaya mudah dipahami tapi arsitekturnya pada dasarnya sama dengan LLM sungguhan.
Isi
| File | Keterangan |
|---|---|
| mini_gpt.py | Definisi model, tokenizer, training, dan contoh generate teks |
| pakai_mini_gpt.py | Memakai model yang sudah dilatih secara interaktif (tanpa melatih ulang) |
mini_gpt.pt |
Bobot model hasil training (dibuat oleh mini_gpt.py) |
Persiapan
pip install torch
Jika ada GPU dengan CUDA, model otomatis memakainya; jika tidak, berjalan di CPU.
Cara Pakai
1. Melatih model
python mini_gpt.py # latih dengan teks contoh bawaan (cerita tentang Raka)
python mini_gpt.py data.txt # latih dengan teks milikmu sendiri
Selama training, loss train dan validasi dicetak setiap 500 langkah. Setelah selesai,
bobot model disimpan ke mini_gpt.pt dan contoh teks hasil generate ditampilkan.
2. Memakai model
python pakai_mini_gpt.py # jika model dilatih dengan teks bawaan
python pakai_mini_gpt.py…
Top comments (0)