Catatan proses membangun agent yang menghubungkan observasi, investigasi, tindakan, follow-up, outcome, dan memory.
Awalnya saya tidak punya ide yang terlalu rumit untuk project ini.
Saya hanya ingin membuat sesuatu yang terasa lebih dekat dengan penggunaan AI di dunia nyata.
Kalau seseorang sedang mengurus kebun, tanaman, atau bahkan ternak, mereka mungkin menemukan banyak hal kecil setiap hari. Ada daun yang berubah, pertumbuhan yang tidak seperti biasanya, hewan yang perilakunya berbeda, atau sebuah tindakan yang ternyata menghasilkan kondisi yang lebih baik.
Masalahnya, kejadian-kejadian seperti ini biasanya berdiri sendiri. Kita melihat masalah hari ini, bertanya kepada AI, mendapatkan jawaban, lalu selesai. Ketika masalah yang mirip muncul beberapa minggu kemudian, kita kembali memulai percakapan dari awal.
Dari situlah saya mulai membangun AI Field Companion.
Konsepnya sederhana: bukan hanya membuat AI yang bisa menjawab, tetapi membuat sebuah companion yang bisa mengikuti perjalanan sebuah masalah dari awal sampai hasilnya.
Dari Observasi sampai Outcome
Workflow yang saya gunakan adalah:
Observe → Understand → Investigate → Act → Remember → Follow Up → Learn
Untuk demo, saya menggunakan kebun Pamelo sebagai contoh.
Misalnya seorang pengguna melihat ada perubahan pada daun tanaman. Daripada langsung memberikan sebuah diagnosis, aplikasi dimulai dari observasi.
Pengguna bisa memasukkan foto dan deskripsi singkat mengenai apa yang dilihat. Observasi tersebut kemudian disimpan sebagai bagian dari sebuah case.
Di tahap berikutnya, agent melakukan investigasi. Yang saya coba bangun di sini bukan sekadar chatbot yang langsung memberikan jawaban panjang. Agent bisa menggunakan konteks yang sudah tersedia dan mengajukan pertanyaan lanjutan ketika informasi yang diberikan belum cukup.
Dari sana, agent menghasilkan assessment dan rekomendasi tindakan. Pengguna kemudian bisa mencatat tindakan yang dilakukan, membuat follow-up, dan pada akhirnya menyimpan hasil dari tindakan tersebut sebagai outcome.
Dengan begitu, satu masalah tidak berhenti di satu percakapan.
Bagian yang Paling Menarik: Memory
Justru bagian yang paling saya suka dari project ini bukan saat AI memberikan rekomendasi. Tetapi setelahnya.
Ketika sebuah outcome sudah dicatat, informasi itu menjadi bagian dari memory.
Artinya, saat ada kasus berikutnya, sistem tidak harus selalu melihat kondisi sekarang sebagai sesuatu yang berdiri sendiri. Ada konteks dari apa yang pernah terjadi sebelumnya.
Misalnya, sebelumnya pernah ada sebuah kasus pada area tertentu, kemudian dilakukan sebuah tindakan, dan hasil akhirnya menunjukkan perbaikan. Ketika kondisi yang relevan muncul lagi, riwayat tersebut bisa menjadi bagian dari konteks investigasi.
Bagi saya, ini lebih menarik daripada sekadar membuat “AI yang pintar menjawab”. Karena dalam situasi nyata, sebuah keputusan sering kali membutuhkan konteks dari pengalaman sebelumnya.
Hermes dan MCP
Secara teknis, AI Field Companion menggunakan Hermes Agent Runtime sebagai bagian dari agent layer.
Saya juga menggunakan MCP untuk menghubungkan agent dengan tools yang berhubungan dengan field memory dan workflow aplikasi.
Dengan pendekatan ini, agent tidak hanya menghasilkan teks. Ia dapat bekerja dengan konteks seperti:
- farm profile
- case sebelumnya
- observation
- action
- follow-up
- outcome
semuanya sesuai scope yang diberikan aplikasi.
Ada pembatasan akses pada tool dan data sehingga memory tetap terikat pada konteks pengguna dan field yang bersangkutan.
Ini juga salah satu alasan saya memilih pendekatan agent runtime dibanding membuat satu endpoint sederhana yang hanya mengirim prompt ke model. Saya ingin workflow-nya benar-benar menjadi bagian dari aplikasi.
Kenapa Dimulai dari Pamelo?
Saya sengaja menggunakan satu use case yang konkret dengan salah satu produk agriculture di daerah saya Magetan, Jawa Timur.
Dalam project seperti ini, menurut saya lebih mudah menunjukkan nilai sebuah agent ketika kita tidak mencoba menyelesaikan semuanya sekaligus.
Jeruk Pamelo menjadi contoh pertama karena seluruh proses bisa divisualisasikan dengan jelas:
field → tanaman → observasi → masalah → tindakan → outcome
Tetapi Pamelo bukan batas dari produk. Semakin project ini berkembang, saya melihat pola yang sama sebenarnya dapat digunakan untuk konteks lain.
Dari Tanaman ke Livestock
Arsitektur dan experience mulai diarahkan ke konsep yang lebih umum:
Field / Space
↓
Subject
↓
Observation
↓
Case
↓
Investigation
↓
Action
↓
Follow-up
↓
Outcome
↓
Memory
Dengan pendekatan ini, subject tidak harus selalu berupa crop.
🌱 tanaman rumahan
🌿 tanaman di kebun
🚜 tanaman pertanian
🐔 ayam
🐐 kambing
🐄 sapi
Yang berubah terutama adalah konteks dan knowledge domain-nya. Core workflow-nya tetap sama.
Saya melihat ini sebagai arah yang lebih menarik daripada membuat banyak aplikasi terpisah untuk masing-masing kebutuhan.
Satu Field Companion, dengan konteks yang berbeda.
Dibangun sebagai Aplikasi Nyata
Salah satu bagian yang cukup saya prioritaskan adalah memastikan agent benar-benar terhubung dengan aplikasi.
Frontend berkomunikasi dengan backend, backend terhubung dengan Hermes, dan Hermes menggunakan MCP tools untuk mengakses data yang relevan.
Data seperti case, action, follow-up, dan outcome disimpan secara persistent. Jadi ketika user kembali ke aplikasi, history-nya tidak hilang begitu saja.
Untuk deployment dan eksperimen, project ini juga dijalankan pada VPS. Infrastruktur tersebut menggunakan https://idwebhost.com/ai-hosting AI Hosting dari IDwebhost dengan https://cloudbaik.com/ Cloud VPS sebagai environment untuk menjalankan application service dan Hermes secara terpisah.
Source code tetap dipertahankan di local/Git, sementara runtime data dan konfigurasi deployment berada di server.
Pendekatan ini cukup membantu karena saya bisa terus mengembangkan aplikasi secara lokal tanpa menjadikan VPS sebagai satu-satunya tempat project berada.
Apa yang Masih Bisa Dikembangkan?
AI Field Companion saat ini masih berada pada tahap awal.
Ada banyak hal yang masih bisa dikembangkan, terutama pada:
- domain knowledge
- kualitas rekomendasi
- pengalaman voice interaction
- bagaimana memory digunakan secara lebih kontekstual
- dukungan untuk lebih banyak jenis subject
Tetapi saya cukup puas dengan fondasi yang sudah ada.
Sekarang sudah ada alur yang cukup jelas:
Observasi → Investigasi → Tindakan → Follow-up → Outcome → Memory
Dan dari situ saya bisa mengembangkan fitur berikutnya tanpa harus mengubah konsep dasarnya.
Penutup
“Bagaimana kalau AI tidak hanya membantu kita memahami apa yang terjadi sekarang, tetapi juga mengingat apa yang pernah terjadi sebelumnya?”
Itulah ide di balik AI Field Companion.
Bukan AI yang selalu harus menjadi pusat perhatian. Tetapi sebuah companion yang hadir ketika dibutuhkan, membantu memahami sebuah observasi, mencatat apa yang dilakukan, melihat hasilnya, lalu membawa konteks itu ke interaksi berikutnya.
Untuk sekarang, Pamelo menjadi contoh pertama. Ke depannya, saya ingin melihat sejauh mana pendekatan ini bisa berkembang untuk berbagai hal yang kita rawat dan amati di dunia nyata.
AI Field Companion
AI Agent yang belajar bersama di perkebunanmu.
🎥 Dokumentasi Demo AI Field Companion : https://youtu.be/0Kvs0QgBooA?si=WrKRERCFfTTNCI4q
AI Field Companion · AI HackFest 2026
Top comments (0)