Pertanyaan tentang layanan publik, pekerjaan, atau pendidikan sering disampaikan tanpa penjelasan panjang mengenai tempat dan situasinya. Pengguna mengharapkan asisten memahami istilah yang mereka gunakan dan memberikan jawaban yang sesuai dengan kehidupan sehari-hari di Indonesia.
Harapan itu menjadi salah satu hal yang kami uji dalam pengembangan IsonAI. Pada Agustus 2026, kami membandingkan jawaban atas 1.000 pertanyaan dalam 56 kategori sebelum dan sesudah sejumlah perbaikan pada instruksi serta pengolahan jawaban.
Hasilnya menunjukkan kemajuan. Jumlah jawaban yang masuk dua kategori teratas dalam penilaian otomatis kami meningkat dari 679 menjadi 896, atau dari 67,9% menjadi 89,6%. Kenaikan sebesar 21,7 poin persentase ini mengukur perubahan perilaku yang dikenali oleh alat penilai. Angka tersebut tidak berarti bahwa 89,6% jawaban telah terbukti benar secara faktual.
Memahami Indonesia tanpa harus selalu diingatkan
Dalam pertanyaan yang berkaitan dengan Indonesia, asisten perlu mengenali lembaga, istilah, dan sistem yang dimaksud pengguna. Menjawab dalam bahasa Indonesia saja belum cukup apabila penjelasannya justru memakai kerangka yang tidak sesuai.
Karena itu, kami memperjelas arahan agar IsonAI menggunakan konteks Indonesia ketika pertanyaannya membutuhkan konteks lokal. Pengguna tetap dapat menentukan negara atau situasi lain. Untuk matematika, pemrograman, dan topik universal lainnya, jawaban cukup membahas persoalan yang ditanyakan.
Evaluasi ini memusatkan perhatian pada tiga hal: apakah konteks lokal muncul saat diperlukan, apakah jawaban memuat penjelasan yang cukup, dan apakah ungkapan ketidakpastian digunakan pada bagian yang tepat.
Menguji layanan secara utuh
Seribu pertanyaan yang kami susun mencakup layanan publik, pekerjaan, perbankan, pendidikan, budaya, transportasi, teknologi, serta topik keseharian lainnya. Pertanyaan yang sama digunakan sebelum dan sesudah perbaikan agar hasilnya dapat dibandingkan langsung.
Pengujian dilakukan dengan meminta IsonAI Omni melalui layanan percakapan. Dengan demikian, hasilnya mencerminkan kerja model bersama instruksi aplikasi, pencarian yang digunakan, dan proses penyajian jawaban. Pendekatan ini membantu kami menemukan bagian layanan yang perlu disempurnakan.
Catatan ini membahas pengujian pada Agustus 2026. Hasilnya tidak dimaksudkan sebagai penilaian kemampuan semua model IsonAI saat ini, dan tidak berkaitan dengan pengujian pembaruan PRME.
Perbaikan yang kami lakukan
Salah satu temuan penting muncul dari cara kami memberikan instruksi kepada asisten. Pada beberapa jenis jawaban, instruksi sebelumnya mewajibkan ungkapan tentang “pengetahuan terakhir”. Akibatnya, ungkapan tersebut dapat muncul meskipun penjelasannya tidak membutuhkan pembuka semacam itu.
Kami menyesuaikan arahan tersebut agar ketidakpastian dijelaskan pada detail yang memang belum pasti. Bagian lain tetap dapat disampaikan secara langsung. Bersamaan dengan itu, kami memperjelas penggunaan konteks Indonesia untuk pertanyaan yang relevan.
Dua perbaikan lain menyangkut penyajian jawaban. Kami merapikan proses pengolahan teks agar perubahan isi tidak meninggalkan penanda daftar yang kosong. Kami juga menambahkan pemeriksaan untuk menjaga isi baris ketika frasa tertentu dibersihkan.
Seluruhnya diterapkan sebagai aturan umum. Kami tidak menambahkan kunci jawaban untuk masing-masing soal. Tujuannya adalah memperbaiki cara layanan menjawab berbagai pertanyaan, bukan sekadar menyesuaikannya dengan contoh dalam pengujian.
Apa yang terlihat pada hasilnya?
Alat penilai menggunakan aturan yang sama untuk memeriksa kedua kumpulan jawaban. Kategori OK diberikan ketika tidak ada aturan pemeriksaan yang menandai jawaban tersebut. Kategori WEAK diberikan ketika jawaban telah melewati pemeriksaan sebelumnya, tetapi masih memuat salah satu ungkapan ketidakpastian standar yang dikenali alat.
Jumlah jawaban dalam kategori OK meningkat dari 644 menjadi 828. Jika digabungkan dengan WEAK, jumlahnya naik dari 679 menjadi 896. Kedua label ini membantu kami memantau pola jawaban; keduanya bukan hasil pemeriksaan atas kebenaran setiap fakta.
| Hasil pemeriksaan otomatis | Sebelum | Sesudah |
|---|---|---|
| Tidak ditandai oleh aturan pemeriksaan — OK | 644 | 828 |
| Masih memuat ungkapan ketidakpastian standar — WEAK | 35 | 68 |
| Istilah lokal belum terdeteksi pada kategori tertentu — GENERIC | 88 | 96 |
| Terlihat pola pertanyaan balik pada jawaban pendek — ASKBACK | 0 | 0 |
| Terkena batas minimum panjang atau sisa isi — EMPTY | 0 | 1 |
| Memuat istilah asing dengan sedikit istilah lokal — FOREIGN | 0 | 1 |
| Memuat ungkapan tertentu tentang pengetahuan terakhir — MEMORY | 225 | 0 |
| Permintaan tercatat sebagai kesalahan — ERROR | 8 | 6 |
| Jumlah pertanyaan | 1.000 | 1.000 |
Jika dilihat per pertanyaan, 283 jawaban berpindah ke kategori yang lebih tinggi, 641 tetap, dan 76 berpindah ke kategori yang lebih rendah menurut urutan penilaian alat. Rincian ini memberi kami petunjuk untuk pekerjaan berikutnya, termasuk meninjau kategori WEAK dan GENERIC yang masih bertambah.
Perubahan terbesar adalah perpindahan 201 jawaban dari MEMORY ke OK. Hasil ini sesuai dengan perbaikan instruksi mengenai ungkapan pengetahuan terakhir. Maknanya perlu dibaca secara tepat: alat berhasil menangkap perubahan bahasa yang kami tuju, sedangkan pengaruhnya terhadap ketepatan fakta perlu diuji secara terpisah.
Menempatkan angka dalam konteks
Penilaian otomatis berguna untuk membaca pola dalam banyak jawaban dengan aturan yang konsisten. Namun, pemeriksaan berdasarkan kata dan panjang teks tidak selalu menangkap mutu sebuah penjelasan. Rujukan Indonesia yang tepat dapat terlewat karena istilahnya belum tercantum dalam daftar. Jawaban singkat juga dapat ditandai meskipun sudah memiliki isi.
Kumpulan pertanyaan ini disusun untuk kebutuhan pengembangan dan dipakai untuk menelusuri masalah. Hasilnya belum mewakili seluruh pengguna Indonesia atau menunjukkan kemampuan pada kumpulan soal baru yang belum pernah diperiksa. Kami juga membandingkan satu pasangan hasil pengujian, sehingga belum dapat menyatakan seberapa besar hasilnya akan berubah jika pengujian diulang.
Keempat perbaikan diterapkan bersama. Karena itu, hasil ini belum memisahkan pengaruh masing-masing perubahan, variasi jawaban model, dan kondisi layanan. Penilaian manusia, soal uji terpisah, serta pengujian berulang akan diperlukan untuk melengkapi gambaran tersebut.
Dalam penghitungan, setiap soal hanya dihitung satu kali. Berkas awal memuat dua catatan tambahan dari percobaan ulang; kami menggunakan catatan terakhir untuk masing-masing soal. Kedua percobaan pada dua soal tersebut sama-sama tercatat sebagai ERROR, sehingga penggabungannya tidak mengubah kategori hasil. Semua persentase memakai dasar 1.000 pertanyaan per pengujian.
Pelajaran untuk pengembangan IsonAI
Evaluasi ini menunjukkan bahwa penyempurnaan asisten AI juga bergantung pada cara instruksi disusun dan jawaban disajikan. Perubahan pada bagian-bagian tersebut dapat diamati, dibandingkan, dan diperiksa kembali.
Langkah berikutnya adalah melengkapi pemeriksaan pola bahasa dengan penilaian ketepatan fakta, kesesuaian konteks, kelengkapan jawaban, dan keandalan layanan. Dengan cara itu, kemajuan IsonAI dapat dinilai semakin dekat dengan hal yang paling penting bagi pengguna: apakah jawabannya membantu menyelesaikan pekerjaan mereka.