Di Balik IsonAI: Bagaimana Ison Search Menjangkau Sumber Indonesia

Model bahasa dapat menghasilkan kalimat Indonesia yang lancar tanpa memiliki bukti yang memadai tentang Indonesia. Perbedaan itu paling terasa pada pertanyaan yang jawabannya bergantung pada waktu, wilayah, atau redaksi yang presisi: syarat layanan publik, nomor peraturan, harga yang baru berubah, dan peristiwa di suatu daerah.

Untuk pertanyaan semacam itu, masalahnya bukan sekadar menambah pengetahuan ke dalam model. Sistem harus menemukan dokumen yang relevan ketika pertanyaan diajukan, memilih bukti yang layak dibawa ke dalam konteks, lalu memperlihatkan asalnya. Ison Search mengerjakan rangkaian tersebut untuk IsonAI. Catatan ini membahas alasan di balik tiap tahap, konsekuensi dari pilihan itu, dan kegagalan yang tetap mungkin terjadi.

Mengapa retrieval diperlukan

Pengetahuan yang tersimpan dalam bobot model bersifat statis. Ia dapat membantu menjelaskan konsep umum, tetapi tidak memberi jaminan bahwa sebuah aturan masih berlaku, sebuah jadwal belum berubah, atau sebuah layanan tersedia di kabupaten tertentu. Kelancaran bahasa juga mudah menyamarkan celah ini: jawaban dapat terdengar utuh meskipun dibangun dari ingatan yang usang atau perkiraan.

Retrieval, atau penelusuran bukti, memindahkan sebagian persoalan itu ke saat pertanyaan diajukan. Sistem mencari dokumen yang mungkin mendukung jawaban; tahap ini bukan penyalinan jawaban yang sudah jadi. Perbedaannya penting. Bukti dapat tersebar di beberapa halaman, hanya menjawab sebagian pertanyaan, atau saling bertentangan. Sesudah ditemukan pun, bukti masih harus dibaca dan disusun.

Retrieval karena itu bukan jalan pintas menuju kebenaran. Ia adalah mekanisme untuk mengurangi ketergantungan pada ingatan model dan membuat dasar faktual jawaban terlihat. Mutu hasil akhirnya tetap dibatasi oleh cakupan indeks, rumusan kueri, pemeringkatan, dan kemampuan model menggunakan konteks tanpa melampaui apa yang dinyatakan sumber.

Apa yang dicari Ison Search

Web Indonesia tidak mempunyai satu jenis sumber yang selalu paling tepat. Situs pemerintah penting untuk naskah aturan, persyaratan, dan biaya resmi. Media nasional dan daerah merekam perubahan serta pelaksanaan di lapangan. Situs lembaga menyediakan keterangan dari pelaku bidangnya, sedangkan publikasi akademik dan repositori kampus berguna ketika pertanyaan memerlukan metode, data, atau telaah yang lebih panjang.

Perbedaan itu membuat otoritas bersifat kontekstual. Untuk bunyi sebuah ketentuan, dokumen resmi biasanya harus didahulukan. Untuk mengetahui apakah ketentuan tersebut baru diumumkan atau bagaimana penerapannya di daerah, sumber yang lebih baru atau lebih dekat dengan peristiwa dapat memberi bukti yang tidak terdapat pada halaman resmi. Sumber resmi tidak otomatis mutakhir; sumber terbaru juga tidak otomatis benar.

Ison Search karena itu mencari kecocokan antara pertanyaan, isi dokumen, asal sumber, dan waktu penerbitannya. Tujuannya bukan membentuk daftar penerbit yang dipercaya tanpa syarat, melainkan menghadirkan himpunan bukti yang sesuai dengan klaim yang hendak dijawab. Sebuah sumber dapat sangat berwenang untuk satu klaim dan tidak relevan untuk klaim lain dalam pertanyaan yang sama.

Mengapa pencarian hibrida

Sebelum pencarian dimulai, kueri dinormalisasi dan ditafsirkan agar variasi ejaan, singkatan, serta unsur pentingnya dapat dipertahankan. Dari representasi itu dibuat embedding, yakni vektor yang merangkum kedekatan makna. Kueri kemudian masuk ke dua lajur yang berjalan berdampingan: pencarian leksikal dan pencarian vektor.

BM25 adalah lajur leksikal. Ia memakai indeks terbalik untuk menemukan dokumen yang memuat istilah kueri dan menimbang seberapa informatif istilah tersebut. Pendekatan ini kuat untuk nama lembaga, istilah teknis, nomor aturan, dan rangkaian karakter yang harus cocok secara tepat. Kelemahannya muncul ketika pengguna dan penerbit menyatakan hal yang sama dengan kata berbeda: dokumen yang tepat dapat lolos karena parafrasenya tidak berbagi cukup banyak istilah dengan kueri.

Pencarian vektor membandingkan embedding kueri dengan embedding dokumen. Tetangga terdekat dicari dengan KNN melalui indeks ANN, seperti HNSW, sehingga pencarian tetap praktis pada koleksi besar. Lajur ini lebih mampu menangkap parafrase dan hubungan makna yang tidak tampak dari kata yang sama. Namun kedekatan semantik bukan bukti kebenaran faktual. Dokumen dapat membahas topik yang sangat mirip, tetapi berasal dari yurisdiksi lain, sudah kedaluwarsa, atau tidak berwenang atas klaim yang dicari.

Kedua lajur dipertahankan karena kegagalannya berbeda. BM25 menjaga presisi istilah; pencarian vektor memperluas recall terhadap variasi bahasa. Menjalankan hanya salah satunya berarti menerima satu jenis kebutaan sebagai sifat tetap sistem.

Dari kandidat menjadi konteks

Keluaran kedua lajur belum dapat langsung dijadikan satu. Skor BM25 dan ukuran kedekatan vektor berasal dari skala serta asumsi yang berbeda; menjumlahkan keduanya akan memberi arti pada angka yang sebenarnya tidak sebanding. Ison Search memakai RRF (reciprocal rank fusion) untuk menggabungkan daftar berdasarkan posisi peringkat. Dokumen yang tampil tinggi pada kedua lajur mendapat dukungan lebih kuat, sementara dokumen yang hanya ditemukan oleh salah satu lajur tetap dapat bertahan.

Daftar gabungan itu masih dapat dipenuhi salinan halaman atau banyak dokumen dari domain yang sama. Dedup menghapus hasil yang berulang, lalu batas per domain menahan dominasi satu penerbit. Keduanya merupakan kendali atas himpunan kandidat, bukan sinyal peringkat dan bukan penilaian bahwa suatu domain bermutu rendah. Pilihan ini sengaja menukar sedikit recall—ada kemungkinan dokumen berguna ikut tersisih—demi keragaman bukti dan ruang bagi sumber lain.

Sesudah ruang kandidat menyempit, pasangan kueri dan dokumen dinilai ulang oleh cross-encoder. Berbeda dari pencarian vektor yang membandingkan representasi terpisah, cross-encoder membaca keduanya bersama-sama sehingga dapat menilai hubungan yang lebih rinci: apakah dokumen benar-benar menjawab syarat yang diminta, atau hanya menyebut topik yang sama. Penilaian ini lebih mahal, sehingga tidak masuk akal menjalankannya atas seluruh indeks. Tahap pencarian awal bertugas mengejar cakupan; rerank dipakai untuk ketelitian pada kandidat yang sudah terbatas.

Pada tahap rerank, kecocokan isi dipertimbangkan bersama otoritas dan kesegaran. Bobotnya mengikuti pertanyaan. Dokumen primer patut diutamakan untuk bunyi aturan, tetapi tanggal lama dapat menjadi tanda bahwa prosedurnya sudah berubah. Laporan baru membantu untuk peristiwa terkini, tetapi kebaruan tidak menggantikan verifikasi. Setelah pertimbangan itu, hanya dokumen teratas—top-N—yang dibawa sebagai konteks. Pembatasan ini menjaga konteks tetap terarah, dengan risiko bahwa bukti pelengkap di luar batas tidak ikut terbawa.

Dari konteks menjadi jawaban — dan batasnya

IsonAI kemudian menyusun jawaban di atas konteks top-N tersebut, pola yang dikenal sebagai RAG (retrieval-augmented generation). Pada tahap ini dokumen tidak sekadar diringkas satu per satu. Informasi yang tersebar perlu dihubungkan, perbedaan cakupan perlu dijaga, dan klaim harus tetap berada dalam batas bukti yang tersedia. Sumber yang dipakai ditautkan sebagai sitasi.

Sitasi membuat jawaban dapat diperiksa, bukan otomatis benar. Model masih dapat salah menafsirkan kalimat, menggabungkan dua ketentuan yang berlaku pada keadaan berbeda, atau menyatakan kesimpulan lebih luas daripada sumbernya. Tautan memungkinkan pembaca menilai kesalahan itu; tautan sendiri tidak menghapusnya.

Ada pula kegagalan yang terjadi sebelum penyusunan jawaban. Dokumen yang tepat mungkin belum masuk indeks, kueri dapat menekankan istilah yang keliru, ANN dapat melewatkan tetangga yang seharusnya ditemukan, atau batas kandidat dapat menyingkirkan bukti yang ternyata penting. Konteks yang lolos bisa tidak lengkap, sudah usang, maupun saling bertentangan. Dalam keadaan seperti itu, jawaban seharusnya mempertahankan ketidakpastian dan menyebutkan pertentangan, bukan meratakannya menjadi satu kepastian.

Dengan demikian, keluaran yang baik tidak hanya bergantung pada kemampuan menyusun bahasa. Ia bergantung pada rantai keputusan yang dapat diaudit: bukti apa yang ditemukan, mengapa bukti tertentu diprioritaskan, apa yang tidak terambil, dan klaim mana yang benar-benar ditopang oleh sumber. Rantai itu tidak menjamin setiap jawaban benar, tetapi membuat sumber kesalahan lebih mungkin ditemukan dan diuji.

IsonAI dapat digunakan melalui isonai.net dan aplikasi IsonAI untuk iOS.