Keandalan sebuah index pencarian bergantung pada halaman yang diterimanya. Hal ini semakin menentukan ketika pembacanya adalah sistem AI.
Seseorang dapat membuka hasil yang meragukan, melihat bahwa isinya dangkal atau tidak relevan, lalu meninggalkannya. Sistem AI yang menggunakan hasil pencarian sebagai dasar jawaban memiliki ruang lebih sempit untuk membuat penilaian semacam itu setelah retrieval berlangsung. Jika index mengembalikan spam, halaman salinan, materi usang, atau sumber yang hanya tampak relevan, kelemahan tersebut ikut terbawa ke dalam jawaban.
IsonSearch Curator adalah lapisan kualitas yang sedang kami bangun untuk mengurangi kegagalan tersebut. Tugasnya memastikan bahwa halaman yang masuk ke IsonSearch cukup bermanfaat untuk dijadikan dasar jawaban.
Apa yang disaring oleh index yang bersih
Web terbuka bukanlah perpustakaan yang tertata rapi. Sumber berbahasa Indonesia yang berguna berdampingan dengan spam, halaman pelacak, jebakan scraper, artikel salinan, halaman kosong, dan konten yang terutama dibuat untuk mengejar peringkat.
Jika dibiarkan, materi semacam itu bukan sekadar memboroskan penyimpanan. Materi tersebut juga mengubah tolok ukur kewajaran bagi sistem pencarian. Halaman bernilai rendah dapat menggeser sumber primer, menggandakan klaim yang sama di banyak URL, atau membuat sumber lemah tampak lebih penting daripada semestinya. Ini menjadi masalah nyata bagi retrieval AI: index yang penuh gangguan menghasilkan bukti yang juga penuh gangguan.
Curator dirancang untuk mencegah materi tersebut masuk jika memungkinkan, atau menurunkan peringkatnya ketika penghapusan bukan tindakan yang tepat. Tujuannya bukan mengumpulkan halaman sebanyak mungkin, melainkan membangun index yang lebih mudah menampilkan sumber Indonesia tepercaya terlebih dahulu.
Menilai kualitas yang tidak diberi label oleh web
Web jarang memberi label kualitas dalam bentuk yang dapat langsung dibaca mesin. Sebagian sinyal dapat diukur. Sebagian lainnya memerlukan penilaian.
Curator memadukan keduanya. Kasus yang jelas ditangani dengan aturan. Kasus yang lebih sulit ditinjau dengan bantuan model AI untuk menilai apakah suatu sumber tepercaya, dangkal, disalin, menyesatkan, atau sekadar tidak berguna bagi pembaca Indonesia. Model tersebut juga menghasilkan alasan singkat agar sistem tidak bertindak berdasarkan skor tanpa penjelasan.
Dua prinsip menjadi pedoman penilaian ini.
Pertama, pertahankan jika ragu. Menghapus sumber yang berguna secara keliru biasanya lebih merugikan daripada membiarkan sumber yang lemah. Ambang untuk mengecualikan sumber harus lebih tinggi daripada ambang untuk bersikap hati-hati.
Kedua, bandingkan dengan sumber yang sepadan. Situs berita daerah, halaman pemerintah setempat, atau situs lembaga kecil perlu dinilai dengan membandingkannya terhadap sumber sejenis, bukan memakai standar penyajian media nasional. Index yang bersih tidak seharusnya menyingkirkan sumber lokal yang berguna hanya karena tampilannya informal.
Otomasi yang dapat dikoreksi
Mengkurasi index web merupakan pekerjaan berkelanjutan. Pekerjaan ini tidak dapat dilakukan secara manual halaman demi halaman, sehingga keputusan rutin harus berjalan otomatis. Namun, otonomi bukan tujuan utama. Kemampuan untuk dikoreksi lebih diutamakan.
Curator dirancang berdasarkan batasan tersebut. Tindakan rutin yang dapat dipulihkan bisa berjalan tanpa menunggu seseorang: menyesuaikan prioritas perayapan, membersihkan sampah yang sudah jelas, menangani kegagalan rutin, dan menurunkan peringkat halaman yang memang tidak layak ditampilkan. Setiap tindakan dicatat dan dapat dibatalkan.
Sebelum bertindak, sistem harus menyimpan bukti yang mendasari keputusan dan memeriksa sinyal yang menunjukkan sebaliknya. Hasil yang tampak meyakinkan tetapi hanya didukung bukti lemah bukan alasan untuk bergerak lebih cepat. Itu justru alasan untuk menunggu.
Segala tindakan yang tidak dapat dipulihkan dengan aman tetap menjadi keputusan manusia. Kami menginginkan otomasi yang memperoleh kepercayaan karena dapat diperiksa dan dikoreksi, bukan karena terdengar yakin.
Status saat ini
IsonSearch Curator sedang dikembangkan secara aktif sebagai bagian dari IsonSearch, mesin pencari kami untuk web Indonesia yang dioptimalkan bagi retrieval AI. Mesin pencari ini diperkenalkan dalam catatan terpisah, Memperkenalkan IsonSearch.
Organisasi yang membutuhkan pencarian khusus Indonesia dan siap digunakan oleh AI dapat menghubungi kami di research@epithre.com.