Catatan teknis tentang pekerjaan di balik model kami: cara kami menyusun data pelatihan, mengukur apakah suatu model benar-benar berguna, dan memetik pelajaran selama prosesnya.
Fasih berbahasa Indonesia belum tentu berarti mampu menemukan informasi yang relevan tentang Indonesia. Bagaimana Ison Search membantu IsonAI menjangkau sumber lokal sebelum menyusun jawaban, lalu menampilkan rujukan yang dapat diperiksa.
Pencarian kata kunci kerap melewatkan pertanyaan tentang Indonesia yang disampaikan dengan bahasa sehari-hari. Cara kami menambahkan retrieval berbasis makna ke IsonSearch, menjalankan pencarian vektor atas jutaan halaman di perangkat keras sendiri, dan dampaknya bagi IsonAI.
Web terbuka dipenuhi spam, jebakan scraper, dan halaman salinan. Cara IsonSearch Curator menentukan apa yang masuk ke index, menilai kualitas yang tidak ditandai oleh web, dan berjalan sebagai otomasi yang dirancang agar mudah dikoreksi.
Kualitas model spesialis bergantung pada corpus-nya. Cara kami menyusun kumpulan besar peraturan publik Indonesia yang bersih, mulai dari pengumpulan hingga deduplikasi, serta berbagai temuan tak terduga selama prosesnya.
Benchmark populer tidak banyak menjelaskan apakah sebuah model mampu menelusuri dasar hukum atau menyusun surat resmi. Karena itu, kami membuat evaluasi sendiri berikut metode penilaiannya.