Sebuah model dapat menempati peringkat teratas dalam benchmark populer, tetapi tetap tidak berguna bagi kementerian. Benchmark tersebut mengukur kemampuan umum, sebagian besar dalam bahasa Inggris. Hasilnya tidak banyak menjelaskan apakah sebuah model mampu menelusuri dasar hukum atau menyusun surat dinas dengan benar. Karena itu, kami membangun evaluasi sendiri yang berfokus pada pekerjaan yang benar-benar relevan.
Apa yang kami ukur
Evaluasi ini disusun berdasarkan tugas-tugas yang memang dirancang untuk Strata. Setiap tugas dinilai dengan satu pertanyaan: apakah jawaban tersebut dapat dipertanggungjawabkan jika benar-benar digunakan?
- Ketepatan sitasi. Ketika model mengutip suatu peraturan, apakah peraturan itu benar-benar ada dan berlaku, bukan sekadar terdengar masuk akal? Mengarang peraturan dengan penuh keyakinan adalah kegagalan paling berbahaya, sehingga aspek ini kami beri bobot besar.
- Penalaran tentang peraturan. Ketika dua ketentuan tampak bertentangan, apakah model menyelesaikannya dengan asas yang tepat, seperti lex specialis atau lex posterior, atau hanya memilih salah satunya?
- Ragam bahasa resmi. Apakah surat, keputusan, dan laporan mengikuti bentuk serta bahasa tata naskah yang semestinya, bukan ragam bahasa sehari-hari.
- Ekstraksi dokumen dan OCR. Apakah model mengambil kolom yang tepat dari dokumen resmi, termasuk hasil pindai dengan kualitas yang tidak merata.
Cara penilaiannya
Tugas diambil dari materi peraturan yang nyata, bukan prompt sintetis, agar evaluasi mencerminkan dokumen yang benar-benar akan ditemui model. Kami menilai kegunaan jawaban dalam konteksnya, bukan sekadar kelancaran bahasanya.
Kami juga sengaja menyertakan kasus adversarial: pertanyaan yang jawaban salahnya justru terdengar paling masuk akal. Kasus seperti ini membedakan model yang sekadar percaya diri dari model yang tahu kapan harus berhati-hati. Jawaban yang baik sering kali berakhir dengan "hal ini bergantung pada bunyi ketentuan spesifiknya; berikut yang perlu diperiksa", bukan keputusan keliru yang disampaikan seolah pasti.
Proksi, bukan kebenaran mutlak
Kami tidak menganggap evaluasi ini sebagai ground truth. Evaluasi ini merupakan proksi dan terus kami perbarui saat menemukan titik butanya. Evaluasi ini memberi kami sesuatu yang tidak dapat diberikan leaderboard publik: sinyal jujur tentang apakah Strata semakin baik dalam pekerjaan yang relevan, bukan pekerjaan yang mudah dinilai. Corpus di balik model ini dijelaskan dalam laporan pendamping.