Mutu model khusus bergantung pada materi yang dipelajarinya. Untuk membangun Strata bagi pekerjaan pemerintahan Indonesia, kami harus terlebih dahulu menyusun sesuatu yang belum tersedia dalam bentuk siap pakai: corpus besar dan bersih yang mencakup peraturan publik Indonesia.
Dari mana teks berasal
Indonesia menerbitkan peraturan dalam jumlah sangat besar, tetapi sumbernya tersebar. Undang-undang dan peraturan pemerintah tersedia di satu portal; kementerian dan lembaga mengelola sistem dokumentasi hukum masing-masing; sedangkan peraturan daerah tersebar di ratusan repositori lokal. Kami mengumpulkan materi dari seluruh cakupan ini, mulai dari tingkat pusat hingga daerah, agar corpus mencerminkan keragaman aturan yang benar-benar dihadapi sebuah institusi, bukan hanya undang-undang yang paling dikenal.
Pengumpulan ini berpegang pada dua prinsip. Pertama, hanya menggunakan materi publik yang dikumpulkan sebagaimana peramban biasa mengaksesnya. Kami tidak membuat atau menggunakan perangkat untuk mengakali kontrol akses sebuah situs. Strata dirancang untuk digunakan oleh pemerintah dan asal-usul datanya dapat diaudit, sehingga sumber yang transparan dan sah merupakan syarat dasar. Kedua, mengutamakan keluasan cakupan, bukan memilih materi tertentu saja. Model yang hanya mengenal undang-undang terkenal tidak banyak membantu dalam pekerjaan sehari-hari, karena aturan yang dibutuhkan sering kali justru berasal dari peraturan kementerian atau daerah yang jarang diketahui.
Sebagian besar pekerjaan ada pada pembersihan data
Dokumen mentah pemerintah tidak rapi: PDF hasil pindai, tata letak yang tidak konsisten, nama berkas yang keliru, serta stempel atau cap yang kadang menutupi teks. Mengubah semua itu menjadi teks pelatihan yang bersih membutuhkan lebih banyak upaya daripada proses pengumpulannya.
Ekstraksi dilakukan dalam dua tingkat. Tahap cepat mengambil teks langsung dari dokumen yang sudah memuatnya, dan ini mencakup sebagian besar dokumen. Hanya dokumen dengan teks hasil ekstraksi yang minim, biasanya hasil pindai, yang diproses menggunakan OCR. Dengan menjadikan OCR sebagai langkah pemulihan alih-alih proses bawaan, kami menghemat banyak komputasi tanpa mengorbankan materi hasil pindai.
Kami memeriksa dokumen yang nyaris identik agar teks yang sama tidak terwakili secara berlebihan. Salah satu hasilnya cukup mengejutkan. Perubahan peraturan di Indonesia umumnya berbentuk dokumen delta: dokumen tersebut merujuk pada naskah asli dan hanya mengubah pasal atau ketentuan tertentu. Karena itu, deduplikasi hampir tidak mengubah materi ini. Pelajarannya, mutu corpus dalam konteks ini berasal dari pengumpulan sumber yang luas dan teliti, bukan deduplikasi agresif.
Mutu lebih utama daripada ukuran mentah
Hasilnya adalah corpus besar yang mencakup peraturan tingkat pusat dan daerah. Kami sengaja mengutamakan cakupan dan kebersihan data daripada mengejar jumlah token sebanyak mungkin. Untuk model khusus suatu bidang, corpus yang lebih kecil tetapi benar-benar mewakili kenyataan kerja lebih berguna daripada corpus besar yang dipenuhi derau.
Corpus inilah yang memungkinkan Strata melakukan hal-hal yang tidak dapat dilakukan model umum: melacak aturan hingga ke sumbernya, mengenali bentuk dokumen resmi, dan menalar hubungan antaraturan. Cara kami menguji apakah kemampuan tersebut benar-benar bekerja dibahas dalam laporan terpisah, sedangkan modelnya dijelaskan di halaman Strata.