AI Menandai Lebih dari 250,000 Artikel Penelitian Kanker yang Mencurigakan dengan Akurasi 91%
Sebuah studi besar yang diterbitkan di The BMJ menemukan bahwa dari 2.6 juta artikel penelitian kanker yang diterbitkan antara 1999 dan 2024, lebih dari 250,000 di antaranya mengandung pola penulisan yang mirip dengan yang ditemukan pada studi yang sudah ditarik kembali karena dugaan pemalsuan. Tim peneliti melatih model bahasa BERT untuk mendeteksi hasil produksi “paper mill”, yaitu bisnis yang menjual studi palsu atau berkualitas rendah secara industrial, dan model tersebut mengidentifikasi artikel yang mencurigakan dengan benar 91 persen dari waktu ke waktu. Tim menyebut sistem ini sebagai “filter spam ilmiah”, dan tiga jurnal sudah mengujinya.
- Studi ini meneliti 2.6 juta artikel tentang kanker dari 1999 hingga 2024 dan menemukan lebih dari 250,000 artikel dengan pola penulisan yang menyerupai karya yang ditarik kembali karena penipuan
- Model bahasa BERT yang dilatih untuk mengenali “sidik jari” tekstual paper mill mendeteksi artikel yang mencurigakan dengan akurasi 91 persen
- Artikel yang ditandai meningkat dari sekitar 1 persen pada awal tahun 2000-an menjadi puncak lebih dari 16 persen pada 2022; tiga jurnal sedang menguji alat ini
Masalah paper mill lebih besar dari yang diperkirakan
Studi ini dipimpin oleh Profesor Adrian Barnett dari Queensland University of Technology (QUT) bersama kelompok kolaborator internasional. Paper mill menjual posisi kepengarangan dan, dalam beberapa kasus, artikel ilmiah jadi yang sudah siap pakai. Studi-studi ini mungkin mengandung teks yang dipakai ulang, bahasa yang tidak biasa atau canggung, serta data atau gambar yang dipalsukan. Barnett mengatakan paper mill kemungkinan besar mengandalkan templat standar (boilerplate), yang dapat dideteksi oleh model bahasa yang menganalisis pola dalam teks.
Sebuah “filter spam ilmiah” dengan akurasi 91 persen
Tim melatih model BERT untuk mengidentifikasi “sidik jari” tekstual halus yang berulang kali muncul pada produk paper mill yang sudah dikenal. Saat dievaluasi menggunakan contoh-contoh yang terverifikasi, model mendeteksi artikel yang mencurigakan dengan benar 91 persen dari waktu ke waktu. Barnett membandingkannya dengan penyaringan spam email: alat ini menandai artikel yang cocok dengan gaya dan struktur penulisan yang ditemukan pada karya yang ditarik kembali karena penipuan.
Tren dan penerapan
Analisis berskala besar ini mengungkap beberapa tren utama. Artikel yang ditandai meningkat tajam selama dua dekade terakhir, dari sekitar 1 persen pada awal tahun 2000-an menjadi puncak lebih dari 16 persen pada 2022. Artikel mencurigakan muncul di ribuan jurnal yang diterbitkan oleh perusahaan-perusahaan besar, termasuk jurnal dengan reputasi kuat dan dampak tinggi. Masalah ini terutama umum terjadi pada biologi molekuler kanker dan penelitian laboratorium tahap awal, dengan studi kanker lambung, hati, tulang, dan paru-paru yang ditandai pada tingkat yang sangat tinggi. Tiga jurnal ilmiah sudah menguji sistem ini dalam proses tinjauan editorial mereka, dan tim berencana mengadaptasinya untuk bidang ilmiah lain. Para peneliti menekankan bahwa artikel yang ditandai tidak boleh otomatis dianggap curang: hasilnya adalah sinyal peringatan, bukan temuan pelanggaran yang terkonfirmasi, dan setiap kasus tetap perlu ditinjau oleh ahli manusia.
Mengapa ini penting
Barnett mencatat bahwa penelitian kanker memengaruhi uji klinis, pengembangan obat, dan perawatan pasien. Jika studi palsu masuk ke dalam basis bukti, studi tersebut dapat menyesatkan ilmuwan sungguhan dan pada akhirnya memperlambat kemajuan bagi pasien, itulah sebabnya mengantisipasi masalah ini sangat penting.
Sumber: ScienceDaily ยท Studi diterbitkan di The BMJ
