Lebih banyak studi yang dikutip lebih kecil kemungkinannya

Laporan yang tidak dapat diulang dikutip 153 kali lebih banyak karena hasilnya menarik, menurut sebuah studi baru oleh UC San Diego.

Laporan dari jurnal terkemuka di bidang psikologi, ekonomi, dan sains yang gagal mereproduksi dan karena itu kecil kemungkinannya paling sering dikutip dalam penelitian akademis, menurut sebuah studi baru dari University of California, San Diego.

Diposting di Kemajuan dalam sains, Artikel tersebut membahas kelanjutan dari “krisis replikasi”, sebagai akibatnya para peneliti telah menemukan bahwa banyak hasil dalam ilmu sosial dan kedokteran gagal ketika peneliti lain mencoba mereplikasi eksperimen.

Dokumen tersebut menunjukkan bahwa hasil studi yang tidak dapat diverifikasi saat eksperimen diulang memiliki dampak yang lebih besar dari waktu ke waktu. Biasanya, studi yang tidak dapat diandalkan dikutip seolah-olah hasilnya valid lama setelah publikasi gagal direplikasi.

“Kami juga tahu bahwa para ahli dapat memprediksi dengan baik dokumen apa yang akan direplikasi,” tulis penulis Marta Serra-Garcia, seorang profesor ekonomi dan strategi di Sekolah Radzi, dan Uri Gnezi, seorang profesor ekonomi perilaku di Sekolah Radzi. “Mengingat ramalan ini, kami bertanya” mengapa kertas non-sirkulasi diterima untuk dicetak? “

Jawaban mereka yang mungkin adalah bahwa kelompok peninjau jurnal akademik menghadapi kompromi. Jika hasilnya lebih “menarik”, mereka menerapkan standar yang lebih rendah terkait reproduktifitas.

Penghitungan tahunan referensi dengan duplikasi

Jumlah rata-rata kutipan tahunan per tahun untuk studi yang tidak direplikasi (menurut nilai replikasi p) di setiap studi replikasi, dan untuk studi yang direplikasi. Area abu-abu terang menunjukkan tahun publikasi penelitian asli, dan garis gelap menunjukkan tahun publikasi penelitian replikasi. Penulis: UC San Diego

Hubungan antara hasil yang menarik dan penelitian yang tidak dapat diperbaiki juga dapat menjelaskan mengapa kutipannya jauh lebih tinggi – penulis menemukan bahwa makalah yang berhasil diulang dikutip 153 kali lebih sedikit daripada yang gagal.

“Temuan menarik atau menarik juga lebih banyak diliput di media atau disebarkan di platform seperti Twitter, yang menarik banyak perhatian, tetapi tidak membuatnya valid,” kata Gnizi.

Serra Garcia dan Gnizi menganalisis data dari tiga proyek replikasi berpengaruh yang berusaha mereplikasi hasil secara sistematis dalam jurnal terbaik di bidang psikologi, ekonomi, dan ilmu umum (“Alam dan Sains”). Dalam psikologi, hanya 39 persen dari 100 eksperimen yang berhasil direproduksi. Di bidang ekonomi, 61 persen dari 18 studi hilang, begitu pula 62 persen dari 21 studi yang diterbitkan dalam Nature / Science.

Setelah mendapatkan hasil dari tiga proyek replikasi ini, penulis menggunakan Google Scholar untuk memeriksa apakah dokumen yang gagal direproduksi lebih sering dikutip daripada yang berhasil direplikasi, baik sebelum dan sesudah proyek replikasi diterbitkan. Kesenjangan terbesar ada pada artikel yang diterbitkan di Nature / Science: 300 eksemplar karya yang tidak diterbitkan dikutip lebih dari duplikat.

Ketika penulis memperhitungkan beberapa karakteristik studi yang direplikasi – seperti jumlah penulis, jumlah penulis laki-laki, detail eksperimen (lokasi, bahasa, dan implementasi interaktif) dan bidang tempat artikel diterbitkan – hubungannya antara replikasi dan kutipan tetap tidak berubah.

Mereka juga menunjukkan bahwa dampak dari kutipan tersebut tumbuh dari waktu ke waktu. Rincian tahunan dari tautan tersebut mengungkapkan kesenjangan yang mencolok antara sirkulasi dan yang tidak kalah. Rata-rata, dokumen yang gagal direproduksi dikutip 16 kali lebih banyak per tahun. Kesenjangan ini tetap ada bahkan setelah publikasi proyek replikasi.

“Khususnya, hanya 12 persen dari tautan replikasi setelah replikasi mengakui kegagalan replikasi,” tulis para penulis.

Dampak dari ketidakakuratan karya yang dipublikasikan di jurnal bergengsi bisa menimbulkan konsekuensi selama puluhan tahun. Misalnya, sebuah studi oleh Andrew Wakefield yang diterbitkan di Lanset pada tahun 1998, puluhan ribu orang tua di seluruh dunia menentang vaksin campak, gondok, dan rubella karena kaitan implisit antara vaksinasi dan autisme. Penemuan yang salah ditarik oleh The Lancet 12 tahun kemudian, tetapi klaim bahwa autisme terkait dengan vaksin terus berlanjut.

Penulis menambahkan bahwa jurnal mungkin merasa tertekan untuk mempublikasikan hasil yang menarik, begitu pula para ilmuwan. Misalnya, saat membuat keputusan tentang promosi, sebagian besar institusi akademik menggunakan kutipan sebagai indikator penting saat membuat keputusan tentang menaikkan fakultas.

Ini mungkin sumber dari “krisis replikasi” yang pertama kali ditemukan di awal tahun 2010-an.

“Kami berharap penelitian kami mendorong pembaca untuk berhati-hati ketika mereka membaca sesuatu yang menarik dan memikat,” kata Serra Garcia. “Setiap kali peneliti merujuk pada sebuah karya yang lebih menarik atau telah banyak dikutip, kami berharap mereka memeriksa data replikasi dan hasil ini bersaksi.”

Gnizi menambahkan: “Kami peduli dengan lapangan dan melakukan penelitian yang berkualitas, dan kami ingin itu menjadi kenyataan.”

Informasi: 21 Mei 2021, Kemajuan dalam sains.
DOI: 10.1126 / sciadv.abd1705

Related articles

Comments

LEAVE A REPLY

Please enter your comment!
Please enter your name here

Share article

Latest articles

Menyelidiki lebih dalam tentang asal usul sinar kosmik dengan gerakan Brown geometris

Representasi skema sinar kosmik yang merambat melalui awan magnetik. Kredit: Salvatore Buonocore Model simulasi menyediakan langkah pertama dalam mengembangkan algoritma untuk meningkatkan metode deteksi. Sinar...

Penyerapan elektron terpisah yang ditangkap dalam film

Film menangkap gambar penangkapan elektron terpisah. Kredit: Javier Marmolejo Para peneliti di Universitas Gothenburg telah mengamati penyerapan satu elektron oleh tetesan melayang dengan amplitudo...

Perlindungan probiotik? Bakteri Usus Ditemukan Melindungi Usus Terhadap Virus COVID-19

Para peneliti dari Universitas Yonsei di Korea Selatan telah menemukan bahwa bakteri tertentu yang hidup di usus manusia mengeluarkan obat yang menghambat SARS-CoV-2. ...

Menggali sejarah populasi Neanderthal menggunakan DNA nuklir purba dari sedimen gua

Galeri patung gua di Spanyol utara. Penulis: Javier Trueba - film sains Madrid DNA mitokondria manusia purba telah diekstraksi dari deposit gua, tetapi nilainya...

Sakelar Semikonduktor Berpanduan Laser untuk Komunikasi Generasi Selanjutnya

Insinyur Laboratorium Nasional Lawrence Livermore telah menemukan jenis baru sakelar semikonduktor yang digerakkan oleh laser yang secara teoritis dapat mencapai kecepatan lebih tinggi pada...

Newsletter

Subscribe to stay updated.