Mengapa banyak kajian temuan tidak boleh dipercaya

Mengapa banyak kajian temuan tidak boleh dipercayaPeneliti tidak jujur ​​atau kesimpulannya dipengaruhi oleh kepentingan industri? Lightspring / Shutterstock Rizqy

Di luar masalah anggaran, kesan penyelidikan yang belum signifikan, dan buruknya pengurusan data riset di Indonesia, keengganan peneliti menyediakan akses terbuka pada data dan materi studinya juga membuat sains jalan di tempat.

Manipulasi kaedah statistik juga boleh menghasilkan penyelidikan yang tidak kredibel. Manipulasi ini dapat disebabkan oleh penyelidik kecurangan atau adanya konflik kepentingan periset dengan sumber dana dari industri yang hanya mau dengan hasil positif untuk mendukung produk pemasaran.

Kegelisahan ini dirasakan oleh beberapa peneliti yang bergabung dalam gerakan sosial #OpenScience (Sains Terbuka).

Saya mengurai masalah itu dengan argumentasi yang terinsipirasi dari legenda artikel yang ditulis oleh Profesor Biostatistik dari Stanford University John Ioannidis, "Mengapa Kebanyakan Dapatan Penyelidikan adalah Salah"

Krisis kredibiliti sains

Keengganan mengungkap prosedur penyelidikan menyebabkan kredibilitas krisis dalam sains. Contohnya, pada 2011, Daryl Bem, ahli parapsikologi dari Cornell University menerbitkan temuan penelitiannya yang sangat bombastis mengenai fenomena cenayang (pengiktirafan) di jurnal sangat bergengsi, Jurnal Personaliti dan Psikologi Sosial, terbitan Persatuan Psikologi Amerika (APA). Bem melakukan eksperimen 9, 8 diantaranya signifikan (nilai p <0.05) membuktikan bahwa manusia punya kemampuan memprediksi masa depan.

Peneliti lain yang penasaran cuba melakukan replika atas kajian Bem gagal mendapatkan hasil yang signifikan, tidak seperti yang diklaim Bem, walaupun sudah mengikuti secara teliti prosedur yang ditulis Bem dalam artikelnya. Entah apa yang Bem lakukan sampai mendapat hasil yang mencengangkan itu.

Kasus lain dikaitkan dengan ubat-ubatan penyelidikan. Kajian meta-analisis mengenai Efektivitas ubat Anti-Depresan bernama Fluoxetine (Prozac) menghasilkan kesimpulan bahwa efek Prozac tenggelam plasebo, sehingga tak ada manfaatnya sama sekali. Padahal obat itu sangat laris-pada 2005 saja jumlah jualan Prozac mencapai AS $ 22 bilion di seluruh dunia.


Dapatkan yang terbaru dari InnerSelf


Sementara, kajian meta-analisis yang sedang saya lakukan mengenai sokongan sosial dan kecenderungan depresi sampai sampai pada kesimpulan bahwa tidak ada bukti yang meyakinkan bahwa keduanya terkait. Saya menganalisis 5450 naskah publikasi yang diterbitkan dalam kurun waktu 20 tahun terakhir (1998-2018) yang ditulis dalam Bahasa Indonesia. Tetapi hanya 13 artikel yang dapat dianalisis lebih lanjut. Ketiga belas artikel itu juga dianalisis kualitasnya dan sayangnya, semuanya rata-rata bermutu rendah.

Nilai p dan 'angka keramat 0.05'

Bagi penyelidik yang menggunakan pendekatan kuantitatif, penggunaan statistik statistik untuk menguji hipotesis adalah keniscayaan. Kajian hipotesis, yang merupakan asumsi yang menjelaskan suatu fenomena, umumnya terdiri dari hipotesis nol (tidak ada efek) dan alternatif hipotesis (ada efek).

Paradigma ini berakar dari tradisi post-positivisme Popperian, di mana penelitian merupakan usaha untuk melakukan falsifikasi, membuktikan bahawa hipotesis nol salah. Biasanya, peneliti menggunakan nilai p (p-value) atau taraf signifikansi sebagai penunjuk untuk menolak atau menerima hipotesis.

Lazim dipercayai, apabila nilai p <0.05 maka hipotesis zero ditolak, sedangkan nilai p> 0.05 maka hipotesis zero diterima, sehingga nilai p <0.05 menjadi sejenis angka keramat yang menentukan kesuksesan atau kegagalan penelitian. Kalau hasilnya signifikan, maka penelitian dianggap 'berhasil' menemukan efek yang signifikan, sedangkan sebaliknya, jika nilai p> 0.05 berarti kiamat bagi peneliti.

Tidak banyak jurnal yang ingin menerbitkan hasil kajian dengan kesimpulan, "tidak ada kesan yang signifikan." Tak ada pembimbing tugas akhir yang sumringah mendapati pelajar bimbingannya mendapat nilai p> 0.05. Implikasinya, peneliti terdorong untuk melakukan cara-cara tak terpuji, misalnya sengaja menggunakan jumlah sampel yang besar agar mendapatkan nilai p <0.05. Inilah penyakit yang bertahun-tahun mencekik kredibilitas sains.

Pada Mac 2016, Persatuan Statistik Amerika (ASA) mengeluarkan pernyataan pers yang menggegerkan ilmu sains soal nilai p. Ron Wasserstein, Pengarah Eksekutif ASA, menyatakan nilai p tidak boleh lagi diperlakukan seperti 'angka keramat,' lebih-lebih sehingga menumpulkan logika dan rasionalitas para peneliti. Nilai p sebenar tidak ada kaitannya dengan diterima atau ditolaknya hipotesis, ia hanya bermaksud "... Probabilitas peneliti lain akan mendapatkan data yang ekstrem, seandainya hipotesis zero adalah hipotesis yang benar".

Menggunakan nilai p untuk menolak dan menerima hipotesis sangat bermasalah dalam tataran praktis dan teoritis. Peneliti seharusnya lebih fokus pada besarnya efek. Sebagai contoh, apabila seorang doktor yang ingin meneliti kesan efektivitas tertentu dalam menyembuhkan penyakit, maka kesimpulan yang dikehendaki adalah bukan apakah obat ini signifikan atau tidak, tetapi efektif atau tidak. Kalau berkesan, seberapa besar efektivitasnya. Nilai p tidak menyediakan maklumat apa pun soal efektivitas, sehingga peneliti perlu parameter lain yang disebut saiz kesan (saiz kesan).

Nilai p sangat sensitif dengan jumlah sampel. Meski saiz efek sangat kecil, nilai p dapat menjadi sangat signifikan jika jumlah sampel besar. Sebaliknya, meski ukuran kesan sangat besar, nilai p menjadi tidak signifikan jika jumlah sampel sangat kecil.

Akhirnya, kesan sekecil apa pun boleh menjadi signifikan apabila jumlah sampel sangat besar, sedangkan efek sebesar apa pun menjadi tidak signifikan jika jumlah sampel sangat kecil.

Oleh itu, peneliti boleh dengan sengaja menambah jumlah sampel secara terus-menerus agar mendapat nilai p <0.05 (p-hacking). Padahal strategi ini memperbesar kemungkinan peneliti mendapatkan positif palsu, iaitu ketika peneliti menyimpulkan ada efek, padahal efeknya tak pernah ada.

Peneliti juga tidak pernah peduli dengannya kuasa statistik teknik analisis statistiknya. Padahal dalam statistik, kuasa statistik yang menentukan apakah temuannya akurat atau tidak, bukan nilai p. Bila suatu teknik (model) statistik berkuasa, maka peneliti punya peluang yang besar untuk mendeteksi adanya efek, kalau efek itu benar-benar ada. Analisis kuasa juga boleh membantu penyelidik untuk merencanakan jumlah sampelnya agar jumlah sampel tak terlalu kecil, atau terlalu besar.

Menariknya, John Ioannidis menunjukkan bahawa sebahagian besar penelitian yang dipublikasi punya kuasa statistik yang cenderung rendah. Penyelidikan di bidang psikologi misalnya, diperkirakan rata-rata hanya punya kuasa sebanyak 50%, yang artinya peneliti hanya punya peluang 50 untuk mendeteksi adanya efek, kalau efeknya benar-benar ada.

Kelirunya penggunaan nilai p membuat sebagian besar hasil penelitian yang dipublikasikan di berbagai jurnal, termasuk jurnal dengan faktor dampak yang tinggi, sekadar menjadi bukti parahnya bias cognitif yang menginfeksi para peneliti. Sekaligus menjadi penguat yang ada kredibilitas krisis yang amat serius yang harus segera diatasi oleh masyarakat akademik.

Transparansi dan konflik kepentingan

Nilai maklumat dari penyelidikan hanya dapat dipastikan melalui proses replikan. Ketika peneliti lain tidak mendapatkan hasil yang konsisten, maka tuntutan sebelumnya tentu saja duga. Kajian reka seperti telaah sistematis (semakan sistematik) dan meta-analisis juga dapat digunakan untuk memastikan apakah temuan berbagai penelitian atas suatu gejala konsisten dan dapat dipercaya.

Kenyataannya, pelbagai kajian meta-analisis memberikan bukti bahwa kebanyakan penelitian memberikan informasi yang menyesatkan.

John Ioannidis mengatakan semakin sebuah ilmu disiplin dianggap seksi dan dekat dengan kepentingan industri, maka kemungkinan besar mayoritas studi yang dilakukan dalam ilmu pengetahuan itu adalah positif palsu.

Contohnya, tidak sukar kita menemui penelitian yang menghubungkan kemungkinan akan semakin maraknya peredaran rokok ilegal bila cukai tembakau dinaikkan drastis. Kajian ini sering digunakan oleh industri rokok sebagai dasar argumentasi mereka untuk menolak kebijakan kenaikan pajak.

Setelah melakukan penelitian telaah sistematis, hasil riset mereka senderung membesar-besarkan skala pasar rokok ilegal. Seolah-olah besar, padahal kenyataannya kecil sekali. Diduga temuan penelitian anti-kenaikan cukai rokok ini sangat didikte oleh kepentingan industri rokok, karena mereka yang mensponsori penelitian-penelitian itu. Padahal sejumlah riset telah membuktikan menaikkan cukai rokok adalah salah satu instrumen untuk menurunkan prevalensi konsumsi rokok.

Lalu bagaimana?

Ilmu saat ini tidak stabil, kerana peneliti menolak untuk terbuka. Sayangnya, Kementerian Riset, Teknologi dan Pendidikan Tinggi terlalu memfokuskan kebijakannya untuk menggenjot kuantitas ilmiah publikasi, tetapi menutup mata atas gejala degradasi kualitas penelitian dan integritas penelitinya. Meski jumlah publikasi ilmiah peneliti Indonesia diklaim menyalip SingapuraNyatanya artikel ilmiah peneliti Indonesia lebih diterbitkan di penuntutan, yaitu kumpulan naskah ilmiah yang dipresentasikan dalam suatu konferensi atau temu ilmiah, yang proses telaahnya umumnya dilakukan secara asal-asalan.

Untuk mengembalikan kredibilitas sains, maka peneliti harus terbuka-mulai dari asumsi awal, prosedur pengambilan dan analisis data, data rawah, hingga kemungkinan adanya konflik kepentingan. Hal ini boleh dilakukan salah satunya dengan pra-pendaftaran.

Sejatinya, saat ini sudah banyak portal yang dapat digunakan para peneliti sebagai etalase pre-registrasi, data mentah dan materi studinya, seperti Rangka Kerja Sains Terbuka. Maka agar ilmu kerja menjadi progresif dan bermakna, tak ada jalan keluar lain-peneliti harus terbuka, atau tertinggal.

Tak salah bila ada yang menganalogikan, "Politikus boleh saja berbohong, karena ia harus selalu benar. Peneliti boleh saja salah, tapi ia tak boleh berbohong. "Saya setuju bahawa kualitas suatu penelitian terletak pada integritas dan standar penelitinya moral.Perbualan

Tentang nepulis

Rizqy Amelia Zein, Penolong Pensyarah dalam Psikologi Sosial dan Kepribadian, Universiti Airlangga

Sumber asli artikel ini dari Perbualan. Baca artikel sumber.

enafarzh-CNzh-TWnltlfifrdehiiditjakomsnofaptruessvtrvi

ikuti InnerSelf pada

icon-facebooktwitter-iconrss-icon

Dapatkan Yang Terbaru Dengan E-mel

{Emailcloak = mati}