Para pakar menganggapnya salah, menurut Dominic Cummings, bekas ketua penasihat perdana menteri Britain, Boris Johnson. Cummings telah berpendapat bahawa nasihat ilmiah rasmi kerajaan Inggeris pada bulan Mac 2020 sangat salah memahami bagaimana wabak itu akan berlanjutan, menyebabkan kelewatan mengurung yang mengorbankan ribuan nyawa.

Menurut Cummings, pakar tertentu yang kurang pengetahuan mengenai pandemik atau perubatan - seperti saintis data Ben Warner, penyelidik kecerdasan buatan Demis Hassabis dari DeepMind, dan ahli matematik Tim Gowers - yang memberikan ramalan yang lebih tepat pada masa ini.

Cummings juga dikenali sebagai a kipas of Ramalan super oleh Philip Tetlock, sebuah buku mengenai orang yang meramalkan peristiwa masa depan dengan lebih dipercayai daripada kebanyakan. Beberapa superforecaster telah dipuji untuk ramalan mereka mengenai wabak, sementara yang lain juga kritikal terhadap pakar ' rekod.

Oleh itu, haruskah pemerintah menggunakan superforecaster lebih besar daripada bergantung pada pakar saintifik? Bukti itu tidak begitu jelas. Tetapi nampaknya ada perkara yang dapat dipelajari oleh pemerintah dari superforecasting.

Dalam pakej kajian Amerika yang terkenal pada superforecaster yang diterbitkan pada tahun 2014, mereka adalah kru elit. Hanya 2% pesaing teratas yang menunjukkan prestasi yang cukup baik dalam kejohanan ramalan geopolitik untuk memenangi kejuaraan. Tugas mereka adalah memberikan kemungkinan kemungkinan jawapan bagi puluhan soalan.

Penyelidik memberikan beberapa contoh ilustrasi. Siapa yang akan menjadi presiden Rusia pada tahun 2012? Adakah Korea Utara akan meletupkan senjata nuklear lain dalam tiga bulan akan datang? Berapa banyak pelarian yang akan melarikan diri dari Syria tahun depan?

Sudah tentu, hanya kerana seseorang melakukannya dengan baik satu tahun tidak membuktikan bahawa mereka lebih mahir daripada orang lain. Mungkin mereka bernasib baik. Kita harus melihat sejauh mana prestasi mereka pada tahun-tahun berikutnya untuk menilai seberapa "hebat" mereka.

Dengan mengagumkan, superforecasters ini terus maju selagi kejohanan berlangsung selama tiga tahun lagi. Sebenarnya, setelah digabungkan menjadi "pasukan superforecasting" yang mengandungi hanya pemain berprestasi tinggi lain, prestasi mereka meningkat dengan margin yang besar. Para penyelidik juga mendapati bahawa bekerja dalam pasukan dan mengambil latihan yang relevan meningkatkan prestasi untuk peramal lain, berbanding peramal dalam keadaan kawalan.

Pasukan dan latihan

Sama ada kita menerima Cummings dengan kata-katanya bahawa perencanaan pandemi di UK mengalami "gelembung pemikiran kumpulan klasik", kita tahu bahawa pasukan tidak selalu membuat keputusan yang bijak. Apa yang membuat pasukan lebih berjaya dalam kajian AS?

Sukar untuk mengatakannya dengan pasti, tetapi para penyelidik secara khusus mendorong pasukan untuk mengemukakan soalan yang tepat untuk mendorong pemikiran yang lebih jelas mengenai bukti yang menyokong ramalan tertentu, untuk "mencari bukti yang bertentangan dengan ramalan anda sekarang", dan untuk memperkenalkan sudut pandang alternatif secara konstruktif .

Perbahasan seperti itu mungkin berlaku meningkatkan pertimbangan kolektif and berjaga-jaga daripada berfikir secara berkumpulan. Anggota pasukan juga tidak perlu membuat konsensus. Walaupun mereka berkongsi maklumat dan pendapat, mereka tetap membuat ramalan individu yang digabungkan dengan algoritma. Pasukan superforaster khususnya sangat bertunang, sering berkongsi maklumat dengan dan mengemukakan soalan ahli pasukan lain.

Satu lagi kajian melihat lebih dekat teknik latihan tertentu yang paling membantu. Tiga teknik terutamanya berkaitan dengan ketepatan yang lebih tinggi. Yang pertama adalah penggunaan kelas perbandingan yang disebut.

Sebagai contoh, jika saya cuba meramalkan kebarangkalian bahawa Benedict Cumberbatch dan Sophie Hunter masih bersama dalam lima tahun, ada baiknya memikirkan "kelas" lain yang relevan - katakanlah, kelas perkahwinan selebriti, atau bahkan perkahwinan secara umum. Ini membolehkan saya melihat sejarah untuk memberitahu ramalan saya: Berapa peratus perkahwinan selebriti yang berakhir dalam tempoh lima tahun tertentu?

Yang kedua adalah menggunakan model matematik dan statistik, jika ada, untuk membantu memberitahu pandangan seseorang. Yang ketiga adalah "memilih soalan yang tepat" - cadangan untuk meluangkan lebih banyak masa untuk meramalkan jawapan kepada soalan di mana anda tahu lebih banyak daripada yang lain mengenai topik tersebut, atau yang kemungkinan penyelidikan tambahan akan membuahkan hasil. Walau bagaimanapun, para penyelidik menekankan bahawa semua komponen latihan itu mungkin telah menyumbang secara holistik untuk prestasi yang lebih baik.

Penyelidikan juga menunjukkan bahawa ketepatan bertambah baik apabila kita mengikuti prestasi masa lalu kita - tetapi jenis maklum balas penting. Adakah hasil yang anda sangka akan berlaku 20% masa sebenarnya berlaku 20% dari masa? Bagaimana dengan hasil yang anda sangka akan berlaku 90% sepanjang masa? Prestasi bertambah baik bagi mereka yang menerima maklumat seperti ini.

Bolehkah kerajaan melakukan yang lebih baik?

Mungkinkah pemerintah UK telah melakukan yang lebih baik dalam COVID-19 dengan meminta input dari pasukan superforecaster? Ada kemungkinan. Superforecasters di Terbuka Penghakiman dan mempraktikkan peramal di Metakulus (di mana saya telah berpartisipasi) masing-masing nampaknya berjaya dengan baik pada COVID-19, dengan Metaculus mendakwa telah ahli yang berprestasi tinggi pada bulan Jun 2020. Yang mengatakan, dalam a siri terbaru ramalan berkaitan COVID-19, peramal terlatih tidak selalu lebih tepat daripada pakar. Para penyelidik di sebalik tinjauan ini bereksperimen dengan cara menggabungkan ramalan dari pakar domain dan peramal terlatih menjadi "ramalan konsensus".

Nampaknya masuk akal bahawa walaupun latihan yang membantu orang bukan supers membuat ramalan yang lebih baik pasti berguna. Sebagai contoh, Cummings mendakwa bahawa walaupun ada banyak perhatian pada model epidemiologi, bukti yang bertentangan dengan andaian model - seperti data yang dilaporkan oleh unit rawatan intensif - tidak dihiraukan. Tampaknya masuk akal bahawa seseorang yang dilatih untuk "mencari bukti yang bertentangan dengan ramalan anda sekarang" mungkin telah melihatnya lebih awal.

Sudah tentu, tidak semua cadangan dari literatur praktis dalam pengaturan pemerintah. Secara teori, pemerintah dapat menguji cadangan tersebut untuk diri mereka sendiri, dengan mengadopsi saranan yang tampaknya bermanfaat. Malangnya, anda tidak dapat memperbaiki perkara yang tidak anda ukur.

In Ramalan super, Tetlock menekankan bahawa mana-mana organisasi yang serius untuk meningkatkan ramalannya mesti melampirkan bilangan konkrit kepada mereka, sekurang-kurangnya secara dalaman. Ungkapan seperti "kemungkinan serius" mungkin bermaksud peluang 20% ​​untuk satu orang dan peluang 80% untuk orang lain.

Ini hampir pasti yang dimaksudkan oleh Cummings ketika dia berkata: "Seorang lelaki bernama Phil Tetlock menulis sebuah buku dan dalam buku itu dia mengatakan bahawa anda tidak boleh menggunakan kata-kata seperti munasabah dan kemungkinan dan kemungkinan, kerana itu membingungkan semua orang." Mungkin tidak mengejutkan kita jika organisasi yang tidak membuat ramalan dengan cara yang boleh dinilai tidak dilengkapi untuk belajar bagaimana menjadikannya lebih baik. Untuk meningkatkan, pertama anda mesti mencuba.