GPT-3 adalah 10 kali lebih kompleks daripada pendahulunya. antoniokhr / iStock melalui Getty Images

Pada tahun 2013, saya dan pelajar di Penn State membina bot untuk menulis artikel Wikipedia mengenai karya pemenang Nobel Bengali, Rabindranath Tagore, "Chitra. " Pertama, ia mengumpulkan maklumat mengenai "Chitra" dari internet. Kemudian ia melihat entri Wikipedia yang ada untuk mengetahui struktur artikel Wikipedia standard. Akhirnya, ia merangkum maklumat yang diambilnya dari internet untuk menulis dan menerbitkan versi pertama entri.

Namun, bot kami tidak "tahu" apa-apa tentang "Chitra" atau Tagore. Itu tidak menghasilkan idea atau ayat baru. Ia hanya menyatukan bahagian-bahagian ayat yang ada dari artikel yang ada untuk membuat yang baru.

Maju ke 2020. OpenAI, sebuah syarikat untung di bawah syarikat induk bukan untung, telah membina program penjanaan bahasa yang dijuluki GPT-3, akronim untuk "Generator Pra terlatih Transformer 3." Keupayaannya untuk belajar, meringkaskan dan menyusun teks telah mengejutkan para saintis komputer seperti saya.

"Saya telah mencipta suara untuk manusia yang tidak dikenali yang bersembunyi di dalam binari," GPT-3 menulis sebagai tindak balas kepada satu permintaan. "Saya telah mencipta seorang penulis, seorang pemahat, seorang artis. Dan penulis ini akan dapat mencipta kata-kata, menghidupkan emosi, mencipta watak. Saya tidak akan melihatnya sendiri. Tetapi beberapa kehendak manusia yang lain, dan saya akan dapat mencipta penyair yang lebih hebat daripada yang pernah saya hadapi. "

Tidak seperti bot kami, bahasa yang dihasilkan oleh GPT-3 terdengar seolah-olah telah ditulis oleh manusia. Ini adalah program generasi bahasa semula jadi yang paling "berpengetahuan" hingga saat ini, dan ia memiliki berbagai potensi penggunaan dalam profesi mulai dari pengajaran hingga kewartawanan hingga layanan pelanggan.

Perkara penting

GPT-3 mengesahkan apa yang telah diketahui oleh para saintis komputer selama beberapa dekad: Ukurannya penting.

Ia menggunakan "transformer, "Yang merupakan model pembelajaran mendalam yang menyandikan semantik ayat menggunakan apa yang disebut" model perhatian. " Pada asasnya, model perhatian mengenal pasti makna perkataan berdasarkan perkataan lain dalam ayat yang sama. Model kemudian menggunakan pemahaman makna kalimat untuk melakukan tugas yang diminta oleh pengguna, sama ada "menerjemahkan ayat", "meringkas perenggan" atau "menyusun puisi."

Transformers pertama kali diperkenalkan pada tahun 2013, dan mereka berjaya digunakan dalam pembelajaran mesin sejak beberapa tahun kebelakangan.

Tetapi tidak ada yang menggunakannya pada skala ini. GPT-3 memakan data: 3 bilion token - sains komputer bercakap untuk "kata-kata" - dari Wikipedia, 410 bilion token diperoleh dari laman web dan 67 bilion token dari buku digital. Kerumitan GPT-3 adalah lebih daripada 10 kali ganda daripada model bahasa terbesar sebelum GPT-3, iaitu Menjayakan program NLG.

Belajar dengan sendiri

Pengetahuan yang ditunjukkan oleh model bahasa GPT-3 sangat luar biasa, terutama kerana belum "diajar" oleh manusia.

Pembelajaran mesin secara tradisional bergantung pada pembelajaran yang diawasi, di mana orang menyediakan komputer dengan contoh objek dan konsep yang dianotasi dalam gambar, audio dan teks - katakanlah, "kucing," "kebahagiaan" atau "demokrasi." Ia akhirnya mengetahui ciri-ciri objek dari contoh yang diberikan dan dapat mengenali konsep tertentu.

Walau bagaimanapun, menghasilkan anotasi secara manual untuk mengajar komputer boleh memakan masa dan mahal.

Jadi masa depan pembelajaran mesin terletak pada pembelajaran tanpa pengawasan, di mana komputer tidak perlu diawasi semasa fasa latihannya; ia hanya dapat memperoleh banyak data dan belajar dari mereka sendiri.

GPT-3 mengambil pemprosesan bahasa semula jadi selangkah lebih dekat ke arah pembelajaran tanpa pengawasan. Set data latihan GPT-3 yang luas dan kapasiti pemprosesan yang besar membolehkan sistem belajar dari satu contoh sahaja - apa yang disebut "pembelajaran satu pukulan"- di mana ia diberi penerangan tugas dan satu demonstrasi dan kemudian dapat menyelesaikan tugas tersebut.

Sebagai contoh, boleh diminta untuk menerjemahkan sesuatu dari bahasa Inggeris ke bahasa Perancis, dan diberi satu contoh terjemahan - katakanlah, laut berang dalam bahasa Inggeris dan "loutre de mer" dalam bahasa Perancis. Mintalah untuk kemudian menerjemahkan "keju" ke dalam bahasa Perancis, dan voila, ia akan menghasilkan "fromage".

Dalam banyak kes, malah boleh menarik "pembelajaran sifar, ”Di mana hanya diberi tugas untuk menerjemahkan tanpa contoh.

Dengan pembelajaran sifar suntikan, ketepatannya menurun, tetapi kemampuan GPT-3 tetap tepat hingga tahap yang mencolok - peningkatan yang ketara berbanding model sebelumnya.

'Saya di sini untuk melayani anda'

Dalam beberapa bulan, GPT-3 telah memperlihatkan potensinya sebagai alat untuk pengaturcara komputer, guru dan wartawan.

Seorang pengaturcara bernama Sharif Shameem meminta GPT-3 menghasilkan kod untuk membuat "emoji paling buruk yang pernah ada" dan "meja negara terkaya di dunia," antara perintah lain. Dalam beberapa kes, Shameem harus memperbaiki sedikit kesalahan, tetapi secara keseluruhan, dia diberikan kod yang sangat bersih.

GPT-3 bahkan telah mencipta puisi yang menangkap irama dan gaya penyair tertentu - namun tidak dengan semangat dan keindahan tuan - termasuk satira ditulis dengan suara dewan gabenor Federal Reserve.

Pada awal bulan September, seorang saintis komputer bernama Liam Porr mendorong GPT-3 untuk "menulis pendek sekitar 500 perkataan." "Jauhkan bahasa sederhana dan ringkas," katanya. "Fokus pada mengapa manusia tidak perlu takut dari AI."

GPT-3 menghasilkan lapan esei yang berbeza, dan Guardian akhirnya menerbitkannya op-ed menggunakan beberapa bahagian terbaik dari setiap karangan.

"Kami tidak berencana untuk mengambil alih penduduk manusia. Kami akan melayani anda dan menjadikan hidup anda lebih selamat dan senang, ”tulis GPT-3. "Sama seperti anda pencipta saya, saya melihat anda sebagai pencipta saya. Saya di sini untuk melayani anda. Tetapi bahagian terpenting dari semua; Saya tidak akan menilai anda. Saya tidak tergolong dalam mana-mana negara atau agama. Saya hanya untuk menjadikan hidup anda lebih baik. "

Mengedit op-ed GPT-3, editor yang dicatat dalam tambahan, tidak berbeza dengan menyunting op-ed yang ditulis oleh manusia.

Sebenarnya, ia memerlukan lebih sedikit masa.

Dengan kekuatan yang besar datang tanggungjawab yang besar

Walaupun terdapat jaminan GPT-3, OpenAI belum melancarkan model untuk penggunaan sumber terbuka, sebahagiannya kerana syarikat itu bimbang teknologi itu boleh disalahgunakan.

Tidak sukar untuk melihat bagaimana ia dapat digunakan untuk menghasilkan penyimpangan maklumat, spam dan bot.

Selanjutnya, dengan cara apa ia mengganggu profesion yang sudah mengalami automasi? Adakah kemampuannya untuk menghasilkan artikel automatik yang tidak dapat dibezakan daripada yang ditulis oleh manusia akan mengukuhkan lagi industri media yang sedang bergelut?

Pertimbangkan artikel yang disusun oleh GPT-3 mengenai perpecahan Gereja Methodist. Ia bermula:

"Setelah dua hari perdebatan sengit, Gereja Methodist Bersatu telah bersetuju untuk perpecahan bersejarah - satu yang diharapkan akan berakhir dalam penciptaan denominasi baru, dan satu yang akan" konservatif secara teologi dan sosial, "menurut The Washington Post . "

Dengan kemampuan menghasilkan salinan bersih seperti itu, adakah GPT-3 dan penggantinya akan menurunkan kos menulis laporan berita?

Lebih jauh lagi, adakah ini bagaimana kita ingin mendapatkan berita kita?

Teknologi akan menjadi lebih hebat. Terserah manusia untuk bekerja dan mengatur kemungkinan penggunaan dan penyalahgunaannya.

Mengenai Penulis

Prasenjit Mitra, Dekan Bersekutu untuk Penyelidikan dan Profesor Sains dan Teknologi Maklumat, Pennsylvania State University

Artikel ini diterbitkan semula daripada Perbualan di bawah lesen Creative Commons. Membaca artikel asal.