Para peneliti berteori bahwa model bahasa yang besar mampu membuat dan melatih versi yang lebih kecil dari diri mereka sendiri untuk mempelajari tugas-tugas baru.
Sebuah studi baru bertujuan untuk memahami bagaimana model bahasa besar tertentu dapat mempelajari tugas-tugas baru hanya dari beberapa contoh.
Model AI ini – seperti GPT-3 dan chatbot populer ChatGPT – adalah sistem pemrosesan bahasa alami yang dilatih untuk data dalam jumlah besar.
Dengan jumlah data yang sangat besar ini, model bahasa besar dapat mengambil sepotong kecil teks dan memprediksi apa yang akan terjadi selanjutnya, memungkinkan mereka membuat teks seperti manusia dan menjawab pertanyaan.
Namun, beberapa peneliti mengeksplorasi fenomena di mana model bahasa besar belajar menyelesaikan tugas setelah hanya melihat beberapa contoh, meskipun tidak dilatih untuk tugas tersebut. Ini dikenal sebagai “pembelajaran dalam konteks”.
Biasanya, model pembelajaran mesin seperti GPT-3 perlu dilatih ulang dengan data baru dan parameter yang diperbarui untuk menangani tugas baru. Namun dengan pembelajaran dalam konteks, model dapat menangani tugas baru tanpa memperbarui parameternya.
Dalam sebuah studi baru, para ilmuwan dari MIT, Google Research, dan Universitas Stanford telah mempelajari model bahasa besar yang serupa untuk mencoba memahami proses ini.
Penulis utama makalah Ekin Akyürek mengatakan pemahaman yang lebih baik tentang pembelajaran dalam konteks dapat menghasilkan model AI yang lebih baik yang tidak memerlukan pelatihan ulang yang mahal.
“Biasanya, jika Anda ingin menyempurnakan model ini, Anda perlu mengumpulkan data khusus domain dan melakukan beberapa rekayasa rumit,” kata Akyürek. “Tapi sekarang kita bisa memberinya masukan, lima contoh, dan itu memenuhi apa yang kita inginkan.
“Jadi, pembelajaran dalam konteks adalah fenomena pembelajaran efisien yang tidak masuk akal yang perlu dipahami.”
Model AI di dalam model
Beberapa ilmuwan berteori bahwa model bahasa besar dapat melakukan pembelajaran dalam konteks karena mereka dilatih pada data dalam jumlah besar, yang berarti mereka mungkin telah melihat contoh serupa sebelumnya.
Tapi Akyürek dan timnya yakin model AI ini membuat model pembelajaran mesin yang lebih kecil di dalam dirinya sendiri, yang kemudian dilatih oleh model tersebut untuk menyelesaikan tugas baru.
Untuk menguji hipotesis ini, para peneliti menggunakan model jaringan saraf yang memiliki arsitektur yang sama dengan GPT-3, tetapi dilatih untuk pembelajaran dalam konteks.
Eksperimen tim menunjukkan bahwa model ini secara teoritis dapat mensimulasikan dan melatih versi yang lebih kecil dari diri mereka sendiri.
Para peneliti berencana untuk melanjutkan eksperimen yang lebih kompleks, bersama dengan eksplorasi ke dalam jenis data prapelatihan yang dapat mengaktifkan pembelajaran dalam konteks.
Model bahasa besar semakin populer dengan peningkatan pesat ChatGPT, yang telah menciptakan perlombaan AI antara beberapa perusahaan Teknologi Besar.
Misalnya, Microsoft baru-baru ini mengungkapkan mesin pencari Bing baru dan browser Edge dengan kemampuan AI dengan harapan dapat menantang dominasi pasar Google. Ini mengikuti pengumuman mendadak Google bahwa mereka sedang mengembangkan Bard, sebuah chatbot AI untuk menyaingi ChatGPT.
10 hal yang perlu Anda ketahui langsung ke kotak masuk Anda setiap hari kerja. Mendaftar untuk Singkat Harianintisari berita teknologi sains penting dari Silicon Republic.
Hasil prediksi akurat hk malam ini merupakan Info penting bagi para pemain togel sidney pools. Nomor keluaran sdy pools memegang peranan signifikan gara-gara hasil live draw sdy prize merupakan penentu utama. Dimana taruhan para bettor kalah atau menang benar-benar terkait bersama nomor pengeluaran sdy prize. Sehingga kita merangkum semua keluaran sdy pools ke didalam sebuah tabel data sdy 2021 terlengkap untuk para bettor.
