Generative Pre-Trained Transformer (GPT) adalah model pembelajaran mesin yang dapat digunakan untuk aplikasi NLP. Untuk menghasilkan konten yang terdengar asli dan terstruktur dengan baik, model ini telah dilatih sebelumnya pada sejumlah besar materi, termasuk buku dan halaman web.
GPT adalah program komputer yang dapat membuat teks yang tampak dan terbaca seolah-olah seseorang menulisnya tetapi tidak dimaksudkan untuk melakukannya. Akibatnya, mereka dapat dibentuk agar sesuai dengan kebutuhan aplikasi NLP seperti menjawab pertanyaan, terjemahan, dan peringkasan teks. GPT secara signifikan memajukan pemrosesan bahasa alami karena memungkinkan mesin untuk menginterpretasikan dan menghasilkan bahasa dengan kefasihan dan ketepatan yang tak tertandingi.
Pada tahun 2018, GPT-1 yang dirilis oleh OpenAI, model bahasa pertama yang digunakan berdasarkan arsitektur Transformer. Bahkan model bahasa tercanggih saat itu tidak dapat dibandingkan dengan 117 juta parameternya. Salah satu dari banyak bakat GPT-1 adalah kemampuan untuk menghasilkan ucapan yang alami dan dapat dipahami sebagai respons terhadap isyarat atau konteks. Model ini dilatih menggunakan kumpulan data BookCorpus, kumpulan lebih dari 11.000 buku tentang beragam tema, dan kumpulan data Perayapan Umum, kumpulan data halaman web berukuran besar yang terdiri dari miliaran kata. Dengan penggunaan banyak dataset tersebut, GPT-1 mampu meningkatkan kemampuan pemodelan bahasanya.
Menurut analyticsinsight.net, GPT-2 dirilis oleh OpenAI pada 2019 untuk menggantikan GPT-1. Dengan 1,5 miliar parameter, itu jauh lebih besar dari GPT-1. Kumpulan data yang lebih luas dan beragam digunakan untuk melatih model dengan menggabungkan Common Crawl dengan WebText. Salah satu kekuatan GPT-2 adalah kemampuannya untuk membuat rangkaian teks yang meyakinkan dan logis. Kapasitasnya untuk mereplikasi perilaku manusia menjadikannya alat yang berharga untuk berbagai tugas pemrosesan bahasa alami, seperti pembuatan dan penerjemahan konten. Namun, GPT-2 memiliki beberapa kelemahan. Dibutuhkan banyak upaya untuk memahami logika dan konteks yang kompleks. Meskipun bekerja lebih baik pada bagian yang lebih pendek, GPT-2 membutuhkan bantuan untuk menjaga bagian yang lebih panjang tetap kohesif dan dalam konteks.
Model pemrosesan bahasa alami melihat pertumbuhan eksponensial setelah publikasi GPT-3 pada tahun 2020. Dengan 175 miliar parameter, GPT-3 100 kali lebih besar dari GPT-1 dan lebih dari sepuluh kali lebih besar dari GPT-2. Wikipedia, BookCorpus, dan Common Crawl hanyalah beberapa sumber yang digunakan untuk melatih GPT-3. Dengan hanya sedikit data pelatihan, GPT-3 dapat bekerja dengan baik pada berbagai tugas NLP menggunakan sekitar satu triliun kata di seluruh kumpulan data.(ra)