Generative Pre-trained Transformer 3 (Üretken Ön İşlemeli Dönüştürücü 3) kısaca GPT-3, insanların yazdığı metinlere benzer içerik üretmek için derin öğrenmeyi kullanan özbağlanımlı dil modelidir. OpenAI şirketinin birkaç yıldır üzerinde çalıştığı çok kapsamlı bir yapay zeka teknolojisidir. GPT-n serisindeki üçüncü nesil dil tahmin modeli olan GPT-3, San Francisco merkezli yapay zeka araştırma laboratuvarı OpenAI tarafından geliştirilmiştir. GPT-3'ün tam sürümü, veri işleyecek 175 milyar parametreye sahiptir. Bu rakam GPT-2'nin öğrenme kapasitesinin 2 katıdır. 14 Mayıs 2020'de tanıtılan ve Temmuz 2020 itibarıyla beta aşamasında olan GPT-3, önceden öğretilmiş dil örnekleriyle doğal dil işleme (NLP) sistemini kullanmaktadır.
GPT-3 tarafından üretilen metnin kalitesi o kadar yüksektir ki, bir insan tarafından yazılmadığını anlamak zordur. Bu durumun yaratabileceği avantajlar olabileceği gibi riskler de vardır. 31 OpenAI araştırmacısı ve mühendisi, 28 Mayıs 2020'de GPT-3'ü tanıtan orijinal makaleyi yayımlamıştır. Makalelerinde, GPT-3'ün potansiyel tehlikeleri konusunda insanları uyarmış ve bu riski azaltmak için çalışmalar yapılması gerektiği çağrısında bulunmuşlardır. Avustralyalı filozof David Chalmers, GPT-3'ü "şimdiye kadar üretilmiş en ilginç ve önemli yapay zeka sistemlerinden biri" olarak tanımlamıştır.
OpenAI'de çalışan 31 mühendis ve araştırmacıdan oluşan grup projeyi 28 Mayıs 2020'de tanıttı.Ekip, GPT-3'ün kapasitesinin selefisi GPT-2'ye nazaran iki kat fazla olduğunu ve türünün en gelişmiş örneği olduğunu belirtmiştir.GPT-3'ün parametre sayısı, daha küçük kapasiteli önceki sürümlere kıyasla daha doğru çalışmasını sağlamaktadır. GPT-3'ün kapasitesi, Microsoft'un Turing NLG'sinin on katından fazladır.
GPT-3'e öğrenmesi için verilen veri kümesinin %60'ının kaynağı, 410 milyar veriden oluşan filtrelenmiş Common Crawl sürümüdür. Veri kümesinin %22'si İnternetteki verilerden, %16'sı şimdiye kadar yayımlanmış kitaplardan ve %3'ü Vikipedi'den gelmektedir. GPT-3, yüz milyarlarca kelimenin yanı sıra CSS, JSX, Python'da kodlama yeteneğine sahiptir.GPT-3'ün eğitim verileri her şeyi kapsadığından, farklı dil görevleri için daha fazla veri öğrenmesi gerekmemektedir.
11 Haziran 2020'de OpenAI, kullanıcıların OpenAI'nin yeni teknolojisinin "güçlü yönlerini ve sınırlarını keşfetmesine" yardımcı olmak için kullanıcı dostu GPT-3 API'sine ("makine öğrenimi araç seti") erişim talep edebileceklerini duyurmuştur.Davetiyede, bu API'nin neredeyse "tüm İngilizce komutları" tamamlayabildiğini yazmaktadır. OpenAI GPT-3 API'nin erken sürümüne erişim hakkı olan bir kullanıcıya göre, GPT-3 "inanılmaz derecede tutarlı metinler" yazma konusunda "ürkütücü derecede iyiydi".
GPT-3, insanlar tarafından yazılan makalelerden ayırt etmekte güçlük çekilen haberler üretebildiğinden", GPT-3'ün hem yararlı hem de zararlı uygulamaların geliştirilmesinde kullanılabileceği düşünülmektedir. Araştırmacılar 28 Mayıs 2020 tarihli makalelerinde GPT-3'ün potansiyel zararlı etkilerini detaylıca açıklamışlardır. Yanlış bilgi üretimi, spam, kimlik avı, yasal ve hükümet süreçlerinin kötüye kullanımı, sahte akademik makale yazma ve sosyal mühendislik potansiyel zararlı etkilerden bazılarıdır. Yazarlar, bu risklerin azaltılması konusunda araştırmalar yapılması için bu tehlikelere dikkat çekmektedir.
GPT-3'ü en basit anlatımla doğal dil işleme sinir ağı olarak tanımlamak mümkün. Bir dil öngörücü olan ürün, beslediğiniz içeriğin ardından neyin gelmesi gerektiğini tahmin ediyor ve komutlarınızı hayata geçiyor.
1 milyar dolardan fazla bir yatırımla hayata geçirilen bu teknoloji; şiir yazabiliyor, metin çevirebiliyor, diyalog kurabiliyor ve soyut sorulara bile cevap verebiliyor.
GPT-3 yapay zeka algoritması, internette bulunan tüm metinleri; aldığı metin girişine dayalı olarak, bir yanıt oluşturmak için kullanıyor. Bu sayede yapay zekanın tahminlerindeki doğruluk payı oldukça artıyor:
Örneğin bu algoritmaya sahip bir web sitesi oluşturucusu programına, istediğiniz tasarımı düz metin olarak yazmanız yeterli.
Diyelim ki bu algoritmayı kullanan bir programa, "15mm yüksekliğinde ve genişliğinde, üzerinde "Ensonhaber" yazan kırmızı bir buton istiyorum." dediğinizde, uygulama kısa süre sonra istediğiniz butonu yapıp karşınıza çıkarabiliyor.
İlk olarak GPT adıyla yayımlanan algoritmada 110 milyon ayarlanabilir parametre varken, bu sayı GPT 2'de 1,5 milyara çıkmıştı. GPT-3'te ise 175 milyar parametre var.
Bu parametrelerin çokluğu yapay zekânın öğrenmesini kolaylaştırıyor. Bu yüzden GPT-3 için "bugüne kadar üretilmiş en tehlikeli algoritma" yorumları yapılıyor.
GPT-3'ün DeepFake gibi platformlarda yalan haber üretme potansiyeli, yapay zekâ ürününe teknoloji dünyasında korkuyla yaklaşmak için bir sebep olarak gösteriliyor.
Öte yandan GPT-3'ün tehlikeli olabileceğine dair diğer nedenler arasında ise hükümet süreçlerinin kötüye kullanımı ve sahte akademik makale yazabilecek olması gibi sebepler gösteriliyor.