Araştırmacılar GPT-3 teknolojisinden daha iyi bir yapay zeka geliştirdi

Geçtiğimiz ay OpenAI tarafından geliştirilen Generative Pre-trained Transformer 3 ya da kısaca GPT-3 yapay zeka teknolojisi oldukça ses getirmişti. Şimdi araştırmacılar daha iyisini geliştirmek için çalışıyor.

GPT-3 nedir?

Bugüne kadar insan dillerini taklit edebilen en gelişmiş yapay zeka modeli olarak kabul edilen GPT-3; sorulara cevap verebiliyor, tercüme yapabiliyor, kodlama geliştirebiliyor, şiir veya blog yazabiliyor ve hatta röportaj yapabiliyor.

Ayrıca Bkz.Yerli Osman Gazi oyunu Steam mağazasında yerini aldı

GPT-3 modelini eğitebilmek için Wikipedia’nın tamamının 23 katı kadar bilgi yüklemesi yapıldığı ifade ediliyor. Modelin bu verileri işleyebilmesi için gerekli olan nöral bağlantıların toplamı da 175 milyar civarında.

Bununla birlikte Ludwig Maximilian Üniversitesi araştırmacıları ise sadece 223 milyon parametre kullanarak SuperGLUE benhcmark testlerinde GPT-3 modelini geride bırakabilen bir metin oluşturma modeli geliştirmişler.

Ekip modeli geliştirmek için Desen Kullanma Eğitimi – PET olarak adlandırılan bir teknik kullanmış. Bu teknikte metin girişleri boşluk doldurma sorularına dönüştürülürken etiketlenmemiş veriler ve çeşitli optimizasyonlarla birleştiriliyor. Ayrıca enerji verimliliği de sağlanıyor.

OpenAI yöneticisi Jack Clark, çok daha düşük parametlerle hazırlanmış PET metodunun benchmark testlerinde GPT-3 modelini geçtiğini doğruluyor ancak GPT-3 modelinin pek çok farklı senaryoda çok daha yüksek performansa ulaştığını belirtiyor. Yine de PET metodunun araştırmacılara yeni ufuklar açacağını düşünüyor. Özellikle GPT-3 fiyatlandırmasının yüksek olduğu düşünüldüğünde daha odaklı işlemlerde kullanılacak daha ucuz yapay zeka metotları mümkün olabilecek.