Nvidia Audio2Face açık kaynak oldu: Oyunlarda ultra gerçekçi avatar dönemi!

Nvidia, uzun süredir oyunlardan müşteri hizmetlerine kadar geniş bir alanda kullanılan Audio2Face teknolojisini açık kaynak kodlu hale getirdiğini duyurdu. Bu adım, geliştiricilerin, öğrencilerin ve araştırmacıların teknolojiyi daha hızlı benimsemesini ve üzerine yenilikler eklemesini hedefliyor.

Bilmeyenler için Audio2Face, ses girdilerini analiz ederek gerçeğe yakın yüz ifadeleri ve dudak senkronizasyonu üreten bir yapay zeka modeli. Fonemler, tonlama ve akustik özellikler üzerinden üretilen animasyon verileri hem önceden hazırlanmış içeriklerde hem de gerçek zamanlı etkileşimlerde kullanılabiliyor. Bu sayede oyun karakterlerinden sanal müşteri temsilcilerine kadar birçok alanda doğal ve duygusal tepkiler veren avatarlar oluşturulabiliyor.

Geliştiricilere özel araç seti

Nvidia yalnızca modelin kendisini değil, Audio2Face SDK’sı ve eğitim framework’ünü de açık kaynak topluluğuna sundu. Böylece geliştiriciler mevcut modelleri kendi ihtiyaçlarına göre özelleştirebilecek ve farklı kullanım senaryoları için daha esnek çözümler geliştirebilecek.

Ayrıca Bkz.Nvidia’dan OpenAI’a 100 milyar dolarlık yatırım: İki dev birbirine bağlanıyor

Nvidia ayrıca RTX Kit için de önemli yenilikler duyurdu. Yapay zeka destekli ışın izleme, yüksek detaylı sahne işleme ve foto-gerçekçi karakter üretimi sunan bu paket, yeni optimizasyonlarla geliştirildi. Şirkete göre RTX Neural Texture Compression SDK, büyük boyutlu dokuların bellek kullanımını ciddi ölçüde azaltırken görsel kaliteden ödün veröeyecek. Güncellemelerle birlikte DLSS desteği, DX12 uyumluluğu ve performans iyileştirmeleri de eklendi. RTX Global Illumination SDK tarafında ise VSync seçeneği, yeni önbellek görselleştirme araçları ve SHaRC algoritmasında geliştirmeler sağlandı.