Herkes için 3D? Nvidia’nın Magic3D’si metinden 3D modeller üretebilir

Cuma günü, Nvidia araştırmacıları duyurdu Magic3D, metin açıklamalarından 3B modeller oluşturabilen bir AI modeli. Magic3D, “Nilüfer üzerinde oturan mavi zehirli ok kurbağası” gibi bir bilgi istemi girdikten sonra, yaklaşık 40 dakika içinde renkli dokuyla tamamlanmış bir 3B ağ modeli oluşturur. Değişikliklerle, ortaya çıkan model video oyunlarında veya CGI sanat sahnelerinde kullanılabilir.

onun içinde akademik makaleNvidia, Magic3D’yi yanıt olarak çerçeveliyor DreamFusion, Google araştırmacılarının Eylül ayında duyurduğu bir metinden 3B’ye dönüştürme modeli. DreamFusion’un daha sonra hacimsel olarak optimize edilen bir 2B görüntü oluşturmak için metinden görüntüye bir model kullanmasına benzer NeRF (Nöral parlaklık alanı) verileri, Magic3D, düşük çözünürlükte oluşturulmuş kaba bir modeli alıp daha yüksek çözünürlüğe optimize eden iki aşamalı bir işlem kullanır. Makalenin yazarlarına göre, ortaya çıkan Magic3D yöntemi, DreamFusion’dan iki kat daha hızlı 3B nesneler üretebilir.

Magic3D, 3B kafeslerin komut istemine dayalı düzenlemesini de gerçekleştirebilir. Düşük çözünürlüklü bir 3B model ve bir temel komut verildiğinde, ortaya çıkan modeli değiştirmek için metni değiştirmek mümkündür. Ayrıca, Magic3D’nin yazarları, aynı konunun birkaç nesil boyunca korunduğunu (genellikle tutarlılık olarak adlandırılan bir kavram) ve bir 2B görüntünün stilini (kübist bir resim gibi) bir 3B modele uyguladığını gösterir.

Nvidia, akademik makalesiyle birlikte herhangi bir Magic3D kodu yayınlamadı.

Metinden 3B oluşturma yeteneği, bir veri gövdesi üzerinde yoğun eğitimden sonra yeni içeriği sentezlemek için sinir ağlarını kullanan günümüzün difüzyon modellerinde doğal bir evrim gibi geliyor. Yalnızca 2022’de, DALL-E ve Stable Diffusion gibi yetenekli metinden resme modellerin ve Google ve Meta’dan temel metinden videoya oluşturucuların ortaya çıktığını gördük. Google ayrıca iki ay önce yukarıda bahsedilen metinden 3B’ye model DreamFusion’u piyasaya sürdü ve o zamandan beri insanlar uyarlanmış benzer teknikler Kararlı Difüzyona dayalı bir açık kaynak modeli olarak çalışmak için.

Magic3D’ye gelince, arkasındaki araştırmacılar, herkesin özel bir eğitime ihtiyaç duymadan 3D modeller oluşturmasına izin vereceğini umuyor. Ortaya çıkan teknoloji bir kez rafine edildikten sonra video oyunu (ve VR) geliştirmeyi hızlandırabilir ve belki de sonunda film ve TV için özel efektlerde uygulamalar bulabilir. Makalelerinin sonuna doğru, “Magic3D ile 3D sentezi demokratikleştirebileceğimizi ve 3D içerik oluşturmada herkesin yaratıcılığını açabileceğimizi umuyoruz.”