Google'ın ARCore artırılmış gerçeklik araç seti aracılığıyla Live3D performans yakalama özelliğini kullanan çalışmalarda yeni bir Unity 2D destekli oluşturma paketi var. Yazılım, performans veya hareketler görselleştirilirken oluşturulan çıktı ile web kamerası veya başka bir yakalama cihazı aracılığıyla gerçek zamanlı yüz izleme sağlar.

Denchi Soft, yazılımın nasıl çalıştığını göstermek ve 2020'nin ilk çeyreğinde bir noktada halka piyasaya sürüldüğünde kitten neler bekleyebileceğinizi göstermek için yaklaşık on dakikalık bir video yayınladı.

Aşağıdaki video tanıtımına göz atabilirsiniz.

Video ana hatlarıyla belirtildiği gibi, yüz verileri ARCore tarafından okunur ve saklanır ve daha sonra Unity 3D'nin Barracuda'sına bağlanan Tensor Flow sinirsel öğrenme boru hattına beslenir. Oradan, veriler bir UDP protokolü ile ana VTube Stüdyosu Live2D animasyonlarını ve kullanıcı arayüzü kontrollerini kullanırken ön uç.

Yazılımın nasıl çalıştığının temellerini ele geçirdikten sonra, gerçek zamanlı dinamik aydınlatma algısı oluşturarak Live2D modellerine renk renklendirme ve fiziksel olarak oluşturulan aydınlatmanın nasıl uygulanabileceğinin bir gösterimi verilir.

Ayrıca arka planı özelleştirebilir, farklı sahneleri içe aktarabilir ve hatta yüz ifadelerini değiştirebilir, özel makrolar yükleyebilir ve canlı akışı canlandırmak için belirli tepkiler oluşturabilirsiniz.

Neye benzeyen bazı 3D çözümler zaten var VTube Stüdyosu yapabilir, ancak yukarıdaki videoda gösterildiği gibi elle çizilmiş karakterleri kullanmakla daha çok ilgileniyorsanız, VTube Stüdyosu kesinlikle gitmenin yolu.

YouTube patlamasaydı, muhtemelen sanal yumrular için heyecan verici zamanlar olduğunu söyleyebilirim, ancak şu anda elbette sadece heck için yapmadığınız sürece içerik yaratmaya meraklı meraklılar için çok iyi görünmüyor. ve gerçekten çabadan önemli bir gelir elde etmemek.

Hakkında daha fazla bilgi edinebilirsiniz VTube Stüdyosu Denchi Soft'dan GitHub sayfası.

(Wondy Bergers haberi için teşekkürler)