Sanal Bir İdolün Doğuşu - Dijital İnsan Sektörü ve Teknoloji Araştırması

Dijital insanları anlıyoruz.

Son yıllarda dijital insan kavramı İnternet'te son derece popüler hale geldi ve sektörde Lil Miquela, Luo Tianyi, Hatsune, Luming, Nuan Nuan, AYAYI gibi birçok popüler sanal dijital insan veya sanal idol ortaya çıktı. Bu dijital insanların iş modeli veya piyasa değeri genellikle şöyledir: Operasyonlar aracılığıyla trafik toplamak ve trafiğe dayanarak gelir elde etmek. Örneğin:

Marka desteği (IP, etkinlik)
Hayran ekonomisi (iki boyutlu)
Sanal yayıncı (oyun, ürün tanıtımı)

Bu makale, aşağıda ele alınacak dijital insanlar için üç temel unsur tanımlamaktadır:
1. Şekil: İnsani veya antropomorfik bir görünüme, belirli bir dış görünüşe ve diğer karakter özelliklerine sahiptir.
2. Hareket: İnsanlara benzer davranışlar sergiler; dil, yüz ifadeleri ve beden ile kendini ifade etme yeteneğine sahiptir.
3. Tanrı: İnsan benzeri bir zihne sahiptir, dış ortamı algılama yeteneğine sahiptir ve insanlarla iletişim kurup etkileşimde bulunabilir. Bu üç unsur, sanal dijital insanın "bütünlüğü" açısından aşamalı bir ilişki içinde yer alır.

Pazar durumu

Son yıllarda sanal dijital insanlar; e-ticaret, finans, sinema, televizyon ve oyun gibi sektörlerde çeşitli pazar büyüklüklerine ulaşmıştır. Örneğin Çin'de 2020 yılında sanal idol endüstrisinin pazar büyüklüğü 3,46 milyar yuan iken, 2021 yılında 6,22 milyar yuana ulaşması beklenmektedir.

Pazar ölçeğindeki büyüme teknolojinin gelişimini de doğrulamaktadır: Üretim maliyeti her yıl düşmekte, görüntü ve görünüm daha gerçekçi hale gelmekte ve dil iletişimi daha doğal bir seviyeye ulaşmaktadır. Sanal dijital insanların ortaya çıkışından bu yana üç önemli dönem geçilmiştir:

Başlangıç dönemi: Pazar büyümeye başlar, teknoloji belirsizdir ve giriş eşiği yüksektir.
Gelişim dönemi: Pazardaki rakip sayısı artar, teknoloji kademeli olarak şekillenir ve giriş eşiği düşüktür.
Platform dönemi: Pazarda rekabet yoğunlaşır, platformlaşma olgunluğa erişir; liderler ve niş oyuncular bir arada bulunur.

Çözüm

Günümüzün platform çağında çeşitli sağlayıcılar farklı seviyelerde çözümler sunmak için bir araya gelmiştir:

Temel katman: Sanal dijital insanlar için temel donanım ve yazılım desteği sağlar. Donanım ekran cihazlarını, optik cihazları, sensörleri ve çipleri kapsar. Temel yazılım ise modelleme yazılımlarını ve işleme motorlarını içerir. Sadece birkaç üst düzey teknoloji şirketi mükemmel donanım ve yazılım yeteneklerine sahiptir.

Platform katmanı: Donanım ve yazılım sistemlerini, üretim teknolojisi hizmet platformlarını ve Yapay Zeka yetenek platformlarını içerir. Sanal görüntülerin üretimi ve geliştirilmesi için teknik yetenekler sağlar. Birçok şirket diğer işletmelere hizmet etmek amacıyla platform hizmetleri, satış hizmetleri ve teknolojiler sunar. Uygulama katmanı: Nihai kurumsal kullanıcıların yanı sıra mükemmel pazarlama ve operasyon yeteneklerine sahip bazı şirketler veya ekipler de bu sektöre iyi fikirler ve yenilikler getirir.

Ne yapıyoruz

Sanal karakter grubu, Ali ön uç komitesinin etkileşimli grafikler yönünde kurulmuştur. Bu grup şu ekiplerden oluşur: Da Taobao Etkileşim Ekibi, Dharma Akademisi Akıllı Dijital İnsan Ekibi, Youku Dijital İnsan Prodüksiyon ve Yayın Ekibi, Koala Etkileşimli & İçerik Alışveriş Rehberi Ekibi, Ant Digital ve Finansal İçerik Topluluğu Ekibi. Birlikte sanal dijital insanlar alanındaki teknolojileri ve uygulamaları paylaşmakta ve araştırmaktadırlar. İşletme temel olarak üç senaryoyu kapsamaktadır: oyunlar, videolar ve canlı yayınlar.

Oyunlar: Sanal dijital insanlar oyun endüstrisinde neredeyse standart hale gelmiştir ve birçok oyunda karakterlerin şekillendirilmesi gerekmektedir. Bu tür
oyunlarda oyuncuların karakter görüntüsünü özelleştirme işlevi bulunur. Karakter görüntüsünü özelleştirme işlevine "yüz şekillendirme" de denir.

Taobao Life: Taobao uygulamasında avatar oluşturulabilen bir oyundur. Yüz şekillendirme, giydirme, yüz güzelleştirme, fotoğraf çekme, alışveriş ve ev dekorasyonu gibi işlevleri içerir.
Koala Yetiştirme: Koala Yurt Dışı Alışveriş Uygulamasında koala yetiştirilebilen, giydirme, besleme ve diğer oynanış özelliklerini içeren bir oyundur.
Tümü web tabanlı teknik çözümleri kullanır ve karakterlerin işlenmesini, ifadelerini, eylemlerini ve diğer şekil ile hareketlerini kendi geliştirdikleri motorlar aracılığıyla tamamlar.

Video: Sanal dijital insanların kısa videoları kullanıcılara mükemmel bir duyusal deneyim sunabilir ve işletmeye ek faydalar sağlayabilir. Sanal dijital insan videosu hazırlanırken hareket yakalama, akıllı tanıma ve bir yönetmen sistemi kullanılarak sanal dijital insanın hayata geçirilmesi sağlanabilir.

Canlı yayın: Canlı yayın ile sanal dijital insanın kombinasyonu hâlâ keşif aşamasındadır. Çünkü bu iki fenomenal sektörün birleştirilmesi gerekmektedir ve yeni ya da artımlı bir iş modeli oluşturmak kolay değildir. İlgili teknolojiler ayrıca gerçek zamanlı hareket yakalama, algoritma eğitimi ve sentezi, canlı yayın senaryolarında bulut işlemeyi ve akışı içermektedir.

Birlikte oluşturalım

Profesyonel ve derinlemesine kullanım senaryolarıyla teknik araştırmalar; mühendislik ve algoritmalar gibi kapsamlı çözümleri de içerecektir. Odak noktası senaryoya göre değişir. Ardından Da Taobao Etkileşimli Ekibi'nin Taobao Life iş kolunu örnek alarak; sanat prodüksiyonu, işleme stili, yüz şekillendirme, yüz ifadesi, yönetmen sistemi ve konuşma sentezi olmak üzere altı tema üzerinden süper bir sanal idolün nasıl oluşturulacağını göstereceğiz.

Şekil

Bu bölümde sanal dijital insanın şeklini tamamlayacağız: "İnsan veya insan biçimli bir görünüme sahip olma ve belirli bir dış görünüş ile diğer karakter özelliklerini taşıma".

Kalıptan Heykel - Sanatsal İş Akışı

Sanal dijital insanın temel fiziksel özellikleri arasında gerçek hayattaki orantılara uygun 7 başlı vücut veya çizgi film orantısına uygun 5 başlı vücut kullanımı yer alır. Ayrıca erkek, kadın veya hayvan antropomorfizmi gibi seçenekler de bulunur. Temel şekil özellikleri belirlendikten sonra 3D sanat ile temel model üretilebilir. Tüm süreç genellikle geleneksel DCC yazılımlarında tamamlanır. Ancak 3D sanat ile 2D sanat arasındaki en büyük fark şudur: 2D içerik üretiminde teknoloji, sanat ürünü teslim edildikten sonra devreye girebilirken; 3D içerik üretiminde teknolojinin doğrudan sürece dahil olması gerekir. Bunun nedeni 3D içerik üretim sürecinin nispeten uzun ve karmaşık olmasıdır. Teslimat kalitesini veya verimliliğini sağlamak için sanat ve teknoloji ekipleri arasında sık iş birliği gereklidir. Bu sürece 3D sanat iş akışı da denir.

Görsel bir örnek vermek gerekirse: Bir sanatçı bir fincan kalıbını tasarlayıp oymaya başladığında, üretim hattının kalıbın hangi malzemeyi kullanacağı, malzemenin kalıba nasıl enjekte edileceği ve kalıptan nasıl sorunsuz çıkarılacağı gibi "teknik sorunları" çözmesi gerekir. Genellikle bunlar teknoloji ekibinin sorumluluğundadır ve sonraki projelerin sorunsuz ilerlemesini sağlamak için sanatçıyla kalıp teknik özellikleri konusunda önceden anlaşmak, nihayetinde kalıbın teslimini tamamlamak gerekir. 3D sanat iş akışı için de benzer birçok çözüm mevcuttur. Bunun temel nedeni, 3D içerik üretiminin de belirli endüstriyel standartlara sahip olmasıdır. Küçük fark ise ayrıntıların, sanatçının kullandığı yazılım ve teknolojinin uyguladığı motorla yakından ilişkili olmasıdır. Taobao Life'daki sanat iş akışını örnek alarak bu adımları kabaca şu şekilde inceleyebiliriz:

1. Maya kullanarak beyaz kalıp ve kemik oluşturun, ara ürünleri geçici olarak OSS'de saklayın ve önizleme araçları sağlayın.
2. Photoshop ile dokular oluşturun ve dokuları CDN'e yükleyin.
3. glTF dışa aktarmak (model verileri, kemik verileri, materyaller, doku verileri dahil) için Maya'daki GLTF Exporter eklentisini özelleştirin.
4. Web tarafındaki gömülü materyal editörü ile kendi geliştirdiğiniz materyallerin efektlerini ayarlayın.
5. EVA Figure motorundaki GLTF Importer aracılığıyla insan vücudunun glTF'sini alın ve işleme için özel materyal Shader'ı kullanın.

Erken aşamada sanatçılarla yapılan uyum çalışmalarının ardından, mevcut ihtiyaçlara yönelik bir dizi sanat iş akışı nihayetinde oluşturulur ve istikrarlı bir şekilde çalışmaya başlar.

Özel tasarım - yüz şekillendirme

Karakterin temel şeklini tamamladıktan sonra herkes bunu kullanarak istediği görünümü elde etmeye devam edebilir. Farklı görünümler sanat aşamasında da oluşturulabilir ancak maliyeti oldukça yüksektir. Herkes farklı görünümleri sevdiği için çok sayıda sanat prodüksiyonu veya düzenleme gerekir. Bu nedenle temel şekle bir yüz şekillendirme sistemi ekledik; böylece özelleştirme gereksinimlerini kolayca karşılayabilirsiniz. Taobao Life, yüzünüzü şekillendirme işlevi sunar ve bu eğlenceli deneyimi yaşayabilirsiniz. Yüz şekillendirme teknolojisinin temeli, mevcut model verilerini yerel olarak değiştirmek ve nihayetinde binlerce farklı insan görünümü elde etmektir. Böyle bir sistemle temel model nasıl değiştirilebilir? Genellikle bir model verisi kümesi, köşe noktası verilerinden oluşur. Modeli değiştirmek genellikle köşe noktası verilerini değiştirmek anlamına gelir ve bunun iki yaygın yolu vardır:

Kemik kaplama

"Dış kuvvet" aracılığıyla köşe noktalarına bir tür "dönüşüm" uygulamak, yer değiştirme, dönme ve ölçeklendirme olmak üzere üç dönüşümü içeren matematiksel formüller kümesidir. Bu dönüşümü gerçekleştirmek için "kemikler" kullanılabilir. Buradaki kemikler insan vücudundaki kemikler gibi düşünülebilir. Parmak eklemlerinin hareketi değiştiğinde elin şekli de değişir. Taobao Life'taki yüz şekillendirme işlevinde yüz için yaklaşık 20 tür kemik önceden ayarlanmıştır. Bu kemikler kafa çevresi, göz küreleri, göz köşeleri, göz çukurları, elmacık kemikleri ve yüz şekli gibi özellikleri değiştirebilir.

Sanal Bir İdolün Doğuşu - Dijital İnsan Sektörü ve Teknoloji Araştırması

Blend Shape

Kemiklerin getirdiği köşe noktası dönüşümü oldukça kabadır ve ağız şeklinin özelleştirilmesi bu yöntemle tamamlanamaz. Çünkü bu basit görünen değişiklik, modelde on binlerce köşe noktasının farklı düzenli dönüşümlere tabi tutulmasını gerektirir. Bu nedenle bu köşe noktası dönüşümleri için sektörde genellikle "Morph Target" veya "Blend Shape" olarak adlandırılan bir deformer kurulur. Bu dönüşümün prensibi, köşe noktası için bir referans konum hazırlamak ve ardından "aşırı değişim" sonrası maksimum konumu sağlamaktır. Daha sonra belirli bir "ağırlık oranı" ile çarpılarak köşe noktasının referans konum ile aşırı konum arasında herhangi bir yerde olması sağlanır. Ancak yüzün yerel olarak deforme edilmesi gereken çok fazla bölge vardır ve bir deformasyon on binlerce köşe noktasını içerebilir. Bu durum gerçek zamanlı hesaplama için de azımsanmayacak bir yüktür.

İki teknik karşılaştırıldığında iskelet kaplama basit ve verimlidir ancak yeterince esnek değildir. Köşe noktası deformasyonu ise daha özgürdür fakat üretim ve hesaplama açısından maliyetlidir. Bu nedenle gerçek geliştirmede kemik veya köşe noktası deformasyonu seçimi, "etki" ile "verimlilik" arasında bir denge gerektirir ve detaylı inceleme ile tekrarlayan ayarlamalar yapılmalıdır. Taobao Life'ta "Yüz Şekillendirme" işlevinin küçük bir kısmı kemik kaplama kullanırken büyük çoğunluğu karıştırma deformasyonu kullanır. Bu durum uzun süreli uyum sürecinin ve deneyim birikiminin sonucudur.

Moda Kıyafetler - Giydirme ve Güzellik

Temel gövdeyi ve görünümü elde ettikten sonra karakterleri şık kıyafetlerle giydirmemiz ve güzel makyaj uygulamamız gerekir. İnsanlar için giyinmek ve boyama yapmak birer "eylem"dir. Sanal dünyada da "giydirme" ve "boyama" olmak üzere bu iki önemli işlemi başarıyla tamamlamamız gerekmektedir.

Kıyafet Giydirme

Gerçek hayatta giysiler vücuda giyildiğinde cilde ya yakındır ya da aralarında belirli bir boşluk bulunur. Bu durumu sanal dünyada gerçekleştirmek aslında oldukça zordur. Çünkü cilt ve giysiler teknik olarak Mesh'tir (ağ yapısı). Giysiler vücuda giydirildiğinde iki ağ yapısı seti fiilen birbirine "çarpışır" ve bu durum aşağıdaki iki soruna yol açar:

Gövde hareket ettiğinde kıyafetler de gövdeyle birlikte "hareket eder". Gövdenin kemikleri vardır ve bu kemiklerin etrafına bir "kaplama" katmanı sarılır. Benzer şekilde kıyafetler de aslında aynı kemiklerin etrafına sarılmış bir "kaplama" katmanıdır. Taobao Life'ta gövde ve kıyafetler için aynı iskelet şablonunu kullanıyor ve işleme sırasında bu iki iskelet verisinin gerçek zamanlı "senkronizasyonunu" sağlıyoruz.

Vücut mesh'inin kıyafetlerin dışına taşması nasıl düzeltilir? Vücudun kıyafet "giyme" etkisini çözmek için aynı iskelet çözümünü kullanmak oldukça yaratıcıdır ancak sorunlara da açıktır. Örneğin, belirli bir kıyafet parçası çok oyuk olduğunda, vücut derisinin kıyafetten dışarı taşması sorunu kolayca ortaya çıkar; buna yaygın olarak "kalıplama" denir. Aksesuarları dikkatlice ayarlamanın maliyeti çok yüksek olduğundan, pratik bir plan da hazırladık: İnsan vücudunu "keserek" ve her kıyafet parçasının kapladığı vücut bölümlerini işaretleyerek, belirli bir kıyafeti işlerken gizli nesneleri doğrudan gizleyebilir ve ilgili bölümün Mesh'ini engelleyebilirsiniz.

Bu iki teknoloji sayesinde, sanat prodüksiyon anlaşmalarına ilişkin teknik özellikler ve iş akışları aracılığıyla kıyafetleri seri olarak üretebiliriz. Kıyafet değiştirmek yalnızca farklı modelleri yüklemektir ve bu işlem tek tek özel bir işlem gerektirmeden gerçekleştirilebilir.

Güzellik

Makyaj görünümünün ayrıntıları oldukça zahmetlidir, bu nedenle en pratik yöntem dokuları kullanmaktır. Temel şeklin yüzü zaten temel bir dokuya sahiptir; bu basitçe "makyajsız" olarak anlaşılabilir. Düz yüze farklı makyaj görünümleri çizmek için "dinamik doku sentezi" yaparız. Tüm süreç iki adıma ayrılır.

1. Dokuya İşleme: İlk adım, işlenebilir bir nesne (Render Target) oluşturmak, temel doku haritasını bu işlenebilir nesneye işlemek ve ardından makyaj doku haritasını aynı işlenebilir nesneye işlemektir. Bu adımda, sanatçı makyaj dokusunu çizerken temel dokunun UV değerlerinin birebir karşılık gelmesi gerektiği unutulmamalıdır.
2. İşlenebilir dokuları kullanma: İkinci adım, sentezlenen dokuları modele işlemektir.

2D veya 3D - İşleme Stili

Son olarak stil oluşturma aşamasına gelinir. Kimisi gerçekçi stili, kimisi çizgi film stilini, kimisi punk stilini, kimisi de saf parlaklık stilini tercih edebilir. Bu farklı stillerin tamamlanması işleme işlevine bağlıdır. İşleme denildiğinde akla grafik işleme işlem hattı gelir; bu hat farklı ihtiyaçlara göre birleştirilip ayarlanabilir. Örneğin en basit işleme işlem hattı şöyledir: Modeli yükle ---> Köşe noktası gölgelendirici ---> Fragment Gölgelendirici ---> Rasterleştirme. Parça boyama adımı, istenen karakter stilini elde etmek için malzeme dokusunun çizimini tamamlamakta kullanılır. Malzeme dokularının işlenmesi genellikle iki kategoriye ayrılır:

PBR

Tam adı Fiziksel Tabanlı İşleme'dir. Adından da anlaşılacağı üzere, fizik kurallarına dayalı bir işleme yöntemidir. Fiziğe dayandığı için nihai işleme sonucu gerçek dünyaya oldukça yakındır. Bu nedenle bu malzeme türünün karakterin gerçekçi mi yoksa hiper-gerçekçi mi olduğunu belirleyebildiğini anlamak kolaydır. Bu teknoloji, burada listelenmeyen 8 temel teori ve birkaç önemli aydınlatma modelinden oluşur. İlgilenen öğrenciler "Real-Time Rendering" kitabındaki PBR bölümlerini veya SIGGRAPH'ın "Theory and Practice" serisindeki "Physically Based Shading" makalesini okuyabilirler. Örneğin Taobao Life'ta alt yüzey saçılımı teknolojisi, farklı bölgelere göre gradyan haritasındaki örnekleme rengi seçilerek simüle edilir ve insan yüzündeki pembe ile şeffaf hissiyat gerçekleştirilir.

NPR

Tam adı Fotorealistik Olmayan İşleme'dir (Non-photorealistic Rendering). Başlıca uygulamalarından biri, özellikle Japon çizgi film tarzı olmak üzere oldukça popüler olan iki boyutlu stildir. PBR'nin aksine NPR çeşitli fizik simülasyonlarının peşinden gitmez, bunun yerine yağlı boya resimlerden, eskizlerden ve çizgi film animasyonlarından ilham alır. Örneğin karakter konturları, çizgi film gölgelendirmesi, kenar aydınlatması, saç parlaklığı gibi teknikler sıklıkla kullanılır. Bu özel materyal işlemelerine profesyonel makalelerde ve örneklerde de rastlanabilir, kendiniz arayabilirsiniz.

Hareket

Bu bölümde sanal dijital insanın eylemlerini tamamlayacağız: "İnsana benzer davranışlar sergileyen; dil, yüz ifadeleri ve beden hareketleriyle kendini ifade edebilen bir yapı.".

İfadeler & Eylemler

Sanal bir dijital insanı başarıyla şekillendirmenin anahtarlarından biri, gerçekçi ve ince ifadeler ile hareketlerdir. Gerçek insanların ifadeleri ve hareketleri, kemik ve kasların etkileşimiyle ortaya çıkar. Sanal dünyada da bu kemik ve kasların işlevlerini simüle etmek için dijital teknoloji kullanılarak ifadeler ve hareketler oluşturulur. Yukarıdaki "Şekil" bölümünde, yüzün köşe noktalarını değiştirmek için kemik kaplama ve karıştırma deformasyonu kullanıldığı belirtilmişti. "Hareket" bölümünde de bu iki teknik animasyon aracılığıyla kullanılacak ve köşe noktalarının "hareket etmesi" sağlanarak ilgili ifadeler ve eylemler tamamlanacaktır.

El K animasyonu

Yüz ifadelerinin karakterizasyonunda köşe noktası animasyonu (yani Morph Target Animation) temel uygulama tekniklerinden biridir. Taobao Life'ın "Yüz Şekillendirme" işlevinde, yüzün boyutunu ve yüz özelliklerinin konumunu belirlemek için iskelet kaplama kullanılır. Yanaklar ve alın dahil olmak üzere yüz özelliklerinin deformasyonunu tamamlamak için karıştırma deformasyonu kullanılır. Bunlar arasında ifade animasyonu için kullanılan 50'ye kadar BlendShape bulunur ve bu sayı Apple'ın Animoji'sinde kullanılan BlendShape'e oldukça yakındır. İfade ayarları (elbette birçok mikro ifadeyi elde etmek çok zordur) bu şekilde yapılır.

Vücut hareketlerinin üretiminde ise iskelet animasyonu (yani Skeletal Animation) temel uygulama teknolojilerinden biridir. İskelet animasyonu iki tür veri içerir: İskelet ve Kaplama. İlk olarak, kaplamayı oluşturmak için ağın köşe noktaları kemiklere bağlanır. Bu köşe noktaları farklı ağırlıklara sahip birden fazla kemikten etkilenir ve ardından kemiklerin yönlendirmesi ile konumu değiştirilerek animasyon oluşturulur. Bu sırada kaplama da kemiklerle birlikte hareket eder.

Hareket Yakalama

Animasyon üretmenin maliyeti nispeten yüksektir çünkü yukarıdaki iki animasyon tekniği genellikle anahtar kare animasyonudur. Bir kişi dirseğini kaldırdığında kol ve bilek de bunun sonucunda uyumlu bir hareket yapar. Böyle bir animasyonu elde etmek isterseniz çok sayıda anahtar kare gerekir ve bunu yapmak son derece zor olur. Üretim maliyetini etkili bir şekilde düşürmek için hareket yakalama teknolojisini kullanmamız gerekir. Genellikle hareket yakalama teknolojisini 2 ana yöne ve 4 kategoriye ayırırız; bunlar dört bölgeli bir diyagramla açıklanabilir:

Cep telefonu kameralarıyla gerçekleştirdiğimiz AR etkileşimli oyunları, AR maskeleri ve diğer işlevler, aslında optik tanıma ve giyilebilir cihazlar kadranındaki teknolojilerdir.

Koreografi - Yönetmen Sistemi

Birkaç yöntemin maliyetini ve esnekliğini karşılaştıralım. El ile yapılan anahtar kare animasyonunun üretim maliyeti şüphesiz en yüksek olandır; ancak esneklik ve etki açısından da en iyisidir. Aynı zamanda tamamlanması için deneyimli rigging uzmanları ve animatörler gerekir. Hareket yakalama üretimi ise bir dizi profesyonel hareket yakalama ekipmanı, bu ekipmanları barındırabilecek ve gerekli eylemlere uygun bir alan gerektirir; bir eylem üretim döngüsü birkaç saatten birkaç güne kadar sürebilir. Çok sayıda dans sahnesi gibi operasyonel ihtiyaçlar karşısında en uygun çözüm, tıpkı çekim sırasında yönetmenin senaryoyu önceden tasarlaması ve oyuncuların sadece senaryoyu takip ederek performans sergilemesi gibi, tamamlanmış birden fazla hareketi serbestçe veya akıllıca bir betikte düzenlemektir; bu nedenle buna "yönetmen sistemi" de denir.

Bu eylem dizisinin çözmesi gereken bir sorun vardır: Eylem 1'den eylem 2'ye nasıl geçiş yapılacağı. Bu durum karıştırma animasyonu (Blending Animation) teknolojisinin kullanımını gerektirir. Karıştırma animasyonunun temel prensibi, eylem 1'in mevcut durumunu başlangıç noktası ve eylem 2'nin belirtilen durumunu bitiş noktası alarak anahtar karelerin enterpolasyonunu hesaplamaktır. Basit durumlarda doğrusal enterpolasyon, daha karmaşık durumlarda Bézier eğrisi enterpolasyonu kullanılabilir. Karıştırma animasyonu hakkında farklı senaryolara ve ihtiyaçlara uygun birçok bilgi ve çözüm mevcuttur. Detayları kendiniz arayabilirsiniz. Örneğin Unity ve Unreal da birçok farklı karıştırma çözümü sunar.

Yönetmen sistemiyle serbest kombinasyon yetenekleri sunabilirsiniz. Örneğin, sanal bir konser düzenlemek isterseniz performansı yine yönetmen sistemi aracılığıyla tamamlayabilirsiniz.

Tanrı

Bu bölümde sanal dijital insanın "Tanrı" katmanını, yani "insan benzeri bir zihne sahip olma, dış ortamı algılama ve insanlarla iletişim kurup etkileşimde bulunma yeteneğini" inceleyeceğiz. "Tanrı" üzerine araştırmalar henüz çok erken bir aşamadadır. Bir yandan büyük veri desteğine ihtiyaç duyarken, diğer yandan ön uç konumundan oldukça uzaktır. Sanal dijital insanı daha gerçekçi kılmak adına "Tanrı" katmanı gelecekteki araştırmaların odağı olacaktır.

Karakter İfadesi - Doğal Konuşma Sentezi

Sanal dijital insanın dil ifade yeteneği, TTS (Metinden Konuşmaya) gibi konuşma sentezi teknolojilerinin kullanımını gerektirir. Ali Dharma Academy, sanal dijital insanların konuşmasını sağlayan oldukça kapsamlı bir TTS motoruna sahiptir. Ancak bu yalnızca konuşmaktır. Aslında herkes bu tür bir dilin oldukça soluk ve zayıf olduğunu, "duygu" içermediğini ve farklı kişilikler ile duygulara göre değişik tonlamalar ifade edemediğini hisseder. Sektörde bazı başarılı sonuçlar görülmektedir: YAMAHA'nın ses sentez sistemi "VOCALOID" (Hatsune Miku ve Luo Tianyi tarafından kullanılmaktadır), Google'ın derin öğrenme tabanlı uçtan uca konuşma sentez sistemi "Tacotron" ve iFLYTEK'in konuşma sentez sistemi gibi. Ali Dharma Academy de sanal dijital insanlara kişilikler atayarak ve büyük veriden derin öğrenme kullanarak daha doğal ifadeye uygun, farklı tarzlarda duygusal tonlamalar üreten bir konuşma sentez sistemi üzerine araştırmalarını sürdürmektedir.

Şu ana kadar mevcut teknoloji altında süper bir sanal idolün ilk çıkışını tamamladık.

Hedeflediğimiz dijital insanlar

Taobao Life, web teknolojisine dayalı bir dijital insandır. İki yıllık teknik iyileştirme ve yükseltme sürecinin ardından web tabanlı dijital insan teknolojisinin ikilemiyle de karşılaştık. Performans açısından web uygulamaları ile yerel uygulamalar arasında kaçınılmaz bir fark bulunmaktadır. Web'in ana grafik arayüzü olan WebGL (OpenGL ES 2.0 tabanlı), yetenek veya performans bakımından Vulkan, DirectX ve Metal'e yetişememektedir. Ayrıca farklı mobil cihazlardaki yazılım ve donanımlarda hâlâ beklenmedik uyumluluk sorunları yaşanabilmektedir. Bu zorluklar zinciri, web tabanlı dijital insanların aşması gereken güç bir tavan haline gelmiştir.

Buna karşılık, sektördeki dijital insan teknolojisi; hiper gerçekçi işleme, mikro ifadeler, kas simülasyonu, fiziksel materyaller, ışın izleme gibi alanlarda web teknolojisinde eşsiz bir konuma ulaşmamızı sağlamıştır. Aynı zamanda, Ali'nin sanal dijital insan teknolojisi henüz başlangıç aşamasındadır. Temel donanım ve yazılım, orta katman teknolojisi ve büyük veri desteği geç devreye girdiği için bu durum bize birçok zorluk ve engel getirmiştir.

Bu ikilemler ve boşluklar karşısında, Taobao Life'daki sanal dijital insan teknolojisinin geliştirilmesi için her yönden çaba göstermeye ve girişimlerde bulunmaya devam edeceğiz.

İlk olarak Web teknolojisine dayalı optimizasyon gelir: Sunucusuz işleme bulut hizmetine dayanarak, EVA Figure (sanal portre işleme motoru) ve Puppeteer teknolojisinin kombinasyonu ile en yeni WebGPU/WASM gibi araçların yardımıyla sanal dijital insanın işleme efekti ve kalitesi artırılabilir. Ayrıca Web teknolojisi altında bulut işleme sürecini oluşturmak için Alibaba Cloud bulut hizmeti ekibi ve Da Taobao Node mimari ekibiyle aktif olarak çalışıyoruz. Bunun, Taobao Life kullanıcı görsellerinin tam boy fotoğrafları, kısa videoları, eylem kareleri gibi bazı gerçek zamanlı olmayan işleme görevlerinde uygulanması planlanmaktadır. Bu ürünler Taobao Life veya diğer işletmeler tarafından da kullanılabilir.

İkincisi ise ticari yeteneklerin yükseltilmesidir. İşletme ve teknolojinin birbirini beslediği bu ortamda ticari yetenekler sürekli olarak platform hizmetlerine dönüştürülür. Bu süreç Ali'nin sanal dijital insan teknolojisine adım adım deneyim kazandırır ve bazı çözümlerin ticarileştirilmesini sağlar. Bulut hizmetleri genel kullanıma sunulur.

Metaverse, hiperrealizm, XR/6G ve beyin-bilgisayar arayüzü gibi sektör trendlerinin ışığında, geleceğin Web dijital insan teknolojisinin sunduğu olasılıkları hayal edin.

Makalenin sonunda, Alibaba Ön Uç Komitesi Grafik Etkileşimli Sanal Karakter Ekibi üyelerine mükemmel çalışmaları ve bu makalenin içeriğini tamamlamama olanak sağladıkları için teşekkür etmek istiyorum. Sizleri de sanal karakter grubunun ve her ekibin çalışmalarını takip etmeye devam etmeye davet ediyoruz.