Kelahiran Idola Virtual - Riset Industri dan Teknologi Manusia Digital

Manusia digital yang kami pahami

Dalam beberapa tahun terakhir, konsep manusia digital menjadi sangat populer di Internet, dan banyak manusia digital virtual atau idola virtual populer muncul di industri, seperti Lil Miquela, Luo Tianyi, Hatsune, Luming, Nuan Nuan, AYAYI, dll. Model bisnis atau nilai pasar dari manusia digital ini biasanya: Mengakumulasi traffic melalui operasional dan mengandalkan traffic untuk monetisasi. Contohnya:

Endorsement merek (IP, acara)
Ekonomi penggemar (dua dimensi)
Anchor virtual (game, live shopping)

Artikel ini mendefinisikan tiga elemen inti untuk manusia digital yang disebutkan selanjutnya:
1. Bentuk - memiliki penampilan manusia atau antropomorfik, dengan penampilan spesifik dan karakteristik karakter lainnya.
2. Gerakan - memiliki perilaku mirip manusia, dan memiliki kemampuan untuk berekspresi melalui bahasa, ekspresi wajah, dan tubuh.
3. Jiwa - memiliki pikiran mirip manusia, memiliki kemampuan untuk mengenali lingkungan eksternal, dan dapat berkomunikasi serta berinteraksi dengan orang lain. Ketiga elemen ini memiliki hubungan progresif terhadap "kelengkapan" manusia digital virtual.

situasi pasar

Dalam beberapa tahun terakhir, manusia digital virtual memiliki berbagai ukuran pasar di industri e-commerce, keuangan, film dan televisi, game, dan keuangan. Misalnya, ukuran pasar industri idola virtual di Tiongkok pada tahun 2020 adalah 3,46 miliar yuan, dan diperkirakan akan mencapai 6,22 miliar yuan pada tahun 2021.

Pertumbuhan skala pasar juga mengonfirmasi perkembangan teknologi: biaya produksi menurun setiap tahun, gambar dan tampilan semakin realistis, serta komunikasi bahasa menjadi lebih alami. Sejak kemunculan manusia digital virtual, tiga periode penting telah berlalu:

Periode startup: Pasar tumbuh di awal, teknologi belum pasti, dan ambang batas masuk tinggi.
Periode pengembangan: Jumlah pesaing pasar meningkat, teknologi perlahan terbentuk, dan ambang batas masuk rendah.
Periode platform: Lautan merah pasar datang, platformisasi matang, pemimpin + niche.

solusi

Di era platform saat ini, berbagai produsen juga bersatu untuk menyediakan solusi di berbagai tingkatan:

Lapisan dasar: Menyediakan dukungan perangkat lunak dan perangkat keras dasar untuk manusia digital virtual. Perangkat keras mencakup perangkat tampilan, perangkat optik, sensor, chip, dll., sedangkan perangkat lunak dasar mencakup perangkat lunak pemodelan dan mesin rendering. Hanya segelintir perusahaan teknologi terkemuka yang memiliki kapabilitas perangkat lunak dan perangkat keras yang unggul.

Lapisan platform: mencakup sistem perangkat lunak dan perangkat keras, platform layanan teknologi produksi, dan platform kapabilitas AI, yang menyediakan kapabilitas teknis untuk produksi dan pengembangan gambar virtual. Banyak perusahaan menyediakan layanan platform, menjual layanan dan teknologi untuk melayani perusahaan lain. Lapisan aplikasi: Selain pengguna perusahaan akhir, beberapa perusahaan atau tim dengan kapabilitas pemasaran dan operasional yang unggul juga membawa ide-ide bagus ke industri ini.

Apa yang Kami Lakukan

Grup karakter virtual dibentuk dalam divisi grafis interaktif dari komite front-end Alibaba. Grup ini terdiri dari tim-tim berikut: Tim Interaktif Taobao, Tim Manusia Digital Cerdas Akademi Dharma, Tim Produksi dan Siaran Manusia Digital Youku, Tim Interaktif Koala & panduan belanja konten, Ant Digital, serta tim komunitas konten finansial. Bersama-sama, mereka berbagi dan meneliti teknologi serta aplikasi di bidang manusia digital virtual. Bisnis ini mencakup tiga skenario utama: game, video, dan siaran langsung.

Game: Manusia digital virtual sudah menjadi standar di industri game, dan banyak game memerlukan pembentukan karakter. Di antaranya, jenis game ini memungkinkan pemain untuk menyesuaikan fungsi gambar karakter. Fungsi penyesuaian gambar karakter ini juga disebut "membentuk wajah".

Taobao Life: Ini adalah game di aplikasi Taobao yang dapat membuat avatar. Game ini mencakup fungsi seperti membentuk wajah, berdandan, mempercantik wajah, mengambil foto, berbelanja, dan dekorasi rumah.
Memelihara koala: Ini adalah game di Aplikasi Belanja Luar Negeri Koala yang memungkinkan Anda memelihara koala, termasuk fungsi berdandan, memberi makan, dan gameplay lainnya.
Semuanya menggunakan solusi teknis berbasis Web dan menyelesaikan rendering, ekspresi, gerakan, serta bentuk dan aksi karakter lainnya melalui engine yang dikembangkan sendiri.

Video: Video pendek manusia digital virtual dapat memberikan pengalaman sensorik yang luar biasa bagi pengguna, serta mendatangkan manfaat tambahan bagi bisnis. Saat membuat video manusia digital virtual, teknologi motion capture, pengenalan cerdas, dan sistem direktur dapat digunakan untuk menghidupkan karakter tersebut.

Siaran langsung: Kombinasi siaran langsung dan manusia digital virtual masih dalam tahap awal eksplorasi karena kedua industri fenomenal ini perlu digabungkan dan tidak mudah untuk membentuk model bisnis baru atau inkremental. Teknologi yang terlibat juga mencakup motion capture real-time, pelatihan dan sintesis algoritma, serta cloud rendering dan streaming dalam skenario siaran langsung.

Mari Berkarya Bersama

Dengan skenario aplikasi yang profesional dan mendalam, riset teknis juga akan mencakup berbagai solusi komprehensif seperti rekayasa dan algoritma, dan dalam skenario aplikasi yang berbeda, fokusnya akan berbeda. Selanjutnya, ambil bisnis Taobao Life dari Tim Interaktif Da Taobao sebagai contoh, dan lihat cara membuat idola virtual super dari enam tema: produksi seni, gaya rendering, kustomisasi wajah, ekspresi wajah, sistem sutradara, dan sintesis ucapan.

bentuk

Di bab ini, kita akan menyelesaikan bentuk manusia digital virtual — "memiliki tampilan seperti manusia atau manusia antropomorfik, serta memiliki penampilan spesifik dan karakteristik karakter lainnya".

Dibentuk dari Cetakan - Alur Kerja Artistik

Karakteristik fisik dasar manusia digital virtual, seperti menggunakan tubuh 7-kepala dengan proporsi kehidupan nyata, atau tubuh 5-kepala dengan proporsi kartun; antropomorfisme pria, wanita, atau hewan, dll. Setelah fitur bentuk dasar ditentukan, bentuk dasar dapat diproduksi oleh seni 3D. Seluruh proses biasanya diselesaikan dalam perangkat lunak DCC tradisional, namun perbedaan terbesar antara seni 3D dan seni 2D adalah bahwa dalam produksi seni konten 2D, teknologi dapat intervenir setelah produk seni diserahkan; dalam produksi seni konten 3D, Teknologi perlu terlibat langsung dalam proses produksi. Alasannya: proses produksi seni konten 3D relatif panjang dan kompleks, serta diperlukan kerja sama yang sering antara seni dan teknologi untuk memastikan kualitas pengiriman atau efisiensi pengiriman. Kami juga menyebut proses ini sebagai alur kerja seni 3D.

Sebagai contoh visual: seorang seniman mulai mendesain dan membuat cetakan cangkir, dan lini produksi perlu menyelesaikan "masalah teknis" seperti bahan apa yang digunakan cetakan, cara menyuntikkan bahan ke dalam cetakan, dan cara melepaskan cetakan dengan lancar. Biasanya ini menjadi tanggung jawab tim teknologi, dan perlu menegosiasikan spesifikasi cetakan dengan seniman sebelumnya untuk memastikan kelancaran proyek berikutnya, serta akhirnya menyelesaikan pengiriman cetakan. Ada juga banyak solusi serupa untuk alur kerja seni 3D. Alasan utamanya adalah produksi konten 3D juga memiliki standar industri tertentu. Perbedaan kecilnya adalah detailnya sangat terkait dengan perangkat lunak yang digunakan oleh seniman dan engine yang diimplementasikan oleh teknologi. Ambil alur kerja seni di Taobao Life sebagai contoh untuk secara kasar melalui langkah-langkah ini:

1. Gunakan Maya untuk membuat mold putih dan bones, simpan sementara produk proses di OSS, dan sediakan alat pratinjau
2. Buat tekstur dengan Photoshop dan unggah tekstur ke CDN
3. Sesuaikan plug-in GLTF Exporter di Maya untuk mengekspor glTF (termasuk data model, data bone, material, data tekstur)
4. Editor material tertanam di sisi web menyesuaikan efek material yang dikembangkan sendiri
5. Impor glTF tubuh manusia melalui GLTF Importer di mesin EVA Figure, dan sesuaikan Shader material untuk rendering.

Setelah beradaptasi dengan seniman di tahap awal, satu set alur kerja seni untuk kebutuhan saat ini akhirnya akan terbentuk dan berjalan dengan stabil.

Kreasi - Kustomisasi Wajah

Setelah menyelesaikan bentuk dasar karakter, Anda dapat menggunakannya untuk terus mencapai tampilan yang diinginkan. Meskipun tampilan berbeda dapat dibuat dalam alur kerja seni, biayanya cukup tinggi, dan setiap orang menyukai tampilan yang berbeda, sehingga diperlukan banyak produksi atau modifikasi seni. Jadi kami menambahkan sistem kustomisasi wajah ke bentuk dasar, agar Anda dapat dengan mudah memenuhi persyaratan kustomisasi. Taobao Life menyediakan fungsi kustomisasi wajah, sehingga Anda dapat merasakan serunya membentuk wajah. Dasar realisasi teknologi kustomisasi wajah adalah memodifikasi dan mengubah data model yang ada secara lokal, dan akhirnya mencapai tujuan menciptakan ribuan variasi wajah. Bagaimana tujuan mengubah model dasar dapat dicapai melalui sistem seperti itu? Biasanya, satu set data model adalah kumpulan data verteks, dan mengubah model biasanya berarti mengubah data verteks, dan biasanya ada dua cara untuk mengubah data verteks:

Skinning tulang

Menerapkan semacam "transformasi" pada verteks melalui "gaya eksternal" hanyalah sekumpulan rumus matematika yang mencakup tiga transformasi: perpindahan, rotasi, dan penskalaan. Untuk mencapai transformasi ini, gaya eksternal dapat diterapkan menggunakan "tulang". Tulang yang disebutkan di sini juga dapat dipahami sebagai tulang tubuh manusia. Saat aksi sendi pada jari berubah, bentuk tangan akan berubah. Dalam fungsi penjepitan wajah di Taobao Life, kami menetapkan sekitar 20 jenis tulang untuk wajah, yang dapat mengubah keliling kepala, bola mata, sudut mata, rongga mata, tulang pipi, bentuk wajah, dan sebagainya.

Kelahiran Idola Virtual - Riset Industri dan Teknologi Manusia Digital

Blend Shape

Transformasi verteks yang dibawa oleh tulang sangat kasar, dan kustomisasi bentuk mulut tidak dapat diselesaikan, karena tampilan yang tampaknya sederhana ini sebenarnya melibatkan puluhan ribu verteks dalam model untuk transformasi reguler yang berbeda. Oleh karena itu, kami menyiapkan deformer untuk serangkaian transformasi verteks ini, yang umumnya disebut "Morph Target" atau "Blend Shape" di industri. Prinsip transformasi ini adalah menyiapkan posisi referensi untuk verteks, lalu menyediakan posisi maksimum setelah "perubahan ekstrem", dan kemudian mengalikannya dengan "rasio bobot" tertentu, sehingga verteks dapat berada di posisi referensi atau posisi ekstrem. Namun, karena terlalu banyak tempat di wajah yang perlu dideformasi secara lokal, dan satu deformasi dapat melibatkan puluhan ribu verteks, beban komputasi real-time juga tidak kecil.

Membandingkan kedua teknik tersebut, skinning kerangka sederhana dan efisien namun kurang fleksibel, sedangkan deformasi verteks lebih bebas tetapi mahal dalam produksi dan komputasi. Oleh karena itu, dalam pengembangan nyata, pemilihan antara penggunaan tulang atau deformasi verteks merupakan pertukaran antara "efek" dan "efisiensi", yang perlu dicermati secara detail dan disesuaikan berulang kali. Di Taobao Life, sebagian kecil fungsi "Pinch Face" menggunakan skinning tulang, dan sebagian besar menggunakan deformasi campuran. Ini juga merupakan hasil dari penyesuaian jangka panjang dan akumulasi pengalaman.

Pakaian Fashion - Berdandan dan Kecantikan

Setelah memiliki tubuh dasar dan tampilan, kita harus mengenakan pakaian bergaya pada karakter dan menerapkan riasan yang indah. Bagi manusia, berdandan dan merias adalah "tindakan". Di dunia virtual, kita tetap harus dapat menyelesaikan dua hal penting, yaitu "memakai" dan "merias", dengan baik.

Berdandan

Dalam kehidupan nyata, saat pakaian dikenakan di tubuh, pakaian tersebut menempel dekat dengan kulit atau memiliki celah tertentu. Konsep ini sebenarnya sangat sulit diwujudkan di dunia virtual. Karena kulit dan pakaian sebenarnya adalah Mesh, saat pakaian dikenakan di tubuh, dua set mesh secara efektif "bertabrakan", yang menyebabkan dua masalah berikut:

Saat tubuh bergerak, pakaian "ikut bergerak" bersama tubuh. Tubuh memiliki tulang, dan lapisan "kulit" meliliti tulang tersebut. Dengan cara yang sama, pakaian sebenarnya adalah lapisan "kulit" yang meliliti tulang yang sama. Di Taobao Life, kami menggunakan templat kerangka yang sama untuk tubuh dan pakaian, serta mewujudkan "sinkronisasi" real-time dari kedua data kerangka selama rendering.

Cara memperbaiki mesh tubuh yang menembus keluar dari pakaian. Menggunakan solusi kerangka yang sama untuk mengatasi efek "memakai" pakaian pada tubuh sangat cerdik, tetapi juga rentan terhadap masalah. Misalnya, jika suatu pakaian sangat cekung, mudah terjadi masalah kulit tubuh yang menonjol keluar dari pakaian, yang umum dikenal sebagai "tembus mesh". Karena biaya penyesuaian prop secara hati-hati terlalu tinggi, kami juga membuat solusi alternatif: dengan "memotong" tubuh dan menandai bagian tubuh yang tertutup oleh setiap pakaian, saat merender pakaian tertentu, sembunyikan objek yang tertutup. Anda dapat memblokir Mesh dari bagian tersebut.

Dengan dua teknologi ini, kami dapat memproduksi pakaian secara massal melalui spesifikasi dan alur kerja yang terkait dengan perjanjian produksi seni. Mengganti pakaian hanyalah memuat model yang berbeda, yang dapat dicapai tanpa perlakuan khusus satu per satu.

Kecantikan

Detail tampilan riasan sangat menuntut, sehingga cara paling praktis adalah menggunakan tekstur. Wajah dengan bentuk dasar sudah memiliki tekstur dasar, yang dapat dipahami secara sederhana sebagai "tanpa riasan"; untuk menggambar berbagai tampilan riasan pada wajah polos, kami melakukan "sintesis tekstur dinamis". Seluruh proses ini dibagi menjadi dua langkah.

1. Render To Texture: Langkah pertama adalah membuat objek yang dapat dirender (Render Target), merender peta tekstur dasar ke objek ini, lalu merender peta tekstur riasan ke objek yang sama. Pada langkah ini, perlu diperhatikan bahwa saat seniman menggambar tekstur riasan, UV dari tekstur dasar harus memiliki korespondensi satu-satu.
2. Menggunakan tekstur yang dapat dirender: Langkah kedua adalah merender tekstur hasil sintesis ke model.

2D atau 3D - Gaya Rendering

Akhirnya saatnya untuk memberi gaya. Beberapa orang akan menyukai gaya realistis, beberapa akan menyukai gaya kartun, beberapa akan menyukai gaya punk, dan beberapa akan menyukai gaya pure lust. Gaya-gaya berbeda ini perlu mengandalkan fungsi rendering untuk menyelesaikannya. Ketika kita berbicara tentang rendering, kita akan menyebutkan pipeline rendering grafis, yang dapat dikombinasikan dan disesuaikan sesuai dengan kebutuhan yang berbeda. Misalnya, pipeline rendering paling sederhana adalah: load model ---> vertex shader ---> fragment shader ---> Rasterization. Langkah pewarnaan fragment digunakan untuk menyelesaikan penggambaran tekstur material guna mencapai gaya karakter yang diinginkan. Rendering tekstur material biasanya dibagi menjadi dua kategori:

PBR

Nama lengkapnya adalah Physically Based Rendering. Sesuai namanya, ini adalah rendering berbasis fisika. Karena berbasis fisika, hasil akhir renderingnya akan sangat mendekati dunia nyata kita. Jadi, mudah dipahami bahwa jenis material ini dapat menentukan apakah karakter terlihat realistis atau hiper-realistis. Teknologi ini terdiri dari 8 teori inti dan beberapa model pencahayaan penting, yang tidak didaftar di sini. Bagi yang tertarik, Anda dapat membaca bab terkait PBR dalam "Real-Time Rendering", atau seri artikel "Physically Based Shading" oleh SIGGRAPH dalam Theory and Practice. Misalnya, di Taobao Life, teknologi subsurface scattering disimulasikan dengan memilih warna sampling pada peta gradien sesuai bagian berbeda, mewujudkan kesan wajah manusia yang kemerahan dan transparan.

NPR

Nama lengkapnya adalah Non-photorealistic Rendering, yaitu rendering non-fotorealistik. Salah satu aplikasi utamanya adalah gaya dua dimensi yang sangat populer, terutama gaya kartun Jepang. Berbeda dengan PBR, NPR tidak mengejar berbagai simulasi fisika, tetapi mengambil inspirasi dari lukisan minyak, sketsa, dan animasi kartun. Misalnya, goresan karakter, shading kartun, pencahayaan tepi, highlight rambut, dll. sering digunakan. Rendering material khusus ini juga dapat ditemukan dalam makalah profesional dan contoh, Anda dapat mencarinya sendiri.

Gerak

Dalam bab ini, kita akan menyelesaikan aspek tindakan dari manusia digital virtual — "memiliki perilaku mirip manusia, dan memiliki kemampuan untuk berekspresi melalui bahasa, ekspresi wajah, dan tubuh".

Ekspresi dan Tindakan

Salah satu kunci keberhasilan membentuk manusia digital virtual adalah ekspresi dan gerakan yang nyata serta halus. Ekspresi dan gerakan orang nyata ditampilkan melalui interaksi tulang dan otot. Di dunia virtual, kami juga menggunakan teknologi digital untuk mensimulasikan fungsi tulang dan otot tersebut guna menampilkan ekspresi dan gerakan. Dalam bab "Shape" di atas, telah disebutkan bahwa wajah menggunakan bone skinning dan blend deformation untuk mengubah vertex. Dalam bab "Motion", kedua teknik ini tetap digunakan, dan melalui animasi, membiarkan vertex "bergerak" untuk menyelesaikan ekspresi dan aksi yang sesuai.

Animasi IK Tangan

Dalam karakterisasi ekspresi wajah, animasi vertex (yaitu, Morph Target Animation) adalah salah satu teknik implementasi utama. Dalam fungsi "Pinch Face" Taobao Life, skeletal skinning digunakan untuk menentukan ukuran wajah dan posisi fitur wajah. Blending deformation digunakan untuk menyelesaikan deformasi fitur wajah, termasuk pipi dan dahi. Di antaranya, terdapat hingga 50 BlendShape yang digunakan untuk animasi ekspresi, yang sangat mirip dengan BlendShape yang digunakan oleh Animoji Apple. Pengaturan ekspresi (tentu saja banyak mikro-ekspresi sangat sulit dicapai).

Dalam produksi gerakan tubuh, animasi skeletal (yaitu, Skeletal Animation) adalah salah satu teknologi implementasi utama. Animasi skeletal mengandung dua jenis data: Skeleton dan Skin. Pertama, ikat vertex mesh ke tulang untuk menghasilkan skin. Vertex ini akan dipengaruhi oleh beberapa tulang dengan bobot berbeda, lalu menghasilkan animasi dengan mengubah orientasi dan posisi tulang. Pada saat ini, skin akan bergerak bersama tulang.

Motion Capture

Biaya produksi animasi relatif tinggi karena dua teknik animasi di atas biasanya merupakan animasi key frame. Misalkan seseorang mengangkat siku, maka lengan dan pergelangan tangan juga akan bergerak secara koheren. Untuk mencapai animasi seperti itu, diperlukan banyak keyframe, dan pembuatannya akan sangat sulit. Untuk mengurangi biaya produksi secara efektif, kami perlu menggunakan teknologi motion capture. Biasanya, kami membagi teknologi motion capture menjadi 2 arah utama dan 4 kategori, yang dapat dijelaskan dengan diagram empat kuadran:

Game interaktif AR, masker AR, dan fungsi lainnya yang kita selesaikan dengan kamera ponsel sebenarnya adalah teknologi dalam kuadran pengenalan optik + perangkat wearable.

Sistem Koreografi - Sutradara

Mari bandingkan biaya dan fleksibilitas beberapa metode. Biaya produksi animasi manual (hand K) tidak diragukan lagi yang tertinggi, namun fleksibilitas dan hasilnya juga yang terbaik. Di sisi lain, hal ini juga memerlukan riggers dan animator berpengalaman untuk menyelesaikannya. Produksi motion capture memerlukan seperangkat peralatan motion capture profesional, tempat yang dapat menampung peralatan tersebut dan memenuhi aksi yang diperlukan, serta siklus produksi aksi dapat berkisar dari beberapa jam hingga beberapa hari. Dalam menghadapi kebutuhan operasional seperti banyak adegan tarian, solusi yang paling sesuai adalah mengatur secara bebas atau cerdas berbagai gerakan yang telah selesai ke dalam skrip, sama seperti skrip dirancang sebelumnya oleh direktur selama pemfilman, dan para aktor hanya perlu mengikuti skrip. Hal ini cukup untuk performa, sehingga juga disebut "sistem direktur".

Serangkaian aksi perlu memecahkan masalah: bagaimana bertransisi dari aksi 1 ke aksi 2. Hal ini memerlukan penggunaan teknologi animasi blending (Blending Animation). Prinsip dasar animasi hibrida adalah menghitung interpolasi key frame dengan mengambil status saat ini dari aksi 1 sebagai titik awal dan status yang ditentukan dari aksi 2 sebagai titik akhir. Untuk kasus sederhana, dapat menggunakan interpolasi linear; untuk kasus kompleks, dapat menggunakan interpolasi kurva Bezier dan sebagainya. Terdapat banyak poin pengetahuan dan solusi mengenai animasi hibrida yang juga berlaku untuk berbagai skenario dan kebutuhan. Anda dapat mencarinya sendiri. Misalnya, Unity dan Unreal juga menyediakan banyak solusi mixing yang berbeda.

Dengan sistem sutradara, Anda dapat menyediakan kemampuan kombinasi bebas. Misalnya, jika ingin menggelar konser virtual, Anda juga dapat menyelesaikan pertunjukan melalui sistem sutradara.

God Mode

Dalam bab ini, kita akan menjelajahi aspek 'jiwa' dari manusia digital virtual — "memiliki pikiran mirip manusia, memiliki kemampuan untuk mengenali lingkungan eksternal, dan dapat berkomunikasi serta berinteraksi dengan orang lain". Kita masih berada di tahap yang sangat awal dalam riset mengenai 'jiwa'. Di satu sisi, ini membutuhkan dukungan big data, dan di sisi lain, ini masih jauh dari posisi front-end. Untuk membuat manusia digital virtual lebih nyata, 'jiwa' akan menjadi fokus riset di masa depan.

Ekspresi Karakter - Sintesis Ucapan Alami

Kemampuan ekspresi bahasa manusia digital virtual memerlukan penggunaan teknologi sintesis ucapan, seperti TTS (Text To Speech). Ali Dharma Academy memiliki mesin TTS yang sangat lengkap, yang dapat membuat manusia digital virtual berbicara. Namun, ini hanyalah berbicara. Faktanya, semua orang dapat merasakan bahwa jenis bahasa ini sangat pucat dan lemah, tanpa "emosi", dan tidak dapat mengekspresikan nada berbeda dengan kepribadian dan emosi yang berbeda. Beberapa hasil unggulan dapat dilihat di industri: sistem sintesis vokal YAMAHA "VOCALOID" (digunakan oleh Hatsune Miku dan Luo Tianyi), sistem sintesis ucapan end-to-end berbasis deep learning Google "Tacotron", dan sistem sintesis ucapan iFLYTEK, dll. Ali Dharma Academy juga terus meneliti sistem sintesis ucapan yang lebih sesuai dengan ekspresi alami dan menghasilkan nada emosional dengan gaya berbeda dengan menetapkan kepribadian untuk manusia digital virtual dan menggunakan deep learning dari big data.

Sejauh ini, kita telah menyelesaikan debut idola virtual super di bawah teknologi yang ada.

Manusia Digital yang Kami Cita-citakan

Taobao Life adalah manusia digital berbasis teknologi Web. Setelah dua tahun penyempurnaan dan peningkatan teknis, kami juga menghadapi dilema teknologi manusia digital Web. Dari segi performa, terdapat kesenjangan yang tak terhindarkan antara aplikasi web dan aplikasi native. WebGL (berbasis OpenGL ES 2.0), sebagai antarmuka grafis utama Web, belum dapat menyamai Vulkan, DirectX, dan Metal dalam hal kemampuan atau performa. Selain itu, masih terdapat masalah kompatibilitas yang aneh pada perangkat lunak dan perangkat keras di berbagai perangkat seluler. Serangkaian kendala ini telah menjadi batas sulit yang harus dilalui oleh manusia digital di Web.

Sebaliknya, teknologi manusia digital di industri, seperti rendering hiper-realistis, mikro-ekspresi, simulasi otot, material fisik, ray tracing, dll., membuat teknologi web kami tertinggal. Pada saat yang sama, teknologi manusia digital virtual Alibaba baru saja dimulai, dan dukungan perangkat lunak serta perangkat keras dasar, teknologi mid-end, dan big data semuanya mulai terlambat, yang membawa banyak kesulitan dan hambatan bagi kami.

Menghadapi dilema dan kesenjangan ini, kami juga akan berupaya dan berusaha dari berbagai arah untuk pengembangan teknologi manusia digital virtual di Taobao Life.

Pertama adalah optimasi berbasis teknologi Web: berdasarkan layanan cloud rendering serverless, dengan kombinasi EVA Figure (mesin rendering potret virtual) dan teknologi Puppeteer, serta bantuan WebGPU/WASM terbaru, efek dan kualitas rendering manusia digital virtual dapat ditingkatkan. Kami juga aktif bekerja sama dengan tim layanan cloud Alibaba Cloud dan tim arsitektur Node Da Taobao untuk membangun proses cloud rendering di bawah teknologi Web. Direncanakan untuk diterapkan pada beberapa tugas rendering non-real-time, seperti produksi foto seluruh tubuh, video pendek, frame aksi, dll. dari avatar pengguna Taobao Life. Produk-produk ini juga dapat digunakan oleh Taobao Life atau bisnis lainnya.

Kedua adalah peningkatan kapabilitas bisnis. Dalam ekosistem di mana bisnis dan teknologi saling mendukung, kapabilitas bisnis terus diakumulasi menjadi layanan platform, memberikan kontribusi pengalaman sedikit demi sedikit bagi teknologi manusia digital virtual Alibaba, serta mengkomersialkan beberapa solusi. Cloud melayani publik.

Di bawah pengaruh indikator industri seperti metaverse, hiperrealisme, XR/6G, antarmuka otak-komputer, dll., bayangkan kemungkinan teknologi manusia digital Web di masa depan.

Di akhir artikel ini, saya ingin mengucapkan terima kasih kepada anggota Tim Karakter Virtual Interaktif Grafis dari Komite Front-end Alibaba atas kerja keras mereka yang memungkinkan saya menyelesaikan konten artikel ini. Anda juga dipersilakan untuk terus mengikuti hasil dari grup karakter virtual dan setiap tim.