La naissance d'une idole virtuelle - Recherche sur l'industrie et la technologie des humains numériques

Comprendre les personnages numériques

Ces dernières années, le concept d'humain numérique est devenu extrêmement populaire sur Internet, et de nombreux humains virtuels numériques ou idoles virtuelles ont fait leur apparition dans le secteur, tels que Lil Miquela, Luo Tianyi, Hatsune, Luming, Nuan Nuan, AYAYI, etc. Le modèle économique ou la valeur marchande de ces humains numériques repose généralement sur le principe suivant : accumuler du trafic par des opérations marketing et monétiser ce trafic. Exemples :

Endossement de marque (IP, événement)
Économie des fans (culture 2D)
Présentateur virtuel (jeu, e-commerce en direct)

Cet article définit trois éléments fondamentaux pour les humains numériques présentés ci-après :
1. Apparence - posséder une apparence humaine ou anthropomorphe, avec des traits définis et d'autres caractéristiques propres au personnage.
2. Mouvement - adopter un comportement similaire à celui des êtres humains, et pouvoir s'exprimer par le langage, les expressions du visage et le corps.
3. Esprit - posséder un esprit proche de celui de l'humain, être capable de reconnaître son environnement et d'interagir avec autrui. Ces trois éléments forment une progression dans le « degré d'accomplissement » de l'humain numérique virtuel.

Situation du marché

Ces dernières années, les humains numériques virtuels ont atteint des tailles de marché variées dans les secteurs du e-commerce, de la finance, du cinéma et de la télévision, ainsi que du jeu. Par exemple, la taille du marché de l'industrie des idoles virtuelles en Chine s'élevait à 3,46 milliards de yuans en 2020, et devrait atteindre 6,22 milliards de yuans en 2021.

La croissance du marché confirme également l'évolution technologique : les coûts de production diminuent d'année en année, l'image et l'apparence deviennent plus réalistes, et la communication linguistique gagne en naturel. Depuis l'émergence des humains virtuels numériques, trois périodes clés se sont succédé :

Phase de démarrage : le marché est en croissance à ses débuts, la technologie reste incertaine et la barrière à l'entrée est élevée.
Phase de développement : le nombre de concurrents augmente, la technologie se met progressivement en place et la barrière à l'entrée est faible.
Phase de plateforme : l'océan rouge du marché approche, la plateformeisation est mature, avec un leader et des niches.

Solution

À l'ère des plateformes, différents acteurs se sont réunis pour proposer des solutions à plusieurs niveaux :

Couche de base : fournit le support matériel et logiciel de base pour les humains virtuels numériques. Le matériel comprend les dispositifs d'affichage, les dispositifs optiques, les capteurs, les puces, etc., et les logiciels de base comprennent les logiciels de modélisation et les moteurs de rendu. Seules quelques grandes entreprises technologiques disposent d'excellentes capacités matérielles et logicielles.

Couche plateforme : comprend les systèmes matériels et logiciels, les plateformes de services technologiques de production et les plateformes de capacités d'IA, fournissant des capacités techniques pour la production et le développement d'images virtuelles. De nombreuses entreprises proposent des services de plateforme, vendant des services et des technologies à d'autres entreprises. Couche application : outre les utilisateurs finaux en entreprise, certaines entreprises ou équipes dotées d'excellentes capacités en marketing et en exploitation apportent également de bonnes idées à ce secteur.

Ce que nous faisons

Le groupe consacré aux personnages virtuels a été créé au sein de la branche graphique interactive du comité front-end d'Alibaba. Ce groupe rassemble les équipes suivantes : l'équipe interactive de Taobao, l'équipe des humains numériques intelligents de l'Académie DAMO, l'équipe de production et de diffusion d'humains numériques de Youku, l'équipe interactive et de guide d'achat de contenu de Koala, Ant Digital, ainsi que l'équipe de la communauté de contenu financier. Ensemble, elles partagent leurs recherches sur les technologies et les applications dans le domaine des humains numériques virtuels. L'activité couvre trois grands scénarios : les jeux, la vidéo et la diffusion en direct.

Jeux : les humains numériques virtuels sont quasiment devenus la norme dans l'industrie du jeu, et de nombreux jeux ont besoin de créer des personnages. Parmi eux, ce type
de jeu permet aux joueurs de personnaliser l'apparence de leur personnage. Cette fonction de personnalisation de l'apparence est également appelée «捏人» (création de personnage).

Taobao Life : il s'agit d'un jeu intégré à l'application Taobao qui permet de créer un avatar. Il comprend des fonctionnalités telles que la personnalisation du visage, l'habillage, l'embellissement du visage, la prise de photos, le shopping et la décoration intérieure.
Élever des koalas : il s'agit d'un jeu intégré à l'application Koala Overseas Shopping qui permet d'élever des koalas, avec des fonctionnalités d'habillage, de nourrissage et d'autres mécaniques de jeu.
Tous ces projets reposent sur des solutions techniques Web et réalisent le rendu, les expressions, les mouvements et les autres formes et animations des personnages grâce à des moteurs développés en interne.

Vidéo : les vidéos courtes d'humains numériques virtuels peuvent offrir aux utilisateurs une expérience sensorielle d'excellente qualité, et générer également des bénéfices supplémentaires pour l'activité. Lors de la création d'une vidéo d'un humain numérique virtuel, la capture de mouvement, la reconnaissance intelligente et un système de réalisation permettent de donner vie à l'humain numérique virtuel.

Diffusion en direct : la combinaison de la diffusion en direct et des humains numériques virtuels en est encore au stade exploratoire, car ces deux industries phares doivent converger et il n'est pas facile de former un modèle économique nouveau ou incrémental. Les technologies concernées incluent notamment la capture de mouvement en temps réel, l'entraînement et la synthèse algorithmiques, ainsi que le rendu cloud et le streaming dans les scénarios de diffusion en direct.

Créons ensemble

Avec des scénarios d'application professionnels et approfondis, la recherche technique couvre également une variété de solutions complètes en ingénierie et en algorithmique, avec des priorités différentes selon les scénarios. Prenons l'exemple de l'activité Taobao Life de l'équipe interactive Da Taobao pour vous montrer comment créer une super idole virtuelle à travers six thèmes : la production artistique, le style de rendu, la personnalisation du visage, les expressions faciales, le système de réalisation et la synthèse vocale.

Apparence

Dans ce chapitre, nous allons façonner l'humain virtuel numérique — « ayant l'apparence d'une personne ou d'un personnage anthropomorphique, doté d'une apparence spécifique et d'autres caractéristiques propres au personnage ».

Du moule à la sculpture - Flux de travail artistique

Les caractéristiques physiques de base de l'humain virtuel numérique, telles que l'utilisation d'un corps en 7 têtes pour les proportions réalistes, ou d'un corps en 5 têtes pour les proportions cartoon ; masculin, féminin, ou anthropomorphisme animal, etc. Une fois les caractéristiques morphologiques de base déterminées, la forme de base peut être réalisée en art 3D. L'ensemble du processus est généralement réalisé dans des logiciels DCC traditionnels, mais la principale différence entre l'art 3D et l'art 2D est que, dans la production artistique de contenu 2D, la technologie peut intervenir après la livraison du produit artistique, tandis que dans la production artistique de contenu 3D, la technologie doit être directement impliquée dans le processus de production. La raison en est la suivante : le processus de production artistique de contenu 3D est relativement long et complexe, et une collaboration fréquente entre l'art et la technologie est nécessaire pour garantir la qualité et l'efficacité de la livraison. Nous appelons également ce processus le workflow artistique 3D.

Prenons un exemple concret : un artiste commence à concevoir et à graver un moule de tasse, et la chaîne de production doit résoudre des « problèmes techniques » tels que le choix du matériau du moule, la méthode d'injection du matériau dans le moule et le démoulage en douceur. En général, ces aspects relèvent de la responsabilité de l'équipe technique, qui doit définir au préalable les spécifications du moule avec l'artiste afin de garantir le bon déroulement des étapes suivantes et de mener à bien la livraison du moule. Il existe également de nombreuses solutions similaires pour le flux de travail artistique 3D. La raison principale est que la production de contenu 3D obéit elle aussi à certaines normes industrielles. La différence réside dans le fait que les détails sont étroitement liés au logiciel utilisé par l'artiste et au moteur mis en œuvre par l'équipe technique. Prenons l'exemple du flux de travail artistique de Taobao Life pour parcourir ces étapes :

1. Utiliser Maya pour créer les modèles blancs et les os, stocker temporairement les produits intermédiaires dans OSS et fournir des outils de prévisualisation
2. Créer les textures avec Photoshop et les charger sur le CDN
3. Personnaliser le plug-in GLTF Exporter dans Maya pour exporter le format glTF (données de modèle, données d'os, matériaux, données de texture)
4. L'éditeur de matériaux intégré côté web ajuste l'effet des matériaux développés en interne
5.glTF du corps humain via le GLTF Importer du moteur EVA Figure, et personnalisation du Shader de matériau pour le rendu.

Après une phase de rodage avec les artistes en amont, un ensemble de workflows artistiques adaptés aux besoins actuels finit par se mettre en place et fonctionne de manière stable.

Création de visage

Une fois la forme de base du personnage terminée, chacun peut l'utiliser pour obtenir l'apparence souhaitée. Bien qu'il soit possible de créer différentes apparences dans la phase artistique, le coût est assez élevé et chacun a des préférences différentes, ce qui nécessite de nombreuses itérations de production ou de modification artistique. Nous avons donc ajouté un système de personnalisation du visage à la forme de base, permettant de répondre facilement aux exigences de personnalisation. Taobao Life propose cette fonction de personnalisation du visage, qui vous permet de découvrir le plaisir de créer votre propre apparence. Le principe fondamental de la personnalisation du visage consiste à modifier localement les données existantes du modèle pour aboutir à des milliers de variations différentes. Comment un tel système permet-il de modifier le modèle de base ? En général, un ensemble de données de modèle est une collection de données de sommets, et modifier le modèle revient à modifier les données de sommets. Il existe généralement deux façons de modifier les données de sommets :

Skinning osseux

Appliquer une forme de « transformation » aux sommets par le biais d'une « force externe » revient simplement à un ensemble de formules mathématiques incluant trois transformations : le déplacement, la rotation et la mise à l'échelle. Pour réaliser cette transformation, cette force externe peut être appliquée à l'aide d'« os ». Les os mentionnés ici peuvent également être compris comme les os du corps humain. Lorsque l'action des articulations sur les doigts change, la forme de la main change. Dans la fonction de personnalisation du visage de Taobao Life, nous avons prédéfini environ 20 types d'os pour le visage, permettant de modifier la circonférence de la tête, les globes oculaires, les coins des yeux, les orbites, les pommettes, la forme du visage, etc.

La naissance d'une idole virtuelle - Recherche sur l'industrie et la technologie des humains numériques

Blend Shape

La transformation des sommets apportée par les os est très approximative, et la personnalisation de la forme de la bouche ne peut pas être réalisée, car une apparence en apparence simple implique en réalité des dizaines de milliers de sommets dans le modèle, soumis à différentes transformations régulières. C'est pourquoi nous avons mis en place un déformeur pour cet ensemble de transformations de sommets, généralement appelé « Morph Target » ou « Blend Shape » dans l'industrie. Le principe de cette transformation consiste à préparer une position de référence pour le sommet, puis à fournir une position maximale après le « changement extrême », et à multiplier par un certain « rapport de pondération », de sorte que le sommet puisse se trouver soit à la position de référence, soit à la position extrême. Cependant, comme les zones du visage nécessitant une déformation locale sont très nombreuses et qu'une déformation peut impliquer des dizaines de milliers de sommets, le calcul en temps réel représente une charge non négligeable.

En comparant les deux techniques, le skinning squelettique est simple et efficace, mais manque de flexibilité, tandis que la déformation par sommets offre plus de liberté, mais coûte plus cher en production et en calcul. Dans le développement réel, le choix entre le squelette et la déformation par sommets est un compromis entre « effet » et « efficacité », qui nécessite une analyse détaillée et des ajustements itératifs. Dans Taobao Life, une petite partie de la fonction « Pinch Face » (personnalisation du visage) utilise le skinning osseux, et la majorité recourt à la déformation par blending. C'est également le fruit d'un long rodage et d'une accumulation d'expérience.

Tenues tendance - Habillage et beauté

Une fois le corps de base et l'apparence définis, il faut habiller les personnages avec des tenues élégantes et leur appliquer un maquillage soigné. Pour les humains, s'habiller et se maquiller sont des « actions ». Dans le monde virtuel, nous devons également être en mesure de bien réaliser ces deux aspects essentiels que sont l'« habillement » et le « maquillage ».

Habillage

Dans la vie réelle, lorsque les vêtements sont portés sur le corps, ils sont proches de la peau ou présentent un certain espace. Cette idée est en réalité très difficile à concrétiser dans le monde virtuel. La peau et les vêtements étant en fait des meshes (maillages), lorsque les vêtements sont portés sur le corps, deux ensembles de maillages se retrouvent « en collision », ce qui conduit aux deux problèmes suivants :

Lorsque le corps se déplace, les vêtements « suivent le mouvement » du corps. Le corps possède des os, et une couche de « peau » enveloppe ces os. De la même manière, les vêtements constituent en réalité une couche de « peau » enveloppant les mêmes os. Dans Taobao Life, nous utilisons le même modèle de squelette pour le corps et les vêtements, et nous réalisons la « synchronisation » en temps réel des deux jeux de données squelettiques lors du rendu.

Comment corriger le maillage du corps qui transperce les vêtements. Utiliser le même squelette pour obtenir l'effet de « port » de vêtements sur le corps est une approche ingénieuse, mais elle est aussi source de problèmes. Par exemple, si un vêtement est très concave, la peau du corps peut facilement dépasser du vêtement, ce que l'on appelle communément le « moulage ». Comme le coût d'un ajustement précis des accessoires est trop élevé, nous avons également conçu une solution astucieuse : en « découpant » le corps humain et en marquant les parties couvertes par chaque vêtement, lors du rendu d'un vêtement donné, il suffit de masquer les objets cachés. Cela permet de bloquer le maillage de la partie concernée.

Grâce à ces deux technologies, nous pouvons produire des vêtements en masse via des spécifications et des workflows liés aux conventions de production artistique. Le changement de tenue se résume à charger différents modèles, sans nécessiter de traitement spécifique pour chacun.

Beauté

Les détails du maquillage sont très exigeants, la méthode la plus pratique consiste donc à utiliser des textures. Le visage de la forme de base possède déjà une texture de base, que l'on peut simplement considérer comme « sans maquillage » ; pour dessiner différents maquillages sur le visage nu, nous réalisons une « synthèse dynamique de textures ». L'ensemble du processus se divise en deux étapes.

1. Render To Texture : la première étape consiste à créer un objet rendu (Render Target), à rendre la texture de base vers cet objet rendu, puis à rendre la texture de maquillage vers ce même objet rendu. À cette étape, il faut noter que lorsque l'artiste dessine la texture de maquillage, les UV de la texture de base doivent correspondre un à un.
2. Utilisation des textures rendues : la deuxième étape consiste à rendre les textures synthétisées vers le modèle.

2D ou 3D - Style de rendu

Vient enfin l'étape du stylisme. Certains préféreront le style réaliste, d'autres le style cartoon, d'autres encore le style punk, et d'autres le style érotique épuré. Ces différents styles reposent sur la fonction de rendu. Quand on parle de rendu, on évoque le pipeline de rendu graphique, qui peut être combiné et ajusté selon les besoins. Par exemple, le pipeline de rendu le plus simple est le suivant : chargement du modèle ---> shader de sommets ---> shader de fragments ---> rastérisation. L'étape de coloration des fragments sert à appliquer la texture du matériau afin d'obtenir le style de personnage souhaité. Le rendu des textures de matériau se divise généralement en deux catégories :

PBR

Le nom complet est Physically Based Rendering. Comme son nom l'indique, il s'agit d'un rendu basé sur la physique. Étant fondé sur la physique, le résultat final de son rendu est très proche de notre monde réel. Il est donc facile de comprendre que ce type de matériau peut déterminer si le personnage est réaliste ou hyperréaliste. Cette technologie se compose de 8 théories fondamentales et de plusieurs modèles d'éclairage importants, qui ne sont pas énumérés ici. Les personnes intéressées peuvent consulter les chapitres consacrés au PBR dans « Real-Time Rendering », ou la série d'articles « Physically Based Shading in Theory and Practice » de SIGGRAPH. Par exemple, dans Taobao Life, la technologie de diffusion sous-cutanée est simulée en sélectionnant la couleur d'échantillonnage sur la carte de dégradé en fonction des différentes parties du corps, reproduisant ainsi l'aspect rosé et translucide du visage humain.

NPR

Le nom complet est Non-photorealistic Rendering, c'est-à-dire le rendu non photoréaliste. L'une de ses principales applications est le style bidimensionnel très populaire, en particulier le style manga japonais. Contrairement au PBR, le NPR ne cherche pas à reproduire diverses simulations physiques, mais s'inspire de la peinture à l'huile, du croquis et de l'animation. Par exemple, les traits de caractère, le cel-shading, l'éclairage des contours et les reflets des cheveux sont fréquemment utilisés. Ces rendus de matériaux spécifiques font également l'objet de publications et d'exemples professionnels que vous pouvez consulter par vous-même.

Mouvement

Dans ce chapitre, nous allons donner vie aux actions de l'humain numérique virtuel — « adopter un comportement similaire à celui d'un être humain et être capable de s'exprimer par le langage, les expressions faciales et le corps ».

Expressions et actions

L'une des clés pour créer un humain numérique virtuel réussi réside dans des expressions et des mouvements réalistes et subtils. Chez les personnes réelles, les expressions et les mouvements résultent de l'interaction entre les os et les muscles. Dans le monde virtuel, nous utilisons également les technologies numériques pour simuler le fonctionnement de ces os et de ces muscles afin de reproduire les expressions et les mouvements. Dans le chapitre « Forme » précédent, nous avons déjà mentionné que le visage utilise le skinning osseux et la déformation par mélange pour modifier les sommets. Dans le chapitre « Mouvement », ces deux techniques sont encore mises à contribution, cette fois à travers l'animation : il s'agit de faire « bouger » les sommets pour réaliser les expressions et les actions correspondantes.

Animation par images clés

Pour la caractérisation des expressions faciales, l'animation par sommets (Morph Target Animation) est l'une des principales techniques de mise en œuvre. Dans la fonction de personnalisation du visage de Taobao Life, le skinning squelettique permet de déterminer la taille du visage et la position des traits. La déformation par mélange est utilisée pour réaliser la déformation des traits du visage, y compris les joues et le front. Parmi ceux-ci, pas moins de 50 BlendShape sont utilisés pour l'animation des expressions, ce qui est très proche des BlendShape utilisés par les Animoji d'Apple pour le réglage des expressions (bien que de nombreuses micro-expressions soient très difficiles à reproduire).

Pour la production des mouvements corporels, l'animation squelettique (Skeletal Animation) est l'une des principales technologies de mise en œuvre. L'animation squelettique comprend deux types de données : Skeleton et Skin. Tout d'abord, les sommets du maillage sont liés aux os pour générer le skin. Ces sommets sont influencés par plusieurs os avec des poids différents, puis l'animation est générée en modifiant l'orientation et la position des os. Le skin se déplace alors avec les os.

Capture de mouvement

Le coût de production d'animations est relativement élevé, car les deux techniques d'animation précédentes reposent généralement sur l'animation par images clés. Supposons qu'une personne lève le coude : le bras et le poignet effectueront également un mouvement cohérent. Pour réaliser une telle animation, il faudra un grand nombre d'images clés, ce qui rend la production extrêmement difficile. Afin de réduire efficacement les coûts de production, nous devons recourir à la technologie de capture de mouvement. En général, nous divisons la capture de mouvement en 2 grandes directions et 4 catégories, que l'on peut représenter par un diagramme à quatre quadrants :

Les jeux interactifs en AR, les masques AR et d'autres fonctionnalités que nous réalisons avec les caméras des téléphones mobiles relèvent en fait des technologies du quadrant « reconnaissance optique + appareils portables ».

Chorégraphie - Système de direction

Comparons le coût et la flexibilité de ces différentes méthodes. Le coût de production de l'animation manuelle par images clés est sans conteste le plus élevé, mais la flexibilité et le rendu sont également les meilleurs. Elle requiert en outre des riggeurs et des animateurs expérimentés. La production par capture de mouvement nécessite un équipement professionnel de capture de mouvement, un espace suffisamment grand pour accueillir cet équipement et permettre les mouvements requis, et le cycle de production d'une séquence peut aller de quelques heures à quelques jours. Face à des besoins opérationnels tels que de nombreuses scènes de danse, la solution la plus adaptée consiste à organiser librement ou intelligemment plusieurs mouvements achevés dans un script, à la manière d'un scénario conçu à l'avance par le réalisateur lors d'un tournage : les acteurs n'ont plus qu'à suivre le scénario pour jouer. C'est pourquoi on appelle aussi cette approche le « système réalisateur ».

Cette série d'actions doit résoudre un problème : comment passer de l'action 1 à l'action 2. Cela nécessite l'utilisation de la technologie d'animation par mélange (Blending Animation). Le principe de base de l'animation hybride consiste à calculer l'interpolation des images clés en prenant l'état actuel de l'action 1 comme point de départ et l'état spécifié de l'action 2 comme point d'arrivée. Pour les cas simples, on peut utiliser l'interpolation linéaire ; pour les cas complexes, on peut également recourir à l'interpolation par courbes de Bézier. Il existe de nombreux concepts et solutions en matière d'animation hybride, qui s'appliquent à différents scénarios et besoins. Vous pouvez effectuer vos propres recherches. Par exemple, Unity et Unreal proposent également de nombreuses solutions de mélange différentes.

Le système de mise en scène offre des capacités de combinaison libre. Par exemple, si vous souhaitez organiser un concert virtuel, vous pouvez également réaliser la performance grâce à ce système.

Dieu

Dans ce chapitre, nous explorerons l'« Esprit » de l'humain numérique virtuel, c'est-à-dire « posséder un esprit proche de celui de l'humain, être capable de reconnaître son environnement et de communiquer et d'interagir avec autrui ». La recherche sur l'« Esprit » en est encore à un stade très précoce. D'une part, elle nécessite l'appui du big data ; d'autre part, elle reste encore très éloignée d'une application concrète. Pour rendre l'humain numérique virtuel plus réaliste, l'« Esprit » sera au cœur des recherches futures.

Expression du personnage - Synthèse vocale naturelle

La capacité d'expression linguistique de l'humain virtuel numérique nécessite le recours à la synthèse vocale, comme la technologie TTS (Text To Speech). Ali Dharma Academy dispose d'un moteur TTS très complet, capable de faire parler les humains virtuels numériques. Cependant, il ne s'agit là que de simples paroles. En réalité, chacun peut sentir que ce type d'expression reste pâle et faible, dépourvu d'« émotion », et incapable d'exprimer différentes intonations reflétant des personnalités et des émotions variées. Le secteur a vu émerger d'excellents résultats : le système de synthèse vocale « VOCALOID » de YAMAHA (utilisé par Hatsune Miku et Luo Tianyi), « Tacotron » de Google (synthèse vocale de bout en bout basée sur l'apprentissage profond), ou encore le système de synthèse vocale d'iFLYTEK. Ali Dharma Academy poursuit également ses recherches sur un système de synthèse vocale plus conforme à l'expression naturelle. L'objectif : générer des intonations émotionnelles de différents styles, en définissant des personnalités pour les humains virtuels numériques et en exploitant l'apprentissage profond sur des données massives.

Ainsi, nous avons achevé les débuts d'une super idole virtuelle avec les technologies existantes.

Les humains numériques auxquels nous aspirons

Taobao Life est un humain numérique basé sur les technologies Web. Après deux années de perfectionnement et de mises à niveau techniques, nous avons également rencontré les limites de la technologie des humains numériques sur le Web. En matière de performances, un écart inévitable subsiste entre les applications web et les applications natives. WebGL (basé sur OpenGL ES 2.0), en tant que principale interface graphique du Web, ne peut rivaliser avec Vulkan, DirectX et Metal, que ce soit en capacités ou en performances. De plus, des problèmes de compatibilité inattendus persistent entre les logiciels et le matériel des différents appareils mobiles. Cet ensemble de difficultés constitue un plafond difficile à franchir pour les humains numériques sur le Web.

En revanche, les technologies des humains numériques dans l'industrie — rendu hyperréaliste, micro-expressions, simulation musculaire, matériaux physiques, lancer de rayons, etc. — nous surpassent largement dans le domaine des technologies Web. Parallèlement, la technologie des humains numériques virtuels d'Ali en est encore à ses débuts : les logiciels et matériels de base, les technologies intermédiaires et la prise en charge du big data ont tous démarré tardivement, ce qui nous a confrontés à de nombreuses difficultés et résistances.

Face à ces défis et à ces lacunes, nous multiplions également les efforts et les explorations dans toutes les directions pour faire progresser la technologie des humains numériques virtuels au sein de Taobao Life.

La première concerne l'optimisation basée sur les technologies Web : en s'appuyant sur le service cloud de rendu serverless, la combinaison d'EVA Figure (moteur de rendu de portraits virtuels) et de la technologie Puppeteer, ainsi que sur les dernières innovations WebGPU / WASM, il est possible d'améliorer l'effet et la qualité du rendu des humains numériques virtuels. Nous collaborons également activement avec l'équipe des services cloud d'Alibaba Cloud et l'équipe d'architecture Node de Da Taobao pour mettre en place un processus de rendu cloud basé sur les technologies Web. Ce processus est destiné à être appliqué à certaines tâches de rendu non temps réel, telles que la production de photos en pied, de vidéos courtes et d'images d'action pour l'avatar des utilisateurs de Taobao Life. Ces produits peuvent également être utilisés par Taobao Life ou d'autres activités.

Le deuxième aspect est la montée en compétence des capacités métier. Dans un écosystème où le métier et la technologie se nourrissent mutuellement, les capacités métier s'accumulent progressivement en services de plateforme, contribuant petit à petit à l'expérience de la technologie d'humain virtuel numérique d'Alibaba, et certaines solutions sont commercialisées. Le cloud est au service du grand public.

Sous l'influence des tendances de l'industrie telles que le métavers, l'hyperréalisme, le XR / 6G et l'interface cerveau-machine, imaginez les possibilités futures des technologies Web pour les humains numériques.

Pour conclure cet article, je tiens à remercier les membres de l'équipe des personnages virtuels interactifs graphiques du Comité Front-end d'Alibaba pour leur excellent travail, qui m'a permis de mener à bien la rédaction de cet article. N'hésitez pas à continuer de suivre les travaux du groupe de personnages virtuels et de chaque équipe.