O nascimento de um ídolo virtual - Pesquisa sobre indústria e tecnologia de humanos digitais

Humanos digitais que entendemos

Nos últimos anos, o conceito de humanos digitais tornou-se extremamente popular na Internet, e muitos humanos digitais virtuais ou ídolos virtuais populares surgiram na indústria, como Lil Miquela, Luo Tianyi, Hatsune, Luming, Nuan Nuan, AYAYI, etc. O modelo de negócios ou valor de mercado dessas pessoas digitais geralmente é: acumular tráfego por meio de operações e depender do tráfego para monetizar. Por exemplo:

Endosso de marca (IP, evento)
Economia de fãs (duas dimensões)
Âncora virtual (jogos, vendas ao vivo).

Este artigo define três elementos centrais para os humanos digitais mencionados a seguir:
1. Forma - tem uma aparência humana ou antropomórfica, com uma aparência específica e outras características de personagem.
2. Movimento - tem comportamento semelhante ao dos seres humanos e possui a capacidade de se expressar com linguagem, expressões faciais e corpo.
3. Espírito - tem uma mente semelhante à humana, possui a capacidade de reconhecer o ambiente externo e pode se comunicar e interagir com as pessoas. Esses três elementos têm uma relação progressiva com a "completude" do humano digital virtual.

Situação de mercado

Nos últimos anos, os humanos digitais virtuais têm vários tamanhos de mercado nas indústrias de e-commerce, finanças, cinema e televisão, jogos e finanças. Por exemplo, o tamanho de mercado da indústria de ídolos virtuais na China em 2020 é de 3,46 bilhões de yuans, e espera-se que atinja 6,22 bilhões de yuans em 2021.

O crescimento da escala de mercado também confirma o desenvolvimento da tecnologia: o custo de produção é reduzido ano a ano, a imagem e a aparência são mais realistas e a comunicação linguística é mais natural. Desde o surgimento dos humanos digitais virtuais, três períodos importantes se passaram:.

Período inicial: o mercado está crescendo no início, a tecnologia é incerta e a barreira de entrada é alta.
Período de desenvolvimento: o número de concorrentes no mercado aumenta, a tecnologia é gradualmente formada e a barreira de entrada é baixa.
Período de plataforma: o oceano vermelho do mercado está chegando, a plataformização está madura, líder + nicho.

Solução

Na era das plataformas atual, vários fabricantes também se uniram para fornecer soluções em diferentes níveis:

Camada básica: fornece suporte básico de software e hardware para humanos digitais virtuais. O hardware inclui dispositivos de exibição, dispositivos ópticos, sensores, chips, etc., e o software básico inclui software de modelagem e motores de renderização. Apenas algumas poucas empresas de tecnologia de ponta possuem excelentes capacidades de software e hardware.

Camada de plataforma: incluindo sistemas de software e hardware, plataformas de serviços de tecnologia de produção e plataformas de capacidade de IA, fornecendo capacidades técnicas para a produção e desenvolvimento de imagens virtuais. Existem muitas empresas que fornecem serviços de plataforma, vendendo serviços e tecnologias para atender outras empresas. Camada de aplicação: além dos usuários empresariais finais, algumas empresas ou equipes com excelentes capacidades de marketing e operação também trazem boas ideias e conceitos para esta indústria.

O que estamos fazendo

O grupo de personagens virtuais foi estabelecido na direção de gráficos interativos do comitê de front-end da Ali. Este grupo consiste nas seguintes equipes: Equipe Interativa do Da Taobao, Equipe de Humanos Digitais Inteligentes da Dharma Academy, Equipe de Produção e Transmissão de Humanos Digitais da Youku, Equipe Interativa e de Guia de Compras de Conteúdo da Koala, Ant Digital e equipe da comunidade de conteúdo financeiro. Juntas, compartilham e pesquisam tecnologias e aplicações no campo de humanos digitais virtuais. O negócio envolve três cenários principais: jogos, vídeos e transmissões ao vivo.

Jogos: humanos digitais virtuais são basicamente padrão na indústria de jogos, e muitos jogos precisarão moldar personagens. Entre eles, esse tipo
de jogo permite que os jogadores personalizem a função de imagem do personagem. A função de personalizar a imagem do personagem também é chamada de "personalizar pessoas".

Taobao Life: este é um jogo no aplicativo Taobao que pode criar um avatar. Inclui funções como personalização facial, vestir-se, embelezar o rosto, tirar fotos, fazer compras e home.
Criando coalas: este é um jogo no aplicativo Koala Overseas Shopping que pode cultivar coalas, incluindo funções de vestir, alimentar e outras jogabilidades.
Todos usam soluções técnicas baseadas em Web e completam a renderização, expressões, ações e outras formas e ações dos personagens por meio de motores desenvolvidos internamente.

Vídeo: vídeos curtos de humanos digitais virtuais podem trazer aos usuários uma excelente sensação de imersão e interação. A tecnologia envolvida inclui captura de movimento, síntese de fala, renderização em tempo real, etc.

Transmissão ao vivo: a combinação de transmissão ao vivo e humano digital virtual ainda está em estágio inicial de exploração, porque duas indústrias fenomenais precisam ser combinadas e não é fácil formar um modelo de negócios novo ou incremental. As tecnologias envolvidas também incluem captura de movimento em tempo real, treinamento e síntese de algoritmos, renderização em nuvem e streaming em cenários de transmissão ao vivo, e assim por diante.

Vamos criar juntos

Com cenários de aplicação profissionais e aprofundados, a pesquisa técnica também abrangerá uma variedade de soluções abrangentes, como engenharia e algoritmos, e em diferentes cenários de aplicação, o foco será diferente. A seguir, tomamos o negócio Taobao Life da Equipe Interativa do Da Taobao como exemplo, e mostramos como criar um superídolo virtual a partir dos seis temas: produção artística, estilo de renderização, personalização facial, expressão facial, sistema de direção e síntese de fala.

Forma

Neste capítulo, completaremos a forma do humano digital virtual — "tem a aparência de uma pessoa ou de um ser antropomórfico, e possui uma aparência específica e outras características de personagem".

Esculpido a partir do molde - Fluxo de trabalho artístico

Características físicas básicas do humano digital virtual, como usar um corpo de 7 cabeças em proporção real, ou um corpo de 5 cabeças em proporção de desenho animado; masculino, feminino ou antropomorfismo animal, etc. Após as características básicas de forma serem determinadas, a forma básica pode ser produzida por arte 3D. Todo o processo geralmente é concluído em software DCC tradicional, mas a maior diferença entre arte 3D e arte 2D é que, na produção artística de conteúdo 2D, a tecnologia pode intervir após o produto artístico ser entregue; na produção artística de conteúdo 3D, a tecnologia precisa estar diretamente envolvida no processo de produção. O motivo é: o processo de produção artística de conteúdo 3D é relativamente longo e complexo, e é necessária cooperação frequente entre arte e tecnologia para garantir a qualidade ou eficiência da entrega. Também chamamos esse processo de fluxo de trabalho artístico 3D.

Para dar um exemplo visual: um artista começa a projetar e esculpir um molde de xícara, e a linha de produção precisa resolver "problemas técnicos" como qual material o molde usa, como injetar o material no molde e como liberar o molde suavemente. Normalmente, essas são responsabilidades da tecnologia, e é necessário negociar as especificações do molde com o artista antecipadamente para garantir o progresso suave dos projetos subsequentes e, finalmente, concluir a entrega do molde. Existem também muitas soluções semelhantes para o fluxo de trabalho artístico 3D. O principal motivo é que a produção de conteúdo 3D também possui certos padrões industriais. A pequena diferença é que os detalhes estão intimamente relacionados ao software usado pelo artista e ao motor implementado pela tecnologia. Tomemos o fluxo de trabalho artístico no Taobao Life como exemplo para percorrer aproximadamente estas etapas:.

1. Usar Maya para criar moldes brancos e ossos, armazenar temporariamente os produtos intermediários no OSS e fornecer ferramentas de visualização
2. Criar texturas com Photoshop e enviar as texturas para CDN
3. Personalizar o plug-in GLTF Exporter no Maya para exportar glTF (incluindo dados de modelo, dados de ossos, materiais, dados de textura)
4. O editor de materiais incorporado no lado web ajusta o efeito dos materiais desenvolvidos internamente
5. glTF do corpo humano através do GLTF Importer no motor EVA Figure, e personalizar o Shader de material para renderização.

Após ajustes com artistas no estágio inicial, um conjunto de fluxos de trabalho artísticos para as necessidades atuais será finalmente formado e executado de forma estável.

Modelado - personalização facial

Depois de completar a forma base do personagem, cada um de nós pode usá-la para continuar a alcançar a aparência desejada. Embora diferentes aparências possam ser concluídas no link de arte, o custo é bastante alto, e todos gostam de aparências diferentes, portanto, são necessárias muitas produções ou modificações artísticas. Então, adicionamos um sistema de personalização facial à forma básica, e você pode facilmente completar os requisitos de personalização. O Taobao Life oferece a função de personalizar seu rosto, e você pode experimentar a diversão de personalizar seu rosto. A base para a realização da tecnologia de personalização facial é modificar e alterar localmente os dados do modelo existente e, finalmente, alcançar o objetivo de mudar milhares de pessoas. Como o objetivo de alterar o modelo básico pode ser alcançado por meio de tal sistema? Normalmente, um conjunto de dados de modelo é uma coleção de dados de vértices, e alterar o modelo geralmente significa alterar os dados de vértices, e geralmente há duas maneiras de alterar os dados de vértices:.

Skinning ósseo

Aplicar algum tipo de "transformação" aos vértices por meio de "força externa" é simplesmente um conjunto de fórmulas matemáticas que incluem três transformações: deslocamento, rotação e escala. Para realizar essa transformação, essa força externa pode ser feita usando "ossos". Os ossos mencionados aqui também podem ser entendidos como os ossos do corpo humano. Quando a ação das articulações nos dedos muda, a forma da mão mudará. Na função de personalização facial do Taobao Life, pré-definimos cerca de 20 tipos de ossos para o rosto, que podem alterar a circunferência da cabeça, globos oculares, cantos dos olhos, órbitas oculares, maçãs do rosto, formato do rosto e assim por diante.

O nascimento de um ídolo virtual - Pesquisa sobre indústria e tecnologia de humanos digitais

Blend Shape

A transformação de vértices trazida pelos ossos é muito grosseira, e a personalização do formato da boca não pode ser concluída, porque uma aparência aparentemente tão simples na verdade envolve dezenas de milhares de vértices no modelo para diferentes transformações regulares. Portanto, configuramos um deformador para esse conjunto de transformações de vértices, que geralmente é chamado de "Morph Target" ou "Blend Shape" na indústria. O princípio dessa transformação é preparar uma posição de referência para o vértice e, em seguida, fornecer uma posição máxima após a "mudança extrema", e então multiplicá-la por uma determinada "proporção de peso", para que o vértice possa estar na posição de referência ou na posição extrema. No entanto, como há muitos locais onde o rosto precisa ser deformado localmente, e uma deformação pode envolver dezenas de milhares de vértices, o cálculo em tempo real também não é pequeno.

Comparando as duas técnicas, o skinning esquelético é simples e eficiente, mas não suficientemente flexível, enquanto a deformação de vértices é mais livre, porém mais cara de produzir e computar. Portanto, no desenvolvimento real, decidir qual usa ossos e qual usa deformação de vértices é uma compensação entre "efeito" e "eficiência", que precisa ser analisada em detalhes e ajustada repetidamente. No Taobao Life, uma pequena parte da função de personalização facial usa skinning ósseo, e a maior parte usa deformação por mesclagem. Isso também é resultado de um longo período de ajustes e acúmulo de experiência.

Roupas fashion - Vestir e beleza

Depois de termos o corpo base e a aparência, precisamos vestir os personagens com roupas estilosas e aplicar maquiagem bonita. Para os seres humanos, vestir-se e maquiar-se são "ações". No mundo virtual, ainda precisamos ser capazes de completar bem essas duas coisas importantes: "vestir" e "maquiar".

Vestir

Na vida real, quando as roupas são vestidas no corpo, elas ficam próximas à pele ou têm um certo espaço. Essa ideia é, na verdade, muito difícil de realizar no mundo virtual. Porque pele e roupas são, na verdade, Mesh (malha), quando as roupas são vestidas no corpo, dois conjuntos de malhas são, na verdade, "colididos" juntos, o que leva aos seguintes dois problemas:.

Quando o corpo se move, as roupas "fazem o movimento" junto com o corpo. O corpo tem ossos, e uma camada de "pele" envolve esses ossos. Da mesma forma, as roupas são, na verdade, uma camada de "pele" envolvendo os mesmos ossos. No Taobao Life, usamos o mesmo modelo de esqueleto para o corpo e as roupas e realizamos a "sincronização" em tempo real dos dois dados de esqueleto durante a renderização.

Como corrigir a malha do corpo penetrando fora das roupas. Usando o mesmo esqueleto e a mesma pele, podemos garantir que o corpo e as roupas se movam sincronizados, evitando o problema de penetração.

Com essas duas tecnologias, podemos produzir roupas em massa por meio de especificações e templates, e também podemos personalizar roupas exclusivas para cada personagem.

Beleza

Os detalhes da aparência de maquiagem são muito exigentes, então a maneira mais conveniente é usar texturas para mapear diretamente no modelo. No Taobao Life, usamos texturas de alta resolução para mapear a maquiagem no rosto do personagem, incluindo sombra de olhos, batom, blush, etc.

1.Render To Texture: o primeiro passo é criar um objeto renderizável (Render Target), renderizar o mapa de textura base para este objeto renderizável e, em seguida, renderizar o mapa de textura de maquiagem para o mesmo objeto renderizável. Neste passo, deve-se notar que, quando o artista desenha a textura de maquiagem, as UVs da textura base precisam estar em correspondência um a um.
2.Usando texturas renderizáveis: o segundo passo é renderizar as texturas sintetizadas para o modelo.

2D ou 3D - Estilo de renderização

Finalmente, é hora de estilizar. Algumas pessoas vão gostar do estilo real, algumas vão gostar do estilo cartoon, algumas vão gostar do estilo punk e algumas vão gostar do estilo puro. Esses diferentes estilos precisam depender da função de renderização para serem concluídos. Quando falamos sobre renderização, mencionamos o pipeline de renderização gráfica, que pode ser combinado e ajustado de acordo com diferentes necessidades. Por exemplo, o pipeline de renderização mais simples é: carregar modelo ---> vertex shader ---> fragment shader ---> Rasterização. A etapa de coloração de fragmentos é usada para completar o desenho da textura do material para alcançar o estilo de personagem desejado. A renderização de texturas de material geralmente é dividida em duas categorias:.

PBR

O nome completo é Physically Based Rendering (Renderização Baseada em Física). Como o nome indica, é uma renderização baseada em física. Como se baseia em física, o resultado final de sua renderização será muito próximo do nosso mundo real. Assim, é fácil entender que esse tipo de material pode determinar se o personagem é realista ou hiper-realista. Esta tecnologia consiste em 8 teorias principais e vários modelos de iluminação importantes, que não são listados aqui. Estudantes interessados podem ler os capítulos relacionados a PBR em "Real-Time Rendering", ou a série de artigos "Physically Based Shading" da SIGGRAPH em "Theory and Practice". Por exemplo, no Taobao Life, a tecnologia de dispersão subsuperficial é simulada selecionando a cor de amostragem no mapa de gradiente de acordo com diferentes partes, realizando a sensação rosada e transparente do rosto humano.

NPR

O nome completo é Non-photorealistic Rendering, ou seja, renderização não fotorrealista. Uma de suas principais aplicações é o estilo bidimensional muito popular, especialmente o estilo de desenho animado japonês. Ao contrário do PBR, o NPR não busca várias simulações físicas, mas extrai inspiração de pinturas a óleo, esboços e animações de desenho animado. Por exemplo, traços de personagem, sombreamento de desenho animado, iluminação de borda, destaques de cabelo, etc. são frequentemente usados. Essas renderizações especiais de material também podem ser encontradas em artigos profissionais e exemplos, você pode pesquisar por conta própria.

Movimento

Neste capítulo, completaremos a ação do humano digital virtual — "tem um comportamento semelhante ao de um ser humano e possui a capacidade de se expressar com linguagem, expressões faciais e corpo".

Expressões e ações

Uma das chaves para moldar com sucesso um humano digital virtual são expressões e movimentos reais e delicados. As expressões e movimentos de pessoas reais são apresentados pela interação de ossos e músculos. No mundo virtual, também usamos tecnologia digital para simular as funções desses ossos e músculos para apresentar expressões e movimentos. No capítulo "Forma" acima, já foi mencionado que o rosto usa skinning ósseo e deformação por mesclagem para alterar os vértices. No capítulo "Movimento", essas duas técnicas ainda serão usadas e, por meio de animação, fazem os vértices "se moverem" para completar as expressões e ações correspondentes.

Animação manual K

Na caracterização de expressões faciais, a animação de vértices (ou seja, Morph Target Animation) é uma das principais técnicas de implementação. Na função de personalização facial do Taobao Life, o skinning esquelético é usado para determinar o tamanho do rosto e a posição das características faciais. A deformação por mesclagem é usada para completar a deformação das características faciais, incluindo bochechas e testas. Entre elas, há até 50 BlendShapes usados para animação de expressões, o que é muito próximo dos BlendShapes usados pelo Animoji da Apple para configurações de expressão (é claro que muitas microexpressões são muito difíceis de alcançar).

Na produção de movimentos corporais, a animação esquelética (ou seja, Skeletal Animation) é uma das principais tecnologias de implementação. A animação esquelética contém dois tipos de dados: Esqueleto e Pele. Primeiro, vincule os vértices da malha aos ossos para gerar a pele. Esses vértices serão afetados por múltiplos ossos com diferentes pesos e, em seguida, geram animação alterando a orientação e posição dos ossos. Nesse momento, a pele se moverá junto com os ossos.

Captura de movimento

O custo de produção de animação é relativamente alto, porque as duas tecnologias de animação acima mencionadas requerem muito trabalho manual e tempo de renderização. Portanto, em projetos reais, é necessário escolher a tecnologia apropriada de acordo com as necessidades e o orçamento.

Os jogos interativos de AR, máscaras de AR e outras funções que completamos com câmeras de celular são, na verdade, tecnologias no quadrante de reconhecimento óptico + dispositivos vestíveis.

Coreografia - Sistema de direção

Vamos comparar o custo e a flexibilidade de vários métodos. O custo de produção de skinning ósseo é relativamente baixo, mas a flexibilidade é limitada; o custo de produção de deformação de vértices é mais alto, mas a flexibilidade é maior. Na prática, geralmente combinamos as duas técnicas para obter o melhor equilíbrio entre custo e efeito.

A série de ações precisa resolver um problema: como fazer a transição da ação 1 para a ação 2. Isso requer o uso de tecnologia de animação de mesclagem (Blending Animation). O princípio básico da animação híbrida é calcular a interpolação de quadros-chave tomando o estado atual da ação 1 como ponto inicial e o estado especificado da ação 2 como ponto final. Casos simples podem usar interpolação linear, casos complexos também podem usar interpolação de curva de Bezier e assim por diante. Existem muitos pontos de conhecimento e soluções sobre animação híbrida, que também são aplicáveis a diferentes cenários e necessidades. Você pode pesquisar por conta própria. Por exemplo, Unity e Unreal também fornecem muitas soluções diferentes de mesclagem.

Com o sistema de direção, é possível oferecer capacidades de combinação livre. Por exemplo, se você deseja realizar um concerto virtual, também pode concluir a apresentação por meio do sistema de direção.

Espírito

Neste capítulo, exploraremos o "espírito" do humano digital virtual — "tem uma mente semelhante à humana, possui a capacidade de reconhecer o ambiente externo e pode se comunicar e interagir com as pessoas". Ainda estamos em um estágio muito inicial na pesquisa sobre o "Espírito". Por um lado, precisa do suporte de big data e, por outro, tem uma distância considerável da posição de front-end. Para tornar o humano digital virtual mais real, o "Espírito" será o foco de pesquisas futuras.

Expressão do personagem - Fala natural

A capacidade de expressão linguística do humano digital virtual requer o uso de tecnologia de síntese de fala, como TTS (Text To Speech). A Ali Dharma Academy possui um motor TTS muito completo, que pode fazer os humanos digitais virtuais falarem. No entanto, isso é apenas falar. Na verdade, todos podem perceber que esse tipo de linguagem é muito pálida e fraca, sem "emoção", e não consegue expressar tons diferentes com personalidades e emoções distintas. Alguns resultados excelentes podem ser vistos na indústria: o sistema de síntese vocal "VOCALOID" da YAMAHA (usado por Hatsune Miku e Luo Tianyi), o sistema de síntese de fala ponta a ponta baseado em aprendizado profundo "Tacotron" do Google, e o sistema de síntese de fala da iFLYTEK, etc. A Ali Dharma Academy também continua pesquisando um sistema de síntese de fala mais alinhado à expressão natural e que gera tons emocionais com diferentes estilos, definindo personalidades para os humanos digitais virtuais e usando aprendizado profundo a partir de big data.

Até agora, concluímos a estreia de um superídolo virtual com a tecnologia existente.

Os humanos digitais a que aspiramos

Taobao Life é um humano digital baseado em tecnologia Web. Após dois anos de aprimoramento e atualização técnica, também encontramos o dilema da tecnologia de humanos digitais na Web. Em termos de desempenho, há uma lacuna inevitável entre aplicativos web e aplicativos nativos. O WebGL (baseado em OpenGL ES 2.0), como principal interface gráfica da Web, não consegue acompanhar Vulkan, DirectX e Metal em capacidade ou desempenho. Além disso, ainda existem problemas estranhos de compatibilidade em software e hardware em diferentes dispositivos móveis. Essa série de dificuldades tornou-se um teto difícil de superar para os humanos digitais na Web.

Em contraste, a tecnologia de humanos digitais na indústria, renderização hiper-realista, microexpressões, simulação muscular, materiais físicos, ray tracing, etc., nos tornam incomparáveis na tecnologia web. Ao mesmo tempo, a tecnologia de humanos digitais virtuais da Ali acabou de começar, e o suporte básico de software e hardware, tecnologia de estágio intermediário e big data começaram tarde, o que nos trouxe muitas dificuldades e resistências.

Diante desses dilemas e lacunas, também faremos esforços e tentativas de todas as direções para o desenvolvimento da tecnologia de humanos digitais virtuais no Taobao Life.

A primeira é a otimização baseada em tecnologia Web: com base no serviço de renderização em nuvem serverless, com a combinação do EVA Figure (motor de renderização de retratos virtuais) e tecnologia Puppeteer, com a ajuda do mais recente WebGPU/WASM, etc., o efeito e a qualidade de renderização do humano digital virtual podem ser aprimorados. Também estamos trabalhando ativamente com a equipe de serviços em nuvem da Alibaba Cloud e a equipe de arquitetura Node do Da Taobao para construir um processo de renderização em nuvem sob tecnologia Web. Está planejado ser aplicado a algumas tarefas de renderização não em tempo real, como a produção de fotos de corpo inteiro, vídeos curtos, quadros de ação, etc. da imagem de usuário do Taobao Life. Esses produtos também podem ser usados pelo Taobao Life ou outros negócios.

O segundo é o aprimoramento das capacidades de negócios. No terreno onde negócios e tecnologia se nutrem mutuamente, as capacidades de negócios são continuamente acumuladas em serviços de plataforma, contribuindo pouco a pouco com experiência para a tecnologia de humanos digitais virtuais da Ali, e comercializando algumas soluções por meio da comercialização. A nuvem serve ao público.

Sob a influência de indicadores da indústria como metaverso, hiper-realismo, XR/6G, interface cérebro-computador, etc., imagine a possibilidade da futura tecnologia de humanos digitais na Web.

No final do artigo, gostaria de agradecer aos membros da Equipe de Front-end da Alibaba por suas contribuições para a tecnologia de humanos digitais virtuais.