虛擬偶像的誕生——數字人產業與技術研究

我們瞭解的數字人

近年來，數字人的概念在互連網上極為火爆，業界湧現出許多知名的虛擬數字人或虛擬偶像，如Lil Miquela、洛天依、初音未來、鹿鳴、暖暖、AYAYI等。這些數字人的商業模式或市場價值通常是：通過營運積累流量，依託流量進行變現。例如：

品牌代言（IP、活動）
粉絲經濟（二次元）
虛擬主播（遊戲、帶貨）

本文為虛擬數字人定義了三個核心要素：
1. 形——具有人類或擬人化的外形，擁有特定的外貌及其他角色特徵。
2. 動——具有類似人類的行為，能夠用語言、表情和肢體進行表達。
3. 神——具有類人思維，能夠識別外部環境，並可與人溝通交流。
這三個要素對虛擬數字人的"完整度"而言是遞進關係。

市場格局

近年來，虛擬數字人在電商、金融、影視、遊戲等各行業呈現出不同的市場規模。例如，2020 年中國虛擬偶像產業市場規模為34.6億元，預計2021年將達到62.2億元。

市場規模的增長也印證了技術的發展：製作成本逐年降低，形象和外觀更加逼真，語言交流更加自然。自虛擬數字人誕生以來，已經歷了三個重要階段：

初創期：市場處於起步階段，技術不確定性高，進入門檻高。
發展期：市場競爭者增多，技術逐漸成熟，進入門檻降低。
平台期：市場紅海來臨，平台化趨於成熟，領導者+細分市場並存。

解決方案

在當今的平台時代，各廠商也紛紛在不同層面提供解決方案：

基礎層：為虛擬數字人提供基礎軟硬體支援。硬體包括顯示裝置、光學器件、感應器、晶片等，基礎軟體包括建模軟體和渲染引擎。只有少數頂級科技公司具備出色的軟硬體能力。

平台層：包括軟硬體系統、製作技術服務平台和AI能力平台，為虛擬人偶的製作和開發提供技術能力。目前有許多公司提供平台服務，對外銷售服務和技術。 應用程式層：除了最終的企業使用者外，一些具備出色營銷和營運能力的公司或團隊也為行業帶來出色的創意和想法。

我們在做什麼

虛擬角色群組成立於阿里前端委員會的互動圖形方向。該組由以下團隊組成：大淘寶互動團隊、達摩院智能數字人團隊、優酷數字人製作與播出團隊、考拉互動與內容導購團隊、螞蟻數字以及金融科技內容社區團隊。他們共同分享和研究虛擬數字人領域的技術和應用。業務涉及三大情境：遊戲、視頻和直播。

遊戲：虛擬數字人在遊戲行業基本已是標配，許多遊戲都需要進行角色塑造。其中，這類
遊戲允許玩家自訂角色形象，該功能也被稱為"捏臉"。

淘寶人生：這是淘寶 App 內的一款可以建立虛擬人偶的遊戲，包括捏臉、換裝、美顏、拍照、購物、家居等功能。
養考拉：這是考拉海外購物 App 內的一款考拉養成遊戲，包括換裝、餵食等玩法。
它們均採用基於 Web 的技術方案，通過自研引擎完成角色的渲染、表情、動作等形態和動作表現。

視頻：虛擬數字人短視頻能夠為使用者帶來出色的感官體驗，同時也能為業務帶來增量價值。在製作虛擬數字人視頻時，可藉助動作捕捉、智能識別和導演系統等手段，讓虛擬數字人栩栩如生。

直播：直播與虛擬數字人的結合仍處於早期探索階段，因為這兩個現象級產業要實現融合并形成新的商業模式並非易事。涉及的技術還包括直播情境下的即時動作捕捉、演算法訓練與合成、雲渲染與串流等。

共同創作

隨著應用情境的專業化和深入，技術研究還將涵蓋工程、演算法等多種綜合解決方案，在不同應用情境中側重點各有不同。接下來以大淘寶互動團隊的淘寶人生業務為例，展示如何從美術製作、渲染風格、捏臉、表情、導演系統和語音合成六大主題出發，打造一位超級虛擬偶像。

形

在本章中，我們將完成虛擬數字人的造型——“具有人或擬人化的外形，並擁有特定的面容等角色特徵”。

從模型雕刻到3D美術工作流程

虛擬數字人的基本體型特徵，例如採用真人比例的7頭身、卡通比例的5頭身；男性、女性或動物擬人化等。基本形態特徵確定後，即可由3D美術製作基本造型。整個流程通常在傳統DCC軟體中完成，但3D美術與2D美術最大的區別在於：2D內容的美術製作中，技術可以在美術成品交付後再介入；而3D內容的美術製作中，技術需要直接參与製作過程。原因在於3D美術製作流程較為冗長複雜，需要美術與技術頻繁協作，以確保交付品質和交付效率。這一過程也稱為3D美術工作流程。

舉一個直觀的例子：藝術家開始設計和雕刻一個杯子模具，生產線需要解決模具使用什麼材料、如何將材料注入模具、如何順利脫模等"技術問題"。這些通常由技術部門負責，需要提前與藝術家協商模具規格，確保後續工序順利進行，最終完成模具交付。3D美術工作流程也有許多類似的方案。主要原因是3D內容製作也有特定的工業化標準。但細節上的差別在於，細節與藝術家使用的軟體和技術實現的引擎密切相關。以淘寶人生的美術工作流程為例，大致經歷這些步驟：

1. 使用Maya製作白模和骨骼，過程產物暫存至OSS，並提供預覽工具
2. 使用Photoshop製作紋理貼圖，將紋理上傳至CDN
3. 在Maya中定製GLTF Exporter外掛程式，匯出glTF（包含模型資料、骨骼資料、材質、紋理資料）
4. Web端嵌入式材質編輯器調整自研材質的效果
5. 人體glTF通過EVA Figure引擎中的GLTF Importer匯入，並定製材質Shader進行渲染。

經過前期與美術師的磨合，最終會形成一套適用於當前需求的美術工作流程，並穩定運行。

精心打造——捏臉

完成角色的基礎形態後，每個人都可以用它來繼續實現自己想要的外觀。雖然不同的外觀可以在美術環節完成，但成本相當高，而且每個人喜歡的外觀不同，需要多次美術製作或修改。因此在基礎形態上增加了捏臉系統，可以輕鬆完成定製需求。淘寶人生提供了捏臉功能，可以體驗捏臉的樂趣。捏臉技術的實現基礎是對現有模型資料進行局部修改和變化，最終實現千人千面的效果。通過這樣的系統如何?改變基本模型的目的呢？通常一組模型資料就是頂點資料的集合，改變模型通常就是改變頂點資料，而改變頂點資料通常有兩種方式：

骨骼蒙皮

通過對頂點施加某種“變換”來類比“外力”作用，本質上是一組包含位移、旋轉和縮放三種變換的數學公式。實現這種變換的外力可以藉助“骨骼”來完成。這裡的骨骼可以類比人體骨骼：當關節對手指的作用發生變化時，手的形態就會隨之改變。在淘寶人生的捏臉功能中，我們為面部預設了約20種骨骼，可改變頭圍、眼球、眼角、眼窩、顴骨、臉型等。

虛擬偶像的誕生——數字人產業與技術研究

Blend Shape

骨骼帶來的頂點變形較為粗糙，無法完成嘴型等精細定製，因為這類看似簡單的外觀變化實際上涉及模型中數萬個頂點的不同規律變換。因此，我們為這組頂點變形設定了一個變形器，業界通常稱為“Morph Target”或“Blend Shape”。其原理是為頂點準備一個參考位置，再提供一個經過“極大變化”後的最大位置，然後乘以一定的“權重比例”，使頂點可以處於參考位置或極端位置之間的任意位置。但由於面部需要局部變形的地方太多，一次變形可能涉及數萬個頂點，對Realtime Compute而言壓力也不小。

對比兩種技術，骨骼蒙皮簡單高效但靈活性不足，頂點變形更自由但製作和計算成本較高。因此在實際開發中，選擇骨骼蒙皮還是頂點變形，是“效果”與“效率”之間的權衡，需要具體問題具體分析，反覆調優。在淘寶人生中，“捏臉”功能有一小部分使用了骨骼蒙皮，大部分使用的是混合變形，這也是長期磨合和經驗積累的結果。

時尚穿搭——裝扮與美妝

有了身體和面容之後，還需要為角色穿上時尚的服裝，畫上精緻的妝容。對人類來說，穿衣和化妝是“動作”；在虛擬世界中，同樣需要很好地完成“穿”和“畫”這兩件重要的事。

換裝

在現實生活中，衣服穿在身上時貼近皮膚或留有一定間隙。這一概念在虛擬世界中實際上很難實現。因為皮膚和衣服實際上都是Mesh（網格），當衣服穿到身上時，兩套網格實際上“碰撞”在了一起，這就引出了以下兩個問題：

當身體運動時，衣服也隨之與身體一起運動。身體有骨骼，骨骼外麵包裹著一層“皮膚”；同樣地，衣服實際上也是包裹在同一套骨骼上的一層“皮膚”。在淘寶人生中，身體和衣服使用同一套骨骼模板，並在渲染時實現兩套骨骼資料的即時同步。

如何解決身體網格穿透衣服的問題。用同一套骨骼實現“穿衣”效果很巧妙，但也容易出問題。比如某件衣服非常貼身，身體皮膚就容易凸出衣服，俗稱“穿模”。由於逐件精調的成本太高，我們採用了一個取巧的方案：將人體“切割”，標記每件衣服覆蓋的身體部位，渲染某件衣服時直接隱藏被遮擋部位的 Mesh。

藉助這兩項技術，可以通過美術製作規範和流程批量生產服裝，換裝只需載入不同模型，無需逐一做特殊處理。

美妝

妝容細節要求很高，最便捷的方式是使用貼圖。基礎臉型已有基礎貼圖，可簡單理解為“素顏”；在素顏臉上繪製不同妝容，採用“貼圖動態合成”。整個流程分為兩步。

1. Render To Texture：第一步是建立可渲染對象（Render Target），將基底紋理貼圖渲染到該可渲染對象上，再將妝容紋理貼圖渲染到同一可渲染對象上。此步驟需注意，美術師在繪製妝容紋理時，基底紋理的 UV 需要一一對應。
2. 使用可渲染紋理：第二步是將合成後的紋理渲染到模型上。

2D還是3D——渲染風格

最後是風格化環節。有人偏愛寫實風格，有人喜歡卡通風格，有人鐘情龐克風格，也有人青睞純欲風格。這些不同風格的實現需要依賴渲染功能來完成。談到渲染，就不得不提圖形渲染管線，它可以根據不同需求進行組合調整。例如，最簡單的渲染管線為：載入模型 → 頂點著色器 → 片段著色器 → 光柵化。其中片段著色步驟負責完成材質紋理的繪製，以實現所需的角色風格。材質紋理的渲染通常分為兩大類：

PBR

全稱為Physically Based Rendering，顧名思義，是基於物理的渲染。既然基於物理，其渲染的最終結果會非常接近真實世界。因此不難理解，這類材質能夠決定角色是寫實風格還是超寫實風格。該技術包含8個核心理論和若干重要的光照模型，此處不再列舉。感興趣的讀者可以閱讀《Real-Time Rendering》中的PBR相關章節，或SIGGRAPH的《Physically Based Shading in Theory and Practice》系列文章。例如在淘寶人生中，次表面散射技術根據不同部位在漸層圖上選取採樣色進行類比，實現了人臉紅潤通透的質感。

NPR

全稱為Non-photorealistic Rendering，即非真實感渲染。其主要應用之一是非常流行的二維風格，尤其是日式卡通風格。與PBR不同，NPR不追求各種物理類比，而是從油畫、素描和卡通動畫中汲取靈感。例如角色描邊、卡通著色、邊緣光照、頭髮高光等是常用的技術。這些特殊的材質渲染效果在專業論文和案例中也可以找到，可自行搜尋。

動作

在本章中，將完成虛擬數字人的動作——"具有類似人類的行為，具備用語言、面部表情和身體進行表達的能力"。

表情與動作

成功塑造虛擬數字人的關鍵之一，在於真實細膩的表情和動作。真人的表情和動作由骨骼與肌肉的相互作用呈現。在虛擬世界中，同樣運用數字技術類比骨骼和肌肉的功能來呈現表情和動作。前文"造型"章節已介紹面部採用骨骼蒙皮和混合變形來改變頂點。在"動作"章節中，將繼續運用這兩種技術，藉助動畫讓頂點"動起來"，完成相應的表情和動作。

手動K幀動畫

在面部表情的塑造方面，頂點動畫（即Morph Target Animation）是主要的實現技術之一。淘寶人生的"捏臉"功能中，骨骼蒙皮用於確定臉型大小和五官位置，混合變形用於完成臉頰、額頭等五官部位的變形。其中用於表情動畫的BlendShape多達50個，與Apple Animoji使用的BlendShape非常接近。表情設定（當然許多微表情實現難度很大）。

在身體動作的製作方面，骨骼動畫（即Skeletal Animation）是主要的實現技術之一。骨骼動畫包含骨骼和蒙皮兩類資料。首先將網格的頂點綁定到骨骼上產生蒙皮，這些頂點受多根骨骼以不同權重影響，然後通過改變骨骼的朝向和位置來產生動畫，此時蒙皮會跟隨骨骼一起運動。

動作捕捉

動畫製作成本較高，因為上述兩種動畫技術通常採用主要畫面格動畫。假設一個人抬起肘部，手臂和手腕也會隨之產生連貫動作。要實現這樣的動畫需要大量主要畫面格，製作難度極大。為有效降低製作成本，需要採用動作捕捉技術。通常將動作捕捉技術分為兩大方向、四大類別，可用四象限圖來描述：

我們通過手機網路攝影機實現的 AR 互動遊戲、AR 面具等功能，實際上屬於光學識別+穿戴式裝置象限中的技術。

編舞 - 導演系統

對比幾種方案的成本和靈活性。手工主要畫面格動畫的製作成本無疑最高，靈活性和效果也最好，但需資深綁定師和動畫師完成。動作捕捉需要一套專業動捕裝置、可容納裝置並滿足所需動作的場地，一個動作製作周期從幾小時到幾天不等。面對多舞蹈情境等營運需求，最合適的方案是將已完成的動作自由或智能地編排成指令碼，如同電影拍攝中導演預先設計指令碼、演員按指令碼表演即可，因此也稱為“導演系統”。

這一系列動作需要解決一個問題：如何從動作1過渡到動作2。這就需要用到混合動畫（Blending Animation）技術。混合動畫的基本原理是，以動作1的目前狀態為起點，以動作2的指定狀態為終點，計算主要畫面格的插值。簡單的可以採用線性插值，複雜的也可以使用貝茲路徑插值等。關於混合動畫有大量知識點和解決方案，適用於不同情境和需求，可以自行搜尋。例如Unity和Unreal也提供了多種不同的混合方案。

藉助導演系統，可以實現自由組合的能力。例如想要舉辦一場虛擬演唱會，同樣可以通過導演系統來完成演出。

神

本章將探討虛擬數字人的"神"——具備類人思維、能夠識別外部環境、並可與人進行溝通交流的能力。在"神"的研究方面，我們仍處於非常早期的階段。一方面需要巨量資料的支撐，另一方面與前沿應用尚有相當距離。為使虛擬數字人更加逼真，"神"將是未來研究的重點方向。

角色表情 - 自然語音合成

虛擬數字人的語言表達需要藉助語音合成技術，如TTS（Text To Speech）。阿里達摩院擁有非常完善的TTS引擎，可以讓虛擬數字人開口說話。但這僅僅是“說話”，實際上大家都能感受到，這種語言非常蒼白無力，缺乏“情感”，無法根據不同的性格和情緒表達不同的語調。業界可以看到一些優秀的成果：雅馬哈的歌聲合成系統“VOCALOID”（初音未來和洛天依使用的就是這個系統）、Google基於深度學習的端到端語音合成系統“Tacotron”，以及科大訊飛的語音合成系統等。阿里達摩院也在持續研究更符合自然表達的語音合成系統，通過為虛擬數字人設定人設，利用巨量資料深度學習產生不同風格的情感語調。

至此，我們已經完成了現有技術水平下一個超級虛擬偶像的出道首秀。

我們憧憬的數字人

淘寶人生是基於Web技術的數字人。經過兩年的技術打磨和升級，我們也面臨著Web數字人技術的困境。在效能方面，Web應用與原生應用之間存在不可避免的差距。WebGL（基於OpenGL ES 2.0）作為Web端的主要圖形介面，無論在能力還是效能上都無法趕上Vulkan、DirectX和Metal。此外，在不同行動裝置的軟硬體上仍然會出現各種相容性問題。這一系列困境已成為Web數字人難以逾越的瓶頸。

相比之下，業界的數字人技術——超寫實渲染、微表情、肌肉類比、物理材質、光線追蹤等，令我們在Web技術方面難以企及。與此同時，阿里的虛擬數字人技術剛剛起步，基礎軟硬體、中介層技術和巨量資料支援均起步較晚，帶來了不少困難和阻力。

面對這些困境和差距，將從多個方向為淘寶人生中虛擬數字人技術的發展做出努力和嘗試。

首先是基於Web技術的最佳化：依託Serverless渲染雲端服務，結合EVA Figure（虛擬人像渲染引擎）和Puppeteer技術，藉助最新的WebGPU、WASM等，可以提升虛擬數字人的渲染效果和品質。同時正與阿里雲服務團隊和大淘寶Node架構團隊合作，在Web技術體系下構建雲渲染流程。計劃將其應用於非即時渲染任務，如淘寶人生使用者形象的全身照製作、短視頻、動作幀等。這些產品也可供淘寶人生或其他商家使用。

其次是業務能力的升級。在業務與技術相互滋養的土壤中，業務能力持續沉澱為平台服務，將實踐經驗逐步積累到阿里的虛擬數字人技術中，並通過商業化方式將部分解決方案以雲端服務的形式服務公眾。

在元宇宙、超寫實、XR/6G、腦機介面等行業風向標的輻射下，暢想未來Web數字人技術的可能性。

文末感謝阿里巴巴前端委員會圖形互動虛擬角色團隊成員的出色工作，讓我得以完成本文內容。也歡迎大家繼續關注虛擬角色群組和各團隊的最新成果。