中國移動 12 月 8 日宣布聯(lián)合南京大學(xué)團隊研發(fā)高保真 2D 數(shù)字人說話驅(qū)動系統(tǒng)。

作為擁有世界規(guī)模第一用戶數(shù)的通信運營商，中國移動每年的客戶服務(wù)運營成本巨大。現(xiàn)已廣泛普及的智能語音客服雖能完成一定的業(yè)務(wù)自動應(yīng)答任務(wù)，但依然不及人工客服面對面，一對一的星級服務(wù)體驗。

針對實際業(yè)務(wù)存在的痛點，中國移動九天視覺團隊聯(lián)合南京大學(xué)邰穎團隊，研發(fā)高保真 2D 數(shù)字人說話驅(qū)動系統(tǒng)，旨在為用戶提供表情自然、唇音同步和頭部姿態(tài)和諧的數(shù)字人播報對話服務(wù)，可應(yīng)用于智能客服、教育培訓(xùn)、廣告營銷等場景。

▲情感控制的高保真 2D 數(shù)字人說話驅(qū)動方法

據(jù)中國移動官方介紹，2D 數(shù)字人說話驅(qū)動系統(tǒng)實現(xiàn)根據(jù)給定目標(biāo)人物的照片或視頻和任意一段音頻，生成與音頻同步的目標(biāo)人物說話視頻流。要求生成視頻里的人物逼真度高，表情姿態(tài)自然，同時需要具有較高的實時性，能做到與語言大模型、音頻合成能力有機整合，構(gòu)建起人物數(shù)字替身。

中國移動九天視覺團隊聯(lián)合南京大學(xué)研發(fā)的高保真 2D 數(shù)字人說話驅(qū)動系統(tǒng)，在以下三方面開展了技術(shù)攻堅和方案創(chuàng)新：

第一，性能實時：相比以往數(shù)字人方法，在實時播報的口型生成技術(shù)上達到了學(xué)術(shù)界領(lǐng)先水平，支持中英文數(shù)字人口型驅(qū)動，在保持效果的情況下達到實時性能 30ms / 幀。

第二，效果領(lǐng)先：研發(fā)二階段學(xué)習(xí)框架，將數(shù)字人說話驅(qū)動拆解成：從音頻到口型系數(shù)和從口型系數(shù)到生成人像兩部分，降低學(xué)習(xí)難度，實現(xiàn)更好的生成效果。

第三，情緒控制：引入情緒引導(dǎo)學(xué)習(xí)模塊，支持正常、微笑、驚訝、憤怒、恐懼、悲傷等 7 種主流情緒控制生成能力，賦予生成的播報人人文情感表達能力。

▲高興、悲傷情緒下的數(shù)字人說話生成效果

從中國移動官方獲悉，數(shù)字人生成技術(shù)上實現(xiàn)了端到端的二階段 30 FPS 實時生成性能，并支持 512*512 人臉區(qū)域生成，同時具備高興、悲傷等 7 種主流情緒控制生成能力。

在評測集 VoxCeleb 指標(biāo)方面，該技術(shù)的口型準(zhǔn)確性 LMD(LandMark Distance)達到 4.3，生成自然度 FID 達到 11.1。

中國移動官方表示，該研發(fā)成果應(yīng)用前景廣闊，有效降低了創(chuàng)作門檻，提升了生成人物的視覺質(zhì)量，已為 5G 新通話、和留言小秘書品牌業(yè)務(wù)的拓展賦能升級。