2023-07-06
7月4日，天娛數(shù)科（002354.SZ）與專注3D視覺+AI的高科技半導(dǎo)體企業(yè)銀牛微電子簽署戰(zhàn)略合作協(xié)議，并宣布共同投資4000萬成立合資公司。天娛數(shù)科總經(jīng)理徐德偉出席簽約儀式并發(fā)表講話，提到：“將以合資公司為主體，把天娛數(shù)科在元宇宙、虛擬數(shù)字人領(lǐng)域的應(yīng)用場景優(yōu)勢與銀牛微電子在3D視覺芯片領(lǐng)域的技術(shù)優(yōu)勢與相結(jié)合，共同研發(fā)面向元宇宙應(yīng)用場景的3D深度視覺模組，實(shí)現(xiàn)虛擬數(shù)字人低成本、短周期、批量化生產(chǎn)制作與低延遲、高精度、沉浸式互動體驗(yàn)，不斷降低元宇宙進(jìn)入門檻，不斷豐富元宇宙應(yīng)用場景?！?/span>
為進(jìn)一步了解天娛數(shù)科與銀牛微電子成立合資公司后的產(chǎn)品計(jì)劃，記者與徐德偉進(jìn)行了深入交流。
Q：您在簽約儀式上提到，與銀牛共同成立的合資公司將共同研發(fā)3D視覺感知產(chǎn)品，請問具體的產(chǎn)品規(guī)劃是什么？
A：目前，我們規(guī)劃了3款產(chǎn)品，包括便攜式3D深度相機(jī)、桌面式3D攝像機(jī)和數(shù)字人3D數(shù)據(jù)采集系統(tǒng)，分別應(yīng)用在虛擬數(shù)字人掃描與自動化建模、虛擬數(shù)字人全身深度視覺捕捉驅(qū)動、人體動作3D數(shù)據(jù)采集3個領(lǐng)域。
Q：合作開發(fā)的第一款產(chǎn)品會是什么呢？
A：第一款產(chǎn)品，我們會把研發(fā)重點(diǎn)放在便攜式3D深度相機(jī)這個產(chǎn)品上，主要應(yīng)用于虛擬數(shù)字人掃描與自動化建模。
天娛數(shù)科在虛擬人的打造和運(yùn)營上有豐富的經(jīng)驗(yàn)，以往行業(yè)內(nèi)要完成一個虛擬人的構(gòu)建從掃描到建模，需要很長的周期和很高的成本，很難實(shí)現(xiàn)大規(guī)模的批量化生產(chǎn)。在2020年我們決定切入虛擬數(shù)字人賽道時，我們和很多企業(yè)、科研機(jī)構(gòu)交流、合作過，當(dāng)時大部分需要2到3個月的周期才能完成一個超寫實(shí)的虛擬數(shù)字人，建模成本更是從幾十萬到上百萬不等。
在過去1年多時間里，我們基于自研的Meta-Surfing元享智能云平臺，通過對數(shù)字人生成、數(shù)字人驅(qū)動、數(shù)字人交互三個核心功能模塊算法的不斷優(yōu)化，通過軟件系統(tǒng)的投入，已經(jīng)大幅縮短了制作周期與制作成本，但距離完美的消費(fèi)級ToC應(yīng)用還有一定差距，主要原因是傳統(tǒng)的相機(jī)掃描采集到的都是2D數(shù)據(jù)，需要花大量的算力和時間轉(zhuǎn)換成3D數(shù)據(jù)。
銀牛的3D視覺芯片采集的天然就是3D數(shù)據(jù)，芯片本身還具備AI算力，他們的3D視覺芯片與我們的元享軟件平臺結(jié)合后，會彌補(bǔ)這最后的一點(diǎn)差距，通過軟硬結(jié)合，真正實(shí)現(xiàn)虛擬人短周期、低成本、批量化生成，從而降低元宇宙的門檻，提供給C端用戶工具化、標(biāo)準(zhǔn)化、易用型的可交付產(chǎn)品與解決方案。
Q：研發(fā)桌面式3D攝像機(jī)是出于哪些考慮？
A：虛擬人生成核心環(huán)節(jié)主要涉及建模、驅(qū)動和渲染三大技術(shù)。第一階段通過便攜式3D深度相機(jī)我們實(shí)現(xiàn)了虛擬人掃描、建模自動化，那么第二階段我們希望變革驅(qū)動環(huán)節(jié)。
我們把虛擬人的發(fā)展劃分了三個階段，1.0階段是靜態(tài)虛擬數(shù)字人階段，只能展示，不能互動；2.0是動態(tài)虛擬數(shù)字人階段，進(jìn)行展示時可以與現(xiàn)實(shí)人互動，但需要中之人操縱，也就是雙簧式，需要現(xiàn)實(shí)人一對一搭配數(shù)字人；3.0是智能數(shù)字人階段，通過自學(xué)習(xí)，數(shù)字人完全可以替代現(xiàn)實(shí)人在一些領(lǐng)域獨(dú)立工作。
1.0階段是通過傳統(tǒng)CG或體積視頻技術(shù)建模的，是不可控體數(shù)字人，無法實(shí)時互動，應(yīng)用場景比較狹窄；2.0階段主要是基于慣性動作捕捉、光學(xué)動作捕捉及實(shí)時渲染技術(shù)，打造出可控體數(shù)字人，應(yīng)用在虛擬主播、虛擬偶像上，雖然有一些應(yīng)用，但不完美，動作容易失調(diào)、面部表情不到位、互動能力差、沉浸體驗(yàn)感不好。針對這些問題，我們計(jì)劃推出可以實(shí)現(xiàn)3D深度視覺捕捉驅(qū)動的桌面式3D攝像機(jī)。
通過3D攝像機(jī)和深度傳感器能獲取人體的三維形狀和姿勢信息，甚至是骨骼結(jié)構(gòu)追蹤。對于人臉識別、姿態(tài)、動作識別、手勢識別，它的準(zhǔn)確性和細(xì)節(jié)捕捉能力都非常強(qiáng)。
因此，相較于慣性動作捕捉、光學(xué)動作捕捉、光慣混合動捕方式，視覺捕捉更加靈活方便，無需額外的佩戴設(shè)備，對于C端更加適用，而且經(jīng)過AI數(shù)據(jù)修正，可以獲得更高精度、更穩(wěn)定、高質(zhì)量數(shù)據(jù)，而且還可以在攝像頭的視野范圍內(nèi)進(jìn)行采集拍攝，有更大的活動空間和范圍。
Q：第三階段將推出什么產(chǎn)品，人體動作3D數(shù)據(jù)采集有什么意義？
A：產(chǎn)品研發(fā)的第三階段，我們的目標(biāo)是打造一個應(yīng)用于人物表情、形態(tài)及行為特征數(shù)據(jù)采集的數(shù)字人3D數(shù)據(jù)采集系統(tǒng)，形成我們特有的數(shù)據(jù)庫，用來訓(xùn)練數(shù)字人表情和動作，這是我們?yōu)閷?shí)現(xiàn)3.0智能數(shù)字人階段做的數(shù)據(jù)基礎(chǔ)設(shè)施。
ChatGPT出現(xiàn)后，虛擬人聊天等智能交互體驗(yàn)有了飛躍提升，但虛擬人作為AIGC典型多模態(tài)應(yīng)用，整個生成式AI技術(shù)在虛擬人動作和表情生成領(lǐng)域相對滯后。我們看到一個AI驅(qū)動的數(shù)字人，或許能和你聊天，但是來來回回就那幾個動作。AI技術(shù)的成熟度、算法迭代離不開數(shù)據(jù)，特別是大量、高精度、高質(zhì)量的3D數(shù)據(jù)庫。
未來，我們會有一個較大規(guī)模的基于3D深度攝像機(jī)的人體復(fù)雜行為數(shù)據(jù)庫，經(jīng)過數(shù)據(jù)喂養(yǎng)、深度學(xué)習(xí)算法提取,AI數(shù)字人的動作也會像語言交互體驗(yàn)一樣趨于自然、流暢，而且是自學(xué)習(xí)的，屆時虛擬數(shù)字人才能真正擺脫“中之人”驅(qū)動，完成全面的AI進(jìn)化。
Q：最后一個問題，為什么選擇和銀牛微電子合作？
A：選擇銀牛作為合作伙伴是經(jīng)過深思熟慮的。銀牛是一家集3D雙目視覺處理和人工智能芯片設(shè)計(jì)能力于一體的高科技半導(dǎo)體企業(yè)。在3D深度視覺、復(fù)雜SoC設(shè)計(jì)、低功耗、光學(xué)、嵌入式系統(tǒng)軟件、邊緣計(jì)算等方面具有10年以上的深厚經(jīng)驗(yàn)。全球最早從事芯片上3D深度感知引擎研發(fā)的企業(yè)之一以色列公司Inuitive也是銀牛的子公司。加上多年來在泛機(jī)器人領(lǐng)域的應(yīng)用探索，銀牛自研的集成3D視覺感知、AI、SLAM的系統(tǒng)級芯片已經(jīng)應(yīng)用在在眾多前沿應(yīng)用領(lǐng)域的產(chǎn)品中，3D和AI能力已經(jīng)得到了驗(yàn)證。
我們認(rèn)為，虛擬人就是元宇宙世界里的關(guān)鍵，它需要3D視覺感知能力，需要AI能力。3D視覺+AI的模式，將賦予虛擬人和各類智能設(shè)備“人眼”和“人腦”。選擇和銀牛合作對天娛數(shù)科來說，是跟我們在元宇宙場景和虛擬人方面進(jìn)行軟硬件結(jié)合的最佳選擇。
內(nèi)容來源：證券時報