交大教授盛斌：元宇宙熱潮下，應(yīng)更關(guān)注研究應(yīng)用轉(zhuǎn)化模式突破

“現(xiàn)在國(guó)內(nèi)外各界熱烈討論虛擬現(xiàn)實(shí)及元宇宙等概念是好事，也是推動(dòng)相關(guān)學(xué)科進(jìn)步的催化劑，但作為科學(xué)研究來(lái)說(shuō)，我認(rèn)為最重要的可能不在于某個(gè)技術(shù)或算法的本身本身的進(jìn)步，而是相關(guān)技術(shù)對(duì)傳統(tǒng)科學(xué)研究思維范式的突破，對(duì)于既往人類生活、運(yùn)動(dòng)、及健康管理方式的改變?！鄙虾＝煌ù髮W(xué)計(jì)算機(jī)科學(xué)與工程系教授盛斌接受澎湃新聞（www.thepapewr.cn）專訪時(shí)表示。盛斌為國(guó)家“萬(wàn)人計(jì)劃”青年拔尖人才獲得者、教育部人工智能重點(diǎn)實(shí)驗(yàn)室及上海人工智能研究院智慧醫(yī)療技術(shù)負(fù)責(zé)人，在人工智能及虛擬現(xiàn)實(shí)（Virtual Reality，VR）領(lǐng)域均有所研究。盛斌課題組基于上海交通大學(xué)附屬第六人民醫(yī)院賈偉平院士領(lǐng)銜構(gòu)建的全球最大規(guī)模社區(qū)糖尿病眼底影像數(shù)據(jù)庫(kù)，構(gòu)建了糖尿病視網(wǎng)膜病變?nèi)〕讨悄茉\斷系統(tǒng)——DeepDR系統(tǒng)，實(shí)現(xiàn)對(duì)糖尿病視網(wǎng)膜病變從輕度到增殖期病變的全病程自動(dòng)診斷，并能對(duì)眼底圖像的質(zhì)量進(jìn)行實(shí)時(shí)反饋以及眼底病變的識(shí)別分割。論文被《Nature》子刊《Nature Communications》遴選為亮點(diǎn)論文(Editors’Highlights)，被認(rèn)為是近來(lái)國(guó)際學(xué)術(shù)界“在轉(zhuǎn)化及臨床研究領(lǐng)域中取得的最重要技術(shù)創(chuàng)新和研究成果之一”。

在虛擬現(xiàn)實(shí)領(lǐng)域，從2019年盛斌團(tuán)隊(duì)深度參與由上海體育學(xué)院牽頭的科技部“科技冬奧”攻關(guān)項(xiàng)目中，為中國(guó)備戰(zhàn)2022北京冬奧會(huì)的運(yùn)動(dòng)員構(gòu)建基于虛擬現(xiàn)實(shí)的雪車仿真訓(xùn)練平臺(tái)。由于雪車滑道造價(jià)高昂，技術(shù)要求極高，目前全世界極少數(shù)國(guó)家分布著17條雪車滑道，相關(guān)場(chǎng)地資源的極度需求極大困擾中國(guó)運(yùn)動(dòng)員備戰(zhàn)比賽。例如由于沒(méi)有合適的賽道支持，2017年的首屆中國(guó)雪車錦標(biāo)賽都是在加拿大卡爾加里舉行的。

“在上海體育學(xué)院王然教授和高炳宏教授的大力支持和幫助下，我們?cè)啻握髑笾袊?guó)國(guó)家隊(duì)領(lǐng)隊(duì)、教練和運(yùn)動(dòng)員的意見(jiàn)與反饋，其目的就是希望直面困擾中國(guó)冰雪運(yùn)動(dòng)大規(guī)模普及在技術(shù)上的卡脖子挑戰(zhàn)，進(jìn)而在根本上通過(guò)科技力量推動(dòng)中國(guó)冰雪運(yùn)動(dòng)水平提升。在科技冬奧項(xiàng)目支持下，我們通過(guò)真實(shí)感圖形建模與渲染，冰雪滑行中的物理仿真、以及高沉浸式的虛擬現(xiàn)實(shí)交互，將虛擬環(huán)境下的雪車運(yùn)動(dòng)訓(xùn)練轉(zhuǎn)變?yōu)榫哂懈咚礁?jìng)技體驗(yàn)效果的虛擬仿真輔助教學(xué)與訓(xùn)練系統(tǒng)，而不是游戲?！笔⒈蟊硎尽?/p>

“冰雪運(yùn)動(dòng)不應(yīng)該僅僅屬于谷愛(ài)凌”，盛斌笑著說(shuō)，“虛擬現(xiàn)實(shí)技術(shù)可以讓更多中國(guó)青少年體驗(yàn)到冰雪運(yùn)動(dòng)帶來(lái)的快樂(lè)?！?019年起盛斌帶隊(duì)研發(fā)的冰雪運(yùn)動(dòng)虛擬仿真系統(tǒng)及其教學(xué)應(yīng)用被上海市教委遴選為上海市虛擬仿真教學(xué)項(xiàng)目及上海交通大學(xué)校級(jí)一流課程。

2022年1月，在北京冬奧會(huì)召開(kāi)前夕，由上海體育學(xué)院王繼紅副校長(zhǎng)牽頭，上海交通大學(xué)、寶山區(qū)教育局及上海人工智能研究院等產(chǎn)學(xué)研用單位聯(lián)合，在教育部支持下組建“智能體育教育部應(yīng)用實(shí)踐共同體”，其中的一項(xiàng)任務(wù)就是依托盛斌團(tuán)隊(duì)研制的冰雪運(yùn)動(dòng)虛擬仿真系統(tǒng)，將其推廣到上海市寶山區(qū)各個(gè)中小學(xué)的體育教學(xué)和科技體驗(yàn)中，幫助更多上海青少年了解并熱愛(ài)冰雪運(yùn)動(dòng)。盛斌說(shuō)道，“相當(dāng)于在他內(nèi)心里留下一點(diǎn)點(diǎn)火苗。”

“我們國(guó)家曾長(zhǎng)期在冬奧會(huì)上的競(jìng)技表現(xiàn)不突出，究其原因，首先固然是沒(méi)有足夠的冰雪地理資源，其二是我們對(duì)青少年的冰雪運(yùn)動(dòng)的知識(shí)普及工作存在短板?！笔⒈蟊硎尽２粌H在中國(guó)如此，事實(shí)上除了舉辦過(guò)冬季奧運(yùn)會(huì)的國(guó)家之外幾乎沒(méi)有多少國(guó)家會(huì)建設(shè)這種高投入低產(chǎn)出的專業(yè)滑道——大型滑雪場(chǎng)還可以在比賽之后轉(zhuǎn)成民用休閑設(shè)施，純粹專業(yè)化的賽道實(shí)在難有除訓(xùn)練比賽之外的后續(xù)利用的價(jià)值。而且雪車運(yùn)動(dòng)速度一般可達(dá)130公里每小時(shí)，世界紀(jì)錄已經(jīng)突破200公里每小時(shí)，有“雪上F1”之稱，出于安全考慮也對(duì)參與者有很高專業(yè)性要求。

對(duì)此，盛斌認(rèn)為，“不管是鋼架雪車、滑雪，還是速滑，這些運(yùn)動(dòng)員之所以成功背后固然有其身體條件及興趣愛(ài)好等因素。但中國(guó)人口眾多，擁有豐富的身體素質(zhì)適合冰雪運(yùn)動(dòng)的運(yùn)動(dòng)人才資源，但受到地理氣候原因限制，并非所有這些人都能很容易在啟蒙階段就能實(shí)地接觸到冰雪運(yùn)動(dòng)，大量的冰雪天才也許就此埋沒(méi)，那么，上海交通大學(xué)和上海體育學(xué)院聯(lián)合研制的虛擬現(xiàn)實(shí)環(huán)境中冰雪運(yùn)動(dòng)仿真系統(tǒng)，也許能最大程度地幫助中國(guó)冰雪運(yùn)動(dòng)未來(lái)的人才儲(chǔ)備，幫助他們邁出冰雪人生的第一步?！?/p>

盛斌同時(shí)也結(jié)合當(dāng)下炙熱的“元宇宙”概念，進(jìn)一步闡釋了冰雪運(yùn)動(dòng)虛擬仿真系統(tǒng)背后的技術(shù)背景，“我們的冰雪運(yùn)動(dòng)虛擬仿真系統(tǒng)可以看成是關(guān)于冰雪運(yùn)動(dòng)教學(xué)的元宇宙應(yīng)用，而元宇宙可以看成是虛擬現(xiàn)實(shí)環(huán)境里人類網(wǎng)絡(luò)化生活的表達(dá)形式。虛擬現(xiàn)實(shí)中所謂虛擬，就是指采用以計(jì)算機(jī)技術(shù)為核心，結(jié)合相關(guān)科學(xué)領(lǐng)域，生成虛擬的數(shù)字化環(huán)境，提供人們視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)、空間信息以及其他感知；而所謂現(xiàn)實(shí)，就是指這樣的數(shù)字化虛擬環(huán)境及其提供給人們的各類感知信息，能讓人沉浸其中，產(chǎn)生真實(shí)感?！?/p>

VR初成熟：眩暈還未完全解決

5G乃至后5G時(shí)代，支持VR大規(guī)模發(fā)展的基礎(chǔ)硬件如芯片、傳感器、光學(xué)元件、顯示屏等皆已具備成熟發(fā)展條件。使用VR等設(shè)備作為接口的元宇宙概念股公司Roblox在2021年3月上市后市值就達(dá)500億美元，后字節(jié)跳動(dòng)收購(gòu)國(guó)內(nèi)第一家VR廠商Pico又一次引起廣泛關(guān)注。此外，歌爾集團(tuán)從2012年開(kāi)始布局VR/AR產(chǎn)業(yè)，目前占據(jù)全球中高端虛擬現(xiàn)實(shí)頭顯70%的市場(chǎng)份額，并率先引進(jìn)世界領(lǐng)先的12英寸納米壓印生產(chǎn)線，打造全球領(lǐng)先的VR/AR高端光學(xué)零組件產(chǎn)業(yè)基地。

據(jù)IDC在2021年11月發(fā)布的報(bào)告預(yù)測(cè)，VR頭戴設(shè)備的出貨量將從2020年的約500萬(wàn)臺(tái)增加到2025年的超過(guò)2800萬(wàn)臺(tái)。Meta（原Facebook）CEO扎克伯格曾表示，在一個(gè)平臺(tái)上需要有約1000萬(wàn)人使用和購(gòu)買(mǎi)VR內(nèi)容才能使開(kāi)發(fā)人員持續(xù)研發(fā)以及獲利；而一旦超過(guò)這個(gè)門(mén)檻，內(nèi)容和生態(tài)系統(tǒng)將會(huì)實(shí)現(xiàn)跨越式發(fā)展。

在虛擬現(xiàn)實(shí)的國(guó)內(nèi)學(xué)術(shù)生態(tài)建設(shè)上，由中國(guó)學(xué)術(shù)界自主創(chuàng)辦的虛擬現(xiàn)實(shí)領(lǐng)域國(guó)際期刊Virtual Reality & Intelligent Hardware（VRIH）創(chuàng)刊不到三年，即于今年1月底被世界上最廣泛，最完整的工程文獻(xiàn)數(shù)據(jù)庫(kù)EI Compendex收錄，并即將于今年10月與虛擬現(xiàn)實(shí)及圖形學(xué)領(lǐng)域里歷史最悠久的知名國(guó)際學(xué)術(shù)會(huì)議Computer Graphics International（CGI2022）聯(lián)袂組織”元宇宙”專輯，作為VRIH期刊編委，盛斌認(rèn)為，上述事件均側(cè)面證明了中國(guó)虛擬現(xiàn)實(shí)學(xué)術(shù)及產(chǎn)業(yè)成果在國(guó)際具有日益重要的影響力。

在設(shè)計(jì)冰雪運(yùn)動(dòng)虛擬仿真系統(tǒng)過(guò)程中，盛斌體會(huì)其中最微妙的地方在于跨越固有知識(shí)領(lǐng)域限制，針對(duì)一項(xiàng)完全沒(méi)有過(guò)任何前期經(jīng)驗(yàn)的運(yùn)動(dòng)開(kāi)展真實(shí)感建模與仿真，并致力于用虛擬現(xiàn)實(shí)與人工智能技術(shù)將別人對(duì)這個(gè)活動(dòng)的真實(shí)體驗(yàn)和感受最大程度地還原與再現(xiàn)出來(lái)?！斑@其實(shí)就是元宇宙的魅力之一，要真正做好這件事，除了對(duì)于建模、渲染或交互技術(shù)一個(gè)個(gè)難題的攻關(guān)之外，很重要的地方也在于把其他學(xué)科，如運(yùn)動(dòng)生理學(xué)、一些設(shè)備器材在冰上運(yùn)動(dòng)規(guī)律等，融會(huì)在系統(tǒng)開(kāi)發(fā)過(guò)程中?！?/p>

賽迪研究院發(fā)布的《虛擬現(xiàn)實(shí)產(chǎn)業(yè)發(fā)展白皮書(shū)2021》顯示，當(dāng)前虛擬現(xiàn)實(shí)產(chǎn)業(yè)眩暈、交互等關(guān)鍵核心技術(shù)上尚未突破，VR、AR、MR等終端設(shè)備的佩戴舒適度和視覺(jué)舒適度與舒適體驗(yàn)還有差距。

對(duì)于眩暈感，盛斌解釋道，“本質(zhì)上來(lái)說(shuō)，暈眩實(shí)際上來(lái)自大腦處理‘不夠真實(shí)的信息’時(shí)帶來(lái)的不適感。如視覺(jué)感知上帶來(lái)的不真實(shí)感，畫(huà)面閃爍、分辨率很低，或光影效果不太正常，都會(huì)帶來(lái)不適?，F(xiàn)在有很多處理眩暈的技術(shù)，但目前這個(gè)問(wèn)題我覺(jué)得并沒(méi)有被完全攻克。這也是為什么現(xiàn)在很多說(shuō)元宇宙，但實(shí)際體驗(yàn)上還是會(huì)卡在設(shè)備?！?/p>

“終極顯示”：未來(lái)人類數(shù)字化社會(huì)的虛擬現(xiàn)實(shí)窗口-元宇宙

早在1965年，計(jì)算機(jī)圖形學(xué)之父伊萬(wàn)·薩瑟蘭曾發(fā)表一篇題為《終極顯示》（The Ultimate Display）的短文，提出顯示技術(shù)的終極目標(biāo)就是使人直接沉浸在計(jì)算機(jī)控制的虛擬環(huán)境之中，就如同日常生活在真實(shí)世界一樣。“當(dāng)時(shí)對(duì)這種顯示技術(shù)終極狀態(tài)的預(yù)期還是Windows系統(tǒng)的窗口，人可以走進(jìn)Windows里，就像愛(ài)麗絲夢(mèng)游仙境一樣然可以運(yùn)動(dòng)，可以聽(tīng)可以看可以摸可以聞?！笔⒈笳f(shuō)道。

這樣的“終極顯示”思想延續(xù)到了今天就有了“下一代通用計(jì)算平臺(tái)”的說(shuō)法。2016年高盛發(fā)布報(bào)告《VR與AR：解讀下一個(gè)通用計(jì)算平臺(tái)》（AR增強(qiáng)現(xiàn)實(shí)，Augmented Reality）。2022年2月，國(guó)泰君安發(fā)布報(bào)告《MR：通向元宇宙的下一代通用計(jì)算平臺(tái)》（MR混合現(xiàn)實(shí)，Mixed Reality）。盛斌透露，他目前正在與上海交通大學(xué)講席教授賈偉平院士團(tuán)隊(duì)密切合作攻關(guān)，與來(lái)自體育科學(xué)、臨床醫(yī)學(xué)、心理學(xué)及腦科學(xué)的多學(xué)科專家團(tuán)隊(duì)協(xié)同開(kāi)展科研攻關(guān)，研制面向未來(lái)生活中人民健康智能精細(xì)化管理的“靈境”系統(tǒng)，希望通過(guò)人工智能和虛擬現(xiàn)實(shí)去回答當(dāng)前困擾科學(xué)界多年的難題：真實(shí)世界體育鍛煉與虛擬世界(元宇宙)VR運(yùn)動(dòng)各自對(duì)于人類身心健康有何影響。

盛斌認(rèn)為這些努力的背后蘊(yùn)含著他所堅(jiān)持的科研信念，“如果我們最后跟機(jī)器的溝通通過(guò)AR、VR或MR這樣的方式，那么通過(guò)綜合運(yùn)用多學(xué)科交叉知識(shí)，基于大數(shù)據(jù)和高性能通用計(jì)算平臺(tái)，虛擬仿真與人工智能完全可實(shí)現(xiàn)對(duì)真實(shí)世界與人體狀態(tài)變化規(guī)律的模擬與預(yù)測(cè)?！?/p>