深度揭秘OPPO自研影像專(zhuān)用NPU：AI能效比暴漲40倍，秀四大黑科技

作者 |  云鵬
編輯 |  心緣
如今，自研芯片已經(jīng)成為科技巨頭們的兵家必爭(zhēng)之地，通過(guò)芯片自研實(shí)現(xiàn)“人無(wú)我有”的產(chǎn)品特性，或許才能在內(nèi)卷嚴(yán)重的市場(chǎng)中殺出一條路，對(duì)于手機(jī)行業(yè)來(lái)說(shuō)，這一需求尤為迫切。就在今天的OPPO未來(lái)科技大會(huì)上，OPPO帶來(lái)了自家首個(gè)影像專(zhuān)用NPU芯片馬里亞納 MariSilicon X。

該芯片基于DSA架構(gòu)和臺(tái)積電先進(jìn)6nm工藝制造，通過(guò)AI算力與算法的結(jié)合，在高分辨、高色數(shù)無(wú)損成像、AI算法和HDR動(dòng)態(tài)范圍等方面，將手機(jī)計(jì)算影像的表現(xiàn)推上了一個(gè)新的臺(tái)階。“4K + 20bit RAW + AI + Ultra HDR”的影像能力第一次被帶到了移動(dòng)設(shè)備上。

今天發(fā)布的這個(gè)馬里亞納 X將作為影像專(zhuān)用NPU，與手機(jī)SoC一起構(gòu)成手機(jī)核心運(yùn)算的“左右大腦”，OPPO將這種設(shè)計(jì)稱(chēng)之為“一機(jī)雙芯”。OPPO如何實(shí)現(xiàn)這枚影像專(zhuān)用NPU與SoC的高效協(xié)同，在AI性能方面取得突破性提升？他們又是如何將這樣一款自研芯片從圖紙上做到手機(jī)里？通過(guò)深挖馬里亞納 X的核心技術(shù)及研發(fā)歷程，我們?cè)噲D瞥見(jiàn)OPPO芯片版圖一隅。

影像NPU到底是什么“一機(jī)雙芯”時(shí)代已經(jīng)到來(lái)

提及手機(jī)自研芯片，蘋(píng)果的A系列芯片一直在性能側(cè)引領(lǐng)著行業(yè)，隨著M1系列移動(dòng)芯片的落地，整個(gè)科技行業(yè)都愈發(fā)強(qiáng)烈地感受到了自研芯片能夠給產(chǎn)品帶來(lái)的強(qiáng)大優(yōu)勢(shì)。目前高通、聯(lián)發(fā)科等主流芯片廠(chǎng)商的通用移動(dòng)SoC性能隨著工藝、架構(gòu)、算法的提升，都有顯著提升，但即便如此，智能手機(jī)廠(chǎng)商們依然在近幾年積極布局自研芯片。事實(shí)上，通用芯片為了保證更好的適用性，勢(shì)必會(huì)做出一定的平衡取舍，每家廠(chǎng)商的產(chǎn)品其實(shí)都會(huì)根據(jù)產(chǎn)品特性，對(duì)于某方面性能有著更專(zhuān)用的需求，此時(shí)通用芯片就有些力不從心。想要做出“人無(wú)我有”的獨(dú)特產(chǎn)品優(yōu)勢(shì)，光靠吃通用芯片“大鍋飯”是不夠的。一直以來(lái)，OPPO的智能手機(jī)產(chǎn)品都非常注重影像能力，計(jì)算攝影時(shí)代，手機(jī)影像能力的提升需要強(qiáng)大AI算力的支持，通用芯片已經(jīng)無(wú)法滿(mǎn)足計(jì)算影像對(duì)芯片提出的AI算力和能效要求。OPPO要實(shí)現(xiàn)自己的影像目標(biāo)，就必須需要通過(guò)自研專(zhuān)用NPU的形式，最大化地解決算力和能效的問(wèn)題，這也是OPPO要做馬里亞納 X的根本原因。為此，OPPO做出了全球首個(gè)專(zhuān)門(mén)為手機(jī)影像打造的專(zhuān)用NPU。

AI計(jì)算涉及大量的神經(jīng)網(wǎng)絡(luò)模型，而NPU（神經(jīng)網(wǎng)絡(luò)處理器）也就應(yīng)運(yùn)而生，相比傳統(tǒng)CPU和GPU，專(zhuān)門(mén)針對(duì)神經(jīng)網(wǎng)絡(luò)計(jì)算進(jìn)行特殊優(yōu)化設(shè)計(jì)的NPU，在處理AI任務(wù)時(shí)，性能和能效比都會(huì)高很多。需要特別注意的是，雖然現(xiàn)在主流移動(dòng)SoC中都有設(shè)計(jì)ISP模塊，但I(xiàn)SP的主要作用是對(duì)于傳感器采集到的圖像信息進(jìn)行處理，而并不具備馬里亞納 X這樣的強(qiáng)勁AI性能，這也是影像專(zhuān)用NPU區(qū)別于ISP的重要一點(diǎn)。在OPPO看來(lái)，通過(guò)影像專(zhuān)用NPU這種“專(zhuān)芯專(zhuān)用”的方式，才能解決目前ISP和通用芯片算力不足的難題，這將是未來(lái)手機(jī)計(jì)算影像發(fā)展的主流方向。得益于馬里亞納 X芯片的加入，OPPO首次完成了影像鏈路的垂直整合，馬里亞納 X將通用平臺(tái)、圖像傳感器和影像算法三者整合貫通，實(shí)現(xiàn)軟硬件生態(tài)的打通。

AI能效比暴漲40倍影像四大核心領(lǐng)域關(guān)鍵突破

作為一個(gè)影像專(zhuān)用NPU，馬里亞納 X主要在AI計(jì)算能效、Ultra HDR、實(shí)時(shí)RAW計(jì)算、RGBW PRO四個(gè)關(guān)鍵技術(shù)領(lǐng)域?qū)崿F(xiàn)了突破，其中AI能效比表現(xiàn)尤其突出。

蘋(píng)果一直被認(rèn)為是手機(jī)AI算力領(lǐng)域的天花板，而這次馬里亞納 X，其18TOPS的AI算力已經(jīng)可以比肩蘋(píng)果A15，而在峰值算力強(qiáng)勁的同時(shí)，實(shí)現(xiàn)較好的能效比才是關(guān)鍵，這一點(diǎn)在手機(jī)這類(lèi)移動(dòng)設(shè)備上顯得尤為重要。馬里亞納 X能夠?qū)崿F(xiàn)11.6TOPS/W的能效比。值得一提的是，該結(jié)果是基于真實(shí)落地商用的復(fù)雜AI算法和隨機(jī)生成圖片得來(lái)，實(shí)際上，如果基于現(xiàn)實(shí)世界的人像、風(fēng)景等真實(shí)圖片進(jìn)行處理，馬里亞納 X的能效比還會(huì)更高。

為了更直觀的感受這一能效比，OPPO也將搭載馬里亞納 X的機(jī)型與搭載驍龍888的Find X3 Pro進(jìn)行了對(duì)比，能夠發(fā)現(xiàn)，馬里亞納 X運(yùn)行OPPO自研AI降噪模型的性能可以達(dá)到40FPS，大約是OPPO Find X3的20倍。而在此基礎(chǔ)上，馬里亞納 X的功耗僅有800毫瓦，僅為OPPO Find X3上驍龍888的一半，因此能效比達(dá)到了40倍。

要知道，應(yīng)用在視頻拍攝中，最低性能門(mén)檻也要有30FPS，可以說(shuō)，馬里亞納 X讓算法在視頻端的應(yīng)用從不可能變?yōu)榱丝赡堋?/strong>基于這樣的AI性能及高能效比，馬里亞納 X在手機(jī)影像領(lǐng)域?qū)崿F(xiàn)了諸多突破。比如在成像的動(dòng)態(tài)范圍方面，馬里亞納 X最高能夠支持20bit Ultra HDR成像、覆蓋100萬(wàn):1的最大亮度范圍，這樣的能力已經(jīng)媲美“人眼級(jí)”，也是目前行業(yè)中如驍龍8、天璣9000這類(lèi)主流移動(dòng)SoC HDR能力的4倍。

同時(shí)值得一提的是，在無(wú)損成像方面，OPPO這次將所有復(fù)雜的算法和運(yùn)算都放在RAW域上進(jìn)行處理，并且是實(shí)時(shí)進(jìn)行的。馬里亞納 X最高支持20bit的RAW計(jì)算，將傳統(tǒng)模式下只能在后處理完成的計(jì)算推向了最前端，為整個(gè)影像鏈路輸出無(wú)損計(jì)算后的高質(zhì)量數(shù)據(jù)，從而帶來(lái)后期成像的更高畫(huà)質(zhì)輸出。從本質(zhì)原理上來(lái)看，手機(jī)攝影是一個(gè)采集事物表面反射的光轉(zhuǎn)換成數(shù)字圖片的過(guò)程，在這個(gè)轉(zhuǎn)換過(guò)程中會(huì)有大量的信息損失，比如從原始的RAW信息轉(zhuǎn)換為RGB信息，再轉(zhuǎn)換為YUV信息。馬里亞納 X則可以重塑轉(zhuǎn)換鏈路，將處理節(jié)點(diǎn)前置在信息量100%的RAW域直接做實(shí)時(shí)計(jì)算。

RAW有更原始的信息，線(xiàn)性度、色彩更好。當(dāng)然，在RAW上處理，對(duì)算法復(fù)雜度、實(shí)際相應(yīng)的硬件投入各方面都會(huì)要求更高，但這恰恰是馬里亞納 X的強(qiáng)項(xiàng)。值得一提的是，OPPO這次將馬里亞納 X自研芯片與此前的定制化RGBW圖像傳感器進(jìn)行了深度耦合，通過(guò)與馬里亞納 X進(jìn)行協(xié)同，RGBW傳感器的能力也被最大化地釋放了出來(lái)，OPPO將其稱(chēng)之為RGBW Pro Mode。

具體來(lái)看，馬里亞納 X針對(duì)RGBW傳感器收集圖像信息的特點(diǎn)，針對(duì)性地優(yōu)化了RAW信息的處理管線(xiàn)，在HDR AI降噪這類(lèi)典型應(yīng)用場(chǎng)景中，根據(jù)OPPO實(shí)際測(cè)試，馬里亞納 X通過(guò)雙鏈路的設(shè)計(jì)和2x RAW計(jì)算，能夠?qū)崿F(xiàn)8.6dB信噪比和1.7倍解析力提升。OPPO認(rèn)為，無(wú)損計(jì)算將是計(jì)算影像的必然趨勢(shì)，因此他們也會(huì)在該技術(shù)領(lǐng)域繼續(xù)深耕。在強(qiáng)勁AI性能和對(duì)影像體驗(yàn)的直觀改善背后，馬里亞納 X芯片在架構(gòu)和工藝制程層面也進(jìn)行了大膽突破。馬里亞納 X采用了AI時(shí)代的DSA架構(gòu)理念，通過(guò)AI芯片化的專(zhuān)芯專(zhuān)用，彌合了傳統(tǒng)硬件和AI算力鴻溝。在芯片工藝方面，馬里亞納 X成為了全球首個(gè)采用臺(tái)積電6nm的移動(dòng)端獨(dú)立影像專(zhuān)用NPU。

更先進(jìn)的制程工藝，是高能效比的基礎(chǔ)，同時(shí)6nm的產(chǎn)能也相對(duì)穩(wěn)定，能夠一定程度上避免了缺芯情況的發(fā)生。總體來(lái)看，得益于馬里亞納 X在AI、HDR處理、無(wú)損計(jì)算、圖像傳感器深度耦合四大核心技術(shù)領(lǐng)域的突破，OPPO將智能手機(jī)計(jì)算影像推向了“4K+20bit RAW+AI+Ultra HDR”的新極限。

歷時(shí)三年、千人團(tuán)隊(duì)影像專(zhuān)用NPU是一次“閱兵”

從這些核心技術(shù)和優(yōu)勢(shì)中我們能看到，馬里亞納 X這個(gè)專(zhuān)為影像設(shè)計(jì)的NPU芯片，能夠從“源頭”強(qiáng)化手機(jī)拍攝的整個(gè)鏈路，從而實(shí)現(xiàn)拍攝質(zhì)量和體驗(yàn)的提升。今天，我們能夠看到馬里亞納 X出色表現(xiàn)，這背后是OPPO歷時(shí)三年，投入上千人團(tuán)隊(duì)的艱辛研發(fā)歷程所結(jié)出的果實(shí)。早在2019年，OPPO就開(kāi)始在自研芯片領(lǐng)域加大布局力度，此前OPPO的“馬里亞納計(jì)劃”也多次引起業(yè)內(nèi)的廣泛熱議。近兩年，手機(jī)“百瓦快充”大戰(zhàn)激戰(zhàn)正酣，而OPPO是最早發(fā)布120W有線(xiàn)充電的廠(chǎng)商，當(dāng)年的“充電5分鐘，通話(huà)2小時(shí)”也成為了膾炙人口的OPPO宣傳語(yǔ)。而在這樣的快充技術(shù)背后，實(shí)際上OPPO已經(jīng)在多年前就實(shí)現(xiàn)了快充全鏈路芯片自主定義、自主研發(fā)設(shè)計(jì)。可以看到，自研芯片對(duì)于產(chǎn)品競(jìng)爭(zhēng)力的顯著提升是不言而喻的，因此OPPO也一直在自研芯片的路上堅(jiān)持走下去。

此次馬里亞納 X的誕生，并不是一蹴而就，更不是曇花一現(xiàn)，對(duì)于OPPO來(lái)說(shuō)，這只是自研芯片之路上的一次“閱兵”。目前，除了高通、聯(lián)發(fā)科、展銳等三方移動(dòng)SoC廠(chǎng)商，有能力為自家手機(jī)產(chǎn)品做SoC的科技公司只有蘋(píng)果、三星和華為。毫無(wú)疑問(wèn)，自研芯片就是技術(shù)研發(fā)實(shí)力的直觀體現(xiàn)，也是后續(xù)各家廠(chǎng)商角逐的重點(diǎn)賽道。OPPO馬里亞納 X的落地，證明了OPPO具有芯片設(shè)計(jì)、完成芯片生產(chǎn)、將其落地在終端產(chǎn)品中并真正實(shí)現(xiàn)應(yīng)用體驗(yàn)直觀提升的全鏈路能力。OPPO的自研芯片版圖，基本框架已經(jīng)搭好，而接下來(lái)OPPO要做的，就是補(bǔ)齊更多技術(shù)模塊，向著更高的目標(biāo)進(jìn)發(fā)。

結(jié)語(yǔ)：瞄準(zhǔn)SoC，OPPO自研芯片之路趨穩(wěn)

這次OPPO帶來(lái)的馬里亞納 X自研影像專(zhuān)用NPU芯片，以出眾的AI能力為基礎(chǔ)，切入手機(jī)影像領(lǐng)域，將手機(jī)影像體驗(yàn)帶到了“4K + 20bit RAW + AI + Ultra HDR”的水平。當(dāng)下，自研芯片對(duì)于手機(jī)廠(chǎng)商的重要性愈發(fā)凸顯，尤其是專(zhuān)用自研芯片，在特定領(lǐng)域性能、功耗方面的優(yōu)勢(shì)是傳統(tǒng)通用芯片無(wú)法相比的。而OPPO能夠?qū)ⅠR里亞納 X落地，也是多年來(lái)積累的芯片技術(shù)的一次集中展示。未來(lái)，自研芯片仍將是科技公司的核心戰(zhàn)場(chǎng)，OPPO的馬里亞納 X明年在Find X系列中表現(xiàn)如何，OPPO的首款SoC芯片又將何時(shí)到來(lái)，我們拭目以待。