R1芯片：Apple Vision Pro中最神秘的角落

沒錯，看到標題各位一定已經(jīng)知道了，本篇文章我們接著來聊一聊Apple Vision Pro。Apple Vision Pro在北美正式發(fā)售至今已經(jīng)過了一個月多了，筆者也是寫了數(shù)篇文章來講解了這款Apple全新的空間計算設備，那為什么今天還來探討Apple Vision Pro呢？因為，筆者突然意識到有一個十分重要的部件，一直沒有涉及，這便是Apple Vision Pro之中全新搭載的芯片，用于空間計算的R1芯片。

單從Apple發(fā)布會的公開信息來看，R1 芯片是為應對實時傳感器處理任務而設計的。它負責處理來自12個攝像頭、5個傳感器和6個麥克風的數(shù)據(jù)，這樣的設計使得R1幾乎消滅了延時，確保新圖像能在極短的時間內(nèi)（12毫秒）傳輸?shù)斤@示屏，這一速度甚至快達眨眼速度的8倍。與此同時，M2芯片負責Vision Pro自身的運轉性能，而R1則專注于確保用戶能夠獲得如同發(fā)生在面前般的實時體驗?？偨Y來看，R1主要承擔的是傳感器數(shù)據(jù)的處理和部分圖像處理的任務。

顯然這些信息很難讓我們了解這顆R1芯片具體是什么，它又在Apple Vision Pro之中具體起到了哪些作用。而近期流出的一些Apple Vision Pro的拆解圖，再結合一下Apple自己發(fā)布的專利信息，我們也許可以一窺一二。從拆解之中，我們可以清晰得發(fā)現(xiàn)，R1芯片相比于M2芯片來說規(guī)模著實是不小，根據(jù)測量，R1的芯片面積為270平方毫米，而旁邊的M2芯片只有120平方毫米。而更進一步來看，可以發(fā)現(xiàn)R1芯片有十分明顯的對稱Chiplet封裝的痕跡，總共5種，共計11顆芯片。

根據(jù)一些分析機構的資料，大致可以看出，R1芯片采用了臺積電的Fan-out扇出型封裝技術。所謂“扇出型封裝技術”，其采取在芯片尺寸以外的區(qū)域做I/O接點的布線設計，提高I/O接點數(shù)量。采用RDL工藝讓芯片可以使用的布線區(qū)域增加，充分利用到芯片的有效面積，達到降低成本的目的。扇出型封裝技術完成芯片錫球連接后，不需要使用封裝載板便可直接焊接在印刷線路板上，這樣可以縮短信號傳輸距離，提高電學性能。

這一封裝技術為R1芯片提供了獨特的結構和功能，使其能夠高效處理從頭顯各處的攝像頭、麥克風等傳感器收集的大量數(shù)據(jù)?？梢娫摲庋b也一定是Apple所宣傳的Vision Pro只有12ms的光子延時的底氣來源之一。進一步看R1的封裝，可以發(fā)現(xiàn)其封裝形式與大多數(shù)手機處理器等有所不同。它僅由扇出金屬化組成，這種設計形成了內(nèi)部連接和R1以外的系統(tǒng)級連接。在拆解分析中，還發(fā)現(xiàn)R1內(nèi)部包含三個功能芯片：一個臺積電制造的處理器位于中央，以及兩個專門的SK海力士存儲芯片。這些芯片通過扇出金屬化被縫合在一起，形成了高密度互連墊的邊緣區(qū)域。值得注意的是，在R1封裝中，除了這三個有源芯片外，還有八個虛擬硅晶片圍繞在它們周圍。這些虛擬硅晶片填滿了封裝足跡，但實際上除了單純的硅之外，并沒有任何電路和功能。

當我們打開Apple自己的iBoot配置文件的時候，我們又能看到更多關于R1的信息，我們可以發(fā)現(xiàn)R1的架構是Arm v8.4，根據(jù)B站up主@Luv Letter的信息，A12的架構是v8.3，而A14的架構是v8.5，那么至此我們就能得到這樣一個簡單明了的結論，R1和A13處理器同源，其中應該有大量A13或者同源M1芯片的技術。而且不難發(fā)現(xiàn)，R1的代號為N301BORAAP，這能看出在Apple的定義中，R1很可能不是一個簡單的信號處理芯片，而是和M2類似的應用處理芯片。而當我們?nèi)シ喴恍゛pple自己的專利文件時，也會發(fā)現(xiàn)在

而當我們?nèi)シ喴恍?/span>Apple自己的專利文件時，也會發(fā)現(xiàn)在一篇名為 《Video Pipeline》的Apple Vision Pro的專利時，其內(nèi)容更是直接表示了R1內(nèi)部集成了GPU，那我們就能給這顆R1芯片下一個初步的定義了，它在Apple Vision Pro中是一個主要負責雙目渲染的高性能應用處理器。

至此，我們還有一個問題需要回答，落實到實處，R1的加入究竟給用戶帶來了什么具體的效果體驗呢？如果您在之前體驗過Meta的Quest系列VR頭顯設備，也許會對其對于用戶手部扣像的體驗記憶深刻，此功能為用戶提供了無需佩戴額外控制器就能與虛擬世界進行交互的能力，其可以直接用使用者自己的雙手在虛擬環(huán)境中進行操作，比如抓取物品、操縱界面元素等。這種自然的交互方式大大增強了虛擬現(xiàn)實的沉浸感，使用戶感覺更加身臨其境。極大的增加了VR的沉浸感。但是Quest給出的手部扣像方案的精度十分感人，在用戶的手距離眼睛過近之時還有嚴重的畸變。而產(chǎn)生這種現(xiàn)象的根本原因就是捕捉外部畫面的攝像頭一定會和用戶的眼睛不在同一個位置，因此攝像頭捕捉的畫面和用戶眼睛能看到的畫面范圍一定不會完全重合，當用戶的手移動到攝像頭盲區(qū)時，就只能通過這種“拙劣”的計算和拉伸畫面來填補畫面中看不到的地方，從而就變成了用戶看到手部周圍有嚴重的畸變，對于沉浸感一定會有不小的影響。

Quest的手部扣像并不精準，且有嚴重畸變

  在Apple Vision Pro中，Apple則是實現(xiàn)了更加精準可用且?guī)缀鯖]有畸變的手部扣像效果，而著背后的計算很大概率就是R1所完成的。那么Apple是如何做到幾乎完美的手部扣像效果的呢？我們還是要再一次回到Apple的專利之中尋找答案。

Apple給出的方案，手部就被精準扣出，且?guī)缀鯚o畸變

首先，既然攝像頭和人眼之間存在誤差，那么首要就是通過計算盡可能得將攝像頭畫面投射到人眼之中，這里面需要知道物理精準的距離，這時就需要ToF鏡頭和LiDAR（激光雷達）融合AI來計算物體的距離，也就是對外界世界敬請建模；其次，我們上文提到過，攝像頭存在和眼睛不重合的區(qū)域，在攝像頭看不見的地方，要怎樣真實還原呢？Apple給出了一個十分聰明的做法，那便是通過一系列的攝像頭相互補充畫面，比如在右眼附近的攝像頭看不到的區(qū)域，就使用左眼的攝像頭來捕捉，把畫面還原，之后利用“注視點機制”將縫合后的畫面羽化掉，從而達到一個自然的扣圖效果。在這個過程中，M2負責所有的計算，而R1就負責最終的畫面矯正和輸出。

最后總結一下，Apple通過M2芯片和R1芯片來共同實現(xiàn)Apple Vision Pro的空間體驗。這兩個芯片的大致分工是M2芯片負責運行visionOS（Apple Vision Pro的專屬操作系統(tǒng)，類似iOS，iPad OS），運行計算機視覺算法，提供圖形運算和顯示，類似于電腦里的CPU+GPU的綜合體；R1芯片專門用于處理來自攝像頭、傳感器和麥克風的輸入信息，在12毫秒內(nèi)將圖像傳輸?shù)斤@示器（劃重點），從而實現(xiàn)幾乎無延遲的實時視圖。