70美元為第五代樹莓派添加AI套件

第五代樹莓派（RPi 5）有個特點(diǎn)，那就是具備PCI Express（PCIe）2.0接口，不過樹莓派基金會在設(shè)計(jì)RPi 5時希望維持電路板的嬌小特點(diǎn)，沒有使用一般計(jì)算機(jī)上已普遍使用的標(biāo)準(zhǔn)PCIe插槽，而是改用一個專屬連接器，透過該連接器再行轉(zhuǎn)接。

圖一 : 樹莓派AI套件的硬件為一個PCIe對M.2界面的轉(zhuǎn)接器及一張M.2接口的模塊子卡（圖片來源：樹莓派官網(wǎng)）

70美元的AI套件
一般認(rèn)為該P(yáng)CIe接口會用來連接固態(tài)硬盤，畢竟RPi 5效能大幅提升，持續(xù)使用microSD記憶卡當(dāng)硬盤實(shí)在委屈，不過既然是PCIe接口就有各種連接可能，而近期（英國時間6月4日）基金會就發(fā)表了一個70美元的人工智能（AI）套件，該套件附有一個轉(zhuǎn)接器，將RPi 5特有PCIe連接器轉(zhuǎn)成M.2界面，這稱之為Raspberry Pi M.2 HAT+（注1），然后再與M.2接口的AI推論加速模塊子卡連接，讓RPi 5系統(tǒng)獲得AI推論的硬件加速能力。

注1：Raspberry Pi M.2 HAT+也有單獨(dú)出售，筆者查詢了美國DigiKey約12美元，主要設(shè)想還是用來連接M.2接口固態(tài)硬盤。
AI套件的重點(diǎn)是在模塊子卡，該子卡上有一顆以色列新創(chuàng)公司Hailo的AI推論硬件加速芯片Hailo-8L，實(shí)際上是該公司過去Hailo-8芯片的降規(guī)版，Hailo-8的推論效率約為26TOPS（8位整數(shù)精度而言），而Hailo-8L則降至13TOPS，芯片功耗也從2.5瓦降到1.5瓦。


 
圖二 : 模塊子卡上主要是一顆以色列Hailo公司的Hailo-8L推論加速芯片（圖片來源：樹莓派官網(wǎng)）

為何會有降規(guī)版芯片？對此筆者只能推測，有可能是客戶反應(yīng)有些AI推論應(yīng)用不需要到26TOPS那么高的效能，如此何不推出一個更平價、更省電的版本給客戶？或者可能芯片生產(chǎn)上有若干良率問題，若僅少部份電路壞損就讓整顆芯片報(bào)廢也有些可惜，在主功能無大礙下是可以改要求低規(guī)、低價版。
除了Hailo-8、Hailo-8L外，Hailo公司也有Hailo-8R芯片、針對AI視覺應(yīng)用特別強(qiáng)化的Hailo-15芯片，甚至針對生成式AI應(yīng)用而推出Hailo-10H芯片。
雖然是用以色列芯片，但這是基金會官方自己推行的AI硬件套件，并且標(biāo)榜無論是不是使用基金會官方的攝影機(jī)AI套件都可以支持運(yùn)作，一顆Hailo-8L芯片在一個攝影機(jī)下同時支持多個視覺影像模型的推論，或者是兩個攝影機(jī)下同時支持一個模型或多個模型的推論。


 
圖三 : 先搭裝上轉(zhuǎn)接器，而后在轉(zhuǎn)接器上安裝模塊子卡（圖片來源：樹莓派官網(wǎng)）

除了硬件芯片外套件里另一個重點(diǎn)是軟件，Hailo公司隨Hailo-8L芯片提供豐富的預(yù)訓(xùn)練模型可供運(yùn)用，一堆預(yù)訓(xùn)練模型的集合也稱為模型動物園（Model Zoo）；同時基金會官方也針對攝影機(jī)應(yīng)用提供rpicam-apps suite的軟件套餐，里頭有實(shí)時攝影機(jī)推論的后處理范本（post-processing template）可用；或者也有Hailo公司的TAPPAS的后處理函式庫可用。有了這些只要再行撰寫幾百行C++程序代碼就可以實(shí)現(xiàn)一個AI計(jì)算機(jī)視覺應(yīng)用，而這些軟件整合很快也會套用到樹莓派官方的Picamera2上。
不僅是rpicam-apps或Picamera2，AI套件也能用在其他框架上，如GStreamer框架，或者供Python、C++撰寫成的應(yīng)用程序以API呼叫方式取用。另外上述這些軟件的安裝也很方便，使用Debian Linux常見的應(yīng)用程序套件（package）安裝方式即可，即是用apt下達(dá)命令行安裝，安裝完重新啟動RPi 5便可使用。


 
圖四 : Hailo公司針對其芯片提供完整的軟件支持，如Hailo模型動物園、TAPPAS范例應(yīng)用程序，另外也包含編譯程序、運(yùn)行時間的軟件等（圖片來源：Hailo官網(wǎng)）

小結(jié)
最后，不知道基金會是只推行一款硬件AI套件，還是未來會廣泛推出不同芯片商的套件，畢竟現(xiàn)在Edge AI的推論芯片相當(dāng)多廠商投入。但也可能怕創(chuàng)客眼花撩亂、選擇無力，短期內(nèi)只讓創(chuàng)客用戶熟悉一款軟硬件，而集中心力推Hailo方案。
無論基金會態(tài)度如何，既然在官方已如此示范，估計(jì)會有許多協(xié)力商推出類似方案，一樣透過M.2接口介接加速芯片，且讓我們拭目以待。