研華基于RK3588的SMARC核心模塊ROM-6881助力內(nèi)窺鏡應(yīng)用AI升級(jí)

作者：時(shí)間：2024-01-03 來源：電子產(chǎn)品世界

加入技術(shù)交流群
- 掃碼加入
  和技術(shù)大咖面對面交流
  海量資料庫查詢

導(dǎo)讀

本文引用地址：http://www.butianyuan.cn/article/202401/454443.htm

內(nèi)窺鏡作為醫(yī)生的“第二只眼”，被廣泛應(yīng)用于不同科室和不同疾病治療，在醫(yī)療行業(yè)應(yīng)用中起著舉足輕重的作用。醫(yī)用內(nèi)窺鏡在診療過程中提供照明、攝像和通道等功能，其臨床應(yīng)用可分為診斷和治療兩方面。在設(shè)備智能化的今天，越來越多的醫(yī)療器械廠商為醫(yī)療內(nèi)窺鏡設(shè)備導(dǎo)入了AI輔助診斷，幫助醫(yī)生大幅提高了診斷效率和準(zhǔn)確率。

醫(yī)療內(nèi)窺鏡應(yīng)用

01內(nèi)窺鏡應(yīng)用需求

隨著AI為內(nèi)窺鏡領(lǐng)域不斷注入新活力，國內(nèi)某大型醫(yī)療設(shè)備廠商致力研發(fā)一款A(yù)I協(xié)助診斷的醫(yī)療內(nèi)窺鏡。為滿足醫(yī)療影像中對高清顯示和低延遲顯示的需求，其設(shè)備主控板需要支持安卓環(huán)境下高清1200萬像素的2路MIPI-CSI同時(shí)輸入，且需具備獨(dú)立的ISP處理圖像，支持高清顯示和多屏顯示功能。此外，由于客戶自身硬件實(shí)力的欠缺，希望供應(yīng)商可提供個(gè)性化的底板設(shè)計(jì)服務(wù)協(xié)助開發(fā)。

在內(nèi)窺鏡應(yīng)用上部署AI功能，對該醫(yī)療設(shè)備廠商也提出了技術(shù)上的挑戰(zhàn)。該客戶除了需要主控板具備AI加速能力外，在調(diào)用AI NPU方面，因客戶對RK平臺(tái)的NPU不熟悉，還需要供應(yīng)商協(xié)助支持提供RK平臺(tái)的NPU的開發(fā)工具相關(guān)資料和技術(shù)服務(wù)。

面臨的挑戰(zhàn)
實(shí)時(shí)高清攝像頭處理能力

安卓環(huán)境下雙路MIPI-CSI攝像頭輸入
AI算法及算力支持
多屏高清顯示

Arm平臺(tái)NPU的使用
醫(yī)療長生命周期供貨

02研華解決方案

針對該廠商需求，研華提供ROM-6881 SMARC 2.1核心模塊方案。該方案使用SGeT組織所推出的SMARC 2.1核心板標(biāo)準(zhǔn)，核心板整板尺寸選用的是Full Size，長寬尺寸為82*80mm，通過金手指連接器與底板相連，方便客戶完成安裝。此外，SMARC 核心板PIN腳定義相同，方便客戶后續(xù)做升級(jí)替換。

ROM-6881基于全新RK3588高性能Arm平臺(tái)，支持4*Arm Cortex-A76 & 4*Arm Cortex-A55主頻1.8GHz，內(nèi)置NPU （神經(jīng)網(wǎng)絡(luò)處理器）提供6TOPS的AI算力，在圖像編解碼和圖像處理方面表現(xiàn)出色，滿足內(nèi)窺鏡輕量級(jí)AI應(yīng)用算力需求。并且ROM-6881支持四屏獨(dú)立顯示，最高支持8K 分辨率顯示。在影像方面，支持4路MIPI-CSI，最高支持1200萬像素高清攝像頭，提供獨(dú)立的ISP，更高效的處理圖像內(nèi)容，降低延遲。

除此之外，ROM-6881采用嚴(yán)苛的工業(yè)設(shè)計(jì)，擁有豐富的I/O擴(kuò)展資源，滿足醫(yī)療應(yīng)用的外設(shè)需求，產(chǎn)品支持-40~85℃寬溫工作環(huán)境，提供10年以上的供貨生命周期，滿足醫(yī)療設(shè)備長期供貨的需求。

研華ROM-6881 醫(yī)療內(nèi)窺鏡應(yīng)用場景

03 研華技術(shù)服務(wù)

項(xiàng)目的順利開發(fā)離不開研華從產(chǎn)品開發(fā)到項(xiàng)目落地一系列的技術(shù)支持，研華Design In服務(wù)在該項(xiàng)目中及時(shí)幫助客戶解決了安卓環(huán)境下無法獨(dú)立開發(fā)出雙MIPI-CSI的難題。雙MIPI-CSI 同時(shí)輸入功能未配置在既有的安卓環(huán)境，在客戶提出此項(xiàng)需求后，研華技術(shù)團(tuán)隊(duì)及時(shí)響應(yīng)，為客戶定制了此項(xiàng)功能需求，幫忙客戶加快了項(xiàng)目應(yīng)用落地。

在AI方面，研華幫助廠商快速熟悉了RK平臺(tái)的NPU開發(fā)工具RKNN，快速部署已訓(xùn)練好的模型，實(shí)現(xiàn)AI應(yīng)用落地。在底板設(shè)計(jì)方面，研華提供了詳細(xì)的底板開發(fā)資料，包括核心板PIN OUT，Layout Checking List，Design Guide等文件，供客戶參考以便快速設(shè)計(jì)。在廠商完成底板設(shè)計(jì)后，研華還提供了底板線路圖review服務(wù)，幫助客戶檢測底板設(shè)計(jì)的錯(cuò)誤，避免客戶出現(xiàn)底板設(shè)計(jì)問題。