基于RK3399的AI攝像頭軟硬件設計

隨著智能電視的普及和家庭視頻會議、家庭娛樂健身的需求，本文開發(fā)了一款基基于RK3399 方案的AI攝像頭，通過USB 連接線直連智能電視，即可實現AI攝像頭和智能電視連接，滿足人們家庭視頻會議、家庭娛樂健身的需求，AI 攝像頭應用系統(tǒng)見圖1。

圖1 AI攝像頭應用系統(tǒng)框圖

1 整機系統(tǒng)方案

整體系統(tǒng)方案將索尼IMX335 采集圖像信息輸入到海思RK3399 中，RK3399 對圖像進行編解碼后經過USB 接口輸入到電視，電視顯示圖像，并通過IO 口控制電機，實現AI攝像頭的升降。為了防止升降電機體驗效果不佳，預留反饋電路，整機系統(tǒng)方案見圖2。

圖2 整機系統(tǒng)方案

2 硬件系統(tǒng)設計

硬件主控采用RK3399 方案，傳感器使用索尼IMX335，硬件系統(tǒng)框圖見圖3。

圖3 硬件系統(tǒng)框圖

RK3399 芯片是一款低功耗、高性能的處理器， 集成雙核Cortex-A72+ 四核Cortex-A53 CPU， 集成ARM NEON 技術，可增強較多的多媒體應用體驗。另外集成高性能Mali-T860 MP4 GPU， 嵌入式3D GPU 使RK3399 完全兼容OpenGL ES1.1/2.0/3.0/3.1、OpenCL 和DirectX11.1，并且?guī)в蠱MU 的專用二維引擎將最大限度地提高顯示性能并提供非常平穩(wěn)的操作。RK1608 用于對MIPI CSI 信號進行DSP 加速等預處理。方案支持各主流的多媒體解碼、USB3.0、SD3.0、TYPE C 信源輸入；視頻解碼支持H.264/H.265/VP9 等，支持H.264/MVC/VP8 1080P@30HZ 視頻編碼，同時可支持多屏異顯。

索尼傳感器芯片IMX335 是一款CMOS 固態(tài)的有源像素型圖像傳感器。芯片內部有模擬電壓、數字電壓和IO電壓3種類型，其中模擬電壓2.9 V，數字電壓1.2 V，IO電壓1.8 V。它具有無污跡，低暗電流和高靈敏度等效果。IMX335 內置始終反饋電路，串行驅動電路，寬動態(tài)電路，12 位A/D 轉換器。

3 軟件系統(tǒng)設計

軟件采用 DB 架構方案。業(yè)務邏輯功能代碼通過媒體處理抽象層調用平臺芯片相關代碼, 根據編譯選項編譯對應平臺芯片的實現。業(yè)務邏輯代碼主要分為 Media，UVC, UAC，Upgrade 等模塊; 使用生產者消費者模式來處理圖像幀數據, 生產者與消費者之間通過幀隊列進行數據交互，AI 攝像頭軟件框圖見圖4。

圖4 AI攝像頭軟件框圖

攝像頭數據處理主要包括Media模塊和UVC 模塊。Media 模塊包含YUV Service，Encode Service 和Media Manager。YUV Service: 負責從 VPSS 獲取 YUV 幀數據并放到YUV 幀隊列。Encode Service： 負責從 VENC 獲取 H264 幀數據放到H264 幀隊列。Media Manager: 負責管理 YUV Service 及 Encode Service 的創(chuàng)建，初始化及銷毀。并給外部其他模塊提供分辨率切換，圖像參數設置等接口。UVC 模塊包括UVC Event Service，UVC Data Service和UVC Manager。UVC Event Service: 負責從 V4L2 中獲取解析 TV 端的 UVC 請求事件。比如打開關閉預覽，設置分辨率等。UVC Data Service：負責從 H264 幀隊列中獲取幀數據，通過V4L2 接口發(fā)送給TV。UVC Manager: 負責管理 UVC Event Service及 UVC Data Service 的創(chuàng)建，初始化及銷毀。

4 結束語

本文硬件采用RK3399 方案，軟件采用 DB 架構，通過傳感器采集圖像，用RK3399 編解碼，通過USB傳輸到智能電視顯示。實驗結果表明，本方案設計的AI 攝像頭應用于家庭視頻會議、家庭娛樂健身，得到消費者的一致好評。

（本文來源于《電子產品世界》雜志2023年7月期）