Jacinto 7 攝像頭捕捉和成像子系統(tǒng)

1 引言

攝像頭是工業(yè)和汽車市場(chǎng)中基于視覺系統(tǒng)的關(guān)鍵元件。在機(jī)器視覺、機(jī)器人技術(shù)、視頻監(jiān)控、高級(jí)駕駛輔助系統(tǒng)(ADAS) 等工業(yè)和汽車應(yīng)用中，攝像頭的數(shù)量、幀速率和分辨率一直都在顯著增加。對(duì)于此類應(yīng)用中使用的應(yīng)用處理器來說，捕捉和處理包括原始輸入在內(nèi)的這些攝像頭輸入至關(guān)重要?；?Jacinto 7 的高性能異構(gòu)應(yīng)用處理器，包括 TDA4VM 和 DRA829 [1] 和 [2]，能夠提供捕捉和處理多個(gè)攝像頭輸入的功能，以便優(yōu)化性能、功耗和內(nèi)存吞吐量。

1.1 Jacinto 7 成像子系統(tǒng)概述

Jacinto 7 攝像頭捕捉系統(tǒng)是德州儀器 (TI) 的第 7 代成像子系統(tǒng) (ISP)，它是在 20 多年來將多個(gè) SoC 系列部署到上百萬產(chǎn)品的創(chuàng)新實(shí)踐摸索中構(gòu)建的。一些差異化特性包括：

? 與所有圖像傳感器格式兼容

? 低功耗、更高的性能、全圖像流水線以及經(jīng)過優(yōu)化的內(nèi)存吞吐量

– 鏡頭陰影校正、噪聲濾波器、WDR、去馬賽克、色彩空間轉(zhuǎn)換、圖像金字塔

? 兩個(gè)用于高分辨率多攝像頭捕捉的高速接口

– 每個(gè)接口多達(dá) 16 個(gè)虛擬通道。多達(dá) 32 個(gè)攝像頭捕捉。

? 同時(shí)進(jìn)行人類 + 機(jī)器視覺輸出

– 人類視覺 ISP 特性：

? 140dB WDR

? 局部自適應(yīng)色調(diào)映射

? 雙噪聲濾波器

? 8b 輸出

– 機(jī)器視覺 ISP 特性：

? 高級(jí) CFA 插值支持所有 2x2 CFA 格式

2 攝像頭捕捉子系統(tǒng)

TDA4VM/DRA829 攝像頭捕捉子系統(tǒng)包括 2 個(gè) MIPI CSI-2 接口和視頻處理前端 (VPFE)，如圖 2-1 所示。

圖 2-1. TDA4VM/DRA829 攝像頭捕捉子系統(tǒng)

2.1 MIPI-CSI2

TDA4VM/DRA829 MIPI-CSI2 接口支持以下特性：

? 2 個(gè) 4 通道 MIPI D-PHY（2.5Gbps/通道）

? 支持 8 個(gè)帶解串器集線器的傳感器

? 2 個(gè)攝像頭適應(yīng)層 (CAL)

– MIPI CSI2 的協(xié)議棧

– 支持所有 MIPI 支持的格式

? RAW/DPCM/YUV

? RAW 8、10、12、14、16 位

– 經(jīng)過壓縮擴(kuò)展或線性

? 從 SDRAM 并行讀取像素流

– I/F 端口流量的實(shí)時(shí)優(yōu)先級(jí)

2.2 視頻處理前端

視頻處理前端 (VPFE) 是一個(gè)輸入接口模塊，用于從圖像傳感器等外部成像外設(shè)接收原始圖像/視頻數(shù)據(jù)或 YUV 數(shù)
字視頻數(shù)據(jù)。VPFE 支持以下特性：

? 支持傳統(tǒng)的拜耳陣列和 Foveon 傳感器格式。

– 為外部時(shí)序發(fā)生器生成 HD/VD 時(shí)序信號(hào)和字段 ID，也可以同步到外部時(shí)序發(fā)生器

– 支持逐行掃描（非隔行掃描）和隔行掃描傳感器

– 支持高達(dá) 110MHz 的傳感器時(shí)鐘。

– 支持 REC656/CCIR-656 標(biāo)準(zhǔn)（YCbCr 422 格式，8 位或 16 位）。

– 支持帶有離散 HSYNC 和 VSYNC 信號(hào)的 8 位或 16 位 YCbCr 422 格式。

– 支持多達(dá) 16 位的輸入。

3 視覺預(yù)處理加速器

視覺預(yù)處理加速器 (VPAC) 子系統(tǒng)是一組常見的視覺基元功能，用于執(zhí)行像素?cái)?shù)據(jù)處理任務(wù)，例如：色彩處理和增強(qiáng)、噪聲濾波、寬動(dòng)態(tài)范圍 (WDR) 處理、鏡頭失真校正、用于去扭曲的像素重映射、動(dòng)態(tài)縮放生成和動(dòng)態(tài)金字塔生成。VPAC 從主 SoC 處理器（ARM、DSP 等）卸載這些常見任務(wù)，以便這些 CPU 可用于差異化的高級(jí)算法。VPAC 用于通過在時(shí)分復(fù)用模式下工作來支持多個(gè)攝像頭。VPAC 可用作視覺處理流水線的前端，供 SoC 內(nèi)的其他視覺加速器或處理器內(nèi)核進(jìn)行進(jìn)一步的處理。

圖 3-1 展示了 VPAC 簡(jiǎn)要方框圖。

圖 3-1. VPAC 方框圖

VPAC 由以下主要部分組成：

? 視頻成像子系統(tǒng) (VISS)

? 鏡頭失真校正 (LDC)

? 雙線性噪聲濾波器 (BNF)

? 多標(biāo)量 (MSC)

3.1 視頻成像子系統(tǒng) (VISS)

VISS 對(duì)原始數(shù)據(jù)進(jìn)行圖像處理，然后輸出 RGB 和/或 YUV 圖像。視頻成像子系統(tǒng) (VISS) 包括以下組成部分：

? 原始前端 (Raw FE)，用于實(shí)現(xiàn)：

– 寬動(dòng)態(tài)范圍 (WDR) 合并

– 缺陷像素校正 (DPC)

– 鏡頭陰影校正 (LSC)

– 分解

– 3A 統(tǒng)計(jì)

– 白平衡

? 噪聲濾波器 (NSF)

– 拜耳域空間噪聲濾波器

? 用于自適應(yīng)局部色調(diào)映射的全局和局部亮度對(duì)比度增強(qiáng) (GLBCE)

? Flex 顏色處理 (FCP)，它支持

– 去馬賽克、色彩校正、色彩空間轉(zhuǎn)換和伽馬轉(zhuǎn)換

VISS 流水線能夠以每周期 1 個(gè)像素的速度來處理數(shù)據(jù)。在 TDA4VM 上，VISS 系統(tǒng)的時(shí)鐘頻率可以達(dá)到720Mhz，從而實(shí)現(xiàn) 72000 萬像素/秒的處理能力。

3.2 鏡頭失真校正 (LDC)

LDC 模塊通過應(yīng)用透視變換/單應(yīng)矩陣，將像素從失真的輸入空間重新映射到未失真的輸出空間。LDC 支持以下特性：

? 鏡頭失真校正、立體整流、通用像素重映射

– 可提高圖像質(zhì)量的多區(qū)域模式

– 高級(jí)校正模式 - 基于查找表的反映射方法

– 使用雙三次插值的亞像素精度

– DDR 黑白優(yōu)化的架構(gòu)

? 支持的格式：

– YUV 420 (NV12/NV21)

– 高達(dá) 12 位/元件

? 插值類型：

– 雙三次（2 個(gè)周期/像素）

– 雙線性（1 個(gè)周期/像素）

3.3 多標(biāo)量 (MSC)

MSC 可使用多種縮放比例，從給定輸入生成多達(dá) 10 個(gè)經(jīng)過縮放的輸出。MSC 支持以下特性：

? 多縮放能力：來自 1 個(gè)或 2 個(gè)輸入平面的 10 個(gè)同時(shí)縮放的輸出

? 每個(gè)縮放引擎都可以配置為執(zhí)行金字塔或倍頻程間的縮放生成

? 支持 1 至 0.25 倍之間的縮放比例

? 每個(gè)倍頻程之間有 7 個(gè)縮放比例 → 1.09 倍

? 單個(gè)周期/像素性能

3.4 雙邊噪聲濾波 (BNF)

BNF 采用了雙邊濾波，以去除噪聲，它支持以下功能：

? 雙邊和通用濾波

? 濾波器尺寸高達(dá) 5x5

? 真正的 2D 雙邊濾波

? 可編程靜態(tài)權(quán)重的濾波器尺寸高達(dá) 5x5

? 1 個(gè)周期/像素性能

? 支持的格式：

– YUV 42，12 位

– 可以使用 LDC/定標(biāo)器支持 8 位格式

– 基于線路的輸入和輸出

3.5 攝像頭傳感器的軟件可用性

有關(guān)可用的攝像頭傳感器驅(qū)動(dòng)程序，請(qǐng)參閱 Jacinto 7 Processor SDK 成像發(fā)行說明

4 用例示例

下面顯示了一些常見的攝像頭用例示例，假設(shè)原始攝像頭輸入為每像素 12 位。

4.1 使用 MIPI 聚合器的 4 攝像頭用例

圖 4-1 展示了一個(gè)簡(jiǎn)要方框圖，其中 4 個(gè) 200 萬像素 @30fps 攝像頭輸入通過使用 MIPI CSI-2 聚合器和數(shù)據(jù)流直接連接至 TDA4VM。

圖 4-1. 使用 MIPI CSI-2 聚合器和數(shù)據(jù)流的 4 攝像頭用例

表 4-1 總結(jié)了此用例的總利用率。

表 4-1. 此用例的總利用率

4.2 通用 8 攝像頭用例

圖 4-2 展示了通過 FPDLink 串行器和解串器遠(yuǎn)程連接的 8 個(gè) 200 萬像素 @30fps 攝像頭輸入的簡(jiǎn)要方框圖及數(shù)據(jù)流。

圖 4-2. 8 個(gè) 200 萬像素?cái)z像頭方框圖及數(shù)據(jù)流

有關(guān)基于 FDPLink 的多攝像頭設(shè)置，請(qǐng)參閱 [5]。

表 4-2 總結(jié)了此用例的總利用率。

表 4-2. 此用例的總利用率

4.3 ADAS 用例

圖 4-3 展示了常見 ADAS 用例的簡(jiǎn)要方框圖，其中

? 1 個(gè) 800 萬像素 @30fps 攝像頭用于前置攝像頭

? 1 個(gè) 100 萬像素?cái)z像頭用于 DMS，以及

? 4 個(gè) 200 萬像素 @30fps 攝像頭用于 3D SRV。

這些攝像頭通過 FPDLink 串行器和解串器遠(yuǎn)程連接。

圖 4-3. ADAS 用例和數(shù)據(jù)流示例

有關(guān)基于 FDPLink 的多攝像頭設(shè)置，請(qǐng)參閱 [5]。

表 4-3 顯示了此用例的總利用率。

表 4-3. 此用例的總利用率

5 參考文獻(xiàn)

1. TDA4VM 產(chǎn)品頁(yè)面

2. DRA829V 產(chǎn)品頁(yè)面

3. 德州儀器 (TI)：DRA829/TDA4VM/AM752x

技術(shù)參考手冊(cè)

4. 適用于 TDA4VM/DRA829 Jacinto 處理器的軟件開發(fā)套件

5. TDA4VM/DRA829 評(píng)估模塊