基于殘差注意力的合成孔徑雷達(dá)圖像超分辨率算法

摘 要：隨著機器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)的高速發(fā)展，低分辨率圖像超分辨率已經(jīng)成為計算機視覺研究的熱門課題。由于合成孔徑雷達(dá)圖像（synthetic?aperture?radar,?SAR）方向和距離分辨率不一致，斜距被壓縮，再加上SAR圖像固有相干噪聲的影響，因此SAR圖像的研究集中在小尺度放大上。本文算法主要研究大尺度放大倍數(shù)的SAR?圖像超分辨重建，實驗結(jié)果表明，本文算法在SAR圖像大尺度放大倍數(shù)上效果不錯。

關(guān)鍵詞：SAR圖像；殘差注意力；超分辨率

0 引言

SAR圖像超分辨率在軍事指揮，全球氣候環(huán)境檢測，智慧農(nóng)業(yè)檢測，礦物質(zhì)開采等領(lǐng)域有重要應(yīng)用。SAR 圖像低分辨率重建會帶來很多不確定的問題，比如：算法建模困難，重建效果差，數(shù)據(jù)處理困難等，這些都增加了 SAR 圖像大尺度放大倍數(shù)的研究難道，讓很多科研工作者望而卻步。隨著神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的進(jìn)步，計算性能的提升，SAR 圖像圖像超分辨率的研究工作逐漸想大尺度方向發(fā)展，但是還是以小尺度研究為主。研究 SAR 圖像大尺度少的主要原因是 SAR 圖像本身干擾多，有用信息少，提取特征困難，重建效果差。本文提出一種基于殘差注意力的合成孔徑雷達(dá)圖像超分辨率算法有效的解決了此問題。首先用殘差注意力 U-net 映射出 SAR 低分辨率和 SAR 圖像高分辨率之間的內(nèi)在聯(lián)系，從而得到 SAR 圖像低分辨率到 SAR 圖像超分重建的高清圖像；然后計算數(shù)據(jù)集的 SAR 圖像高分辨率圖像與超分辨率 SAR 圖像的 L1 范數(shù)；最后得到重建結(jié)果。下面以 8 倍大尺度放大倍數(shù)為例，網(wǎng)絡(luò)框圖如圖 1 所示。

圖中，SAR_SR 表示低分辨率 SAR 圖像重建的高分辨率 SAR 圖像；SAR_HR 數(shù)據(jù)集中的高清 SAR 圖像；SAR_LR 數(shù)據(jù)集中低分辨率 SAR 圖像；數(shù)據(jù)集中 SAR 圖像低分辨率和高分辨率是成對出現(xiàn)的。

該網(wǎng)絡(luò)首次對低分辨率 SAR 圖像采用上采樣操作得到和高分辨 SAR 圖像尺寸相同的初始低分辨率 SAR 圖像，然后對初始 SAR 圖像連續(xù)采用 3 次下采樣操作，分別得到不同層次的特征信息，最后對下采樣后的圖像連續(xù)采用 3 次上采樣操作，分別得到對稱的特征信息，并把對稱下采樣和上采樣的特征按一定要求組合，輸出超分辨率 SAR 圖像。

1 網(wǎng)絡(luò)架構(gòu)

殘差注意力網(wǎng)絡(luò)分為下采樣，上采樣，特征融合 3 部分，上采樣和下采樣是對稱結(jié)構(gòu)，然后把對應(yīng)的特征按一定規(guī)則融合。首先對低分辨率 SAR 圖像上采樣得到與高分辨 SAR 圖像尺寸大小的圖像，然后用 3×3 卷積網(wǎng)絡(luò)提取初始特征 T_u0 ：

最后用 L1 范數(shù)作為超分高分辨率圖像和實際高分辨圖像的損失函數(shù)，因為 L1 范數(shù)可以具有更好的收斂性能且可以忍受異常值，從而得到很好的超分辨率效果。

2 實驗結(jié)果

本文是在大型公開數(shù)據(jù)集 SEN1-2 進(jìn)行實驗驗證的。此數(shù)據(jù)集中 SAR 低分辨率圖像、SAR 高分辨率圖像數(shù)據(jù)是通過 Sentinel-1 衛(wèi)星、Sentinel-2 衛(wèi)星在不同的場景拍攝的，并且SAR圖像高低分辨率圖像是成對出現(xiàn)的。我們實驗的數(shù)據(jù)集收集了來再世界各地的 SAR 圖像圖片，包含各種場景，各種天氣下的成對高低分辨率 SAR 圖像。在 SEN1-2 數(shù)據(jù)集中，每一張單通道的 SAR 圖像的空間大小為 256×256 像素，距離向分辨率每像素 20 m，方位向分辨率每像素 5 m。每張 3 通道的光學(xué)圖像的空間大小也為 256×256 像素，但是每張 3 通道的光學(xué)圖像空間分辨率是 10 m。本實驗從數(shù)據(jù)集中選取了 600 對高低分辨率 SAR 圖像作為實驗的訓(xùn)練集，選取 50 對高低分辨率 SAR 圖像作為實驗的測試集。

本文實驗圖像質(zhì)量評價指標(biāo)采用的是：峰值信噪比 (Peak Signal-to-Noise Ratio, PSNR)[87] 和結(jié)構(gòu)相似度 (structural similarity, SSIM)[88]，實驗結(jié)果如表 1。

表1 實驗結(jié)果

從實驗結(jié)果可以看出本文算法在放大倍數(shù)為 2、4、8 時，PSNR 和 SSIM 明顯高于其他算法。主要原因是本文提出的殘差注意力模塊共享了 SAR 圖像低分辨率和 SAR 高分辨率的有用信息，增強了圖像特征表示。因此本文算法在解決大尺度放大倍數(shù)的 SAR 圖像超分辨率重建非常有效。

參考文獻(xiàn)：

[1] SHEN H F, LIN L P, LI J, et al. A residual convolutional neural network for polarimetric SAR image superresolution[J]. ISPRS Journal of Photogrammetry and Remote Sensing,2020.

[2] 閔銳,楊學(xué)志,董張玉,等.結(jié)構(gòu)增強型生成對抗網(wǎng)絡(luò)SAR圖像超分辨率重建[J].地理與地理信息科學(xué),2021(2).

[3] 吳從中,魏雪琦,詹曙.深層多級殘差網(wǎng)絡(luò)的圖像超分辨率重建[J].合肥工業(yè)大學(xué)學(xué)報(自然科學(xué)版),2020(10).

[4] 應(yīng)自爐,宣晨,翟懿奎,等.面向小樣本SAR圖像識別的自注意力多尺度特征融合網(wǎng)絡(luò)[J].信號處理,2020(11).

[5] 楊坤.基于改進(jìn)的UNet連云港海岸線提取研究[J].軟件,2020(10).

[6] MA J Y, YU W, LIANG P W, et al. FusionGAN: a generative adversarial network for infrared and visible image fusion[J]. Information Fusion,2018.

[7] 杜蘭,王兆成,王燕,等.復(fù)雜場景下單通道SAR目標(biāo)檢測及鑒別研究進(jìn)展綜述[J].雷達(dá)學(xué)報,2020(1).

[8] 劉艷.基于自適應(yīng)重要采樣UKF的SAR圖像超分辨率方法[J].計算機應(yīng)用與軟件,2021(7).

(注：本文轉(zhuǎn)載自《電子產(chǎn)品世界》雜志2022年11月期)