Waymo利用AI生成攝像頭圖像，用于自動(dòng)駕駛仿真

據(jù)外媒報(bào)道，日前，Waymo表示開發(fā)了新方法SurfelGAN，利用自動(dòng)駕駛汽車收集的傳感器數(shù)據(jù)，通過AI生成用于仿真的攝像頭圖像。SurfelGAN使用紋理映射表面元素(surface elements，簡稱surfel)重建場景和攝像頭視角，以獲取位置和方向。

諸如Waymo這樣的自動(dòng)駕駛汽車公司利用仿真環(huán)境來訓(xùn)練、測試和驗(yàn)證系統(tǒng)，然后再將系統(tǒng)部署到現(xiàn)實(shí)世界的車輛中。設(shè)計(jì)模擬器有多種方法，但一些基礎(chǔ)的模擬器忽略了對于場景理解至關(guān)重要的線索，比如行人的手勢和閃爍的燈光。而像Waymo CarCraft這樣更復(fù)雜的模擬器，由于試圖對材料進(jìn)行高度精確的建模，因此需要耗費(fèi)大量的計(jì)算資源，以確保像激光雷達(dá)和雷達(dá)等傳感器在真實(shí)世界中可靠地工作。

隨著SurfelGAN的推出，Waymo提出了一種更簡單的、數(shù)據(jù)驅(qū)動(dòng)的方法來模擬傳感器數(shù)據(jù)。SurfelGAN從真實(shí)世界的激光雷達(dá)傳感器和攝像頭獲取數(shù)據(jù)，創(chuàng)建并保存場景中所有物體的3D幾何、語義和外觀的豐富信息。然后，再從不同的距離和視角渲染仿真場景，以進(jìn)行重建。

Waymo發(fā)言人稱，“在仿真中，當(dāng)自動(dòng)駕駛汽車和其他道路使用者的移動(dòng)軌跡發(fā)生變化時(shí)，系統(tǒng)會(huì)生成真實(shí)的視覺傳感器數(shù)據(jù)，幫助我們在新的環(huán)境中建模場景。部分系統(tǒng)正在生產(chǎn)中。”

SurfelGAN利用紋理增強(qiáng)表面元素地圖的場景表示方法，這是一種緊湊、易于構(gòu)造的場景表示方法，能夠在保留傳感器信息的同時(shí)保持合理的計(jì)算效率。SurfelGAN將激光雷達(dá)掃描到的體元(3D空間中定義點(diǎn)的圖形信息的單位)轉(zhuǎn)換成表面元素盤(surfel discs)，可根據(jù)攝像頭數(shù)據(jù)估算顏色，然后對這些元素進(jìn)行后處理，以處理光線和姿態(tài)的變化。

為了處理車輛這類動(dòng)態(tài)物體，SurfelGAN還使用了Waymo Open Dataset中的注釋。興趣物體的激光雷達(dá)掃描數(shù)據(jù)不斷積累，以便在仿真中Waymo可以生成汽車和行人的重建。

SurfelGAN中的生成對抗網(wǎng)絡(luò)(GAN)模塊負(fù)責(zé)將表面元素圖像渲染轉(zhuǎn)換成逼真的圖像。其生成器模型從使用分布采樣的隨機(jī)噪聲中生成合成示例，這些示例連同來自訓(xùn)練數(shù)據(jù)集的真實(shí)示例一起反饋給鑒別器，而鑒別器視圖區(qū)分這兩者。生成器和鑒別器的能力不斷提升，直到鑒別器無法區(qū)分合成示例和真實(shí)示例。

SurfelGAN模塊以一種無人監(jiān)管的方式進(jìn)行訓(xùn)練，意味著其在沒有參考已知、標(biāo)記或注釋結(jié)果的情況下推斷語料庫中的模式。有趣的是，每當(dāng)鑒別器正確地識(shí)別合成示例時(shí)，就會(huì)告訴生成器如何調(diào)整輸出，從而更加真實(shí)。

Waymo進(jìn)行了一系列測試來評估SurfelGAN的表現(xiàn)，給它輸入了798個(gè)訓(xùn)練序列，包括20秒的攝像頭數(shù)據(jù)和激光雷達(dá)數(shù)據(jù)，以及來自Waymo Open Dataset數(shù)據(jù)集中關(guān)于車輛、行人和騎行者的注釋。SurfelGAN團(tuán)隊(duì)還創(chuàng)建和使用新的數(shù)據(jù)集Waymo Open Dataset-Novel View，為原始數(shù)據(jù)中的每一幀創(chuàng)建全新的表面元素圖像渲染。

最后，Waymo收集了未注釋攝像頭圖像的額外序列(共9800個(gè)，每個(gè)100幀)，并構(gòu)建了一個(gè)稱為雙攝像頭后數(shù)據(jù)集(Dual-Camera-Post Dataset，DCP)的語料庫，以測量SurfelGAN生成圖像的真實(shí)度。DCP可處理兩輛車同時(shí)觀察同一場景的情況；Waymo使用來自第一輛車的數(shù)據(jù)重建場景，并在第二輛車的精確姿態(tài)下渲染表面元素圖像。

研究人員稱，當(dāng)SurfelGAN生成的圖像提供給現(xiàn)成的車輛探測器時(shí)，最高質(zhì)量的合成圖像達(dá)到了與真實(shí)圖像相同的標(biāo)準(zhǔn)。SurfelGAN還改進(jìn)了DCP(雙攝像頭后數(shù)據(jù)集)中的表面元素渲染，在一定距離內(nèi)生成更逼真的圖像。此外，研究人員還證明，SurfelGAN生成的圖像還將車輛探測器的平均精度從11.9%提高到13%。

Waymo指出SurfelGAN并不完美。例如，它有時(shí)無法從損壞的幾何圖形中恢復(fù)，導(dǎo)致車輛看起來不真實(shí)。在沒有表面元素信息的情況下，AI表現(xiàn)出了很大的差異。盡管如此，研究人員仍然認(rèn)為SurfelGAN是未來動(dòng)態(tài)物體建模和視頻生成仿真系統(tǒng)的堅(jiān)實(shí)基礎(chǔ)。