車用傳感器孰優(yōu)孰劣？

目前汽車中使用的傳感器主要是雷達、LiDAR和攝像頭，各有長短，用處不同。這些傳感器協(xié)同工作，提供外部世界車輛、行人、騎自行車的人、標志等原始數(shù)據(jù)，其重疊功能會產生冗余（圖中顏色重疊部分），確保一個系統(tǒng)出現(xiàn)故障時，另一個系統(tǒng)繼續(xù)運行。

ADAS完整愿景將融合多種RF技術和立體視覺等傳感器，形成一個完整的360°數(shù)字處理環(huán)境

比較一下特斯拉的車載傳感器配置，距未來愿景主要是少了LiDAR，冗余也不夠，當然未來數(shù)量還會不斷增加。

特斯拉車載傳感器配置

雷達：只是一種成本較低而可靠的技術，能夠在一定距離內探測較大的物體，在弱光和惡劣天氣下表現(xiàn)良好，但它只適用于倒車或泊車時的安全輔助裝置，是主要感測方式的重要補充。由于使用無線電波而不是光來探測物體，所以雷達在雨、霧、雪和煙中都能“看”得很清楚。

LiDAR：通過測量激光信號從物體上返回到本地傳感器所需的時間來確定車輛與環(huán)境或物體之間的距離

立體視覺：它基于從相鄰的兩個視角（雙目或多目攝像頭）獲取同一環(huán)境的兩幅獨立圖像來估計距離，即視覺信息的三角測量。它是使用算法處理器對現(xiàn)實環(huán)境進行密集的3D數(shù)字表示。

三目攝像頭示意圖

立體視覺和LiDAR都能進行距離測量、深度估計和密集點云生成（即3D環(huán)境地圖）。兩者都可產生豐富的數(shù)據(jù)集，不僅可以用來感測物體，而且可以在高速、各種環(huán)境、長距離和短距離下識別物體。作為車輛自動駕駛的主要傳感器系統(tǒng)，兩者也都可以同時部署以產生冗余。

因為這兩種感知方式都是光學技術，所以與人眼一樣容易受到同樣的挑戰(zhàn)：要“看到”道路，就要求有良好的視線，并且遠離污垢和其他污染物。那么，兩者的利弊如何呢？

早期LiDAR優(yōu)勢明顯

不可否認，信號的數(shù)量越多，可能實現(xiàn)的距離測量數(shù)量就越多。LiDAR是通過多個旋轉（物理或通過邏輯）的激光器來實現(xiàn)的，以360度視野掃描車輛周圍環(huán)境。在自動駕駛發(fā)展史上，LiDAR一直是一項重要的傳感技術。開創(chuàng)性的自動駕駛原型依靠LiDAR實現(xiàn)了精確的距離測量、可靠性和易用性。例如，2004年開始的由美國國防部高級研究計劃局（DARPA）贊助的自動駕駛挑戰(zhàn)賽中，大多數(shù)參賽者都依賴LiDAR技術。

LiDAR沒有辜負人們的期望，優(yōu)勢顯而易見，包括：

高精度（測量精度達到厘米級）

高數(shù)據(jù)速率（機械式旋轉LiDAR每秒旋轉20轉以上）

經驗證穩(wěn)定可靠

感測效果不受溫度和光照的影響

盡管LiDAR有諸多優(yōu)點，但也確實有一定的技術局限性：

在雨、霧和灰塵等惡劣天氣條件下會因反射造成誤報。專用算法處理可能解決這些問題，但比較復雜

眼睛安全條例對LiDAR的信號強度有所限制，使分辨率限制了視場和視場之間的距離

LiDAR測量的有效性與物體的反射率有關。如果信號遇到反射性差的障礙物，如黑色車輛，信號的能量只返回很小一部分，因此感測的可靠性會降低。幸運的是，大多數(shù)交通參與者都有足夠的反射能力，所以LiDAR在的應用相當廣泛

立體視覺后來居上

在車輛自動駕駛的早期（90年代末到21世紀初），計算機視覺科學還處于起步階段，加上半導體技術等因素造成的許多問題，阻礙了立體視覺作為自動駕駛主要感測模式的采用。

這段時間，立體視覺最受詬病的問題是：

攝像頭分辨率低，遠距離圖像質量差

弱光環(huán)境下性能差

計算資源要求高（計算機視覺處理需要多臺PC機）

駕駛過程中未經校準的攝像頭需要手動調整

當時，這些問題的嚴重性足以阻礙立體視覺作為一種可行的自動駕駛感知替代品的部署。在沒有競爭者的情況下，LiDAR得以蓬勃發(fā)展。

不過，從那時起，立體視覺慢慢走上了更具吸引力的發(fā)展之路，出現(xiàn)了大逆轉，目前已具備了和LiDAR競爭的能力：

低成本、高分辨率攝像頭（目前為800萬像素攝像頭）

適用于夜間駕駛的具有HDR（高動態(tài)范圍圖像）和微光圖像處理功能的高級ISP（圖像信號處理

專門為實時計算機視覺處理而設計的嵌入式SoC（系統(tǒng)級芯片

自動動態(tài)攝像頭校準

正是這些發(fā)展將立體視覺從一種小眾自動駕駛技術變成了一種強有力的競爭者，成為車輛自動駕駛的主要感測方式。

為什么自動駕駛更需要對象類型？

克魯日（Cluj－Napoca）技術大學的研究人員稱，密集立體視覺系統(tǒng)的一般處理流程是圖像采集、立體處理、視差到3D映射，最后是感測算法的應用。

立體視覺硬件使用兩個攝像頭，以24fps的最大幀速率獲取一系列優(yōu)化的圖像。通過產生輸出函數(shù)的專用硬件板對被跟蹤圖像的進行3D重建——可以是兩個處理后的圖像之間的視差圖或用于生成基于左攝像頭的X－Y坐標系的Z－map。

立體視覺系統(tǒng)能夠生成兩種類型的環(huán)境數(shù)據(jù)：一是基于高程（elevation）測量的復雜駕駛環(huán)境密度圖，二是由參數(shù)化車道、跟蹤長方體和行人組成的一系列幾何元素。過去，傳統(tǒng)雙目攝像頭不區(qū)分對象類型，僅僅是將前方障礙物檢測或測量出來。這使其在實際應用中存在一些問題。因為計算元素既耗時又密集，為了根據(jù)接收到的環(huán)境數(shù)據(jù)進行實時決策，系統(tǒng)需要大量的數(shù)據(jù)帶寬和處理能力，因此必須使用并行計算。

雖然LiDAR也是一種常用的測距技術，也能夠精確地進行3D物體感測，而單目攝像頭也可以用來推斷或預測與深度相關的信息，但立體視覺在提供對3D環(huán)境的高度詳細和準確的360度理解方面具有獨特優(yōu)勢。立體視覺利用兩個同步自動校準的攝像頭信息生成3D深度圖，是自動駕駛系統(tǒng)中視覺感知、運動預測和路徑規(guī)劃的重要組成部分。

在一個城市交叉口的圖像中可以看到，包括車輛、行人、自行車和路標、護欄等障礙物。

立體視覺視圖和嵌入圖像

將上圖中較大的立體視覺視圖與右下角的嵌入圖像進行比較，可以清楚地區(qū)分左側的路標、人行橫道上的行人、附近的騎車人、從左側進入交叉口的最近的兩輛車，以及道路兩側的背景元素。立體視覺視圖中的顏色表示距離，較暖的顏色（如橙色）表示距離車輛較近，較冷的顏色（如紫色）表示距離較遠。另外，小圖中3D邊界框顏色表示對象類型：車輛輪廓為綠色，行人輪廓為藍色，自行車輪廓為白色。

雖然道路場景很具有挑戰(zhàn)性，照明條件可能會發(fā)生很大變化，車輛、行人、自行車、碎片和其他障礙物是常態(tài)，但立體視覺解決方案也能有效地在復雜環(huán)境中實現(xiàn)。以夜間駕駛為例，在黑暗中基于立體的障礙物感測（同時感測正面和負面障礙物，如坑洞）需要魯棒的深度估計，包括視差有效性度量才能成功。

比如，計算機視覺芯片開發(fā)商Ambarella將短距離和長距離立體攝像頭模塊的多個輸出組合在一起，通過生成密集點云以驚人的細節(jié)對環(huán)境可視化。其立體攝像頭生成的數(shù)據(jù)進行了以下一些處理：

深度映射：創(chuàng)建深度映射可以感測場景中的一般對象（從車輛和行人到電線桿、垃圾箱、坑洞和碎片，包括其準確大小、位置和距離，而無需對系統(tǒng)進行明確訓練

道路建模：對不同道路形狀精確建模，有助于下坡和上坡運動

數(shù)據(jù)融合：由于顏色相關信息與深度數(shù)據(jù)一起由同一傳感器提供，因此可以同時運行單目算法（例如，通過卷積神經網絡（CNN）進行車道標記或交通標志感測），然后將此數(shù)據(jù)與深度圖融合

360度可視化：立體攝像頭可用于魚眼鏡頭的短程感知，在低速移動時可360度查看場景

自動駕駛，分辨率定輸贏

Ambarella總經理、帕爾馬大學計算機工程教授Alberto Broggi認為：“在當今的自動駕駛障礙物識別技術中，最重要的性能指標就是分辨率，也就是圖像密度，即每秒可以提供距離測量數(shù)的多少。數(shù)值越高，汽車周圍的3D表現(xiàn)就越精確�！�

一般來說，使用當今攝像頭的立體視覺可以提供大約2000個垂直樣本／秒。LiDAR呢？才128個垂直樣本／秒，分辨率低了15倍以上。

立體（上）和LiDAR（下）圖像密度比較

Broggi解釋道：“在兩幅圖像中，彩色像素表示傳感器的測量值，顏色表示每個傳感器標度上的測量距離。我們可以看到，左側的立體解決方案提供了更大的環(huán)境覆蓋范圍，而右側的LiDAR輸出的區(qū)域覆蓋非常稀疏�！�

由此可見兩者的明顯差異：立體視覺生成的數(shù)據(jù)更為豐富，從而使障礙物感測更容易。通過對上面兩張圖像的特寫對比，可以看到立體密度（左）和LiDAR密度（右）的區(qū)別。

立體和LiDAR的密度天壤之別

他指出，雖然這兩種技術都可用于自動駕駛車輛的目標感測，但效果差異很大。上述演示發(fā)生在白天，而在弱光情況下，立體的分辨率也很高。下圖顯示了夜間駕駛時的密度對比。

夜間立體（左）和LiDAR（右）密度比較

Broggi解釋說，精度是另一個重要的衡量標準，它提供的不是直接的距離測量，而是立體視覺。對于立體，距離是一個導出量，是通過處理兩個亮度圖像獲得的間接測量。不管怎樣，立體視覺在遠距離（不強制要求精確測量距離）和短程（要求高精度執(zhí)行精確移動）方面都能提供自動駕駛應用所需的精度水平。例如，在短距離內，立體可以提供毫米級距離的感測。

除了分辨率和精度，現(xiàn)代立體視覺還有以下優(yōu)點：

立體的一對攝像頭都可以作為獨立的單目攝像頭使用，提供內置冗余

立體攝像頭提供的雙圖像可以在一個芯片上并行執(zhí)行單目CNN算法，如目標分類

立體視覺提供了感測一般3D形狀的能力，即使那些沒有被歸類為已知障礙物的形狀，例如，從另一輛車上掉落的石頭、各種碎片或隨機物體（如梯子或床墊）會被立體系統(tǒng)感測到；即使是負面障礙，如坑洞，也可以準確感測到

立體攝像頭相對便宜，是大容量應用的重要考慮因素；也沒有移動部件，可以自動認證，并消耗最少的電力

立體視覺以幀速率運行（每秒30幀超高清圖像），因為立體引擎是硬連線到立體功能芯片，可以實現(xiàn)極高的數(shù)據(jù)率

立體攝像頭可以自動校準，使兩個攝像頭的位置保持相對固定，否則測量數(shù)據(jù)將不正確

在典型駕駛條件下，振動和沖擊是一種常態(tài)，這對立體系統(tǒng)來說是一個挑戰(zhàn)。一些公司開發(fā)的實時自動校準程序可以補償通常在正常車輛運行期間發(fā)生的攝像頭移動，確保立體視覺處理的精確度。

立體視覺是ADAS和AD的未來

如今，視覺感知已進入深水區(qū)，算法將決定誰是贏家。雙目的算法要求比普通單目要高，而且在車輛生命周期內必須保持感測的穩(wěn)定性能，使兩個鏡頭保持位置相對不變才能感知準確，或者采用自校準能力很強的算法。Ambarella高級算法工程師Francesca Ghidini博士認為，立體視覺可能是全自動駕駛汽車的關鍵，它是互聯(lián)技術網格（mesh）的一部分，將為全自動車輛鋪平道路。

崔凱認為：“全球范圍能夠量產雙目的廠家也就是個位數(shù)，預計L3級別以上自動駕駛車輛采用雙目攝像頭會成為主流，而主機廠選擇雙目沒啥難度�！�

孫路認為：“感知的準確性首先要提高算法的性能，同時要依賴結構設計、產線設計多年積累的豐富經驗。主機廠采用雙目沒有難度，但由于尺寸較單目大，所以需要內飾布置，一般不會集成到域控制器中�！�

Cadence電氣工程技術專家Adrian Gibbons則表示：“過去幾年，ADAS一直在不斷發(fā)展，在現(xiàn)階段，立體視覺處理技術的下一步進展將有助于ADAS的普及�！�