全自動駕駛汽車的一個(ge) 關(guan) 鍵策略是能夠將來自多個(ge) 傳(chuan) 感器的輸入融合在一起，這對於(yu) 做出安全可靠的決(jue) 策至關(guan) 重要，但事實證明，這比最初想象的要困難得多。

需要解決(jue) 的問題有很多，包括如何劃分、確定優(you) 先級並最終組合不同類型的數據，以及如何構建車輛內(nei) 部的處理，以便它能夠根據這些不同的數據類型快速做出決(jue) 策，以避免事故。對於(yu) 如何實現這一目標，沒有單一的最佳實踐，這就是為(wei) 什麽(me) 許多汽車原始設備製造商采取了截然不同的方法。

西門子數字工業(ye) 軟件公司(Siemens Digital Industries Software)負責混合物理和虛擬係統、汽車和航空航天業(ye) 務的副總裁大衛•弗裏茨(David Fritz)表示:“主要有三種方法來看待這個(ge) 問題。“一種方法是在處理之前融合來自多個(ge) 傳(chuan) 感源的原始數據。雖然這種方法可以降低功耗，但來自一個(ge) 傳(chuan) 感器陣列的不良數據可能會(hui) 汙染來自其他傳(chuan) 感器的良好數據，從(cong) 而導致不良結果。此外，大量原始數據的傳(chuan) 輸帶來了帶寬、延遲和係統成本等其他挑戰。”

第二種方法是對象融合，其中每個(ge) 傳(chuan) 感器處理數據並將其特定傳(chuan) 感器的處理結果表示為(wei) 對其檢測到的內(nei) 容的解釋。

“這樣做的優(you) 點是可以無縫集成機載傳(chuan) 感器的結果。基礎設施傳(chuan) 感器，以及其他車輛上的傳(chuan) 感器。”“這種方法的挑戰在於(yu) 物體(ti) 的通用表示和標記，以便它們(men) 可以在不同的車輛和基礎設施之間共享。第三種選擇是前兩(liang) 種方法的混合，從(cong) 功率、帶寬和成本的角度來看，這是我們(men) 發現的最引人注目的選擇。在這種方法中，物體(ti) 被傳(chuan) 感器檢測但不分類。在這種情況下，物體(ti) 的點雲(yun) 被傳(chuan) 輸到機載中央計算係統，該係統對來自內(nei) 部和外部不同傳(chuan) 感器的點雲(yun) 進行分類(標記)。

關(guan) 於(yu) 汽車生態係統的討論才剛剛開始，還有很多挑戰需要克服。

“你需要弄清楚你擁有哪些物品，以及何時使用它們(men) ，”Arteris IP的業(ye) 務開發副總裁弗蘭(lan) 克·施勒邁斯特(Frank Schirrmeister)說。“所有的形式都非常不同。如果你在看激光雷達，有一些很時髦的距離地圖。在相機中，它是RGB的，有一組像素。對於(yu) 熱能，還有別的東(dong) 西。甚至在你關(guan) 聯和融合所有這些東(dong) 西之前，你需要以某種方式理解這些格式。從(cong) 體(ti) 係結構的角度來看，這可能會(hui) 導致最理想的處理是在傳(chuan) 感器上或靠近傳(chuan) 感器。然後，在不同的位之間進行對象相關(guan) 。但你需要弄清楚細節，比如物體(ti) 有多熱，物體(ti) 有多遠，等等。這是這些不同傳(chuan) 感器的維恩圖，它們(men) 有一組重疊的特征，其中一些比另一些更好。”

傳(chuan) 感器融合是一個(ge) 快速創新的領域，得益於(yu) 算法的不斷改進和芯片行業(ye) 對SoC架構的深入了解。

Synopsys高級產(chan) 品經理Markus Willems表示:“傳(chuan) 感器融合的一個(ge) 共同點是需要異構處理方法，因為(wei) 它需要信號處理的組合——通常使用DSP、專(zhuan) 用加速器上的人工智能處理，以及使用CPU的控製代碼。”“根據傳(chuan) 感器的類型，需要支持不同的數據類型。這包括用於(yu) 圖像數據的8位整數處理，或用於(yu) 雷達處理的32位單精度(SP)浮點數，而人工智能處理可能需要bfloat16等。在單個(ge) 芯片上運行不同類型的處理器需要複雜的軟件開發流程，利用優(you) 化的C/ c++編譯器和函數庫，以及支持最新神經網絡的圖形映射工具，包括傳(chuan) 感器融合中使用的變壓器。內(nei) 存、帶寬和延遲是關(guan) 鍵的設計參數，設計人員希望看到處理器仿真模型和SoC架構探索工具的早期可用性，以檢查假設場景。”

雖然傳(chuan) 感器融合在汽車領域受到了很多關(guan) 注，但它對其他市場也很有用。

Cadence Tensilica IP集團產(chan) 品管理組總監Pulin Desai表示:“我們(men) 專(zhuan) 注於(yu) 汽車領域，因為(wei) 攝像頭、雷達和激光雷達中將配備圖像傳(chuan) 感器。“在機器人應用中也可能有圖像傳(chuan) 感器和IMU。可能會(hui) 有多個(ge) 圖像傳(chuan) 感器，你會(hui) 融合這些東(dong) 西。其他傳(chuan) 感器包括陀螺儀(yi) 、磁力計、加速度計，這些傳(chuan) 感器在許多不同的領域以各種不同的方式被使用。雖然在汽車方麵有很多關(guan) 注，但同樣的圖像傳(chuan) 感器和雷達傳(chuan) 感器也應用於(yu) 家庭掃地機器人。它的結構可能與(yu) 無人機非常相似。任何一種無人駕駛車輛都有這種傳(chuan) 感器。”

有大量的數據流。弄清楚在哪裏處理這些數據是一個(ge) 挑戰，部分原因是並非所有數據都采用相同的格式。

Arteris的Schirrmeister說:“這裏存在經典的邊緣計算情況，你需要決(jue) 定如何平衡整個(ge) 鏈條的處理——從(cong) 你從(cong) 模擬世界獲得數據，到你在大腦中做出決(jue) 定或與(yu) 混合使用模型的駕駛員互動。”“對象關(guan) 聯聽起來更現實，但也存在各種各樣的挑戰。熱雷達、激光雷達和雷達都使用不同的類型來表示數據。如果你看激光雷達，因為(wei) 它本質上是給你一定距離內(nei) 的點，這是一種完全不同於(yu) 你從(cong) 相機得到的數據類型。將所有這些關(guan) 聯在一起當然不是微不足道的，而且可能需要大量的計算。更重要的是，你需要決(jue) 定不同的項目是否彼此不一致。如果有，你會(hui) 選擇什麽(me) ?你使用平均值嗎?將所有這些傳(chuan) 感器結合起來絕對是一個(ge) 挑戰。”

當涉及到數據的實際融合時，西門子的弗裏茨已經觀察到許多方法。“一些早期涉足這一領域的公司，也就是英偉(wei) 達起步的時候，他們(men) 說，‘我們(men) 可以做很多人工智能方麵的事情。當傳(chuan) 感器數據輸入時，我們(men) 可以使用我們(men) 的高端gpu，嚐試降低它們(men) 的功耗，然後用神經網絡處理。“這就是為(wei) 什麽(me) 幾年前我們(men) 在後備箱裏裝了一個(ge) 必須水冷卻的架子。然後你把激光雷達的人扔進來，他們(men) 說，“我知道你不能為(wei) 激光雷達支付每台2萬(wan) 美元，所以我們(men) 正在努力讓激光雷達更便宜。”然後有人說，‘嗯，等一下。照相機隻要35美分。為(wei) 什麽(me) 我們(men) 不放一堆攝像機把這些融合在一起呢?他說:“這始於(yu) 幾年前的一種蠻力的、幾乎是腦殘的方法。這就是“我有原始激光雷達數據”的方法。我有原始的相機數據。我有雷達，激光雷達，攝像頭。我要怎麽(me) 把這些聯係起來?“人們(men) 做了一些瘋狂的事情，比如把激光雷達數據轉換成RGB。“我們(men) 有多個(ge) 幀，因為(wei) 有距離信息。然後我們(men) 將通過最簡單的卷積神經網絡運行它來檢測物體(ti) 並對它們(men) 進行分類。這就是它的程度。但有些人仍在試圖這麽(me) 做。”

相比之下，特斯拉仍然主要依賴於(yu) 攝像頭數據。Fritz表示，這是可能的，因為(wei) 立體(ti) 相機的功能，甚至單聲道相機在固定時間內(nei) 的連續幀，使用視差來確定深度。“正因為(wei) 如此，他們(men) 說，‘我為(wei) 什麽(me) 需要激光雷達?因為(wei) 我沒有激光雷達，所以我沒有傳(chuan) 感器融合的問題。它隻是簡化了事情。但是如果相機的鏡頭被水或汙垢覆蓋。他們(men) 有這些問題需要擔心。在另一個(ge) 極端的情況下，如果你完全依賴激光雷達，我見過這樣的場景，你有一個(ge) 人走過街道的二維圖像，汽車認為(wei) 這是一個(ge) 真實的人。為(wei) 什麽(me) ?因為(wei) 反射。人們(men) 不知道激光雷達發生了各種各樣的事情，而且很難過濾掉這些事情。”

融合不同的數據類型還取決(jue) 於(yu) 存在什麽(me) 類型的傳(chuan) 感器。“人們(men) 在談論早期、中期和晚期的融合，”Cadence的德賽說。“這完全取決(jue) 於(yu) 我們(men) 的客戶和我們(men) 客戶的客戶的係統設計，這表明他們(men) 試圖解決(jue) 什麽(me) 類型的問題。我們(men) 對這些事情是不可知的，因為(wei) 有立體(ti) 傳(chuan) 感器可以做早期融合，或後期融合，因為(wei) 你的圖像和數據都已經確定了目標，你做後期融合。也可能是中間融合，這更像是係統供應商的選擇，他們(men) 想要如何進行融合，他們(men) 想要做多少計算，信息有多健壯，或者他們(men) 想要解決(jue) 什麽(me) 類型的問題。這有多難?嗯，這取決(jue) 於(yu) 核聚變的類型。”

Desai表示，另一個(ge) 需要考慮的問題是，特別是在人工智能/機器學習(xi) 技術備受關(guan) 注的情況下，何時使用它們(men) ，或者經典DSP是否更合適。“我將我們(men) 過去所做的一些事情與(yu) 我們(men) 今天所做的事情進行了比較。在某些問題上，你有一種確定的方法，你可以用人工智能獲得很高的成功率。例如，我們(men) 在2012年和2013年做人臉和人的檢測時，我們(men) 使用的是經典的計算機視覺算法，但是當時的算法並不是很準確。要達到這樣的精度是非常困難的。然後，當我們(men) 轉向人工智能時，我們(men) 在人臉檢測和人物檢測方麵的表現非常強勁。所以現在有一個(ge) 非常確定的情況，你說，‘我要做麵部檢測，我可以達到我們(men) 所說的人類99%的準確率，而人工智能可以給我97%的準確率。“為(wei) 什麽(me) 我要玩不夠好的東(dong) 西?”我會(hui) 去用這個(ge) 人工智能，因為(wei) 我知道它是做什麽(me) 的，它給出了最好的準確性。但在某些情況下，比如當我還在努力解決(jue) 問題時，我需要嚐試不同的算法，並在我的環境中發揮作用。我需要能夠做X、Y或Z，我需要靈活性。在那裏，你繼續使用數字信號處理器來處理這些算法。”

此外，在使用AI引擎的很多時候，進入AI引擎的數據必須經過預處理，這意味著它必須采用特定的格式。

“在特定的數據類型中，你的人工智能引擎可能會(hui) 說，‘我隻做固定點，’”德賽解釋道。“所以你可能會(hui) 使用可編程引擎來做到這一點。然後，一旦你將某些東(dong) 西放入AI中，你可能就沒有太多的靈活性了。四年後，當有新的東(dong) 西出現時，你可能不得不改變它。有很多不同的因素。本質上，如果你在做一些非常確定的事情，你會(hui) 知道你可以達到一個(ge) 非常高的性能率，你今天就知道了。你可能會(hui) 說，‘我今天要用人工智能來解決(jue) 這個(ge) 問題。明天，我可能還會(hui) 那樣做。“然後，我通過使用可編程引擎來增加靈活性。或者，如果我不知道我需要處理它，那麽(me) 我仍然會(hui) 使用經典算法來處理它。即使我有人工智能，我仍然需要對數據進行預處理和後處理，所以我需要使用經典的DSP算法。”

結論

隨著汽車原始設備製造商和係統公司將其計算架構向傳(chuan) 感器融合發展，實驗將成為(wei) 一種需求。

西門子的Fritz認為(wei) ，在這一發展階段，處理開發的正確方法是雇傭(yong) 或組建一些小團隊來做大量的試點項目。“這可能是一打或二十多人。例如，到2026年或2028年，他們(men) 的目標可能是在測試環境中生產(chan) 300輛原型車。”

盡管如此，每個(ge) OEM今天所處的位置取決(jue) 於(yu) OEM，他們(men) 從(cong) 事架構開發的時間，以及他們(men) 希望如何繼續這樣做。

新聞來自：西門子數字工業(ye) David Fritz