近日，CVPR 2024 自動(dòng)駕駛國際挑戰(zhàn)賽（Autonomous Grand Challenge）結(jié)果揭曉，英偉達(dá)憑借 Hydra-MDP 模型在 “端到端自動(dòng)駕駛” 賽道中擊敗了全球 400 多個(gè)參賽者，榮登榜首。

這個(gè)自動(dòng)駕駛國際挑戰(zhàn)賽，是由上海人工智能實(shí)驗(yàn)室聯(lián)合國內(nèi)外頂尖高校，科研機(jī)構(gòu)和企業(yè)，依托國際計(jì)算機(jī)視覺與模式識(shí)別會(huì)議 (CVPR) 舉辦的全球規(guī)模最大、等級(jí)最高的自動(dòng)駕駛比賽。比賽獲獎(jiǎng)團(tuán)隊(duì)代表了當(dāng)今世界自動(dòng)駕駛相關(guān)研發(fā)的最高水平。

據(jù)了解，英偉達(dá)的 Hydra-MDP 模型還獲得了本屆 CVPR 的創(chuàng)新獎(jiǎng)，體現(xiàn)了國際科研機(jī)構(gòu)對(duì)于英偉達(dá)在自動(dòng)駕駛汽車開發(fā)上領(lǐng)先研發(fā)能力的認(rèn)可。

英偉達(dá)汽車業(yè)務(wù)的穩(wěn)步增長(zhǎng)，得益于其自動(dòng)駕駛解決方案的推廣。在中高端的智能汽車領(lǐng)域，NVIDIA DRIVE Orin 的占有率非常高。

據(jù)不完全統(tǒng)計(jì)，采用 DRIVE Orin 的車企包括蔚小理、比亞迪、騰勢(shì)、上汽智己、飛凡，吉利極氪、極越、路特斯，奇瑞、長(zhǎng)城等 30 多家主流車企，就連時(shí)下最火的小米 SU7 全系搭載的也是 DRIVE Orin 系列。

此外，包括比亞迪、廣汽、理想、小鵬、奇瑞、極氪、極越、長(zhǎng)安等車企在內(nèi)，都已經(jīng)選擇英偉達(dá)最新一代的 Blackwell GPU 架構(gòu)的新一代 NVIDIA DRIVE Thor 平臺(tái)，為其下一代自動(dòng)駕駛系統(tǒng)提供算力支持。

除面向車端的自動(dòng)駕駛算力芯片以外，英偉達(dá)還在通過面向汽車行業(yè)的 AI 和加速計(jì)算解決方案，幫助汽車制造商和合作伙伴實(shí)現(xiàn)全價(jià)值鏈條的數(shù)字化升級(jí)，為汽車研發(fā)、設(shè)計(jì)、生產(chǎn)制造、營銷等多個(gè)領(lǐng)域帶來創(chuàng)新。

本文從比亞迪電子、小鵬、蔚來以及理想四大頭部廠商與英偉達(dá)的合作案例為例，探討 AI 在賦能汽車行業(yè)數(shù)字化方面的新機(jī)會(huì)、新價(jià)值。

NVIDIA Isaac + Omniverse，打造比亞迪的數(shù)字工廠

在當(dāng)前的汽車行業(yè)背景下，虛擬工廠概念應(yīng)運(yùn)而生。

虛擬工廠，作為真實(shí)工廠的物理級(jí)準(zhǔn)確數(shù)字孿生，允許制造商在沒有物理原型的情況下，對(duì)生產(chǎn)流程、資源和運(yùn)營進(jìn)行建模、模擬、分析和優(yōu)化。

這種強(qiáng)大的模擬能力為汽車制造商帶來了簡(jiǎn)化溝通、因地制宜的規(guī)劃、優(yōu)化設(shè)施設(shè)計(jì)和智能化運(yùn)營等多方面的優(yōu)勢(shì)。

我們具體看比亞迪與英偉達(dá)的合作——從車端延伸到了云端。從下一代車載芯片 DRIVE Thor 到自動(dòng)駕駛汽車的云端 AI 開發(fā)和訓(xùn)練，并和比亞迪電子在智能工廠方面進(jìn)行合作。

借助 NVIDIA Isaac 和 NVIDIA Omniverse 開發(fā)自主移動(dòng)機(jī)器人 AMR 以及虛擬工廠規(guī)劃，包括利用 Omniverse 做自主機(jī)器的仿真，并以數(shù)字化方式構(gòu)建、模擬和運(yùn)營工廠數(shù)字孿生，從而提升生產(chǎn)智能化。

NVIDIA Isaac 是英偉達(dá)面向機(jī)器人和視覺 AI 的機(jī)器人平臺(tái)，包括一整套加速系統(tǒng)、庫、應(yīng)用框架和生成式 AI 模型。

Isaac Sim 受益于 Omniverse 跨 3D 和仿真工具的 OpenUSD 互操作性，使開發(fā)者能夠輕松設(shè)計(jì)、導(dǎo)入、構(gòu)建和共享機(jī)器人模型和虛擬訓(xùn)練環(huán)境。

采用 NVIDIA Isaac 和 NVIDIA Omniverse 技術(shù)平臺(tái)，可以助力比亞迪電子在構(gòu)筑智能工廠的過程中，如虎添翼。

比亞迪這種年銷高達(dá) 300 萬輛的大廠，生產(chǎn)效率、物流部署的提升非常關(guān)鍵，而Omniverse 虛擬現(xiàn)實(shí)技術(shù)實(shí)現(xiàn)對(duì)汽車制造工廠的工作流程優(yōu)化，采用 NVIDIA Isaac Sim on Omniverse，借助 AMR 的高精度仿真，從而進(jìn)行車隊(duì)化統(tǒng)一調(diào)度、管理與方案測(cè)試，節(jié)約工廠規(guī)劃成本，提升 AMR 落地時(shí)效。

英偉達(dá)的技術(shù)，給比亞迪的智能工廠的效率披上了鎧甲，節(jié)約了工廠規(guī)劃成本，加速實(shí)現(xiàn)其數(shù)字化轉(zhuǎn)型目標(biāo)。

NVIDIA Omniverse，開啟小鵬汽車協(xié)同設(shè)計(jì)創(chuàng)新

在傳統(tǒng)的汽車設(shè)計(jì)流程中，普遍面臨團(tuán)隊(duì)協(xié)作困難、溝通不暢、審查效率低下、物理原型成本高昂等挑戰(zhàn)。這些問題不僅減緩了產(chǎn)品的上市速度，也影響了設(shè)計(jì)質(zhì)量。

在提升設(shè)計(jì)流程效率和協(xié)同性方面，NVIDIA 的技術(shù)提供了一個(gè)答案。小鵬汽車使用了 NVIDIA Omniverse 精簡(jiǎn)了其超智駕大七座旗艦級(jí)車型小鵬 X9 的設(shè)計(jì)流程，實(shí)現(xiàn)了從產(chǎn)品設(shè)計(jì)到團(tuán)隊(duì)協(xié)作的優(yōu)化創(chuàng)新。

NVIDIA Omniverse 是一個(gè)包含 API、服務(wù)和軟件開發(fā)套件 （SDK）的平臺(tái)�；�于 OpenUSD，在 Omniverse 上運(yùn)行的應(yīng)用程序從根本上改變了復(fù)雜的 3D 工作流程，使個(gè)人和團(tuán)隊(duì)能構(gòu)建統(tǒng)一的工具和數(shù)據(jù)工作流，并模擬物理級(jí)精準(zhǔn)的虛擬世界。

通過使用 NVIDIA Omniverse，小鵬汽車可打造逼真、物理級(jí)精確、實(shí)時(shí)渲染的車輛外觀與內(nèi)飾的可視化資產(chǎn)，并使設(shè)計(jì)和工程團(tuán)隊(duì)能在虛擬環(huán)境中對(duì)產(chǎn)品進(jìn)行測(cè)試和調(diào)整，顯著加速了汽車設(shè)計(jì)工作流，提高了工作效率，從而節(jié)約了大量時(shí)間與金錢成本。

NVIDIA AI Enterprise + Instant NeRF，加速理想汽車大模型應(yīng)用落地

現(xiàn)在新能源汽車的主戰(zhàn)場(chǎng)，就是智能化。

伴隨大模型上車的機(jī)遇，理想悄然把智能化打造成了自己的長(zhǎng)項(xiàng)。

隨著智駕技術(shù)的發(fā)展，理想汽車開始探索端到端模型，即從感知到跟蹤、預(yù)測(cè)、決策、規(guī)劃的全過程都實(shí)現(xiàn)模型化。特斯拉的 V12 版本是端到端模型的代表，實(shí)現(xiàn)了完全模型化和端到端的可虛擬性。

然而，理想汽車認(rèn)為，即使實(shí)現(xiàn)了數(shù)據(jù)驅(qū)動(dòng)和端到端模型，要達(dá)到 L4 級(jí)別的自動(dòng)駕駛?cè)匀幻媾R挑戰(zhàn)，因?yàn)?L4 級(jí)別要求在任何未知場(chǎng)景中都不需要人工監(jiān)管。

因此，理想汽車提出了知識(shí)驅(qū)動(dòng)的新范式，利用大語言模型和多模態(tài)視覺語言模型來提升車輛對(duì)世界的理解和應(yīng)對(duì)未知場(chǎng)景的能力。

理想汽車的自動(dòng)駕駛開發(fā)框架基于快慢系統(tǒng)的理念，類似于人類的思維模式�？煜到y(tǒng)（System1）負(fù)責(zé)直覺性的反應(yīng)，而慢系統(tǒng)（System2）負(fù)責(zé)邏輯思考和處理復(fù)雜場(chǎng)景。理想汽車的 L3 級(jí)別自動(dòng)駕駛和未來的 L4 級(jí)別自動(dòng)駕駛都將基于這一框架進(jìn)行開發(fā)。

目前，理想汽車已經(jīng)在端到端模型的研發(fā)上取得了進(jìn)展，尤其是在 BEV（基于攝像頭的感知）的 3D 感知、動(dòng)態(tài)感知、靜態(tài)感知以及跟蹤模型化等方面。理想汽車的 ADMax3.0 系統(tǒng)已經(jīng)實(shí)現(xiàn)了業(yè)界領(lǐng)先的全場(chǎng)景 NOA，包括高速和城區(qū)駕駛，以及紅綠燈路口的左右轉(zhuǎn)、剎停和啟停等復(fù)雜場(chǎng)景的處理。

在這個(gè)過程中，理想汽車和英偉達(dá)合作比較多且比較突出的工作是，通過 NVIDIA AI Enterprise 加速整個(gè)模型的部署以及推理加速，讓視覺工作流從最初的每秒處理 9 幀畫面提升到現(xiàn)在的每秒處理 21 幀畫面。

NVIDIA AI Enterprise 是一個(gè)端到端云原生軟件平臺(tái)，包括 DALI、CV-CUDA、TensorRT 和 Triton 等 SDK 和平臺(tái)，能夠?yàn)?NVIDIA AI 平臺(tái)提供企業(yè)級(jí)的軟件和支持，可以幫助利用生成式 AI 進(jìn)行創(chuàng)新的汽車行業(yè)合作伙伴加速開發(fā)，其中 TensorRT-LLM 框架為大模型提供了高效的推理能力，能支持在 DRIVE Orin 平臺(tái)上運(yùn)行復(fù)雜的神經(jīng)網(wǎng)絡(luò)模型。

除推理加速以外，對(duì)于車企來說，車型之間數(shù)據(jù)的復(fù)用和適配也是個(gè)很大的難點(diǎn)，因此串起來整個(gè)開發(fā)流程的數(shù)據(jù)閉環(huán)以及數(shù)據(jù)復(fù)用就顯得尤為重要。

NVIDIA Instant NeRF 是一個(gè)全新的 3D 渲染技術(shù)，被美國《時(shí)代》周刊評(píng)為 2022 年度最佳發(fā)明。該項(xiàng)技術(shù)可用于訓(xùn)練機(jī)器人和自動(dòng)駕駛汽車，開發(fā)者可以在短短數(shù)秒內(nèi)將多組靜態(tài)圖像轉(zhuǎn)變?yōu)?3D 數(shù)字場(chǎng)景，并在此基礎(chǔ)上進(jìn)行修改和構(gòu)建。

在 NVIDIA Instant NeRF 的幫助下，理想汽車能夠在系統(tǒng)之上優(yōu)化數(shù)據(jù)的使用和生成，如對(duì)理想 L9 車型的數(shù)據(jù)進(jìn)行重建和動(dòng)態(tài)編輯，有效利用歷史數(shù)據(jù)，從而提高了數(shù)據(jù)處理的效率和模型訓(xùn)練的泛化能力。

而在智能座艙領(lǐng)域，由多模態(tài)認(rèn)知大模型 Mind GPT 構(gòu)建的理想汽車 AI 助手 “理想同學(xué)”，融合了語音、視覺和觸控等多種感知信息，能夠充分理解語言和用戶需求，并提供有價(jià)值的回復(fù)。

在這一過程中，NVIDIA GPU 強(qiáng)大的計(jì)算能力支撐了大模型的訓(xùn)練和推理，使得 “理想同學(xué)” 能夠快速、準(zhǔn)確地處理和響應(yīng)用戶指令。

目前 ，英偉達(dá)正在通過從云端到車端的全方位 AI 加速解決方案，助力理想汽車積極擁抱大模型，推進(jìn)智能駕駛和智能座艙方面的技術(shù)創(chuàng)新。

深度學(xué)習(xí) + 自動(dòng)駕駛，解決蔚來感知模型訓(xùn)練難題

隨著深度學(xué)習(xí)模型的不斷發(fā)展，模型的規(guī)模和復(fù)雜度也在不斷增加，這對(duì)計(jì)算資源和內(nèi)存提出了更高的要求。為了解決這一問題，張量并行技術(shù)應(yīng)運(yùn)而生。

張量并行（Tensor Parallel）技術(shù)的優(yōu)勢(shì)是提高計(jì)算效率、減少內(nèi)存消耗、提高模型性能。這恰恰對(duì)應(yīng)了蔚來的難題——在中央計(jì)算平臺(tái) ADAM 強(qiáng)大算力加持下，蔚來自動(dòng)駕駛技術(shù)在飛速發(fā)展，由于采用了多攝像頭輸入和深度卷積骨干網(wǎng)絡(luò)，用于訓(xùn)練自動(dòng)駕駛感知模型的 GPU 內(nèi)存占用很大。

英偉達(dá)和蔚來合作設(shè)計(jì)并實(shí)現(xiàn)了張量并行 CNN 訓(xùn)練方案，在多個(gè) GPU 之間分配深度學(xué)習(xí)模型的計(jì)算任務(wù)，從而顯著降低對(duì)單個(gè) GPU 的內(nèi)存占用和帶寬壓力，實(shí)現(xiàn)更快的計(jì)算速度和更高的計(jì)算效率，最終幫助提高了自動(dòng)駕駛汽車感知模型的訓(xùn)練效率和 GPU 利用率。

基準(zhǔn)測(cè)試顯示，在蔚來自動(dòng)駕駛場(chǎng)景下，該方法表現(xiàn)良好，有效解決了視覺大模型的訓(xùn)練難題。

而在此之前，蔚來還選用了 NVIDIA Triton 推理服務(wù)器，為蔚來自動(dòng)駕駛開發(fā)平臺(tái)（NADP）構(gòu)建高性能推理服務(wù)。Triton 讓模型的編排和擴(kuò)展變得更加輕松，還將推理速度提高至 6 倍，并節(jié)省了 24% 的資源。

從英偉達(dá)與四大廠商的合作，汽車行業(yè)正在呈現(xiàn)幾大趨勢(shì)

首先是，全自動(dòng)駕駛，從 AI 1.0 正在邁向 AI 2.0。過去的軟件定義汽車，即 AI 1.0 時(shí)代，需要大量工程師介入。

在 AI 2.0 時(shí)代，也就是我們說的 AI 定義汽車，大部分模型都能夠在云端完成訓(xùn)練，即實(shí)現(xiàn)通過數(shù)據(jù)驅(qū)動(dòng)的方式。生成式 AI、加速計(jì)算在下一代自動(dòng)駕駛汽車中的作用將越來越大。

其次是，比亞迪電子的虛擬工廠，是一次工業(yè)互聯(lián)網(wǎng)從單點(diǎn)賦能到系統(tǒng)賦能的有力實(shí)踐，AI 機(jī)器人技術(shù)賦能工廠加速制造業(yè)自動(dòng)化與工業(yè)化效率時(shí)代正在到來。

在比亞迪電子的生產(chǎn)車間，自主移動(dòng)機(jī)器人已在為汽車制造的效率帶來助力，采用 NVIDIA 數(shù)字孿生技術(shù)復(fù)制實(shí)體工廠，可以為現(xiàn)有機(jī)器人工廠創(chuàng)建精確的實(shí)體世界規(guī)模仿真，使生產(chǎn)、倉庫物流、配送中心變得高效，引導(dǎo)我們將自動(dòng)化和工業(yè)效率提升到新的水平。

其三，汽車的智能化正在進(jìn)入接近人類思維高階階段。

基于英偉達(dá) AI Enterprise 軟件平臺(tái)和 GPU 算力支持，理想汽車正在探索端到端模型，即從感知到跟蹤、預(yù)測(cè)、決策、規(guī)劃的全過程都實(shí)現(xiàn)模型化。自動(dòng)駕駛開發(fā)框架基于快慢系統(tǒng)的理念，類似于人類的思維模式。

智駕沒有人聰明，復(fù)雜的駕駛場(chǎng)景還得人來是一個(gè)共識(shí)，從理想的案例來看，通過端到端全方位AI加速解決方案，汽車智能化已經(jīng)可以應(yīng)付高速和城區(qū)駕駛，以及紅綠燈路口的左右轉(zhuǎn)、剎停和啟停等復(fù)雜場(chǎng)景的處理。汽車智能化正在進(jìn)入新的高階階段。

其四，汽車廠商從生產(chǎn)到使用的智能化。綜上四個(gè)案例來看，AI 正在融入設(shè)計(jì)、工程、生產(chǎn)、銷售等多個(gè)環(huán)節(jié)，汽車智能化進(jìn)入 AI 工業(yè) 2.0 時(shí)代。

比亞迪電子、蔚來、小鵬、理想與英偉達(dá)的合作，可以視為汽車行業(yè)數(shù)字化轉(zhuǎn)型的一個(gè)信號(hào)，汽車制造正在實(shí)現(xiàn)全工作流的數(shù)字化升級(jí)。

在 AI 時(shí)代，科技服務(wù)于人，同時(shí)推動(dòng)著時(shí)代的變革，也讓我們看到下一個(gè)時(shí)代的到來。

作者：王新喜 TMT資深評(píng)論人 本文未經(jīng)許可謝絕轉(zhuǎn)載

       原文標(biāo)題 : 以四大頭部廠商為例，看 AI 如何賦能汽車行業(yè)數(shù)字化？