自動駕駛領(lǐng)頭羊Waymo十周年奉獻(xiàn):Auto ML機器學(xué)習(xí)【PDF】
美國當(dāng)?shù)貢r間1月16日,全球自動駕駛領(lǐng)頭羊Waymo,發(fā)布了十年周年慶祝短視頻,并且在官方博客上發(fā)布了關(guān)于“Auto ML(Auto Machine Learning)”的文章,深度剖析了Auto ML與Google AI大腦,是如何幫助Waymo發(fā)展自動駕駛技術(shù)的。
在Waymo的官方推特上寫著:十年前的這個星期,“項目司機”正式成立,其使命是改善道路安全,使交通更加便利。從這個“登月”項目,到谷歌自動駕駛汽車項目,現(xiàn)在是Waymo,一起為下一個十年及更遠(yuǎn)的將來而努力!
下面是關(guān)于Auto ML的文章,在Waymo,機器學(xué)習(xí)幾乎在自動駕駛系統(tǒng)的每個部分都扮演著關(guān)鍵角色。它幫助我們的汽車看清周圍的環(huán)境,理解世界,預(yù)測他人的行為,并決定他們下一步的最佳行動。
以感知為例,Waymo的系統(tǒng)采用了神經(jīng)網(wǎng)絡(luò)的組合,使Waymo的車輛能夠解讀傳感器數(shù)據(jù)、識別物體,并隨著時間的推移跟蹤它們,從而對周圍的世界有一個深入的了解。
創(chuàng)建這些神經(jīng)網(wǎng)絡(luò)通常是一項耗時的任務(wù):優(yōu)化神經(jīng)網(wǎng)絡(luò)架構(gòu),以達(dá)到自動駕駛汽車運行所需的質(zhì)量和速度,是一個復(fù)雜的微調(diào)過程,Waymo工程師可能需要數(shù)月時間來完成一項新任務(wù)。
現(xiàn)在,通過與來自Google AI大腦的研究人員合作,Waymo正在將前沿研究付諸實踐,以自動生成神經(jīng)網(wǎng)絡(luò)。更重要的是,這些最先進的神經(jīng)網(wǎng)絡(luò)比那些由工程師手工調(diào)整的神經(jīng)網(wǎng)絡(luò)質(zhì)量更高、速度更快。
為了將Waymo的自動駕駛技術(shù)應(yīng)用到不同的城市和環(huán)境中,需要針對不同的場景快速優(yōu)化Waymo的模型。Auto ML使Waymo能夠做到這一點,高效和連續(xù)地提供大量ML解決方案。
01
遷移學(xué)習(xí):使用現(xiàn)有的自動化架構(gòu)
Waymo和Google AI大腦的合作始于一個簡單的問題:Auto ML能否為汽車生成高質(zhì)量、低延遲的神經(jīng)網(wǎng)絡(luò)?
質(zhì)量衡量的標(biāo)準(zhǔn)是由神經(jīng)網(wǎng)絡(luò)產(chǎn)生的答案的準(zhǔn)確性,延遲度量網(wǎng)絡(luò)提供答案的速度,也稱為推理時間。由于駕駛是一種活動,它要求車輛使用實時答案,并且考慮到系統(tǒng)的安全性,神經(jīng)網(wǎng)絡(luò)需要在低延遲的情況下運行。大多數(shù)網(wǎng)絡(luò)直接運行在Waymo的車輛上,結(jié)果少于10毫秒,這比部署在數(shù)千臺服務(wù)器上的數(shù)據(jù)中心中的許多網(wǎng)絡(luò)要快。
在原來的Auto ML論文(Learning Transferable Architectures for Scalable ImageRecognition PDF),谷歌AI的員工能夠自動探索12000多個架構(gòu)解決CIFAR-10的經(jīng)典圖像識別任務(wù):確定一個小形象代表十個類別之一,比如買一輛汽車、飛機、一只狗,等等。
在后續(xù)文章(NEURAL ARCHITECTURE SEARCH WITHREINFORCEMENT LEARNING
PDF),他們發(fā)現(xiàn)了一個家庭的神經(jīng)網(wǎng)絡(luò)的構(gòu)建塊,稱為NAS單元,這可能是由自動構(gòu)建比手工網(wǎng)CIFAR-10和類似的任務(wù)。通過這種合作,Waymo的研究人員決定使用這些單元來自動構(gòu)建針對自動駕駛?cè)蝿?wù)的新模型,從而將CIFAR-10上的知識轉(zhuǎn)移到汽車領(lǐng)域,第一個實驗是語義分割任務(wù):識別激光雷達(dá)點云中的每個點,如汽車、行人、樹等。
圖一:一個NAS單元的例子,這個單元在神經(jīng)網(wǎng)絡(luò)中處理前兩層的輸入
為此,Waymo研究人員建立了一個自動搜索算法,在卷積網(wǎng)絡(luò)架構(gòu)(CNN)中探索數(shù)百種不同的NAS單元組合,為Waymo的激光雷達(dá)分割任務(wù)訓(xùn)練和評估模型。當(dāng)Waymo的工程師手工調(diào)整這些網(wǎng)絡(luò)時,只能探索有限數(shù)量的架構(gòu),但是使用這種方法,可以自動探索了數(shù)百個架構(gòu)。
相比以前的人工微調(diào)優(yōu)化神經(jīng)網(wǎng)絡(luò),Auto ML通過下面兩種方式來改進:
一些具有類似質(zhì)量的延遲顯著降低;
其他的則具有更高的質(zhì)量和類似的延遲。
初步成功后,Waymo將相同的搜索算法應(yīng)用于另外兩個與交通車道檢測和定位相關(guān)的任務(wù),轉(zhuǎn)移學(xué)習(xí)技術(shù)也適用于這些任務(wù),最后能夠在汽車上部署三個新訓(xùn)練和改進的神經(jīng)網(wǎng)絡(luò)。
十年前的Waymo自動駕駛汽車(普銳斯)
02
端到端搜索:從頭開始搜索新的架構(gòu)
被最初成功的結(jié)果所鼓舞,接著就是更進一步、更廣泛地尋找能夠提供更好結(jié)果的全新架構(gòu),通過不局限于組合已經(jīng)發(fā)現(xiàn)的NAS單元,可以更直接地尋找考慮到嚴(yán)格的延遲需求的架構(gòu)。
執(zhí)行端到端搜索通常需要手動探索數(shù)千個架構(gòu),這需要大量的計算成本。探索單一架構(gòu)需要在具有多個GPU卡的數(shù)據(jù)中心計算機上進行幾天的培訓(xùn),這意味著搜索單個任務(wù)需要數(shù)千天的計算時間。相反,通過設(shè)計了一個代理任務(wù):一個縮小的激光雷達(dá)分割任務(wù),可以在幾個小時內(nèi)解決。
Waymo團隊必須克服的一個挑戰(zhàn),是找到一個與最初的細(xì)分任務(wù)足夠相似的代理任務(wù)。在確定代理任務(wù)上的架構(gòu)質(zhì)量與原始任務(wù)上的架構(gòu)質(zhì)量之間的良好相關(guān)性之前,對幾個代理任務(wù)設(shè)計進行了試驗。然后,啟動了一個類似于AutoML論文的搜索,但現(xiàn)在是代理任務(wù):一個端到端代理搜索。這是這個概念第一次應(yīng)用在激光雷達(dá)數(shù)據(jù)上。
圖二:代理端到端搜索:在一個縮小的代理任務(wù)上探索數(shù)千個架構(gòu),將100個最佳架構(gòu)應(yīng)用于原始任務(wù),驗證和部署car上最好架構(gòu)中的最好架構(gòu)。
Waymo使用了幾種搜索算法,對質(zhì)量和延遲進行優(yōu)化,因為這對車輛非常重要。觀察不同類型的CNN架構(gòu),使用不同的搜索策略,如隨機搜索和強化學(xué)習(xí),能夠為代理任務(wù)探索超過10,000種不同的架構(gòu)。通過使用代理任務(wù),在谷歌TPU集群上需要一年以上計算時間的任務(wù)只需要兩周時間。
當(dāng)我們剛剛轉(zhuǎn)移了NAS單元,結(jié)果發(fā)現(xiàn)了比以前更好的網(wǎng)絡(luò):
在相同的質(zhì)量下,神經(jīng)網(wǎng)絡(luò)的延遲降低20-30%;
具有更高質(zhì)量的神經(jīng)網(wǎng)絡(luò),錯誤率降低8-10%,與以前的架構(gòu)具有相同的延遲。
圖三 :1)第一個圖展示了在一組簡單的架構(gòu)上隨機搜索發(fā)現(xiàn)的大約4000個架構(gòu)。每個點都是一個經(jīng)過培訓(xùn)和評估的架構(gòu)。實線表示不同推理時間約束下的最佳體系結(jié)構(gòu),紅點表示用轉(zhuǎn)移學(xué)習(xí)構(gòu)建的網(wǎng)絡(luò)的延遲和性能。在這種隨機搜索中,網(wǎng)絡(luò)學(xué)習(xí)效果不如遷移學(xué)習(xí)。
圖三:2)在第二張圖中,黃色和藍(lán)色的點表示另外兩種搜索算法的結(jié)果。黃色的是對一組精致架構(gòu)的隨機搜索。藍(lán)色的那個使用了強化學(xué)習(xí),就像在[1]中一樣,探索了6000多個架構(gòu)。它產(chǎn)生了最好的結(jié)果。這兩個額外的搜索發(fā)現(xiàn),網(wǎng)絡(luò)明顯優(yōu)于遷移學(xué)習(xí)的網(wǎng)絡(luò)。
在搜索中發(fā)現(xiàn)的一些架構(gòu)顯示了卷積、池化和反卷積操作的創(chuàng)造性組合,如下圖所示。這些架構(gòu)最終非常適合最初的激光雷達(dá)分割任務(wù),并將部署在Waymo的自動駕駛汽車上。
圖四:由代理端到端搜索發(fā)現(xiàn)的一種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)
03
接下來是什么
Waymo的Auto ML實驗僅僅是個開始。對于激光雷達(dá)分割任務(wù),傳輸學(xué)習(xí)和代理端到端搜索都提供了比人工制作更好的網(wǎng)絡(luò),現(xiàn)在有機會將這些機制應(yīng)用到新的任務(wù)類型上,這可以改善許多其他的神經(jīng)網(wǎng)絡(luò)。
這一發(fā)展為未來的ML工作開辟了新的令人興奮的道路,并將提高Waymo的自動駕駛技術(shù)的性能和能力,并繼續(xù)與谷歌AI大腦的合作。
請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個字
圖片新聞
最新活動更多
推薦專題
- 項目經(jīng)理(汽車內(nèi)飾&汽車電子) 伯恩光學(xué)(惠州)有限公司
- 產(chǎn)品工程師(汽車) 易思維(杭州)科技股份有限公司
- IE工程師(汽車智聯(lián)) 惠州碩貝德無線科技股份有限公司
- 結(jié)構(gòu)工程師-汽車電子事業(yè)部(J10116) 深圳奧尼電子股份有限公司
- 銷售總監(jiān)-汽車電子方向 深圳市智立方自動化設(shè)備股份有限公司
- 銷售經(jīng)理(汽車新能源行業(yè)) 廣州瑞松智能科技股份有限公司
- 高級軟件工程師 廣東省/深圳市
- 自動化高級工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 銷售總監(jiān)(光器件) 北京市/海淀區(qū)
- 激光器高級銷售經(jīng)理 上海市/虹口區(qū)
- 光器件物理工程師 北京市/海淀區(qū)
- 激光研發(fā)工程師 北京市/昌平區(qū)
- 技術(shù)專家 廣東省/江門市
- 封裝工程師 北京市/海淀區(qū)
- 結(jié)構(gòu)工程師 廣東省/深圳市