德國亞琛工業(yè)大學(xué)提出DualConvMesh-Net更好處理3D網(wǎng)格數(shù)據(jù)
對(duì)于網(wǎng)格形式的3D數(shù)據(jù)學(xué)習(xí)一直以來是三維深度學(xué)習(xí)研究的重點(diǎn),網(wǎng)格的復(fù)雜性和不規(guī)則性使得通常的卷積網(wǎng)絡(luò)無法有效的應(yīng)用。為此來自德國亞琛工業(yè)大學(xué)的研究人員們提出了一種集成測(cè)地線卷積和歐幾里得卷積的層級(jí)卷積模型DualConvMesh-Net,用于處理三維幾何數(shù)據(jù),其中定義在網(wǎng)格表面的測(cè)地線卷積可以將作用于給定網(wǎng)格的局域表面,更加注重對(duì)于不同目標(biāo)的編碼與分離;而定義在鄰域的歐幾里得卷積則獨(dú)立于表面結(jié)構(gòu),著重于分析區(qū)域內(nèi)點(diǎn)之間的相互關(guān)系、編碼鄰近目標(biāo)間的相關(guān)性,而不注重目標(biāo)的獨(dú)立性。
通過有效結(jié)合歐幾里得卷積和測(cè)地線卷積,基于層級(jí)結(jié)構(gòu)實(shí)現(xiàn)多尺度多分辨率的網(wǎng)格分析,最終大幅度提升了三維語義分割任務(wù)的性能,并在多個(gè)數(shù)據(jù)集上取得了優(yōu)異的結(jié)果。
向三維幾何進(jìn)軍的深度學(xué)習(xí)
隨著深度學(xué)習(xí)在圖像領(lǐng)域取得了令人矚目的成就,研究人員們也逐漸開始將深度學(xué)習(xí)方法特別是卷積神經(jīng)網(wǎng)絡(luò)從規(guī)則、離散的音頻、圖像和體素領(lǐng)域,向非規(guī)則的幾何數(shù)據(jù)上進(jìn)行應(yīng)用。典型的幾何數(shù)據(jù)包括圖結(jié)構(gòu)、點(diǎn)云和3D網(wǎng)格等,目前針對(duì)這一領(lǐng)域的研究基于數(shù)據(jù)表示的不同主要分為兩大方向:3D場(chǎng)景理解和3D形狀分析。
其中3D場(chǎng)景理解的主要任務(wù)包括語義分割、實(shí)例分割、部件分割等等,所面對(duì)的通常是點(diǎn)云數(shù)據(jù)。人們常常將原始點(diǎn)云轉(zhuǎn)換到規(guī)則的離散三維柵格中,以便標(biāo)準(zhǔn)的3D卷積處理。而直接處理點(diǎn)云顯然是一種更為便捷的方法,但最大的挑戰(zhàn)則來自于如何將卷積作用于非規(guī)則的點(diǎn)集上。這種方式通常將卷積核作用于利用球或者K最鄰近等歐幾里得方法得到的鄰域點(diǎn)集中。這種基于歐式距離的歐式卷積關(guān)注與點(diǎn)與點(diǎn)之間的相互關(guān)系,還對(duì)表面形變非常敏感。
與三維場(chǎng)景理解不同的是,三維形狀分析主要集中于形狀關(guān)系、形狀描述和檢索方面,主要關(guān)注以網(wǎng)格或者圖形式所編碼的表面信息。這種情況下,卷積核通常定義在網(wǎng)格或者圖的局域片層上,通過測(cè)地線距離來進(jìn)行定位和聯(lián)系(可以理解為沿著物體表面連接兩個(gè)節(jié)點(diǎn)見最短的邊)。這種方式的卷積被稱為測(cè)地線卷積,其最主要的特性是對(duì)于曲面形變具有不變形的特點(diǎn),因此非常適合與獨(dú)立個(gè)體的描述與辨別。
上圖彩色梯度顯示了兩種不同卷積的特點(diǎn),可以看到測(cè)地線距離可以有效分離出獨(dú)立的個(gè)體,它專注于沿著表面進(jìn)行學(xué)習(xí);而歐式距離則更多地專注于空間相關(guān)性,可以銜接起小部分的缺失,以便學(xué)習(xí)到更多的上下文信息,補(bǔ)全缺失部分。
在這篇文章中,研究人員探索了上述的兩種卷積在三維網(wǎng)格語義分割任務(wù)中的應(yīng)用。目前絕大多數(shù)方法都基于歐式卷積,很少有利用測(cè)地線方法來進(jìn)行的研究。歐式卷積主要專注于上下文和鄰域信息的學(xué)習(xí),而測(cè)地線距離則主要針對(duì)特定目標(biāo),沿著其表面進(jìn)行形狀學(xué)習(xí)。這兩種方法各有優(yōu)劣,那么如何將他們的優(yōu)勢(shì)結(jié)合起來提升模型性能呢?
為了解決這一問題,建立結(jié)合兩種卷積的綜合架構(gòu),研究人員提出了DualConvMesh-Net,在網(wǎng)格數(shù)據(jù)下利用兩種卷積對(duì)幾何結(jié)構(gòu)進(jìn)行綜合學(xué)習(xí)與處理。為了在不同尺度上對(duì)歐式特征和測(cè)地線特征進(jìn)行學(xué)習(xí),不僅構(gòu)建了層級(jí)網(wǎng)絡(luò)架構(gòu),同時(shí)提出網(wǎng)格池化算法來在各個(gè)層級(jí)上簡(jiǎn)化并保留重要的網(wǎng)格結(jié)構(gòu)。下面就詳細(xì)地了解模型如何融合不同卷積方法并對(duì)網(wǎng)格進(jìn)行簡(jiǎn)化和學(xué)習(xí)的。
DualConvMesh-Net
本文提出的DualConvMesh-Net(DCM-Nets)是一類層級(jí)深度網(wǎng)絡(luò)架構(gòu),它結(jié)合了測(cè)地線圖卷積在3D表面網(wǎng)格上的優(yōu)勢(shì)和歐幾里得圖卷積在空間域中3D頂點(diǎn)上的優(yōu)勢(shì)。網(wǎng)絡(luò)的輸入是包含了頂點(diǎn)信息的網(wǎng)格、輸入則是包含頂點(diǎn)特征的網(wǎng)格,可以有效用于稠密預(yù)測(cè)任務(wù)。網(wǎng)絡(luò)通過模塊化的形式構(gòu)建,具有容易集成與測(cè)評(píng)的優(yōu)勢(shì)。
本文提出的主體網(wǎng)絡(luò)架構(gòu)如下圖所示,在編碼器解碼器架構(gòu)的基礎(chǔ)上添加了銜接的殘差結(jié)構(gòu),便于訓(xùn)練收斂?梢钥吹骄W(wǎng)絡(luò)由多個(gè)層級(jí)組成,每個(gè)層級(jí)中包含了多個(gè)疊加的DualConv結(jié)構(gòu)。在DualConv結(jié)構(gòu)中,測(cè)地線卷積和歐式卷積并行作用,并將得到的特征圖進(jìn)行銜接輸出。而針對(duì)不同尺度的網(wǎng)格,則需要利用池化算法來對(duì)網(wǎng)格進(jìn)行簡(jiǎn)化。
針對(duì)歐幾里得圖卷積和測(cè)地線圖卷積,針對(duì)某個(gè)尺度的網(wǎng)格來說其頂點(diǎn)(Vertex)為歐式空間中的點(diǎn)集,而其邊則分為了基于knn或者一定鄰域半徑內(nèi)得到的歐幾里得形式的邊,以及基于網(wǎng)格上的面而得到的測(cè)地線邊(Edge).而最終卷積作用于與頂點(diǎn)對(duì)應(yīng)的特征xi上,輸出yi為頂點(diǎn)vi的對(duì)應(yīng)特征:
其中N表示頂點(diǎn)附近的鄰域,φ為訓(xùn)練的非線性映射函數(shù)。值得注意的是,卷積核參數(shù)θ的數(shù)量與核的大小無關(guān),同時(shí)歸一化的分母提高了卷積對(duì)于不同鄰域數(shù)量的魯棒性。針對(duì)網(wǎng)絡(luò)最開始的卷積層,定義了僅僅依賴邊緣信息具有不變形的卷積操作,僅僅輸入xj-xi,而去除了包含絕對(duì)位置的初始特征xi。這樣的改變是的模型可以在場(chǎng)景的片層上訓(xùn)練,但同時(shí)可以在完整的結(jié)構(gòu)上進(jìn)行測(cè)評(píng),不僅為每個(gè)頂點(diǎn)帶來更廣的上下文區(qū)域,同時(shí)也減少了運(yùn)行時(shí)間。此外對(duì)于初始?xì)W幾里得與側(cè)地線空間鄰域的復(fù)用則使得更深的圖卷積成為可能,同時(shí)也減少了運(yùn)行的內(nèi)存需求提高的計(jì)算速度。
發(fā)表評(píng)論
請(qǐng)輸入評(píng)論內(nèi)容...
請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字
最新活動(dòng)更多
-
10月31日立即下載>> 【限時(shí)免費(fèi)下載】TE暖通空調(diào)系統(tǒng)高效可靠的組件解決方案
-
即日-11.13立即報(bào)名>>> 【在線會(huì)議】多物理場(chǎng)仿真助跑新能源汽車
-
11月28日立即報(bào)名>>> 2024工程師系列—工業(yè)電子技術(shù)在線會(huì)議
-
12月19日立即報(bào)名>> 【線下會(huì)議】OFweek 2024(第九屆)物聯(lián)網(wǎng)產(chǎn)業(yè)大會(huì)
-
即日-12.26火熱報(bào)名中>> OFweek2024中國智造CIO在線峰會(huì)
-
即日-2025.8.1立即下載>> 《2024智能制造產(chǎn)業(yè)高端化、智能化、綠色化發(fā)展藍(lán)皮書》
推薦專題
- 1 【一周車話】沒有方向盤和踏板的車,你敢坐嗎?
- 2 特斯拉發(fā)布無人駕駛車,還未迎來“Chatgpt時(shí)刻”
- 3 特斯拉股價(jià)大跌15%:Robotaxi離落地還差一個(gè)蘿卜快跑
- 4 馬斯克給的“驚喜”夠嗎?
- 5 打完“價(jià)格戰(zhàn)”,大模型還要比什么?
- 6 馬斯克致敬“國產(chǎn)蘿卜”?
- 7 神經(jīng)網(wǎng)絡(luò),誰是盈利最強(qiáng)企業(yè)?
- 8 比蘋果偉大100倍!真正改寫人類歷史的智能產(chǎn)品降臨
- 9 諾獎(jiǎng)進(jìn)入“AI時(shí)代”,人類何去何從?
- 10 Open AI融資后成萬億獨(dú)角獸,AI人才之爭(zhēng)開啟
- 高級(jí)軟件工程師 廣東省/深圳市
- 自動(dòng)化高級(jí)工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 銷售總監(jiān)(光器件) 北京市/海淀區(qū)
- 激光器高級(jí)銷售經(jīng)理 上海市/虹口區(qū)
- 光器件物理工程師 北京市/海淀區(qū)
- 激光研發(fā)工程師 北京市/昌平區(qū)
- 技術(shù)專家 廣東省/江門市
- 封裝工程師 北京市/海淀區(qū)
- 結(jié)構(gòu)工程師 廣東省/深圳市