對(duì)于網(wǎng)格形式的3D數(shù)據(jù)學(xué)習(xí)一直以來是三維深度學(xué)習(xí)研究的重點(diǎn)，網(wǎng)格的復(fù)雜性和不規(guī)則性使得通常的卷積網(wǎng)絡(luò)無法有效的應(yīng)用。為此來自德國亞琛工業(yè)大學(xué)的研究人員們提出了一種集成測(cè)地線卷積和歐幾里得卷積的層級(jí)卷積模型DualConvMesh－Net，用于處理三維幾何數(shù)據(jù)，其中定義在網(wǎng)格表面的測(cè)地線卷積可以將作用于給定網(wǎng)格的局域表面，更加注重對(duì)于不同目標(biāo)的編碼與分離；而定義在鄰域的歐幾里得卷積則獨(dú)立于表面結(jié)構(gòu)，著重于分析區(qū)域內(nèi)點(diǎn)之間的相互關(guān)系、編碼鄰近目標(biāo)間的相關(guān)性，而不注重目標(biāo)的獨(dú)立性。

通過有效結(jié)合歐幾里得卷積和測(cè)地線卷積，基于層級(jí)結(jié)構(gòu)實(shí)現(xiàn)多尺度多分辨率的網(wǎng)格分析，最終大幅度提升了三維語義分割任務(wù)的性能，并在多個(gè)數(shù)據(jù)集上取得了優(yōu)異的結(jié)果。

向三維幾何進(jìn)軍的深度學(xué)習(xí)

隨著深度學(xué)習(xí)在圖像領(lǐng)域取得了令人矚目的成就，研究人員們也逐漸開始將深度學(xué)習(xí)方法特別是卷積神經(jīng)網(wǎng)絡(luò)從規(guī)則、離散的音頻、圖像和體素領(lǐng)域，向非規(guī)則的幾何數(shù)據(jù)上進(jìn)行應(yīng)用。典型的幾何數(shù)據(jù)包括圖結(jié)構(gòu)、點(diǎn)云和3D網(wǎng)格等，目前針對(duì)這一領(lǐng)域的研究基于數(shù)據(jù)表示的不同主要分為兩大方向：3D場(chǎng)景理解和3D形狀分析。

其中3D場(chǎng)景理解的主要任務(wù)包括語義分割、實(shí)例分割、部件分割等等，所面對(duì)的通常是點(diǎn)云數(shù)據(jù)。人們常常將原始點(diǎn)云轉(zhuǎn)換到規(guī)則的離散三維柵格中，以便標(biāo)準(zhǔn)的3D卷積處理。而直接處理點(diǎn)云顯然是一種更為便捷的方法，但最大的挑戰(zhàn)則來自于如何將卷積作用于非規(guī)則的點(diǎn)集上。這種方式通常將卷積核作用于利用球或者K最鄰近等歐幾里得方法得到的鄰域點(diǎn)集中。這種基于歐式距離的歐式卷積關(guān)注與點(diǎn)與點(diǎn)之間的相互關(guān)系，還對(duì)表面形變非常敏感。

與三維場(chǎng)景理解不同的是，三維形狀分析主要集中于形狀關(guān)系、形狀描述和檢索方面，主要關(guān)注以網(wǎng)格或者圖形式所編碼的表面信息。這種情況下，卷積核通常定義在網(wǎng)格或者圖的局域片層上，通過測(cè)地線距離來進(jìn)行定位和聯(lián)系（可以理解為沿著物體表面連接兩個(gè)節(jié)點(diǎn)見最短的邊）。這種方式的卷積被稱為測(cè)地線卷積，其最主要的特性是對(duì)于曲面形變具有不變形的特點(diǎn)，因此非常適合與獨(dú)立個(gè)體的描述與辨別。

上圖彩色梯度顯示了兩種不同卷積的特點(diǎn)，可以看到測(cè)地線距離可以有效分離出獨(dú)立的個(gè)體，它專注于沿著表面進(jìn)行學(xué)習(xí)；而歐式距離則更多地專注于空間相關(guān)性，可以銜接起小部分的缺失，以便學(xué)習(xí)到更多的上下文信息，補(bǔ)全缺失部分。

在這篇文章中，研究人員探索了上述的兩種卷積在三維網(wǎng)格語義分割任務(wù)中的應(yīng)用。目前絕大多數(shù)方法都基于歐式卷積，很少有利用測(cè)地線方法來進(jìn)行的研究。歐式卷積主要專注于上下文和鄰域信息的學(xué)習(xí)，而測(cè)地線距離則主要針對(duì)特定目標(biāo)，沿著其表面進(jìn)行形狀學(xué)習(xí)。這兩種方法各有優(yōu)劣，那么如何將他們的優(yōu)勢(shì)結(jié)合起來提升模型性能呢？

為了解決這一問題，建立結(jié)合兩種卷積的綜合架構(gòu)，研究人員提出了DualConvMesh－Net，在網(wǎng)格數(shù)據(jù)下利用兩種卷積對(duì)幾何結(jié)構(gòu)進(jìn)行綜合學(xué)習(xí)與處理。為了在不同尺度上對(duì)歐式特征和測(cè)地線特征進(jìn)行學(xué)習(xí)，不僅構(gòu)建了層級(jí)網(wǎng)絡(luò)架構(gòu)，同時(shí)提出網(wǎng)格池化算法來在各個(gè)層級(jí)上簡(jiǎn)化并保留重要的網(wǎng)格結(jié)構(gòu)。下面就詳細(xì)地了解模型如何融合不同卷積方法并對(duì)網(wǎng)格進(jìn)行簡(jiǎn)化和學(xué)習(xí)的。

DualConvMesh－Net

本文提出的DualConvMesh－Net（DCM－Nets）是一類層級(jí)深度網(wǎng)絡(luò)架構(gòu)，它結(jié)合了測(cè)地線圖卷積在3D表面網(wǎng)格上的優(yōu)勢(shì)和歐幾里得圖卷積在空間域中3D頂點(diǎn)上的優(yōu)勢(shì)。網(wǎng)絡(luò)的輸入是包含了頂點(diǎn)信息的網(wǎng)格、輸入則是包含頂點(diǎn)特征的網(wǎng)格，可以有效用于稠密預(yù)測(cè)任務(wù)。網(wǎng)絡(luò)通過模塊化的形式構(gòu)建，具有容易集成與測(cè)評(píng)的優(yōu)勢(shì)。

本文提出的主體網(wǎng)絡(luò)架構(gòu)如下圖所示，在編碼器解碼器架構(gòu)的基礎(chǔ)上添加了銜接的殘差結(jié)構(gòu)，便于訓(xùn)練收斂�？梢钥吹骄W(wǎng)絡(luò)由多個(gè)層級(jí)組成，每個(gè)層級(jí)中包含了多個(gè)疊加的DualConv結(jié)構(gòu)。在DualConv結(jié)構(gòu)中，測(cè)地線卷積和歐式卷積并行作用，并將得到的特征圖進(jìn)行銜接輸出。而針對(duì)不同尺度的網(wǎng)格，則需要利用池化算法來對(duì)網(wǎng)格進(jìn)行簡(jiǎn)化。

針對(duì)歐幾里得圖卷積和測(cè)地線圖卷積，針對(duì)某個(gè)尺度的網(wǎng)格來說其頂點(diǎn)（Vertex）為歐式空間中的點(diǎn)集，而其邊則分為了基于knn或者一定鄰域半徑內(nèi)得到的歐幾里得形式的邊，以及基于網(wǎng)格上的面而得到的測(cè)地線邊（Edge）．而最終卷積作用于與頂點(diǎn)對(duì)應(yīng)的特征xi上，輸出yi為頂點(diǎn)vi的對(duì)應(yīng)特征：

其中N表示頂點(diǎn)附近的鄰域，φ為訓(xùn)練的非線性映射函數(shù)。值得注意的是，卷積核參數(shù)θ的數(shù)量與核的大小無關(guān)，同時(shí)歸一化的分母提高了卷積對(duì)于不同鄰域數(shù)量的魯棒性。針對(duì)網(wǎng)絡(luò)最開始的卷積層，定義了僅僅依賴邊緣信息具有不變形的卷積操作，僅僅輸入xj－xi，而去除了包含絕對(duì)位置的初始特征xi。這樣的改變是的模型可以在場(chǎng)景的片層上訓(xùn)練，但同時(shí)可以在完整的結(jié)構(gòu)上進(jìn)行測(cè)評(píng)，不僅為每個(gè)頂點(diǎn)帶來更廣的上下文區(qū)域，同時(shí)也減少了運(yùn)行時(shí)間。此外對(duì)于初始?xì)W幾里得與側(cè)地線空間鄰域的復(fù)用則使得更深的圖卷積成為可能，同時(shí)也減少了運(yùn)行的內(nèi)存需求提高的計(jì)算速度。