總  結(jié)

我們提出了一種基于單張圖像的端到端室內(nèi)場景重建方法。此方法對場景理解和網(wǎng)格重建進(jìn)行聯(lián)合訓(xùn)練，自動(dòng)生成房間布局、攝像機(jī)姿態(tài)、物體包圍盒和三維網(wǎng)格，以完全恢復(fù)房間和室內(nèi)物體的幾何信息。實(shí)驗(yàn)表明，本文的聯(lián)合學(xué)習(xí)方法顯著地提高了每個(gè)子任務(wù)的性能，且每個(gè)階段的場景解析過程都對其他階段有著潛在的影響。這說明了對所有階段進(jìn)行聯(lián)合訓(xùn)練的必要性。本文方法的一個(gè)局限是，學(xué)習(xí)物體的三維網(wǎng)格形狀時(shí)，需要用稠密點(diǎn)云進(jìn)行全監(jiān)督訓(xùn)練。而在真實(shí)場景中獲取較精確的稠密點(diǎn)云需要耗費(fèi)大量的人力。為了解決這個(gè)問題，我們計(jì)劃在未來的工作中嘗試自監(jiān)督或弱監(jiān)督的學(xué)習(xí)方式。

關(guān)于團(tuán)隊(duì)：香港中文大學(xué)（深圳）GAP實(shí)驗(yàn)室

該工作由香港中文大學(xué)（深圳）GAP實(shí)驗(yàn)室主導(dǎo)完成。GAP實(shí)驗(yàn)室取名于Generation and Analysis of Pixels， Points and Polygons�；�于深圳市大數(shù)據(jù)研究院與香港中文大學(xué)（深圳），該實(shí)驗(yàn)室在韓曉光博士的帶領(lǐng)下，致力于探索和解決圖片、視頻及三維內(nèi)容的生成與分析方面的難題，其主要研究方向涵蓋計(jì)算機(jī)視覺、計(jì)算機(jī)圖形學(xué)和機(jī)器學(xué)習(xí)。

該工作主要由伯恩茅斯大學(xué)博士生聶隱愚在GAP實(shí)驗(yàn)室交換期間完成。團(tuán)隊(duì)成員還包括香港中文大學(xué)（深圳）研究助理教授韓曉光博士、廈門大學(xué)副教授郭詩輝博士、香港中文大學(xué)（深圳）博士生鄭玉健及伯恩茅斯大學(xué)常建教授與張建軍教授。

References：

［1］ Gkioxari， G．， Malik， J． and Johnson， J．， 2019． Mesh r－cnn． In Proceedings of the IEEE International Conference on Computer Vision （pp． 9785－9795）．

［2］ Pan， J．， Han， X．， Chen， W．， Tang， J． and Jia， K．， 2019． Deep Mesh Reconstruction from Single RGB Images via Topology Modification Networks． In Proceedings of the IEEE International Conference on Computer Vision （pp． 9964－9973）．

［3］ Hu， H．， Gu， J．， Zhang， Z．， Dai， J． and Wei， Y．， 2018． Relation networks for object detection． In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition （pp． 3588－3597）．

［4］ Groueix， T．， Fisher， M．， Kim， V．G．， Russell， B．C． and Aubry， M．， 2018． A papier－m？ché approach to learning 3d surface generation． In Proceedings of the IEEE conference on computer vision and pattern recognition （pp． 216－224）．

［5］ Huang， S．， Qi， S．， Xiao， Y．， Zhu， Y．， Wu， Y．N． and Zhu， S．C．， 2018． Cooperative holistic scene understanding： Unifying 3d object， layout， and camera pose estimation． In Advances in Neural Information Processing Systems （pp． 207－218）．