CVPR2020 Oral: 一張照片三維重建你的房間
總 結(jié)
我們提出了一種基于單張圖像的端到端室內(nèi)場景重建方法。此方法對場景理解和網(wǎng)格重建進(jìn)行聯(lián)合訓(xùn)練,自動(dòng)生成房間布局、攝像機(jī)姿態(tài)、物體包圍盒和三維網(wǎng)格,以完全恢復(fù)房間和室內(nèi)物體的幾何信息。實(shí)驗(yàn)表明,本文的聯(lián)合學(xué)習(xí)方法顯著地提高了每個(gè)子任務(wù)的性能,且每個(gè)階段的場景解析過程都對其他階段有著潛在的影響。這說明了對所有階段進(jìn)行聯(lián)合訓(xùn)練的必要性。本文方法的一個(gè)局限是,學(xué)習(xí)物體的三維網(wǎng)格形狀時(shí),需要用稠密點(diǎn)云進(jìn)行全監(jiān)督訓(xùn)練。而在真實(shí)場景中獲取較精確的稠密點(diǎn)云需要耗費(fèi)大量的人力。為了解決這個(gè)問題,我們計(jì)劃在未來的工作中嘗試自監(jiān)督或弱監(jiān)督的學(xué)習(xí)方式。
關(guān)于團(tuán)隊(duì):香港中文大學(xué)(深圳)GAP實(shí)驗(yàn)室
該工作由香港中文大學(xué)(深圳)GAP實(shí)驗(yàn)室主導(dǎo)完成。GAP實(shí)驗(yàn)室取名于Generation and Analysis of Pixels, Points and Polygons;谏钲谑写髷(shù)據(jù)研究院與香港中文大學(xué)(深圳),該實(shí)驗(yàn)室在韓曉光博士的帶領(lǐng)下,致力于探索和解決圖片、視頻及三維內(nèi)容的生成與分析方面的難題,其主要研究方向涵蓋計(jì)算機(jī)視覺、計(jì)算機(jī)圖形學(xué)和機(jī)器學(xué)習(xí)。
該工作主要由伯恩茅斯大學(xué)博士生聶隱愚在GAP實(shí)驗(yàn)室交換期間完成。團(tuán)隊(duì)成員還包括香港中文大學(xué)(深圳)研究助理教授韓曉光博士、廈門大學(xué)副教授郭詩輝博士、香港中文大學(xué)(深圳)博士生鄭玉健及伯恩茅斯大學(xué)常建教授與張建軍教授。
References:
[1] Gkioxari, G., Malik, J. and Johnson, J., 2019. Mesh r-cnn. In Proceedings of the IEEE International Conference on Computer Vision (pp. 9785-9795).
[2] Pan, J., Han, X., Chen, W., Tang, J. and Jia, K., 2019. Deep Mesh Reconstruction from Single RGB Images via Topology Modification Networks. In Proceedings of the IEEE International Conference on Computer Vision (pp. 9964-9973).
[3] Hu, H., Gu, J., Zhang, Z., Dai, J. and Wei, Y., 2018. Relation networks for object detection. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (pp. 3588-3597).
[4] Groueix, T., Fisher, M., Kim, V.G., Russell, B.C. and Aubry, M., 2018. A papier-m?ché approach to learning 3d surface generation. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 216-224).
[5] Huang, S., Qi, S., Xiao, Y., Zhu, Y., Wu, Y.N. and Zhu, S.C., 2018. Cooperative holistic scene understanding: Unifying 3d object, layout, and camera pose estimation. In Advances in Neural Information Processing Systems (pp. 207-218).
請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個(gè)字
最新活動(dòng)更多
-
10月31日立即下載>> 【限時(shí)免費(fèi)下載】TE暖通空調(diào)系統(tǒng)高效可靠的組件解決方案
-
即日-11.13立即報(bào)名>>> 【在線會(huì)議】多物理場仿真助跑新能源汽車
-
11月28日立即報(bào)名>>> 2024工程師系列—工業(yè)電子技術(shù)在線會(huì)議
-
12月19日立即報(bào)名>> 【線下會(huì)議】OFweek 2024(第九屆)物聯(lián)網(wǎng)產(chǎn)業(yè)大會(huì)
-
即日-12.26火熱報(bào)名中>> OFweek2024中國智造CIO在線峰會(huì)
-
即日-2025.8.1立即下載>> 《2024智能制造產(chǎn)業(yè)高端化、智能化、綠色化發(fā)展藍(lán)皮書》
推薦專題
- 1 【一周車話】沒有方向盤和踏板的車,你敢坐嗎?
- 2 特斯拉發(fā)布無人駕駛車,還未迎來“Chatgpt時(shí)刻”
- 3 特斯拉股價(jià)大跌15%:Robotaxi離落地還差一個(gè)蘿卜快跑
- 4 馬斯克給的“驚喜”夠嗎?
- 5 打完“價(jià)格戰(zhàn)”,大模型還要比什么?
- 6 馬斯克致敬“國產(chǎn)蘿卜”?
- 7 神經(jīng)網(wǎng)絡(luò),誰是盈利最強(qiáng)企業(yè)?
- 8 比蘋果偉大100倍!真正改寫人類歷史的智能產(chǎn)品降臨
- 9 諾獎(jiǎng)進(jìn)入“AI時(shí)代”,人類何去何從?
- 10 Open AI融資后成萬億獨(dú)角獸,AI人才之爭開啟
- 高級軟件工程師 廣東省/深圳市
- 自動(dòng)化高級工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 銷售總監(jiān)(光器件) 北京市/海淀區(qū)
- 激光器高級銷售經(jīng)理 上海市/虹口區(qū)
- 光器件物理工程師 北京市/海淀區(qū)
- 激光研發(fā)工程師 北京市/昌平區(qū)
- 技術(shù)專家 廣東省/江門市
- 封裝工程師 北京市/海淀區(qū)
- 結(jié)構(gòu)工程師 廣東省/深圳市