瑞典的森林到處都是。瑞典近70％的土地面積是森林，這是一種不應(yīng)有的民族自豪感。他們是少數(shù)幾個(gè)能夠保持伐木業(yè)成功并同時(shí)增加樹(shù)木覆蓋率的國(guó)家之一。

這并不是說(shuō)瑞典的森林沒(méi)有面臨挑戰(zhàn)。與世界上許多其他地區(qū)一樣，入侵性害蟲(chóng)會(huì)對(duì)北歐林地造成嚴(yán)重破壞。在V?sterg?tland西南部地區(qū)，落葉松箱蛾是一種暗灰色的小蛾，會(huì)造成廣泛的經(jīng)濟(jì)損失。

雌性在落葉松的針葉上產(chǎn)卵。然后幼蟲(chóng)會(huì)吃掉這根針和周?chē)�的針，把之前被吃掉的針的外面變成一個(gè)保護(hù)殼（因此有了“松箱”這個(gè)綽號(hào)）。

幼蟲(chóng)長(zhǎng)約5毫米；看到的機(jī)會(huì)很小。如果只有一個(gè)或幾個(gè)這樣的生物降落在一棵樹(shù)上，它們可能永遠(yuǎn)不會(huì)被注意到。落葉松為高大喬木，高達(dá)45米；任何這種大小的有機(jī)體都能對(duì)付一些微小的寄生蟲(chóng)。問(wèn)題是這些蛾子的數(shù)量遠(yuǎn)不止這些。雖然昆蟲(chóng)本身是看不見(jiàn)的，但它們所造成的傷害卻是顯而易見(jiàn)的。如果這是可見(jiàn)的，計(jì)算機(jī)視覺(jué)模型可以學(xué)會(huì)檢測(cè)它。

瑞典林業(yè)局發(fā)布了一個(gè)數(shù)據(jù)集，其中包括V?sterg?tland五個(gè)地區(qū)落葉松森林的空中無(wú)人機(jī)照片。這些照片拍攝于2019年5月27日和8月19日兩天，拍攝于V?sterg?tland五個(gè)地區(qū)（Bebehojd、Ekbacka、Jallasvag、Kampe和Nordkap）。

所有圖像都附帶由邊界框坐標(biāo)和標(biāo)簽組成的XML文件。標(biāo)簽指示包圍在邊界框中的樹(shù)是落葉松還是其他樹(shù)種（很可能是云杉，盡管只有兩個(gè)邊界框被標(biāo)記為云杉）。如果這棵樹(shù)是落葉松，圖像的標(biāo)簽包括傷害程度。傷害等級(jí)為健康、低傷害和高傷害。

數(shù)據(jù)概要

在5月份的數(shù)據(jù)中，落葉松占了近80％，但在8月份的數(shù)據(jù)中，落葉松僅占70％左右。8月份的數(shù)據(jù)包含的圖像總體上較少，分別為698張和836張，但包含的不是落葉松的樹(shù)木多出1900棵。

按位置劃分，5月份圖像中落葉松的百分比始終在四分之三到五分之四之間，除了Kampe和Ekbacka，后者的樹(shù)木密度最高，后者最低。

8月份，每個(gè)地區(qū)落葉松樹(shù)的比例差異很大，賈拉斯瓦格和其他地方的小落葉松樹(shù)的比例大幅下降。這可能是在兩張照片之間的三個(gè)月內(nèi)剔除病樹(shù)的結(jié)果，但這似乎不太可能，因?yàn)樽兓�百分比最高的Jallasvag和變化百分比最低的Kampe兩棵健康落葉松的百分比最高。更有可能的是，在兩次采集過(guò)程中對(duì)不同區(qū)域進(jìn)行了采樣。

歐洲落葉松不是最黑的針葉樹(shù)。即使在健康的情況下，這些樹(shù)也比它們的鄰居輕得多，針葉略帶藍(lán)色

左圖：健康落葉松樹(shù)林。右圖：由其他樹(shù)種組成的森林區(qū)域。注意，即使是健康的落葉松也有淺色的針葉。

當(dāng)帶菌者開(kāi)始感染時(shí)，落葉松樹(shù)的外部針葉開(kāi)始變成棕色。

坎佩的一個(gè)森林區(qū)域，由落葉松組成，大部分損害較低。沿著樹(shù)的邊緣可以看到淡淡的棕色。

當(dāng)蟲(chóng)害達(dá)到高傷害階段時(shí)，樹(shù)木留下的針葉已經(jīng)變成棕色。

坎佩的一個(gè)森林區(qū)域，由嚴(yán)重受感染的落葉松組成。剩下的一點(diǎn)綠色大部分來(lái)自落葉松周?chē)�生長(zhǎng)的較小的植物。

目標(biāo)檢測(cè)模型需要檢測(cè)綠色的陰影，以區(qū)分落葉松和其他品種，以及區(qū)分不同程度的侵?jǐn)_的綠色和棕色陰影。雖然樹(shù)枝的形狀和樹(shù)木的大小有微妙之處，但顏色可能是唯一最重要的因素。即使是一個(gè)相當(dāng)簡(jiǎn)單的檢測(cè)模型也可以很好地解決這個(gè)問(wèn)題。

建立模型

最后檢查，EfficientSet仍然是單鏡頭目標(biāo)檢測(cè)的最先進(jìn)模型架構(gòu)。

EfficientSet由一系列目標(biāo)檢測(cè)模型組成，旨在順利管理大小和效率之間的權(quán)衡。最小的模型可用于手持或遠(yuǎn)程設(shè)備，其中可能包括監(jiān)控森林的無(wú)人機(jī)，而最大的模型可在GPU供電的服務(wù)器上提供更高的精度。

無(wú)人機(jī)采集的所有圖像均為1500x1500。雖然一致性受到贊賞，但除了最大的EfficientDet模型外，其他所有模型的尺寸都太大了。事實(shí)上，EfficientSet模型對(duì)用于訓(xùn)練的輸入大小相當(dāng)挑剔。最小的D0為512x512，下一個(gè)最大的D1為640x640。經(jīng)驗(yàn)表明，不將輸入調(diào)整到這些大小必然導(dǎo)致性能損失。

幸運(yùn)的是，裁剪和調(diào)整大小是深度學(xué)習(xí)預(yù)處理管道的標(biāo)準(zhǔn)部分。裁剪和調(diào)整大小通常伴隨一些適度的拉伸和擠壓；隨機(jī)裁剪的比例在4：3和3：4之間，然后重新調(diào)整為1：1。這一舉措對(duì)解決這一問(wèn)題的價(jià)值值得商榷。樹(shù)木圖像會(huì)被壓縮成不切實(shí)際的形狀嗎？可能沒(méi)有這些高寬比；由此產(chǎn)生的圖像可能仍然反映了野生樹(shù)木的自然外觀。

使用從4：3延伸到1：1縱橫比的樹(shù)木訓(xùn)練圖像。扭曲不足以使樹(shù)看起來(lái)不現(xiàn)實(shí)。

用于訓(xùn)練的其他有用的預(yù)處理操作是翻轉(zhuǎn)、水平和垂直、旋轉(zhuǎn)和轉(zhuǎn)置。由于顏色是一個(gè)非常重要的特征，而且各個(gè)位置的類別顏色相當(dāng)同質(zhì)，因此幾乎沒(méi)有理由添加顏色增強(qiáng)。事實(shí)上，在現(xiàn)代體系中，色彩增強(qiáng)通常會(huì)導(dǎo)致精確度略有下降。

預(yù)處理驗(yàn)證數(shù)據(jù)是一件簡(jiǎn)單的事情。由于圖像已經(jīng)是正方形，因此調(diào)整其大小以適合模型內(nèi)部就足夠了。所有預(yù)處理操作都使用Albumentations包完成。

20％的數(shù)據(jù)是隨機(jī)選擇的，但分層分布在五個(gè)地點(diǎn)，用于驗(yàn)證。

模型的訓(xùn)練參數(shù)相當(dāng)標(biāo)準(zhǔn)。初始學(xué)習(xí)率為2．56e－3，權(quán)重衰減為4e－5的Adam優(yōu)化器表現(xiàn)良好。余弦學(xué)習(xí)率衰減規(guī)律略優(yōu)于指數(shù)衰減規(guī)律；似乎模型需要花一段時(shí)間大步尋找它的最佳區(qū)域，但隨后學(xué)習(xí)率需要迅速衰減。因?yàn)閍dam被認(rèn)為是在狹窄的山谷中找到了最佳狀態(tài)，所以這種行為并不奇怪。

模型的大小，或者更準(zhǔn)確地說(shuō)，Colab的內(nèi)存限制，決定了批量大小。對(duì)于EfficientDet0和EfficientDet1，批量大小為8起作用，但對(duì)于EfficientDet2，必須將其減少到4。最終結(jié)果是，從D1到D2時(shí)，精確度略有下降。

結(jié)果

總體鑒定結(jié)果良好，EfficientDet0的COCO mAP為48．6，EfficientDet1的COCO mAP為50．8。由于訓(xùn)練中使用的批量較小，因此EfficientDet2降至50．1。結(jié)果更實(shí)際，因?yàn)樗�反映了�?shí)際使用的預(yù)測(cè)，AP＠50 D0為75．9，D1為79．0，D2為77．4。不同類的分?jǐn)?shù)因類頻率而異，低傷害最高，健康最低。

EfficientDet0的平均精度：

EfficientDet1的平均精度

EfficientDet2的平均精度

D2模型的精度下降主要是檢測(cè)健康樹(shù)木的能力下降。低損傷的檢測(cè)略有上升，而高損傷大致保持不變。由于從D0到D1的精度確實(shí)全面提高，因此似乎沒(méi)有什么理由在生產(chǎn)中使用D0（除非CPU限制非常嚴(yán)格）。D1和D2之間的選擇是一種判斷，但由于D1在頻率較低的類上表現(xiàn)明顯更好，因此它可能是更好的模型。

值得注意的是，當(dāng)從AR＠100到AR時(shí)，對(duì)高損傷的召回超過(guò)了對(duì)Other損傷的召回。

所有模型的平均召回率。

平均準(zhǔn)確率和平均召回率是衡量模型性能的有效指標(biāo)，但它們本身并不能說(shuō)明模型在實(shí)踐中的應(yīng)用。這還需要一個(gè)項(xiàng)目，即閾值。簡(jiǎn)單的閾值選擇是0．5，高于該閾值的所有檢測(cè)都將保持，低于該閾值的所有檢測(cè)都將丟棄。

在多類問(wèn)題中，這個(gè)選擇幾乎從來(lái)都不是正確的選擇。要選擇最佳閾值，請(qǐng)找到平衡精度和召回率的閾值。F1分?jǐn)?shù)適用于確定最佳閾值。

使用閾值0．0：1．0：0．01的范圍計(jì)算每個(gè)閾值的F1分?jǐn)?shù)。對(duì)每個(gè)類別分別計(jì)算F1，然后取平均值。對(duì)于D0模型，F(xiàn)1的最佳得分為0．4，D1的最佳得分為0．409。D2模型的最佳閾值為0．379。

具有代表性的圖像。左是真實(shí)結(jié)果；右邊是D1的檢測(cè)結(jié)果。

上圖為mAP56．2，略高于總mAP50．8。預(yù)測(cè)和真實(shí)結(jié)果顯然是緊密相連的。最明顯的差異是該預(yù)測(cè)傾向于過(guò)度計(jì)算落葉松以外的樹(shù)木。

在某些情況下，不清楚模型是否檢測(cè)到過(guò)多的樹(shù)，或者注釋器是否遺漏了一些樹(shù)。左上角的三個(gè)綠色檢測(cè)框應(yīng)該只有兩個(gè)，但右側(cè)高傷害假陽(yáng)性下方的小綠色假陽(yáng)性看起來(lái)確實(shí)像一棵樹(shù)，應(yīng)該在地面上。因此，高傷害假陽(yáng)性似乎是一棵死樹(shù)或垂死樹(shù)；這是不是落葉松還有待商榷。

另一個(gè)顯而易見(jiàn)的事實(shí)是，對(duì)于圖像中最常見(jiàn)的類別，準(zhǔn)確度通常是最高的。一棵樹(shù)的健康狀況往往由它的鄰居的健康狀況決定，這一點(diǎn)也不奇怪。該模型似乎已經(jīng)意識(shí)到了這一點(diǎn)。單個(gè)圖像的類級(jí)別映射與同一圖像中的類頻率相關(guān)。這種相關(guān)性確實(shí)隨著模型尺寸的增大而略微減小，這表明較小的模型比數(shù)據(jù)所保證的更可能“聚集”識(shí)別。

健康樹(shù)百分比最高的圖像。左是真實(shí)結(jié)果；右邊是D1的檢測(cè)結(jié)果。

上圖的上半部分是聚類的一個(gè)示例。少數(shù)標(biāo)記為低傷害的樹(shù)木被模型歸類為健康樹(shù)木，或者，在兩棵小樹(shù)的情況下，被完全忽略。在左下角，情況正好相反；四棵健康的樹(shù)被標(biāo)記為低傷害。在這兩種情況下，都不清楚模型或基本事實(shí)是否正確。

具有高百分比高傷害樹(shù)的圖像。左是真實(shí)標(biāo)簽；右邊是D1的檢測(cè)結(jié)果。

同樣的情況也發(fā)生在以高傷害樹(shù)為主的圖像中。在上圖中，如果樹(shù)木附近有其他高傷害樹(shù)木，則有輕微偏向于將其標(biāo)記為高傷害樹(shù)。左下角的低傷害樹(shù)簇在具有模型預(yù)測(cè)邊界框的圖像中較小，左中角的一些低傷害樹(shù)已被丟棄或標(biāo)記為高傷害。

關(guān)注預(yù)測(cè)誤差很容易；它們?cè)谝曈X(jué)上總是顯而易見(jiàn)的，但模型的準(zhǔn)確性總體上還是不錯(cuò)的。在足夠大的批量上訓(xùn)練更大的模型仍然會(huì)表現(xiàn)得更好，但這在Colab中目前是不可能的。

示例代碼

引用

Mingxing Tan， Ruoming Pang， and Quoc V． Le． EfficientDet： Scalable and Efficient Object Detection． Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2020．

Swedish Forest Agency （2021）： Forest Damages — Larch Casebearer 1．0． National Forest Data Lab． Dataset