這種方法超過(guò)了僅僅使用單幀圖像的FasterR－CNN方法，在多個(gè)生態(tài)環(huán)境圖像檢測(cè)領(lǐng)域內(nèi)都具有明顯的優(yōu)勢(shì)。研究人員已將模型整合到TF Object Detection API中，為相關(guān)研究人員提供更為簡(jiǎn)化的訓(xùn)練和部署。

上圖中顯示了上下文信息（長(zhǎng)達(dá)一個(gè)月）是如何幫助專(zhuān)家確定模糊場(chǎng)景中的動(dòng)物的。上下文中目標(biāo)形狀、尺寸、每天固定的食草時(shí)間幫助算法確定這是角馬。

上下文R－CNN模型

上下文R－CNN主要利用靜態(tài)相機(jī)拍攝圖像序列間的高度相關(guān)性，在無(wú)需額外人工標(biāo)注數(shù)據(jù)的情況下提升算法在復(fù)雜情況下的性能，同時(shí)改善在新的相機(jī)設(shè)置下的泛化性。與Faster R－CNN類(lèi)似，它也采用了兩階段目標(biāo)檢測(cè)架構(gòu)。

上圖顯示了上下文R－CNN的頂層架構(gòu)，顯示了檢測(cè)模型與長(zhǎng)期上下文信息如何有效系統(tǒng)提升性能。

為了抽取某一相機(jī)的上下文信息，研究人員首先利用參數(shù)固定的特征抽取器從較大的時(shí)間跨度中構(gòu)建出上下文存儲(chǔ)空間（下圖中M）；隨后每幅圖像在對(duì)應(yīng)上下文信息聚合的幫助下，上下文R－CNN將會(huì)更好地在復(fù)雜情況下對(duì)目標(biāo)進(jìn)行檢測(cè)（包括低光、濃霧、模糊等場(chǎng)景）。這種聚合利用attention方式實(shí)現(xiàn)，它對(duì)靜態(tài)相機(jī)中出現(xiàn)的稀疏和非規(guī)則采樣具有較好的魯棒性。

第一階段的Faster R－CNN將提出潛在目標(biāo)，而第二階段將對(duì)每個(gè)候選目標(biāo)進(jìn)行分類(lèi)。在Context R－CNN中針對(duì)第一階段的候選目標(biāo)，使用基于相似性的注意力機(jī)制來(lái)確定當(dāng)前目標(biāo)與記憶池中特征的相關(guān)性。隨后利用相關(guān)性權(quán)重加權(quán)記憶池中的特征來(lái)構(gòu)建針對(duì)這一目標(biāo)的上下文特征，并將其添加到原始的目標(biāo)特征后，送入第二階段的Faster R－CNN中進(jìn)行最終的分類(lèi)。

Context R－CNN將近一個(gè)月的上下文信息用于幫助分類(lèi)當(dāng)前目標(biāo)。綠色數(shù)字顯示了每個(gè)記憶特征與當(dāng)前目標(biāo)的注意力相關(guān)性權(quán)重。