賽道四

賽道四需要檢測出每個X軸或Y軸上的刻度點并與對應的刻度標簽文本框關(guān)聯(lián)。該賽道使用修改后的F－measure對每個軸評分，然后對所有軸進行得分平均。對每個檢測到的刻度點，根據(jù)其距離真實刻度點之間的距離，給出0到1之間的評分。Precision計算方法為評分總和除以預測數(shù)。召回率的計算方法是得分的總和除以真實標注刻度點的數(shù)量。

對于該任務，我們將整個任務拆分為刻度點檢測和匹配兩個步驟。

在刻度點檢測任務中，我們將該任務視為標準的關(guān)鍵點估計問題。參考CenterNet，使用DLA－34作為backbone，從底層添加更多的跳轉(zhuǎn)連接，并在上采樣階段將每個卷積層替換為可變形的卷積層，最后獲得尺寸為1／4的輸出特征圖，然后將特征圖送入頭部分支。在頭部分支中，包括三個分支。首先是刻度點檢測分支，在此分支中預測的熱圖中的峰值對應于刻度點的位置，并通過兩個不同的特征圖將點分類為X軸或Y軸的刻度點。為了恢復由輸出步幅引起的離散化誤差，在Offset分支中預測了修正刻度點位置的偏移量。在第三個分支中（OTB），預測了刻度點到刻度標簽文本框中心的偏移，該偏移僅在訓練階段使用。

為了訓練刻度點檢測分支，我們使用Focal Loss作為損失函數(shù)來進行逐像素邏輯回歸。為了訓練Offset分支，我們使用在人臉Landmark定位任務中提出的Wing Loss，其設計目的是提高深度神經(jīng)網(wǎng)絡針對中小型誤差的學習能力，并使用Smooth L1作為訓練OTB分支的損失函數(shù)。

在檢測出X軸與Y軸上的刻度點后，首先使用線性分布檢查來過濾掉異常檢測點，然后基于刻度點與標簽文本框之間X軸或Y軸的L1距離，將刻度點和標簽文本框進行匹配。

在Adobe Synth，UB PMC驗證集及Test Challenge階段不同實驗得分如表1，2所示，可以看出不使用預訓練模型與添加OTB分支能夠取得更好的得分。最后通過模型融合我們在測試階段分別取得了99．90％與81．28％的成績，取得第一。

表1

表2

賽道五

賽道五將圖例標簽文本與圖例中相應的樣式元素相關(guān)聯(lián)。我們采用先檢測圖例元素，然后匹配圖例元素和圖例標簽的方法。為了進一步提高匹配精度，同時檢測圖例對和圖例元素，圖例對的檢測結(jié)果輔助匹配過程。

我們的方法分為三個步驟：

使用與賽道三相同的方法對文本框進行分類，然后篩選出圖例標簽類別的文本框。

用CenterNet ［3］檢測圖例元素和圖例對兩個類別，圖例對通過合并圖例元素和相應文本的邊框獲得。

匹配圖例元素和圖例標簽，對于每個圖例標簽，如果存在圖例元素在同一個圖例對中，則該圖例標簽和圖例元素配對，然后使用匈牙利算法匹配剩余的圖例元素和圖例標簽。為了減少賽道三的分類錯誤對賽道五結(jié)果的影響，加入了后處理，對于賽道三的結(jié)果中沒有圖例標簽的圖像，如果同時檢測到圖例元素和圖例對，則將圖例元素與所有文本框進行匹配。

賽道六

賽道六第一個子任務的目標，是對圖表中繪圖區(qū)域中的每個元素進行檢測和分類，第二個子任務輸出用于生成圖表圖像的原始數(shù)據(jù)，且在元素的表示形式中包含框和點兩種類型。我們將對這兩個子任務進行整體介紹。

賽道六的評價指標比較復雜，概括為采用檢測到的元素與真實標注元素之間的歐氏距離或者IOU評價檢測的得分，通過每個分組中的點與真實標注每個分組中點匹配程度，與提取到的坐標軸坐標系的數(shù)據(jù)和真實數(shù)據(jù)之間的誤差，計算分組得分與數(shù)據(jù)提取得分。

我們分別通過基于框的檢測算法和基于點的檢測算法來檢測元素。為了檢測框表示的元素，我們使用目標檢測算法CenterNet進行檢測。為了檢測點表示的元素，我們使用與賽道四中相同的點檢測算法，并刪除OTB分支。

在解決了檢測問題之后，為了將檢測到的元素進行分組（比如檢測到的同一條曲線上的點，應該被分為同一組）。對于水平框和垂直框，我們可以按X軸或Y軸的L1距離對框進行分組，但是對于“線和散點圖”而言，則更為復雜。我們分別提取檢測到的元素的顏色直方圖特征和Hog特征，然后使用K－means對它們進行聚類分組。

通過檢測我們可以得到元素在圖像坐標系中的位置表示，為了獲得繪制圖表圖像時所使用的原始元素數(shù)據(jù)，我們需要將圖像坐標系表示的元素轉(zhuǎn)化為軸坐標系表示。經(jīng)過分析，我們將UB PMC數(shù)據(jù)集分為五個類別，將Adobe Synth數(shù)據(jù)集分為八個類別，然后分別處理每個類別。對于數(shù)據(jù)序列，如果x值為數(shù)字值，則通過插值計算x軸值。如果x值為字符串值，則使用L1距離查找最接近的字符內(nèi)容。

最終在測試階段我們使用單模型取得了76．43％與61．18％的得分，位列第三。

參考文獻：

1． Breiman L． Random forests［J］． Machine learning， 2001， 45（1）： 5－32．

2． Ke G， Meng Q， Finley T， et al． Lightgbm： A highly efficient gradient boosting decision tree［C］／／Advances in neural information processing systems． 2017： 3146－3154．

3． Zhou X， Wang D， Kr¨ahenb¨uhl P． Objects as points［J］． arXiv preprint arXiv：1904．07850， 2019．