什么是物體檢測(cè)？

與許多計(jì)算機(jī)視覺認(rèn)知應(yīng)用相比，對(duì)象檢測(cè)是在圖像和視頻中識(shí)別和定位對(duì)象的常用技術(shù)之一。顧名思義——“計(jì)算機(jī)視覺”，是計(jì)算機(jī)獲得類似人類視覺以查看和識(shí)別物體的能力。目標(biāo)檢測(cè)可以被視為具有一些高級(jí)功能的圖像識(shí)別。該算法不僅可以識(shí)別／識(shí)別圖像／視頻中的對(duì)象，還可以對(duì)它們進(jìn)行定位。換句話說(shuō)，算法在圖像或視頻幀中的對(duì)象周圍創(chuàng)建了一個(gè)邊界框。

物體檢測(cè)示例

各種物體檢測(cè)算法

以下是一些用于對(duì)象檢測(cè)的流行：

R－CNN： 基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)

Fast R－CNN： ：基于區(qū)域的快速卷積神經(jīng)網(wǎng)絡(luò)

Faster R－CNN： 更快的基于區(qū)域的卷積網(wǎng)絡(luò)YOLO： 只看一次

SSD： 單鏡頭探測(cè)器每種算法都有自己的優(yōu)缺點(diǎn)。這些算法如何工作的細(xì)節(jié)超出了本文的范圍。

卷積神經(jīng)網(wǎng)絡(luò)的架構(gòu)

曾經(jīng)晚上放學(xué)回家，打開電視看最喜歡的動(dòng)畫片的美好時(shí)光，可能大家都經(jīng)歷過(guò)。相信我們都喜歡看動(dòng)畫片。那么，如何重溫那些日子呢？

今天，我們將學(xué)習(xí)如何使用 TensorFlow．js 創(chuàng)建端到端的自定義對(duì)象檢測(cè) Web 應(yīng)用程序。我們將在自定義數(shù)據(jù)集上訓(xùn)練模型，并將其作為成熟的 Web 應(yīng)用程序部署在瀏覽器上。

如果你對(duì)構(gòu)建自己的對(duì)象檢測(cè)模型感到興奮，還等什么？讓我們深入了解。

本文將創(chuàng)建一個(gè)在瀏覽器上實(shí)時(shí)檢測(cè)卡通的模型。隨意選擇你自己的數(shù)據(jù)集，因?yàn)檎麄�(gè)過(guò)程保持不變。

創(chuàng)建數(shù)據(jù)集

第一步是收集要檢測(cè)的對(duì)象的圖像。比如最喜歡的動(dòng)畫片是機(jī)器貓，史酷比，米奇 老鼠，憨豆先生和麥昆。這些卡通形象構(gòu)成了這個(gè)模型的類。為這五個(gè)類中的每一個(gè)收集了大約 60 張圖像。這是數(shù)據(jù)集外觀。

記�。喝绻�你給模型喂垃圾，你就會(huì)得到垃圾。為了獲得最佳結(jié)果，請(qǐng)確保為模型收集足夠的圖像以從中學(xué)習(xí)特征。

收集到足夠的數(shù)據(jù)后，讓我們繼續(xù)下一步。

標(biāo)記數(shù)據(jù)集

要標(biāo)記數(shù)據(jù)集中的對(duì)象，我們需要一個(gè)注釋／標(biāo)記工具。有很多注釋工具可以做到這一點(diǎn)，例如 LabelImg、Intel OpenVINO CVAT、VGG Image Annotator 等。

雖然這些都是業(yè)內(nèi)最好的注釋工具，但發(fā)現(xiàn) LabelImg 更容易使用。隨意選擇你喜歡的任何注釋工具，或者直接按照本文進(jìn)行操作。

下面是一個(gè)帶注釋的圖像的示例：圍繞感興趣區(qū)域（對(duì)象）及其標(biāo)簽名稱的邊界框。

圖片標(biāo)注

對(duì)于每個(gè)注釋的圖像，將生成一個(gè)相應(yīng)的 XML 文件，其中包含元數(shù)據(jù)，例如邊界框的坐標(biāo)、類名、圖像名稱、圖像路徑等。

訓(xùn)練模型時(shí)需要這些信息。我們稍后會(huì)看到那部分。

下面是 XML 注釋文件的外觀示例。

注釋 XML 文件

好的，一旦你正確注釋了所有圖像，按照目錄結(jié)構(gòu)的以下方式將數(shù)據(jù)集拆分為訓(xùn)練集和測(cè)試集：

數(shù)據(jù)集的目錄結(jié)構(gòu)

在 Google Drive 上上傳數(shù)據(jù)集登

錄你的 Google 帳戶并將壓縮的數(shù)據(jù)集上傳到你的 Google Drive。我們將在模型訓(xùn)練期間獲取此數(shù)據(jù)集。確保數(shù)據(jù)集的上傳沒有因網(wǎng)絡(luò)問(wèn)題而中斷，并且已完全上傳。

Google Drive 上的數(shù)據(jù)集

在本地機(jī)器上克隆以下存儲(chǔ)庫(kù)

https：／／github．com／NSTiwari／TensorFlow．js－Custom－Object－Detection

此存儲(chǔ)庫(kù)包含一個(gè)名為：Custom＿Object＿Detection＿using＿TensorFlow＿js．pynb的 Colab Notebook。

打開 Google Colab 并將此 Colab Notebook上傳到那里。現(xiàn)在，我們將開始實(shí)際訓(xùn)練我們的對(duì)象檢測(cè)模型。

我們正在使用 Google Colab，因此你無(wú)需在本地機(jī)器上安裝 TensorFlow 和其他庫(kù)，因此我們避免了手動(dòng)安裝庫(kù)的不必要麻煩，如果安裝不當(dāng)可能會(huì)出錯(cuò)。

配置 Google Colab

在 Google Colab 上上傳筆記本后，檢查運(yùn)行時(shí)類型是否設(shè)置為“GPU”。為此，請(qǐng)單擊 Runtime –＞ Change runtime type．

Google Colab 設(shè)置

在筆記本設(shè)置中，如果硬件加速器設(shè)置為＇GPU＇，如下圖，你就可以開始了。

Google Colab 設(shè)置

如果以上五個(gè)步驟都成功完成，那么就開始真正的游戲 —— 模型訓(xùn)練。

模型訓(xùn)練

配置所有必要的訓(xùn)練參數(shù)。

掛載 Google Drive：

訪問(wèn)你在第 3 步中存儲(chǔ)在 Google Drive 上的數(shù)據(jù)集。

from google．colab import drive

drive．mount（＇／content／drive＇）

安裝 TensorFlow 對(duì)象檢測(cè) API：

安裝和設(shè)置 TensorFlow 對(duì)象檢測(cè) API、Protobuf 和其他必要的依賴項(xiàng)。

依賴項(xiàng)：

所需的大部分依賴項(xiàng)都預(yù)裝在 Google Colab 中。我們需要安裝的唯一附加包是 TensorFlow．js，它用于將我們訓(xùn)練的模型轉(zhuǎn)換為與網(wǎng)絡(luò)兼容的模型。

協(xié)議緩沖區(qū)：

TensorFlow 對(duì)象檢測(cè) API 依賴于所謂的協(xié)議緩沖區(qū)（也稱為 protobuf）。Protobuf 是一種描述信息的語(yǔ)言中立方式。這意味著你可以編寫一次 protobuf，然后編譯它以用于其他語(yǔ)言，如 Python、Java 或 C。下面使用的protoc命令正在為 Python 編譯 object＿detection／protos 文件夾中的所有協(xié)議緩沖區(qū)。

環(huán)境：

要使用對(duì)象檢測(cè) API，我們需要將它與包含用于訓(xùn)練和評(píng)估幾個(gè)廣泛使用的卷積神經(jīng)網(wǎng)絡(luò) （CNN） 圖像分類模型的代碼的 slim 添加到我們的 PYTHONPATH 中。

測(cè)試設(shè)置：

運(yùn)行模型構(gòu)建器測(cè)試以驗(yàn)證是否一切設(shè)置成功。

！python object＿detection／builders／model＿builder＿tf1＿test．py

從 Google Drive 復(fù)制數(shù)據(jù)集文件夾：

獲取保存在 Drive 上的圖像和注釋數(shù)據(jù)集。

！unzip ／content／drive／MyDrive／TFJS－Custom－Detection －d ／content／

％cd ／content／

％mkdir data

加載 xml＿to＿csv．py 文件：

！wget https：／／raw．githubusercontent．com／NSTiwari／TensorFlow．js－Custom－Object－Detection／master／xml＿to＿csv．py －P ／content／TFJS－Custom－Detection／

將XML注釋轉(zhuǎn)換為 CSV 文件：

所有 PascalVOC 標(biāo)簽都轉(zhuǎn)換為 CSV 文件，用于訓(xùn)練和測(cè)試數(shù)據(jù)。

％cd ／content／

！python TFJS－Custom－Detection／xml＿to＿csv．py

在數(shù)據(jù)文件夾中創(chuàng)建 labelmap．pbtxt 文件：考慮以下示例：

創(chuàng)建TFRecord：

下載 generate＿tf＿record．py 文件。

！wget https：／／raw．githubusercontent．com／NSTiwari／TensorFlow．js－Custom－Object－Detection／master／generate＿tf＿records．py －P ／content／

！python generate＿tf＿records．py －l ／content／data／labelmap．pbtxt －o data／train．record －i TFJS－Custom－Detection／images －csv TFJS－Custom－Detection／train＿labels．csv

！python generate＿tf＿records．py －l ／content／data／labelmap．pbtxt －o data／val．record －i TFJS－Custom－Detection／images －csv TFJS－Custom－Detection／val＿labels．csv

導(dǎo)航到models／research目錄：

％cd ／content／models／research

下載基本模型：

從頭開始訓(xùn)練模型可能需要大量計(jì)算時(shí)間。相反，我們選擇在預(yù)訓(xùn)練模型上應(yīng)用遷移學(xué)習(xí)。當(dāng)然，遷移學(xué)習(xí)在很大程度上有助于減少計(jì)算和時(shí)間。我們將使用的基本模型是非�？斓� MobileNet 模型。

模型配置：

在訓(xùn)練開始之前，我們需要通過(guò)指定 labelmap、TFRecord 和 checkpoint 的路徑來(lái)配置訓(xùn)練管道。默認(rèn)批量大小為 128，這也需要更改，因?yàn)樗�太大而無(wú)法由 Colab 處理。

import re

from google．protobuf import text＿format

from object＿detection．utils import config＿util

from object＿detection．utils import label＿map＿util

pipeline＿skeleton ＝ ＇／content／models／research／object＿detection／samples／configs／＇ ＋ CONFIG＿TYPE ＋ ＇．config＇

configs ＝ config＿util．get＿configs＿from＿pipeline＿file（pipeline＿skeleton）

label＿map ＝ label＿map＿util．get＿label＿map＿dict（LABEL＿M(jìn)AP＿PATH）

num＿classes ＝ len（label＿map．keys（））

meta＿arch ＝ configs［＂model＂］．WhichOneof（＂model＂）

override＿dict ＝ ｛

 ＇model．｛｝．num＿classes＇．format（meta＿arch）： num＿classes，

 ＇train＿config．batch＿size＇： 24，

 ＇train＿input＿path＇： TRAIN＿RECORD＿PATH，

 ＇eval＿input＿path＇： VAL＿RECORD＿PATH，

 ＇train＿config．fine＿tune＿checkpoint＇： os．path．join（CHECKPOINT＿PATH， ＇model．ckpt＇），

 ＇label＿map＿path＇： LABEL＿M(jìn)AP＿PATH
｝

configs ＝ config＿util．merge＿external＿params＿with＿configs（configs， kwargs＿dict＝override＿dict）

pipeline＿config ＝ config＿util．create＿pipeline＿proto＿from＿configs（configs）

config＿util．save＿pipeline＿config（pipeline＿config， DATA＿PATH）

開始訓(xùn)練：

運(yùn)行下面的單元格以開始訓(xùn)練模型。通過(guò)調(diào)用model＿main腳本并將以下參數(shù)傳遞給它來(lái)調(diào)用訓(xùn)練

· 我們創(chuàng)建的pipeline．config 的位置。

· 我們想要保存模型的位置。

· 我們想要訓(xùn)練模型的步驟數(shù)（訓(xùn)練時(shí)間越長(zhǎng)，學(xué)習(xí)的潛力就越大）。

· 評(píng)估步驟的數(shù)量（或測(cè)試模型的頻率）讓我們了解模型的表現(xiàn)。

！rm －rf ＄OUTPUT＿PATH

！python －m object＿detection．model＿main
       －－pipeline＿config＿path＝＄DATA＿PATH／pipeline．config
       －－model＿dir＝＄OUTPUT＿PATH
       －－num＿train＿steps＝＄NUM＿TRAIN＿STEPS
       －－num＿eval＿steps＝100

導(dǎo)出推理圖：

每 500 個(gè)訓(xùn)練步驟后生成檢查點(diǎn)。每個(gè)檢查點(diǎn)都是你的模型在該訓(xùn)練點(diǎn)的快照。

如果由于某種原因訓(xùn)練因網(wǎng)絡(luò)或電源故障而崩潰，那么你可以從最后一個(gè)檢查點(diǎn)繼續(xù)訓(xùn)練，而不是從頭開始。

import os

import re

regex ＝ re．compile（r＂model．ckpt－（［0－9］＋）．index＂）

numbers ＝ ［int（regex．search（f）．group（1）） for f in os．listdir（OUTPUT＿PATH） if regex．search（f）］

TRAINED＿CHECKPOINT＿PREFIX ＝ os．path．join（OUTPUT＿PATH， ＇model．ckpt－｛｝＇．format（max（numbers）））

print（f＇Using ｛TRAINED＿CHECKPOINT＿PREFIX｝＇）

！rm －rf ＄EXPORTED＿PATH

！python －m object＿detection．export＿inference＿graph 

 －－pipeline＿config＿path＝＄DATA＿PATH／pipeline．config 

 －－trained＿checkpoint＿prefix＝＄TRAINED＿CHECKPOINT＿PREFIX 

 －－output＿directory＝＄EXPORTED＿PATH

測(cè)試模型：

現(xiàn)在，讓我們?cè)谝恍﹫D像上測(cè)試模型。請(qǐng)記住，該模型僅訓(xùn)練了 500 步。所以，準(zhǔn)確度可能不會(huì)那么高。運(yùn)行下面的單元格來(lái)親自測(cè)試模型并了解模型的訓(xùn)練效果。

注意：有時(shí)，此命令不運(yùn)行，可以嘗試重新運(yùn)行它。此外，嘗試將模型訓(xùn)練 5，000 步，看看準(zhǔn)確性如何變化。

from IPython．display import display， Javascript， Image

from google．colab．output import eval＿js

from base64 import b64decode

import tensorflow as tf

＃ Use javascipt to take a photo．

def take＿photo（filename， quality＝0．8）：

    js ＝ Javascript（＇＇＇

     async function takePhoto（quality） ｛

     const div ＝ document．createElement（＇div＇）；

     const capture ＝ document．createElement（＇button＇）；

     capture．textContent ＝ ＇Capture＇；

     div．a(chǎn)ppendChild（capture）；

const video ＝ document．createElement（＇video＇）；

     video．style．display ＝ ＇block＇；

     const stream ＝ await navigator．mediaDevices．getUserMedia（｛video： true｝）；

document．body．a(chǎn)ppendChild（div）；

     div．a(chǎn)ppendChild（video）；

     video．srcObject ＝ stream；

     await video．play（）；

／／ Resize the output to fit the video element．

     google．colab．output．setIframeHeight（document．documentElement．scrollHeight， true）；

／／ Wait for Capture to be clicked．

     await new Promise（（resolve） ＝＞ capture．onclick ＝ resolve）；

const canvas ＝ document．createElement（＇canvas＇）；

     canvas．width ＝ video．videoWidth；

     canvas．height ＝ video．videoHeight；

     canvas．getContext（＇2d＇）．drawImage（video， 0， 0）；

     stream．getVideoTracks（）［0］．stop（）；

     div．remove（）；

     return canvas．toDataURL（＇image／jpeg＇， quality）；

   ｝

   ＇＇＇）

  display（js）

  data ＝ eval＿js（＇takePhoto（｛｝）＇．format（quality））

  binary ＝ b64decode（data．split（＇，＇）［1］）

  with open（filename， ＇wb＇） as f：

     f．write（binary）

  return filename

try：

 take＿photo（＇／content／photo．jpg＇）

except Exception as err：

 ＃ Errors will be thrown if the user does not have a webcam or if they do not

 ＃ grant the page permission to access it．

 print（str（err））

＃ Use the captured photo to make predictions

％matplotlib inline

import os

import numpy as np

from matplotlib import pyplot as plt

from PIL import Image as PImage

from object＿detection．utils import visualization＿utils as vis＿util

from object＿detection．utils import label＿map＿util

＃ Load the labels

category＿index ＝ label＿map＿util．create＿category＿index＿from＿labelmap（LABEL

MAP＿PATH， use＿display＿name＝True）

＃ Load the model

path＿to＿frozen＿graph ＝ os．path．join（EXPORTED＿PATH， ＇frozen＿inference＿graph．pb＇）

detection＿graph ＝ tf．Graph（）

with detection＿graph．a(chǎn)s＿default（）：

 od＿graph＿def ＝ tf．GraphDef（）

 with tf．gfile．GFile（path＿to＿frozen＿graph， ＇rb＇） as fid：

   serialized＿graph ＝ fid．read（）

   od＿graph＿def．ParseFromString（serialized＿graph）

   tf．import＿graph＿def（od＿graph＿def， name＝＇＇）

with detection＿graph．a(chǎn)s＿default（）：

 with tf．Session（graph＝detection＿graph） as sess：

   ＃ Definite input and output Tensors for detection＿graph

   image＿tensor ＝ detection＿graph．get＿tensor＿by＿name（＇image＿tensor：0＇）

   ＃ Each box represents a part of the image where a particular object was detected．

   detection＿boxes ＝ detection＿graph．get＿tensor＿by＿name（＇detection＿boxes：0＇）

   ＃ Each score represent how level of confidence for each of the objects．

   ＃ Score is shown on the result image， together with the class label．

   detection＿scores ＝ detection＿graph．get＿tensor＿by＿name（＇detection＿scores：0＇）

   detection＿classes ＝ detection＿graph．get＿tensor＿by＿name（＇detection＿classes：0＇）

   num＿detections ＝ detection＿graph．get＿tensor＿by＿name（＇num＿detections：0＇）

   image ＝ PImage．open（＇／content／photo．jpg＇）

   ＃ the array based representation of the image will be used later in order to prepare the

   ＃ result image with boxes and labels on it．

   （im＿width， im＿h(yuǎn)eight） ＝ image．size

   image＿np ＝ np．a(chǎn)rray（image．getdata（））．reshape（（im＿h(yuǎn)eight， im＿width， 3））．a(chǎn)stype（np．uint8）

   ＃ Expand dimensions since the model expects images to have shape： ［1， None， None， 3］

   image＿np＿expanded ＝ np．expand＿dims（image＿np， axis＝0）

   ＃ Actual detection．

   （boxes， scores， classes， num） ＝ sess．run（

       ［detection＿boxes， detection＿scores， detection＿classes， num＿detections］，

       feed＿dict＝｛image＿tensor： image＿np＿expanded｝）

   ＃ Visualization of the results of a detection．

   vis＿util．visualize＿boxes＿and＿labels＿on＿image＿array（

      image＿np，

       np．squeeze（boxes），

       np．squeeze（classes）．a(chǎn)stype（np．int32），

       np．squeeze（scores），

       category＿index，

       use＿normalized＿coordinates＝True，

       line＿thickness＝8）

   plt．figure（figsize＝（12， 8））

   plt．imshow（image＿np）

將模型轉(zhuǎn)換為 TFJS：

我們導(dǎo)出的模型適用于 Python。但是，要將其部署在 Web 瀏覽器上，我們需要將其轉(zhuǎn)換為 TensorFlow．js，以便兼容直接在瀏覽器上運(yùn)行

此外，該模型僅將對(duì)象檢測(cè)為label＿map．pbtxt． 因此，我們還需要為所有可以映射到 ID 的標(biāo)簽創(chuàng)建一個(gè) JSON 列表。

下載模型：

現(xiàn)在可以下載 TFJS 模型了。

注意：有時(shí)，此命令不會(huì)運(yùn)行或會(huì)引發(fā)錯(cuò)誤。請(qǐng)嘗試再次運(yùn)行它。

你還可以通過(guò)右鍵單擊左側(cè)邊欄文件檢查器中的 model＿web．zip 文件來(lái)下載模型。

from google．colab import files

files．download（＇／content／model＿web．zip＇）

如果你順利到達(dá)這里，恭喜你，你已經(jīng)成功地訓(xùn)練了模型。

使用 TensorFlow．js 在 Web 應(yīng)用程序上部署模型。下載 TFJS 模型后，復(fù)制TensorFlow．js－Custom－Object－Detection／React＿Web＿App／public目錄中的 model＿web 文件夾 。

現(xiàn)在，運(yùn)行以下命令：

cd TensorFlow．js－Custom－Object－Detection／React＿Web＿App

npm install

npm start

現(xiàn)在，最后在你的 Web 瀏覽器上打開localhost：3000并親自測(cè)試模型。

TF．js 模型的對(duì)象檢測(cè)輸出

因此，恭喜你使用 TensorFlow 創(chuàng)建了端到端的自定義對(duì)象檢測(cè)模型，并將其部署在使用 TensorFlow．js 的 Web 應(yīng)用程序上。

       原文標(biāo)題 : 使用 TensorFlow.js 在瀏覽器上進(jìn)行自定義對(duì)象檢測(cè)