在本文中,我們將學習如何構(gòu)建一個簡單的模型,它使用色調(diào)飽和度值 (HSV) 顏色模型作為特征提取,opencv 進行圖像處理的基礎來對白天和黑夜進行分類。

介紹

色調(diào)飽和度值(HSV)是RGB的替代顏色模型。色調(diào)(H)是顏色輪中的三種主色和三種次色。飽和度是顏色的純度和強度,其越低,顏色越接近灰色。值 (V) 是指顏色的相對亮度或暗度。這些值中的每一個都有一個限制;H 從 0 到 360,S 和 V 從 0 到 100。

我們將利用顏色模型的 Value (V) 屬性。決定圖像亮度的圖像值 (V)。這是我們要提取的特征。然后我們將設置一個閾值,可以將白天圖像與夜間圖像分開。

雖然我們可以設置一個特定的閾值,但我們嘗試使用訓練圖像,通過基本推導找到一個最佳閾值。

我們將使用 opencv 庫從圖像中提取這些特征。

先決條件

1. Python
2. pip
3. opencv
4. numpy
5. matplotlib

Opencv 是一個計算機視覺包,我們將使用它來處理圖像和操作它。numpy用于數(shù)值計算,matplotlib用于圖像顯示。

1． 導入用于測試的庫和圖像

我們將使用的是用于訓練和測試的室外圖像

該圖像已被標注,即分類為白天和夜間圖像。

from util import daynight_helper
import matplotlib．pyplot as plt
import cv2
import numpy as np 
#path to the folder where the images are
training_data_path = 'data/day_night_images/training'

2． 預處理圖像及其標簽

我們已經(jīng)指定了訓練圖像的路徑,但原始圖像有噪聲并且沒有很好地優(yōu)化分析。

例如,圖像可能具有不同的大小,或者標簽可能是我們的文字。這是設計模型的第一步。數(shù)據(jù)清洗。所以我們會寫一個助手來幫助我們。

這是我們的圖像文件夾結(jié)構(gòu)的樣子

data / 
  day_night_images /
    training /
      day /
        img001．jpg
        img002．jpg
      night / 
        img100．jpg
        img101．jpg
    test /
      day /
        img001．jpg
        img002．jpg
      night / 
        img100．jpg
        img101．jpg

因此,我們希望我們的助手讀取這個目錄并輸出帶有相應標簽的圖像,以便img001．jpg有一個日期標簽。

我們還將使用數(shù)字對標簽進行編碼。1代表白天,0代表夜晚。

這是代碼:

import os
import glob 
import matplotlib．image as mpimg
import cv2
def load_dataset(image_dir):
    img_list = []
    img_types = ['day', 'night']
    
    for img_type in img_types:
        
        for file in glob．glob(os．path．join(image_dir, img_type, '*')):
            img = mpimg．imread(file)
            
            if not img is None:
                img_list．a(chǎn)ppend((img, img_type))
                
    
    return img_list
def standardize_image(image):
    std_img=  cv2．resize(image, (1110, 600))   
    return std_img
def encode_label(label):
    if label== 'day':
        return 1
    else:
        return 0
def standardize_inputs(img_list):
    std_list = []
    
    for img in img_list:
        std_img = standardize_image(img[0])
        std_label = encode_label(img[1])
        
        std_list．a(chǎn)ppend((std_img, std_label))
    
    return std_list       

第 8-18 行負責檢查文件夾中的所有圖像,如果是圖像,則將其添加到列表img_list中

第 24 行是我們標準化圖像的地方,在這種特殊情況下,我們將其大小調(diào)整為 1110 x 600

第 28 -32 行是我們將標簽從文本編碼為數(shù)字的地方。如果是白天,則為1,否則 0

第 34-43 行是我們從第 8 行創(chuàng)建的列表,對圖像進行標準化并對標簽進行編碼。

讓我們在我們的項目中導入它并運行以下代碼以查看是否設置了助手程序。

training_data_path = 'data/day_night_images/training'
training_data = daynight_helper．load_dataset(training_data_path)
std_training_data = daynight_helper．standardize_inputs(training_data)
img = std_training_data[0][0]
label = std_training_data[0][1]
plt．imshow(img)
print('Shape ', img．shape)
print('label: ', label)

這應該為你提供Shape (600, 1110, 3) 標簽的輸出:1

3．獲取圖片的平均亮度

接下來,我們將編寫一個函數(shù)(基于 HSV 顏色模型)來獲取圖像的平均亮度。因此,這個分類問題的特征是亮度。我們正在提取并使用它來解釋新圖像。

#feature extraction - brightness using hsv
def brightness_value(img):
    hsv_img = cv2．cvtColor(img, cv2．COLOR_RGB2HSV)
    v_values = np．sum(hsv_img[:, :, 2])
    area = img．shape[0] * img．shape[1]
    avg_brightness = v_values/area
    return avg_brightness

基本上,我們選擇 HSV 顏色模型的 V 值并將其除以圖像面積。

在示例圖像上運行此函數(shù)以了解圖片的亮度。

4． 使用選定的標記晝夜差異的閾值來估計標簽

一旦我們獲得了圖片的平均亮度,我們就可以標記一個閾值來劃分白天和夜晚的圖片。

這個標志著晝夜的差異是我們最大的盟友。請記住,閾值是平均亮度的函數(shù)。

這是預測標簽的代碼:

def estimate_label(img, threshold):
    avg_brightness = brightness_value(img)
    predicted_label = 0
    threshold = threshold
    if avg_brightness > threshold:
        predicted_label = 1
    
    return predicted_label, avg_brightness

很簡單吧?

但是我們怎么知道閾值呢?

答案:我們在計算了一些白天和黑夜圖像的平均亮度后進行選擇,然后我們從中做出直觀的猜測。

這是我們的出發(fā)點。對于這種情況,我們選擇 120。

但是 120 是最佳閾值嗎?

5． 尋找最優(yōu)閾值

我們可以在閾值為 120 時結(jié)束我們的模型預測,我們的準確率為 86%。但是,我們是否可以通過調(diào)整或修改閾值來提高準確度,以接近在白天和黑夜之間劃出細線的那個點——比如白天和黑夜本身。

因此看看優(yōu)化器代碼:

def estimate_label(img, threshold):
    avg_brightness = brightness_value(img)
    predicted_label = 0
    threshold = threshold
    if avg_brightness > threshold:
        predicted_label = 1
    
    return predicted_label, avg_brightness

在這里,我們根據(jù)閾值估計標簽,如果它是正確的,我們就接著下一步。

如果不是,我們計算當前閾值和平均亮度的平均值——因為閾值是基于平均亮度的。

threshold = 120
for i in range(0, len(std_training_data)):
    img_data = std_training_data[i]
    threshold = optimize_threshold(img_data, threshold)
print('threshold ', threshold)
#threshold  116

運行這個會產(chǎn)生一個新的閾值——116。

PS:可以以不同的方式調(diào)整閾值,即平均閾值和平均亮度。這是我在這段代碼中使用的技術。

6． 在測試圖像上運行分類器

我們有我們的閾值和估算器。讓我們在測試圖像上運行我們的模型,看看表現(xiàn)如何。

import random
test_data_path = 'data/day_night_images/test'
test_data = daynight_helper．load_dataset(test_data_path)
test_data = daynight_helper．standardize_inputs(test_data)
random．shuffle(test_data)
threshold = 116
correctly_classified = []
misclassified = []
for i in range(0, len(test_data)):
    img_data = test_data[i]
    pred, avg_brightness = estimate_label(img_data[0], threshold)
    #print('predicted ', pred)
    label = img_data[1]
    #print('label ', label)
    if pred == label:
        correctly_classified．a(chǎn)ppend(img_data)
    else: 
        misclassified．a(chǎn)ppend(img_data)
        
#total :  160
#Correct predictions:  140
#Misclassified:  20
#Accuracy  0．875

我們從清理我們的測試數(shù)據(jù)開始,然后對其進行打亂(第 7 行)。因為我們已經(jīng)有了閾值。我們可以估計標簽。然后記錄輸出——正確分類與否。

與僅選擇 120 作為閾值時的 86% 相比,我們對此的準確率為 87．5%。而且還有改進的空間。

思考。還可以做些什么來進一步提高準確性?你能否添加另一個功能來跟蹤平均亮度?有沒有辦法將閾值移動到最佳值?