項(xiàng)目概況

該項(xiàng)目的目標(biāo)是預(yù)測(cè)面部圖片上關(guān)鍵點(diǎn)的位置。這可以用作各種應(yīng)用程序中的組件,包括:

圖片和視頻中的人臉識(shí)別。

面部表情的研究。

用于醫(yī)學(xué)診斷,識(shí)別畸形面部癥狀。

識(shí)別面部關(guān)鍵點(diǎn)是一個(gè)很難解決的話題。人與人的面部特征差異很大,即使在一個(gè)人內(nèi),由于 3D 姿勢(shì)、大小、位置、視角和照明環(huán)境,也會(huì)存在很多差異。盡管計(jì)算機(jī)視覺研究在解決這些問題方面取得了長(zhǎng)足的進(jìn)步,但仍有許多可以改進(jìn)的領(lǐng)域。

目錄

介紹

先決條件

程序和編程

面部關(guān)鍵點(diǎn)檢測(cè)的有用應(yīng)用

介紹

利用卷積神經(jīng)網(wǎng)絡(luò)和計(jì)算機(jī)視覺技術(shù)進(jìn)行人臉關(guān)鍵點(diǎn)檢測(cè),對(duì)人臉的重要區(qū)域(如眼睛、嘴角和鼻子)進(jìn)行標(biāo)記,這些區(qū)域與各種任務(wù)(如人臉濾波、情感識(shí)別和姿勢(shì)識(shí)別)相關(guān)。

它需要預(yù)測(cè)特定面部的面部關(guān)鍵點(diǎn)坐標(biāo),例如鼻尖、眼睛中心等。為了識(shí)別面部關(guān)鍵點(diǎn),我們使用基于卷積神經(jīng)網(wǎng)絡(luò)的模型使用自動(dòng)編碼器。

卷積神經(jīng)網(wǎng)絡(luò) (CNN) 具有深層結(jié)構(gòu),允許它們提取高級(jí)信息并在識(shí)別每個(gè)重要點(diǎn)時(shí)提供更好的精度。卷積網(wǎng)絡(luò)旨在同時(shí)預(yù)測(cè)所有點(diǎn)。

先決條件

因?yàn)樯窠?jīng)網(wǎng)絡(luò)經(jīng)常需要標(biāo)準(zhǔn)化的圖片,所以它們應(yīng)該有一個(gè)恒定的大小,顏色范圍和坐標(biāo)的標(biāo)準(zhǔn)化范圍,并從 NumPy 列表和數(shù)組轉(zhuǎn)換為 Tensor 和 Keras(用于 PyTorch)。因此,需要進(jìn)行一些預(yù)處理。

程序和編程

我正在使用 Kaggle 數(shù)據(jù)集來訓(xùn)練模型,你可以通過運(yùn)行 API 命令下載它kaggle competitions download -c facial-keypoints-detection
導(dǎo)入 NumPy 和 pandas 庫:import numpy as np # linear algebra
import pandas as pd # data processing
import os
for directoryname, _, filenames in os．walk('/kaggle/input'):
   for filename in filenames:
       print(os．path．join(directoryname, filename))
你寫入當(dāng)前目錄的任何輸出都會(huì)被存儲(chǔ)。下一步是為訓(xùn)練和測(cè)試數(shù)據(jù)的每個(gè)文件設(shè)置路徑,train_zip_path = "．．/input/facial-keypoints-detection/training．zip"
test_zip_path = "．．/input/facial-keypoints-detection/test．zip"
id_lookup_table = "．．/input/facial-keypoints-detection/IdLookupTable．csv"
sample_Submission = "．．/input/facial-keypoints-detection/SampleSubmission．csv"
讓我們使用 zip 文件解壓 zip 文件,然后加載數(shù)據(jù)集。import zipfile
with zipfile．ZipFile(train_zip_path,'r') as zip_ref:
zip_ref．extractall('')
with zipfile．ZipFile(test_zip_path,'r') as zip_ref:
zip_ref．extractall('')
train_df = pd．read_csv('training．csv')
test_df = pd．read_csv('test．csv')
idLookupTable = pd．read_csv(id_lookup_table)
sampleSumission = pd．read_csv(sample_Submission)
加載數(shù)據(jù)集后,我們可以使用pandas的庫查看數(shù)據(jù)框,并列出數(shù)據(jù)集的頭部。train_df．info()

填充 Nan 值并分離和重塑輸入值(x_train) train_df．fillna(method='ffill',inplace=True)
在訓(xùn)練數(shù)據(jù)集中分離和重塑輸入值(x_train):使用圖像創(chuàng)建一個(gè)數(shù)組,keypoints:關(guān)鍵點(diǎn)將是我們數(shù)據(jù)集的一個(gè)樣本。我們的數(shù)據(jù)集將接受一個(gè)可選的參數(shù)轉(zhuǎn)換,允許我們對(duì)樣本執(zhí)行任何必要的處理。image_df = train_df['Image']
imageArr = []
for i in range(0,len(image_df)):
    img = image_df[i]．split()
    img = ['0' if x == '' else x for x in img]
    imageArr．a(chǎn)ppend(img)
x_train = np．a(chǎn)rray(imageArr,dtype='float')
x_train = x_train．reshape(-1,96,96,1)
print(x_train．shape)
創(chuàng)建一個(gè)以圖片為輸入輸出關(guān)鍵點(diǎn)的CNN:輸入圖片大小為224*224px(由transform決定),輸出類分?jǐn)?shù)為136,即136/2 = 68。(我們想要的68個(gè)關(guān)鍵點(diǎn))和分離目標(biāo)值keypoints_df = train_df．drop('Image',axis = 1)
y_train = np．a(chǎn)rray(keypoints_df,dtype='float')
print(y_train．shape)
def visualizeWithNoKeypoints(index):
   plt．imshow(x_train[index]．reshape(96,96),cmap='gray')
def visualizeWithKeypoints(index):
   plt．imshow(x_train[index]．reshape(96,96),cmap='gray')
   for i in range(1,31,2):
       plt．plot(y_train[0][i-1],y_train[0][i],'ro')
在我們編寫了可視化函數(shù)之后,接下來,我們可以使用函數(shù)調(diào)用來可視化每個(gè)圖像import matplotlib．pyplot as plt
fig = plt．figure(figsize=(8,4))
fig．subplots_adjust(left=0,right=1,bottom=0,top=1,hspace=0．05,wspace=0．05)
plt．subplot(1,2,1)
visualizeWithNoKeypoints(1)
plt．subplot(1,2,2)
visualizeWithKeypoints(1)

數(shù)據(jù)已經(jīng)預(yù)處理完畢。現(xiàn)在是創(chuàng)建訓(xùn)練模型的時(shí)候了。為了創(chuàng)建我們的 CNN 模型,我們將使用 Keras 框架。from keras．models import Sequential, Model
from keras．layers import Activation, Convolution2D,MaxPooling2D,BatchNormalization, Flatten, Dense, Dropout
from keras．layers．a(chǎn)dvanced_activations import LeakyReLU
最初只從一兩個(gè) epoch 開始,以快速評(píng)估你的模型是如何訓(xùn)練的,并確定你是否應(yīng)該改變其結(jié)構(gòu)或超參數(shù)。在訓(xùn)練時(shí)跟蹤模型的損失如何隨時(shí)間變化:它是否首先快速減少,然后減速?在訓(xùn)練多個(gè)時(shí)期并創(chuàng)建最終模型之前,使用這些初始觀察對(duì)模型進(jìn)行更改并決定最佳架構(gòu)。model = Sequential()
model．a(chǎn)dd(Convolution2D(32,(3,3),padding='same',use_bias=False, input_shape=(96,96,1)))
model．a(chǎn)dd(LeakyReLU(alpha = 0．1))
model．a(chǎn)dd(BatchNormalization())
model．a(chǎn)dd(Convolution2D(32,(3,3),padding='same',use_bias = False))
model．a(chǎn)dd(LeakyReLU(alpha=0．1))
model．a(chǎn)dd(BatchNormalization())
model．a(chǎn)dd(MaxPooling2D(pool_size=(2,2)))
model．a(chǎn)dd(Convolution2D(64,(3,3),padding='same',use_bias = False))
model．a(chǎn)dd(LeakyReLU(alpha=0．1))
model．a(chǎn)dd(BatchNormalization())
model．a(chǎn)dd(Convolution2D(64, (3,3), padding='same', use_bias=False))
model．a(chǎn)dd(LeakyReLU(alpha = 0．1))
model．a(chǎn)dd(BatchNormalization())
model．a(chǎn)dd(MaxPooling2D(pool_size=(2, 2)))
model．a(chǎn)dd(Convolution2D(96, (3,3), padding='same', use_bias=False))
model．a(chǎn)dd(LeakyReLU(alpha = 0．1))
model．a(chǎn)dd(BatchNormalization())
model．a(chǎn)dd(Convolution2D(96, (3,3), padding='same', use_bias=False))
model．a(chǎn)dd(LeakyReLU(alpha = 0．1))
model．a(chǎn)dd(BatchNormalization())
model．a(chǎn)dd(MaxPooling2D(pool_size=(2, 2)))
model．a(chǎn)dd(Convolution2D(128, (3,3),padding='same', use_bias=False))
# model．a(chǎn)dd(BatchNormalization())
model．a(chǎn)dd(LeakyReLU(alpha = 0．1))
model．a(chǎn)dd(BatchNormalization())
model．a(chǎn)dd(Convolution2D(128, (3,3),padding='same', use_bias=False))
model．a(chǎn)dd(LeakyReLU(alpha = 0．1))
model．a(chǎn)dd(BatchNormalization())
model．a(chǎn)dd(MaxPooling2D(pool_size=(2, 2)))
model．a(chǎn)dd(Convolution2D(256, (3,3),padding='same',use_bias=False))
model．a(chǎn)dd(LeakyReLU(alpha = 0．1))
model．a(chǎn)dd(BatchNormalization())
model．a(chǎn)dd(Convolution2D(256, (3,3),padding='same',use_bias=False))
model．a(chǎn)dd(LeakyReLU(alpha = 0．1))
model．a(chǎn)dd(BatchNormalization())
model．a(chǎn)dd(MaxPooling2D(pool_size=(2, 2)))
model．a(chǎn)dd(Convolution2D(512, (3,3), padding='same', use_bias=False))
model．a(chǎn)dd(LeakyReLU(alpha = 0．1))
model．a(chǎn)dd(BatchNormalization())
model．a(chǎn)dd(Convolution2D(512, (3,3), padding='same', use_bias=False))
model．a(chǎn)dd(LeakyReLU(alpha = 0．1))
model．a(chǎn)dd(BatchNormalization())
model．a(chǎn)dd(Flatten())
model．a(chǎn)dd(Dense(512,activation='relu'))
model．a(chǎn)dd(Dropout(0．1))
model．a(chǎn)dd(Dense(30))
model．summary()

下一步是配置模型:model．compile(optimizer='adam',loss='mean_squared_error',metrics=['mae','acc'])
model．fit(x_train,y_train,batch_size=256,epochs=45,validation_split=2．0)
示例輸出:

在整個(gè)訓(xùn)練數(shù)據(jù)集中執(zhí)行了總共 50 次迭代。我們已經(jīng)學(xué)會(huì)了如何簡(jiǎn)單地使用 CNN 來訓(xùn)練深度學(xué)習(xí)模型。現(xiàn)在是時(shí)候使用我們的數(shù)據(jù)收集對(duì)模型進(jìn)行測(cè)試了。我們必須首先準(zhǔn)備我們的測(cè)試集。test_df．isnull()．a(chǎn)ny()
x 測(cè)試:分離和重塑輸入測(cè)試值image_df = test_df['Image']
keypoints_df = test_df．drop('Image',axis = 1)
imageArr = []
for i in range(0,len(image_df)):
   img = image_df[i]．split()
   img = ['0' if x=='' else x for x in img]
   imageArr．a(chǎn)ppend(img)
x_test = np．array(imageArr,dtype='float')
x_test = x_test．reshape(-1,96,96,1)
print(x_test．shape)
我們知道要在測(cè)試數(shù)據(jù)集中分離目標(biāo)值 (y_test)y_test = np．array(keypoints_df,dtype='float')
print(y_test．shape)
現(xiàn)在,是時(shí)候預(yù)測(cè)訓(xùn)練模型的結(jié)果了:pred = model．predict(x_test)
idLookupTable．head()

我們已經(jīng)學(xué)習(xí)了如何簡(jiǎn)單地使用 CNN 構(gòu)建深度學(xué)習(xí)面部關(guān)鍵點(diǎn)檢測(cè)模型。

面部關(guān)鍵點(diǎn)檢測(cè)的一些有用應(yīng)用該技術(shù)的適用性是多種多樣的。以下只是當(dāng)今企業(yè)界中一些更有趣的面部識(shí)別應(yīng)用。1) 使用 CNN 檢測(cè)面部關(guān)鍵點(diǎn)并在帶有面部過濾器的應(yīng)用程序中使用它們用有趣的東西覆蓋人臉照片的面部過濾器越來越受歡迎。它們通常出現(xiàn)在社交媒體平臺(tái)上。此過濾器應(yīng)用程序中使用了面部關(guān)鍵點(diǎn)(或“關(guān)鍵點(diǎn)”)檢測(cè)技術(shù)。可以評(píng)估一個(gè)人的面部表情(以及情緒)的面部重要區(qū)域被稱為面部關(guān)鍵點(diǎn)。它們對(duì)于開發(fā)實(shí)時(shí)應(yīng)用程序以檢測(cè)困倦、評(píng)估生物特征和讀取人們的情緒至關(guān)重要。

2) 虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí) (AR)幾個(gè)流行的智能手機(jī)應(yīng)用程序中使用了面部關(guān)鍵點(diǎn)識(shí)別。Instagram、Snapchat 和 LINE 上的面部過濾器就是一些眾所周知的例子。AR軟件可以通過識(shí)別用戶面部關(guān)鍵點(diǎn),實(shí)時(shí)將圖片濾鏡正確疊加在用戶面部上。

如果你是游戲或應(yīng)用程序設(shè)計(jì)師,如果用戶專注于將東西放置在靠近地板或桌子角落的地方,該算法的性能會(huì)好得多。由于這種架構(gòu),算法將始終在錨點(diǎn)附近發(fā)現(xiàn)足夠多的關(guān)鍵點(diǎn)。3)Snap pay(無現(xiàn)金支付)

盡管在大多數(shù)國家/地區(qū)尚無法使用,但目前中國的大量零售商已接受面部識(shí)別支付。SnapPay 還宣布于 2019 年 10 月 16 日在北美推出面部識(shí)別支付技術(shù)。所有新興國家都正在引入這種支付方式。4) 帶面鎖的防盜門安全門或門是該技術(shù)的另一個(gè)應(yīng)用。面部識(shí)別技術(shù)可用于允許或拒絕進(jìn)入你的公寓大樓、你公司的大堂,甚至火車站的檢票口。雖然這項(xiàng)技術(shù)在其他國家沒有廣泛使用。