問(wèn)題陳述通過(guò)使用 Kaggle 的 MRI 數(shù)據(jù)集的圖像分割來(lái)預(yù)測(cè)和定位腦腫瘤。這是該系列的第二部分。如果你還沒(méi)有閱讀第一部分，我建議你訪問(wèn)使用深度學(xué)習(xí)進(jìn)行腦腫瘤檢測(cè)和定位：第1部分以更好地理解代碼，因?yàn)檫@兩個(gè)部分是相互關(guān)聯(lián)的。文章地址：https：／／mp．weixin．qq．com／s／vBsTsVvHjA0gtQy3X1wdmw我們?cè)?ResNet50 上訓(xùn)練了一個(gè)分類(lèi)模型，該模型使用回調(diào)對(duì)腦部 MRI 是否有腫瘤進(jìn)行分類(lèi)以提高我們的性能。在這一部分，我們將訓(xùn)練一個(gè)模型來(lái)使用圖像分割來(lái)定位腫瘤。

現(xiàn)在，讓我們開(kāi)始實(shí)施第二部分，即構(gòu)建分割模型來(lái)定位腫瘤。圖像分割的目標(biāo)是在像素級(jí)別理解圖像。它將每個(gè)像素與某個(gè)類(lèi)相關(guān)聯(lián)。圖像分割模型產(chǎn)生的輸出稱為圖像的蒙版。首先，從我們?cè)谏弦徊糠謩?chuàng)建的數(shù)據(jù)幀中選擇蒙版值為 1 的記錄，因?yàn)橹挥心[瘤存在，我們才能對(duì)其進(jìn)行定位。＃ Get the dataframe containing MRIs which have masks associated with them．
brain＿df＿mask ＝ brain＿df［brain＿df［＇mask＇］ ＝＝ 1］
brain＿df＿mask．shape
輸出：（1373， 4）將數(shù)據(jù)拆分為訓(xùn)練和測(cè)試數(shù)據(jù)集。首先，我們將整個(gè)數(shù)據(jù)拆分為訓(xùn)練和驗(yàn)證數(shù)據(jù)，然后將一半的驗(yàn)證數(shù)據(jù)拆分為測(cè)試數(shù)據(jù)。from sklearn．model＿selection import train＿test＿split
X＿train， X＿val ＝ train＿test＿split（brain＿df＿mask， test＿size＝0．15）
X＿test， X＿val ＝ train＿test＿split（X＿val， test＿size＝0．5）
我們將再次使用DataGenerator 生成虛擬數(shù)據(jù)，即training＿generator 和validation＿generator。為此，我們將首先創(chuàng)建要傳遞到生成器的圖像和蒙版路徑的列表。train＿ids ＝ list（X＿train．image＿path）
train＿mask ＝ list（X＿train．mask＿path）
val＿ids ＝ list（X＿val．image＿path）
val＿mask＝ list（X＿val．mask＿path）
＃ Utilities file contains the code for custom data generator
from utilities import DataGenerator
＃ create image generators
training＿generator ＝ DataGenerator（train＿ids，train＿mask）
validation＿generator ＝ DataGenerator（val＿ids，val＿mask）
定義一個(gè)如下所示的方法 Resblock ，以在我們的深度學(xué)習(xí)模型中使用。模型中使用 Resblocks 以獲得更好的結(jié)果。這些塊只是一堆層。resblocks 的主要功能是在頂部學(xué)習(xí)殘差函數(shù)，而信息沿底部傳遞不變。def resblock（X， f）：
 ＃ make a copy of input
 X＿copy ＝ X
 X ＝ Conv2D（f， kernel＿size ＝ （1，1） ，strides ＝ （1，1），kernel＿initializer ＝＇he＿normal＇）（X）
 X ＝ BatchNormalization（）（X）
 X ＝ Activation（＇relu＇）（X）
 X ＝ Conv2D（f， kernel＿size ＝ （3，3）， strides ＝（1，1）， padding ＝ ＇same＇， kernel＿initializer ＝＇he＿normal＇）（X）
 X ＝ BatchNormalization（）（X）
 X＿copy ＝ Conv2D（f， kernel＿size ＝ （1，1）， strides ＝（1，1）， kernel＿initializer ＝＇he＿normal＇）（X＿copy）
 X＿copy ＝ BatchNormalization（）（X＿copy）
 ＃ Adding the output from main path and short path together
 X ＝ Add（）（［X，X＿copy］）
 X ＝ Activation（＇relu＇）（X）
 return X
同樣，定義 upsample＿concat 方法來(lái)放大和連接傳遞的值。Upsampling 層是一個(gè)簡(jiǎn)單的層，沒(méi)有權(quán)重，可以將輸入的維度加倍。def upsample＿concat（x， skip）：
 x ＝ UpSampling2D（（2，2））（x）
 merge ＝ Concatenate（）（［x， skip］）
 return merge
建立一個(gè)分割模型，添加下面顯示的層，包括上面定義的 resblock 和 upsample＿concat。input＿shape ＝ （256，256，3）
＃ Input tensor shape
X＿input ＝ Input（input＿shape）
＃ Stage 1
conv1＿in ＝ Conv2D（16，3，activation＝ ＇relu＇， padding ＝ ＇same＇， kernel＿initializer ＝＇he＿normal＇）（X＿input）
conv1＿in ＝ BatchNormalization（）（conv1＿in）
conv1＿in ＝ Conv2D（16，3，activation＝ ＇relu＇， padding ＝ ＇same＇， kernel＿initializer ＝＇he＿normal＇）（conv1＿in）
conv1＿in ＝ BatchNormalization（）（conv1＿in）
pool＿1 ＝ MaxPool2D（pool＿size ＝ （2，2））（conv1＿in）
＃ Stage 2
conv2＿in ＝ resblock（pool＿1， 32）
pool＿2 ＝ MaxPool2D（pool＿size ＝ （2，2））（conv2＿in）
＃ Stage 3
conv3＿in ＝ resblock（pool＿2， 64）
pool＿3 ＝ MaxPool2D（pool＿size ＝ （2，2））（conv3＿in）
＃ Stage 4
conv4＿in ＝ resblock（pool＿3， 128）
pool＿4 ＝ MaxPool2D（pool＿size ＝ （2，2））（conv4＿in）
＃ Stage 5 （Bottle Neck）
conv5＿in ＝ resblock（pool＿4， 256）
＃ Upscale stage 1
up＿1 ＝ upsample＿concat（conv5＿in， conv4＿in）
up＿1 ＝ resblock（up＿1， 128）
＃ Upscale stage 2
up＿2 ＝ upsample＿concat（up＿1， conv3＿in）
up＿2 ＝ resblock（up＿2， 64）
＃ Upscale stage 3
up＿3 ＝ upsample＿concat（up＿2， conv2＿in）
up＿3 ＝ resblock（up＿3， 32）
＃ Upscale stage 4
up＿4 ＝ upsample＿concat（up＿3， conv1＿in）
up＿4 ＝ resblock（up＿4， 16）
＃ Final Output
output ＝ Conv2D（1， （1，1）， padding ＝ ＂same＂， activation ＝ ＂sigmoid＂）（up＿4）
model＿seg ＝ Model（inputs ＝ X＿input， outputs ＝ output ）
編譯上面訓(xùn)練的模型。這次我們將自定義優(yōu)化器的參數(shù)。Focal tversky 是損失函數(shù)，tversky 是度量。＃ Utilities file also contains the code for custom loss function
from utilities import focal＿tversky， tversky
＃ Compile the model
adam ＝ tf．keras．optimizers．Adam（lr ＝ 0．05， epsilon ＝ 0．1）
model＿seg．compile（optimizer ＝ adam， loss ＝ focal＿tversky， metrics ＝ ［tversky］）
現(xiàn)在，你知道我們?cè)诜诸?lèi)器模型中使用的回調(diào)。我們將使用相同的方法來(lái)獲得更好的性能。最后，我們訓(xùn)練我們的分割模型。＃ use early stopping to exit training if validation loss is not decreasing even after certain epochs．
earlystopping ＝ EarlyStopping（monitor＝＇val＿loss＇， mode＝＇min＇， verbose＝1， patience＝20）
＃ save the best model with lower validation loss
checkpointer ＝ ModelCheckpoint（filepath＝＂ResUNet－weights．hdf5＂， verbose＝1， save＿best＿only＝True）
model＿seg．fit（training＿generator， epochs ＝ 1， validation＿data ＝ validation＿generator， callbacks ＝ ［checkpointer， earlystopping］）
預(yù)測(cè)測(cè)試數(shù)據(jù)集的蒙版。這里，model是前面訓(xùn)練的分類(lèi)器模型，model＿seg是上面訓(xùn)練的分割模型。from utilities import prediction
＃ making prediction
image＿id， mask， has＿mask ＝ prediction（test， model， model＿seg）
輸出將為我們提供圖像路徑、預(yù)測(cè)蒙版和類(lèi)標(biāo)簽。根據(jù)預(yù)測(cè)結(jié)果創(chuàng)建數(shù)據(jù)幀并與 image＿path 上的測(cè)試數(shù)據(jù)幀合并。＃ creating a dataframe for the result
df＿pred ＝ pd．DataFrame（｛＇image＿path＇： image＿id，＇predicted＿mask＇： mask，＇has＿mask＇： has＿mask｝）
＃ Merge the dataframe containing predicted results with the original test data．
df＿pred ＝ test．merge（df＿pred， on ＝ ＇image＿path＇）
df＿pred．head（）

正如你在輸出中看到的那樣，我們現(xiàn)在已將最終預(yù)測(cè)的蒙版合并到我們的數(shù)據(jù)幀中。最后，將原始圖像、原始蒙版和預(yù)測(cè)蒙版一起可視化，以分析我們的分割模型的準(zhǔn)確性。count ＝ 0
fig， axs ＝ plt．subplots（10， 5， figsize＝（30， 50））
for i in range（len（df＿pred））：
 if df＿pred［＇has＿mask＇］［i］ ＝＝ 1 and count ＜ 5：
   ＃ read the images and convert them to RGB format
   img ＝ io．imread（df＿pred．image＿path［i］）
   img ＝ cv2．cvtColor（img， cv2．COLOR＿BGR2RGB）
   axs［count］［0］．title．set＿text（＂Brain MRI＂）
   axs［count］［0］．imshow（img）
   ＃ Obtain the mask for the image
   mask ＝ io．imread（df＿pred．mask＿path［i］）
   axs［count］［1］．title．set＿text（＂Original Mask＂）
   axs［count］［1］．imshow（mask）
   ＃ Obtain the predicted mask for the image
   predicted＿mask ＝ np．a(chǎn)sarray（df＿pred．predicted＿mask［i］）［0］．squeeze（）．round（）
   axs［count］［2］．title．set＿text（＂AI Predicted Mask＂）
   axs［count］［2］．imshow（predicted＿mask）
   
   ＃ Apply the mask to the image ＇mask＝＝255＇
   img［mask ＝＝ 255］ ＝ （255， 0， 0）
   axs［count］［3］．title．set＿text（＂MRI with Original Mask （Ground Truth）＂）
   axs［count］［3］．imshow（img）
   img＿ ＝ io．imread（df＿pred．image＿path［i］）
   img＿ ＝ cv2．cvtColor（img＿， cv2．COLOR＿BGR2RGB）
   img＿［predicted＿mask ＝＝ 1］ ＝ （0， 255， 0）
   axs［count］［4］．title．set＿text（＂MRI with AI Predicted Mask＂）
   axs［count］［4］．imshow（img＿）
   count ＋＝ 1
fig．tight＿layout（）

輸出顯示我們的分割模型非常好地定位了腫瘤。做得好！此外，你可以嘗試向目前訓(xùn)練的模型添加更多層并分析性能。還可以將類(lèi)似的解決方案應(yīng)用于其他問(wèn)題陳述，因?yàn)閳D像分割是當(dāng)今非常感興趣的領(lǐng)域。