訂閱
糾錯
加入自媒體

計算機視覺研究人員必備的Linux命令行技巧

介紹

Jeroen Janssens在《命令行的數(shù)據(jù)科學》一書中對命令行優(yōu)勢進行了很好的分類:

命令行是靈活的:這個特性使它非常適合數(shù)據(jù)科學的探索性質(zhì)。因為你想要及時得到結(jié)果。

命令行可以擴展:與其他技術(shù)很好地集成。(例如Jupyter筆記本、Colab等)

命令行是可伸縮的:因為你不使用GUI,你實際上輸入命令,每個命令都有許多參數(shù),所以它可以很容易地滿足你的需要。

命令行是可擴展的:命令行本身與語言無關(guān)。因此,你可以開發(fā)和擴展它的功能,而不用擔心語言。

命令行無處不在:命令行與任何類似Unix的操作系統(tǒng)一起提供。大多數(shù)超級計算機、嵌入式系統(tǒng)、服務(wù)器、筆記本電腦和云基礎(chǔ)設(shè)施都使用Linux。

在這篇文章中,想介紹一些關(guān)于我經(jīng)常用于項目的Linux命令

將命令分為兩大類:

第一類包括在使用遠程服務(wù)器和文件時有用

第二類命令包括有助于圖像/視頻操作。

使用遠程服務(wù)器和文件

1.檢查圖像的尺寸

有時在遠程服務(wù)器上,你正在處理數(shù)據(jù),沒有任何GUI來查看圖像維度。可以使用以下命令檢查圖像尺寸:

linux@user-pc:~/some/path$ identify image_name.png

>>> image_name.png PNG 1920x1080 8bit sRGB 805918B 0.000u 0:00.000

如果你想將其用于目錄中的多個圖像(可能你想將它們合并為一個片段,但其中一些圖像的維度與其他圖像不同!),使用*.png而不是image_name.png

腳本:

import cv2

from pathlib import Path

images = Path('path').rglob('*.png')

for img_path in images:

   img = cv2.imread(img_path

   print(img_path, img.shape)

2.清點目錄上的圖像

在一些目錄中創(chuàng)建數(shù)據(jù)集之后,我經(jīng)常檢查圖像和標簽的數(shù)量是否相等。(由于我使用jupyter notebook,有時會有一個名為.ipynotebook的隱藏目錄,在使用ls命令時不會出現(xiàn),當數(shù)據(jù)生成器開始從該目錄獲取數(shù)據(jù)時,會出現(xiàn)問題)。

要統(tǒng)計所有圖像,請執(zhí)行以下操作:

ls path/to/images | wc -l

要僅檢查png格式文件,請執(zhí)行以下操作:

find -name *.png -type | wc -l

要使用存儲大小檢查目錄,請執(zhí)行以下操作:

du -lh --max-depth=1

你還可以使用tree -du -h(huán) Path/to/images來檢查映像及其占用的磁盤存儲空間。命令樹的輸出更加直觀,如下所示:

3.將文件從本地PC復制到遠程服務(wù)器

我們經(jīng)常需要將數(shù)據(jù)上傳到遠程服務(wù)器(或從遠程服務(wù)器下載)。要做到這一點,你應(yīng)該以以下方式使用scp命令:

首先,我建議你使用以下命令壓縮文件夾:

zip -r output.zip path/to/images path/to/labels

要下載,你應(yīng)該在本地PC上使用以下命令:

scp remote_user@remote_host:remote_path local_path

例如:

scp user_1@111.222.333.444:/home/user_1/path /home/local_user/path

要上傳,請切換源和目標:

scp /home/local_user/path user_1@111.222.333.444:/home/user_1/path

4.在遠程服務(wù)器上運行jupyter notebook

jupyter notebook幫助研究人員編寫腳本和可視化。為了在本地PC上使用它,同時在遠程主機上運行,我們在本地計算機和遠程主機上使用以下命令,將jupyter notebook轉(zhuǎn)發(fā)到本地:

在遠程服務(wù)器上運行jupyter notebook:

jupyter notebook --no-browser --port=XXXX

端口將本地端口轉(zhuǎn)發(fā)到遠程端口:

ssh -N -f -L localhost:YYYY:localhost:XXXX remote_user@remote_host

5.使用TMUX運行ML模型訓練/評估

在ML模型訓練中,我經(jīng)常遭受網(wǎng)絡(luò)斷開的痛苦,這有時會讓我回到原點,重新開始訓練模型!

因此,我發(fā)現(xiàn)tmux程序是一個非常好的解決方案,你可以將進程與其控制終端分離,從而允許遠程會話在不可見的情況下保持活動狀態(tài)。

使用tmux過程。

· 要啟動tmux會話,只需鍵入tmux。

· 要重命名會話,請鍵入rename-session -t some_random_name(僅當你已激活會話時)。

· 然后你可以運行你的進程,按CTRL+B,然后按D,從中分離出來。

· 要附加會話,可以使用tmux attach -t some_random_name。

· 要終止會話,請執(zhí)行tmux kill-session -t yolo

6. 查看GPU資源

如果你在一個團隊中工作,你可能會和同事一起經(jīng)歷GPU資源的競爭!!要了解GPU的使用情況(了解其他人何時不使用GPU),請使用以下命令:

watch -n nvidia-smi

nvtop(更好的可視化):

gpustat(管理員更適合同時觀看多個GPU)

有時,當你開始訓練你的ML模型時,你會將結(jié)果記錄在一些文本文件中。例如,Detectron2框架或YOLOV5記錄度量(準確性、損失等)。

因此,如果我無法訪問tensorboard,我將使用此命令檢查最后5行的結(jié)果,每100秒更新一次:

watch -n 100 tail -n 5

我根據(jù)損失和準確度值保存檢查點,并用相應(yīng)的損失和準確度命名權(quán)重。因此,我可以在命令行中對它們進行排序,并使用以下命令檢查最后一個檢查點的準確度:

ls checkpoints | sort | tail -n 1

6.創(chuàng)建gif繪圖以顯示時間序列圖像

我使用GradCam算法,使用tf-explain模塊在測試圖像上可視化激活層特征提取熱圖。我經(jīng)常從圖中生成gif,以了解訓練過程如何影響模型的準確性。要將目錄中的圖像轉(zhuǎn)換為繪圖,可以使用以下命令:

convert -delay 10 -loop 0 *.png animation.gif

結(jié)果是:

如果要將視頻轉(zhuǎn)換為gif,可能會注意到輸出的gif會變得非常大。因此,減少gif大小的最佳方法是從視頻中采樣。為此,請使用-r,即采樣FPS:

ffmpeg -i video.mp4 -r 10 output.gif

視頻/圖像處理

ffmpeg是計算機視覺工程師的必備技能,因為她/他必須處理視頻/圖像數(shù)據(jù)。ffmpeg有很多技巧,在這里只分享其中的幾個。

1.檢查視頻持續(xù)時間

使用以下命令:

ffmpeg -i file.mp4 2>&1 | grep “Duration”

輸出結(jié)果如下:Duration: 00:05:03.05, start: 0.00000, bitrate:201 kb/s

2.轉(zhuǎn)換視頻格式:

為此:

ffmpeg -i video.mp4 video.a(chǎn)vi

如果你只需要視頻中的音頻:

ffmpeg -i input.mp4 -vn output.mp3

3.從視頻生成數(shù)據(jù)集

有時我們可能需要從視頻中生成一個數(shù)據(jù)集,其中一些動作很少發(fā)生,比如檢測罕見動作或罕見對象,這可以稱為“異常檢測”。為此,我們需要播放長達數(shù)小時的視頻。我使用此命令剪切視頻的某些部分:

ffmpeg -ss 00:10:00 -i input_video.mp4 -to 00:02:00 -c copy output.mp4

在該命令中:

-ss:開始時間

-i:輸入視頻

-to:大約2分鐘。

-c:輸出編解碼器

如果你想要沒有音頻的視頻:

ffmpeg -i input_video.mp4 -an -c:v copy output.mp4

-an:用于在沒有音頻的情況下進行輸出。

4.為CONVLSM或3d CNN生成一系列幀

CONVLSM和3d CNN網(wǎng)絡(luò)用于提取視頻序列的時序特征。因此,為了使用這些網(wǎng)絡(luò),我們必須為它們的輸入張量生成一系列幀。使用此命令從視頻生成20秒的圖像:

ffmpeg -ss 00:32:15 -t 20 -i videos.ts ~/frames/frame%06d.png

可以添加比例來重新縮放圖像尺寸。我大部分的視頻都是1028x540,它的寬度必須減半。這是執(zhí)行此操作的命令:

ffmpeg -ss 00:10:00 -t 20 -i video.ts -vf scale=iw/2:ih output_path/frame%06d.png

或者你可以簡單地輸入尺寸:

ffmpeg -ss 00:10:00 -t 20 -i video.ts -vf scale=960x540 output_path/frame%06d.png

5.裁剪視頻邊框

裁剪視頻邊框:

ffmpeg -i input.mp4 -filter:v "crop=w:h:x:y" output.mp4

6.堆疊視頻

在TVConal初創(chuàng)公司,我從事體育分析項目,有時我們想檢查不同的視頻源是否同步。

視頻名稱為a.mp4-b.mp4 c.mp4 d.mp4。

6.1-水平堆疊視頻:

要沿水平堆疊,我們使用以下命令:

ffmpeg -i a.mp4 -i b.mp4 -filter_complex hstack output.mp4

6.2-垂直堆疊視頻:

要沿垂直堆疊,我們使用以下命令:

ffmpeg -i a.mp4 -i b.mp4 -filter_complex vstack=inputs=2 end_vstack.mp4

6.3 2x2網(wǎng)格堆疊

現(xiàn)在讓我們嘗試更復雜的方法:

ffmpeg -i a.mp4 -i b.mp4 -i c.mp4 -i d.mp4 -filter_complex "[0:v][1:v][2:v][3:v]xstack=inputs=4:layout=0_0|w0_0|0_h0|w0_h0[v]" -map "[v]" 2x2.mp4

結(jié)論

相信命令行和python將為數(shù)據(jù)科學界提供一套強大的工具。因此,使用這些功能強大的工具,我們可以減少在簡單任務(wù)上的時間浪費。

感謝閱讀!

參考引用

image.png


       原文標題 : 計算機視覺研究人員必備的Linux命令行技巧

聲明: 本文由入駐維科號的作者撰寫,觀點僅代表作者本人,不代表OFweek立場。如有侵權(quán)或其他問題,請聯(lián)系舉報。

發(fā)表評論

0條評論,0人參與

請輸入評論內(nèi)容...

請輸入評論/評論長度6~500個字

您提交的評論過于頻繁,請輸入驗證碼繼續(xù)

暫無評論

暫無評論

人工智能 獵頭職位 更多
掃碼關(guān)注公眾號
OFweek人工智能網(wǎng)
獲取更多精彩內(nèi)容
文章糾錯
x
*文字標題:
*糾錯內(nèi)容:
聯(lián)系郵箱:
*驗 證 碼:

粵公網(wǎng)安備 44030502002758號