在輸入和輸出層之間， 有一個或多個隱藏層（圖5）。 一層的輸出通過加權(quán)后連接到下一層的節(jié)點(diǎn)。網(wǎng)絡(luò)通過修改這些權(quán)重來學(xué)習(xí)輸入和輸出之間的映射。通過使用多個隱藏層， 深度學(xué)習(xí)算法從輸入數(shù)據(jù)中提取特征， 而不需要明確地將特征輸入到算法中。 這被稱為＂特征學(xué)習(xí)＂。

圖5 前饋人工神經(jīng)網(wǎng)絡(luò)

面向深度學(xué)習(xí)的系統(tǒng)設(shè)計

深度學(xué)習(xí)最近在軟件應(yīng)用領(lǐng)域取得了成功， 主要是因為技術(shù)部件的成熟， 比如硬件中的計算能力增強(qiáng)， 大量的訓(xùn)練數(shù)據(jù)被標(biāo)記， 學(xué)習(xí)算法和網(wǎng)絡(luò)初始化方面的突破， 以及開放源碼軟件框架的可用性。

下面是用深度學(xué)習(xí)系統(tǒng)的主要考慮因素。

拓?fù)?/strong>

深度學(xué)習(xí)是一個不斷發(fā)展的領(lǐng)域， 目前正在使用許多網(wǎng)絡(luò)拓?fù)洌?］。其中一些網(wǎng)絡(luò)顯示了對控制和監(jiān)控物聯(lián)網(wǎng)應(yīng)用的承諾：

深層神經(jīng)網(wǎng)絡(luò)（Deep Neural Network， DNN）是一種完全連接的人工神經(jīng)網(wǎng)絡(luò)， 具有許多隱藏層（因此深層）。 這些網(wǎng)絡(luò)是極好的函數(shù)逼近器， 例如， 可用于電力行業(yè)中電子控制的應(yīng)用�？刂葡到y(tǒng)的仿真模型可用于使用深度網(wǎng)絡(luò)構(gòu)建控制器， 并生成訓(xùn)練數(shù)據(jù)。通過這種方法， 可以探索通常難以使用傳統(tǒng)方法控制的狀態(tài)（邊界／交叉條件）

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network， 簡稱 CNN）是利用輸入信號的二維結(jié)構(gòu)， 如輸入圖像或語音信號。一個卷積網(wǎng)絡(luò)由一個或多個卷積層（過濾層）組成， 然后是一個完全連接的多層神經(jīng)網(wǎng)絡(luò)。 這些網(wǎng)絡(luò)在成像和目標(biāo)識別中的缺陷檢測等問題上取得了成功。它們也被用于駕駛員援助系統(tǒng)（ADAS）中的場景。

循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network， RNN）是基于利用順序（或歷史）信息進(jìn)行預(yù)測的算法。這些網(wǎng)絡(luò)有利于時間序列分析。傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)假設(shè)所有的輸入（和輸出）在時間或到達(dá)的順序上相互獨(dú)立。記錄狀態(tài)信息， 存儲過去的信息， 并使用迄今為止計算出來的信息進(jìn)行下一個預(yù)測。 在物聯(lián)網(wǎng)應(yīng)用中， RNN有利于學(xué)習(xí)歷史行為， 并用于預(yù)測未來的事件， 例如資產(chǎn)的剩余使用壽命。 長短期記憶（LSTM）網(wǎng)絡(luò)也適用于這類應(yīng)用［2］。

深度強(qiáng)化學(xué)習(xí)（DRL）對于在復(fù)雜動態(tài)環(huán)境中運(yùn)行的自適應(yīng)控制系統(tǒng)是有好處的。 考慮控制在倉庫操作中部署的機(jī)器人， 這些機(jī)器人必須動態(tài)地適應(yīng)新的任務(wù)。 以強(qiáng)化學(xué)習(xí)為基礎(chǔ)的控制者學(xué)習(xí)一項任務(wù)時， 它們通過執(zhí)行一個動作， 使他們更接近目標(biāo)而獲得的獎勵。例如， 控制器接收來自攝像機(jī)的圖像， 該照片顯示了機(jī)器人手臂的當(dāng)前位置， 并利用圖像中的信息來學(xué)習(xí)如何將手臂移近目標(biāo)（圖6）［3］。 基于DLC的控制器可以通過機(jī)器人模擬器或者通過觀察實際的機(jī)器人來訓(xùn)練。

圖6 機(jī)器人控制應(yīng)用的深度強(qiáng)化學(xué)習(xí)

訓(xùn)練

DNN需要大量的訓(xùn)練數(shù)據(jù)， 這些數(shù)據(jù)最好包括來自學(xué)習(xí)所需要的所有不同狀態(tài)或條件的數(shù)據(jù)。對于大多數(shù)應(yīng)用而言， 現(xiàn)有數(shù)據(jù)主要來自系統(tǒng)的正常工作狀態(tài)， 其中包括從其他狀態(tài)獲取的少量數(shù)據(jù)。

數(shù)據(jù)增強(qiáng)／泛化是一種用來改善數(shù)據(jù)不平衡的技術(shù)， 可以從現(xiàn)有的小樣本集開始， 通過數(shù)據(jù)轉(zhuǎn)換創(chuàng)建額外的合成版本，還可以使用該系統(tǒng)的模擬模型來創(chuàng)建訓(xùn)練數(shù)據(jù)。

另一個挑戰(zhàn)是難以收集訓(xùn)練這些網(wǎng)絡(luò)所需的大量數(shù)據(jù)。轉(zhuǎn)移學(xué)習(xí)是可以用來緩解這個問題的方法之一。 使用轉(zhuǎn)移學(xué)習(xí)， 可以從預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)開始（大多數(shù)深度學(xué)習(xí)框架提供了可以下載的經(jīng)過完全訓(xùn)練的模型） ， 并用應(yīng)用中的數(shù)據(jù)對其進(jìn)行微調(diào)。

硬件

訓(xùn)練深度網(wǎng)絡(luò)有著巨大的處理要求。GPU已經(jīng)成為訓(xùn)練深度網(wǎng)絡(luò)的主要選擇。由于計算性能高， 內(nèi)存大， 以及編程工具的選擇， GPU很有吸引力， 幾乎成為訓(xùn)練的必要條件。

此外， FPGA是部署訓(xùn)練網(wǎng)絡(luò)的良好目標(biāo)。FPGA提供了更低的延遲， 更好的功率效率，特別是在嵌入式設(shè)備上部署這些網(wǎng)絡(luò)， 用于與I／O緊密操作的控制系統(tǒng)。

軟件

快速采用和成功的一個原因是成熟軟件框架的可用性。 一些常見的框架有 TensorFlow， Caffe， Keras 和 Computational Network Toolkit （CNTK）［4，5，6，7］。 這些框架支持不同的操作系統(tǒng)， 如 Windows 和 Linux， 以及 Python 和 C語言。 大多數(shù)這些框架都有支持或?qū)嵗齺韺嵤┳钚碌纳疃染W(wǎng)絡(luò)，也支持GPU的使用。

深度學(xué)習(xí)： IoT 控制設(shè)計的新方向

深度學(xué)習(xí)是人工智能領(lǐng)域中一個令人興奮的新方向， 也是解決工業(yè)控制設(shè)計應(yīng)用中一個有前途的技術(shù)。

快速開始掌握深度學(xué)習(xí)的方法是下載前面提到的開源框架， 并且用教程示例進(jìn)行實驗。 從一個類似于應(yīng)用程序的示例開始， 然后使用轉(zhuǎn)移學(xué)習(xí)來快速操作。

References：

Veen， Fjodor Van． ＂The Neural Network Zoo．＂ The Asimov Institute． October 28， 2016． Accessed September 20， 2017．

＂Long short－term memory．＂ Wikipedia． August 27， 2017． Accessed September 20， 2017．

Zhang， Fangyi， Jürgen Leitner， Michael Milford， Ben Upcroft， and Peter Corke． ＂Towards Vision－Based Deep Reinforcement Learning for Robotic Motion Control．＂ ［1511．03791］ Towards Vision－Based Deep Reinforcement Learning for Robotic Motion Control． November 13， 2015． Accessed September 20， 2017．

＂TensorFlow．＂ TensorFlow． Accessed September 20， 2017．

＂Caffe．＂ Caffe ｜ Deep Learning Framework． Accessed September 20， 2017．

＂Keras： The Python Deep Learning library．＂ Keras Documentation． Accessed September 20， 2017．

＂Video： Unlock deeper learning with the new Microsoft Cognitive Toolkit．＂ Microsoft Cognitive Toolkit． Accessed September 20， 2017．