強(qiáng)化學(xué)習(xí)可以解決什么問題？

這張圖是2016年引起熱議人工智能的AlphaGo事件，AlphaGo打敗了圍棋世界冠軍李世石。AlphaGo作為一個(gè)智能體，就使用了深度強(qiáng)化學(xué)習(xí)技術(shù)進(jìn)行了訓(xùn)練。在這一場(chǎng)景中，狀態(tài)就是每一時(shí)刻的棋盤，行為就是下棋的動(dòng)作，而評(píng)價(jià)系統(tǒng)會(huì)根據(jù)每一步棋的價(jià)值返回獎(jiǎng)勵(lì)。完成訓(xùn)練的AlphaGo在與李世石的比賽中，根據(jù)當(dāng)前的棋盤選擇最優(yōu)的行為“下一步棋”，最終擊敗了李世石，這就是強(qiáng)化學(xué)習(xí)的一個(gè)具體應(yīng)用。

智能體在不斷與環(huán)境交互的過程中，會(huì)保留上次學(xué)習(xí)過的經(jīng)驗(yàn)，下一輪與環(huán)境交互時(shí)，會(huì)選擇獎(jiǎng)勵(lì)更大的行為，一般用來解決“智能體與環(huán)境交互時(shí)通過決策選擇最好的行為”的這一類問題。

具體到現(xiàn)在的應(yīng)用場(chǎng)景很廣泛：

工業(yè)應(yīng)用：機(jī)器人作業(yè)；

金融貿(mào)易應(yīng)用：預(yù)測(cè)未來銷售額、預(yù)測(cè)股價(jià)等；

自然語言處理（NLP）應(yīng)用：文本摘要、自動(dòng)問答、機(jī)器翻譯等；

醫(yī)療保健應(yīng)用：提供治療策略；

工程中的應(yīng)用：數(shù)據(jù)處理、模型訓(xùn)練；

推薦系統(tǒng)中的應(yīng)用：新聞推薦、時(shí)尚推薦等；

游戲中的應(yīng)用：AlphaGo、AlphaZero等；

廣告營銷中的應(yīng)用：實(shí)時(shí)競(jìng)價(jià)策略；

機(jī)器人控制中的應(yīng)用：機(jī)械臂抓取物體等。

強(qiáng)化學(xué)習(xí)在無人機(jī)項(xiàng)目中的應(yīng)用

強(qiáng)化學(xué)習(xí)在無人機(jī)項(xiàng)目中的應(yīng)用越來越廣泛，以下簡(jiǎn)單介紹下深蘭科學(xué)院目前對(duì)該項(xiàng)目的研究內(nèi)容：簡(jiǎn)單的軌跡規(guī)劃，以及當(dāng)前主流的兩個(gè)研究方向：軌跡規(guī)劃、運(yùn)輸懸掛。后續(xù)團(tuán)隊(duì)的目標(biāo)也是基于當(dāng)前項(xiàng)目，進(jìn)行這兩個(gè)主流方向的研究。

1、簡(jiǎn)單軌跡規(guī)劃

本項(xiàng)目研究的是無人機(jī)圓周軌跡運(yùn)動(dòng)規(guī)劃。在這一簡(jiǎn)單任務(wù)中，需要讓無人機(jī)飛到指定位置懸停，然后一直做圓周運(yùn)動(dòng)。簡(jiǎn)單分析這一任務(wù)，智能體就是無人機(jī)，行為就是對(duì)無人機(jī)的旋翼發(fā)出操作指令，狀態(tài)就是當(dāng)前無人機(jī)所處的位置以及無人機(jī)的性能，獎(jiǎng)勵(lì)則是根據(jù)無人機(jī)是否沿著圓周運(yùn)動(dòng)的軌跡判斷。

具體到深度強(qiáng)化學(xué)習(xí)的框架，采用的是on－policy的PPO框架，之后也會(huì)用off－policy的DDPG、SAC框架進(jìn)行比對(duì)效果。

2、復(fù)雜軌跡規(guī)劃

在許多機(jī)器人任務(wù)中，如無人機(jī)比賽，其目標(biāo)是盡可能快地穿越一組路徑點(diǎn)。這項(xiàng)任務(wù)的一個(gè)關(guān)鍵挑戰(zhàn)是規(guī)劃最小時(shí)間軌跡，這通常通過假設(shè)路徑點(diǎn)的完美知識(shí)來解決。這樣所得到的解決方案要么高度專用于單軌道布局，要么由于簡(jiǎn)化平臺(tái)動(dòng)力學(xué)假設(shè)而次優(yōu)，方案不具有可擴(kuò)展性。

視頻是使用深度強(qiáng)化學(xué)習(xí)和相對(duì)門觀察的方法，自適應(yīng)地進(jìn)行隨機(jī)軌道布局的效果展示，與傳統(tǒng)的假設(shè)路徑點(diǎn)軌道方法相比，基于軌跡優(yōu)化的方法顯示出了顯著的優(yōu)勢(shì)。在仿真環(huán)境和現(xiàn)實(shí)世界中的一組軌道上進(jìn)行了評(píng)估，使用真實(shí)四旋翼無人機(jī)實(shí)現(xiàn)了高達(dá)17米／秒的飛行速度。

3、懸掛運(yùn)輸

第二個(gè)主流方向是懸掛運(yùn)輸，運(yùn)輸懸掛的有效載荷對(duì)自動(dòng)駕駛飛行器來說是一個(gè)挑戰(zhàn)，因?yàn)橛行лd荷會(huì)對(duì)機(jī)器人的動(dòng)力學(xué)造成重大和不可預(yù)測(cè)的變化。這些變化可能會(huì)導(dǎo)致飛行性能不理想，甚至?xí)��?dǎo)致災(zāi)難性故障。視頻是運(yùn)用自適應(yīng)控制與深度強(qiáng)化學(xué)習(xí)在這一問題上的效果展示，可以看出這種方法在此任務(wù)表現(xiàn)良好。