訂閱
糾錯(cuò)
加入自媒體

人工智能(61)–AlphaGo淺析(1)

AlphaGo(阿爾法狗)戰(zhàn)勝了柯潔,人工智能贏了,贏家仍然是人類!

之前介紹過深度強(qiáng)化學(xué)習(xí)DRL,其中一個(gè)最最經(jīng)典的應(yīng)用就是谷歌DeepMind團(tuán)隊(duì)研發(fā)的圍棋程序AlphaGo(阿爾法狗)。AlphaGo的勝利將深度強(qiáng)化學(xué)習(xí)推上新的熱點(diǎn)和高度,成為AI人工智能歷史上一個(gè)新的里程碑

有必要跟大家一起探討一下AlphaGo(阿爾法狗),了解一下AlphaGo背后神奇的AI力量

圍棋的程序設(shè)計(jì):

圍棋是一個(gè)完美的、有趣的數(shù)學(xué)問題。

圍棋棋盤是19x19路,所以一共是361個(gè)交叉點(diǎn),每個(gè)交叉點(diǎn)有三種狀態(tài),可以用1表示黑子,-1表示白字,0表示無子,考慮到每個(gè)位置還可能有落子的時(shí)間、這個(gè)位置的等其他信息,可以用一個(gè)361 * n維向量來表示一個(gè)棋盤的狀態(tài)。則把一個(gè)棋盤狀態(tài)向量記為s。

當(dāng)狀態(tài)s下,暫時(shí)不考慮無法落子的地方,可供下一步落子的空間也是361個(gè)。把下一步的落子的行動(dòng)也用361維的向量來表示記為a。

于是,設(shè)計(jì)一個(gè)圍棋人工智能的程序,就轉(zhuǎn)變?yōu)椋喝我饨o定一個(gè)s狀態(tài),尋找最好的應(yīng)對策略a,讓程序按照這個(gè)策略走,最后獲得棋盤上最大的地盤。

谷歌DeepMind的圍棋程序AlphaGo(阿爾法狗)就是基于這樣思想設(shè)計(jì)的。

AlphaGo概述:

AlphaGo(阿爾法狗)創(chuàng)新性地將深度強(qiáng)化學(xué)習(xí)DRL蒙特卡羅樹搜索MCTS相結(jié)合, 通過價(jià)值網(wǎng)絡(luò)(value network)評估局面以減小搜索深度, 利用策略網(wǎng)絡(luò)(policy network)降低搜索寬度, 使搜索效率得到大幅提升, 勝率估算也更加精確。

MCTS必要性:

AlphaGo(阿爾法狗)系統(tǒng)中除了深度強(qiáng)化學(xué)習(xí)DRL外,為什么還需要蒙特卡羅樹搜索

圍棋棋面總共有19 * 19 = 361個(gè)落子位置。假如計(jì)算機(jī)有足夠的計(jì)算能力,理論上來說,可以窮舉黑白雙方所有可能的落子位置,找到最優(yōu)或次優(yōu)落子策略。如果窮舉黑白雙方所有可能的落子位置,各種組合的總數(shù),大約是 250^150 數(shù)量級(jí),即圍棋的計(jì)算復(fù)雜度約為250的150次方。假如采用傳統(tǒng)的暴力搜索方式(遍歷搜索方式),用當(dāng)今世界最強(qiáng)大云計(jì)算系統(tǒng),算幾十年也算不完。按照現(xiàn)有的計(jì)算能力是遠(yuǎn)遠(yuǎn)無法解決圍棋問題的。早期計(jì)算機(jī)圍棋軟件通過專家系統(tǒng)和模糊匹配縮小搜索空間, 減輕計(jì)算強(qiáng)度, 但受限于計(jì)算資源和硬件能力, 實(shí)際效果并不理想。

但是到了2006年,蒙特卡羅樹搜索的應(yīng)用標(biāo)志著計(jì)算機(jī)圍棋進(jìn)入了嶄新階段。

AlphaGo網(wǎng)絡(luò)結(jié)構(gòu):

網(wǎng)絡(luò)結(jié)構(gòu)如下圖所示:

AlphaGo系統(tǒng)組成:

AlphaGo(阿爾法狗)系統(tǒng)主要由幾個(gè)部分組成:

1.策略網(wǎng)絡(luò)(Policy Network):給定當(dāng)前圍棋局面,預(yù)測/采樣下一步的走棋。

2.快速走子(Fast rollout):目標(biāo)和策略網(wǎng)絡(luò)一樣,只不過圍棋有時(shí)間限制,需要在規(guī)定時(shí)間內(nèi)適當(dāng)犧牲走棋質(zhì)量情況下,快速落子,速度要比策略網(wǎng)絡(luò)要快1000倍。

3.價(jià)值網(wǎng)絡(luò)(Value Network):給定當(dāng)前圍棋局面,估計(jì)是白勝還是黑勝。

4.蒙特卡羅樹搜索(Monte Carlo Tree Search):不窮舉所有組合,找到最優(yōu)或次優(yōu)位置。

把以上這四個(gè)部分結(jié)合起來,形成一個(gè)完整的AlphaGo(阿爾法狗)系統(tǒng)。

蒙特卡洛樹搜索 (MCTS) 是一個(gè)大框架,許多博弈AI都會(huì)采用這個(gè)框架。強(qiáng)化學(xué)習(xí)(RL)是學(xué)習(xí)方法,用來提升AI的實(shí)力。深度學(xué)習(xí)(DL)采用了深度神經(jīng)網(wǎng)絡(luò) (DNN),它是工具,用來擬合圍棋局面評估函數(shù)和策略函數(shù)的。蒙特卡洛樹搜索 (MCTS) 和強(qiáng)化學(xué)習(xí)RL讓具有自學(xué)能力、并行的圍棋博弈算法成為可能。深度學(xué)習(xí)(DL)讓量化地評估圍棋局面成為了可能。

小結(jié):

可以說 AlphaGo 最大優(yōu)勢就是它應(yīng)用了通用算法,而不是僅局限于圍棋領(lǐng)域的算法。AlphaGo勝利證明了像圍棋這樣復(fù)雜的問題,都可以通過先進(jìn)的AI人工智能技術(shù)來解決。

聲明: 本文由入駐維科號(hào)的作者撰寫,觀點(diǎn)僅代表作者本人,不代表OFweek立場。如有侵權(quán)或其他問題,請聯(lián)系舉報(bào)。

發(fā)表評論

0條評論,0人參與

請輸入評論內(nèi)容...

請輸入評論/評論長度6~500個(gè)字

您提交的評論過于頻繁,請輸入驗(yàn)證碼繼續(xù)

  • 看不清,點(diǎn)擊換一張  刷新

暫無評論

暫無評論

人工智能 獵頭職位 更多
掃碼關(guān)注公眾號(hào)
OFweek人工智能網(wǎng)
獲取更多精彩內(nèi)容
文章糾錯(cuò)
x
*文字標(biāo)題:
*糾錯(cuò)內(nèi)容:
聯(lián)系郵箱:
*驗(yàn) 證 碼:

粵公網(wǎng)安備 44030502002758號(hào)