近些年來(lái)，隨著政府及企業(yè)在AI產(chǎn)業(yè)的不斷投入，AI技術(shù)不斷得到突破和發(fā)展。而在2020年，雖然眾多AI企業(yè)把重心放置在AI落地應(yīng)用方面，但對(duì)于AI的發(fā)展和突破并未放松。

也正是如此，在2020年期間，AI相關(guān)技術(shù)再次得到全面發(fā)展，并逐漸從“智能”走向“智慧”。

而2020年有哪些技術(shù)得到突破？OFweek維科網(wǎng)編輯將進(jìn)行一一盤(pán)點(diǎn)。

1、Google與FaceBook團(tuán)隊(duì)分別提出全新無(wú)監(jiān)督表征學(xué)習(xí)算法

2020年初，Google與Facebook分別提出SimCLR與MoCo兩個(gè)算法，均能夠在無(wú)標(biāo)注數(shù)據(jù)上學(xué)習(xí)圖像數(shù)據(jù)表征。兩個(gè)算法背后的框架都是對(duì)比學(xué)習(xí)，對(duì)比學(xué)習(xí)的核心訓(xùn)練信號(hào)是圖片的“可區(qū)分性”。

據(jù)悉，模型需要區(qū)分兩個(gè)輸入是來(lái)自于同一圖片的不同視角，還是來(lái)自完全不同的兩張圖片的輸入。這個(gè)任務(wù)不需要人類標(biāo)注，因此可以使用大量無(wú)標(biāo)簽數(shù)據(jù)進(jìn)行訓(xùn)練。

盡管Google和FaceBook的兩個(gè)工作對(duì)很多訓(xùn)練的細(xì)節(jié)問(wèn)題進(jìn)行了不同的處理，但它們都表明，無(wú)監(jiān)督學(xué)習(xí)模型可以接近甚至達(dá)到有監(jiān)督模型的效果。

2、OpenAI發(fā)布預(yù)訓(xùn)練語(yǔ)言模型GPT－3

2020年5月，OpenAI發(fā)布了迄今為止全球規(guī)模最大的預(yù)訓(xùn)練語(yǔ)言模型GPT－3。

據(jù)了解，GPT－3具有1750億參數(shù)，訓(xùn)練所用的數(shù)據(jù)量達(dá)到45TB，訓(xùn)練費(fèi)用超過(guò)1200萬(wàn)美元。

對(duì)于所有任務(wù)，應(yīng)用GPT－3無(wú)需進(jìn)行任何梯度更新或微調(diào)，僅需要與模型文本交互為其指定任務(wù)和展示少量演示即可使其完成任務(wù)。

而GPT－3在許多自然語(yǔ)言處理數(shù)據(jù)集上均具有出色的性能，包括翻譯、問(wèn)答和文本填空任務(wù)，還包括一些需要即時(shí)推理或領(lǐng)域適應(yīng)的任務(wù)等，已在很多實(shí)際任務(wù)上大幅接近人類水平。

3、美國(guó)貝勒醫(yī)學(xué)院通過(guò)動(dòng)態(tài)顱內(nèi)電刺激實(shí)現(xiàn)“視皮層打印機(jī)”功能

2020年5月，美國(guó)貝勒醫(yī)學(xué)院的研究者利用動(dòng)態(tài)顱內(nèi)電刺激新技術(shù)，用植入的微電極陣列構(gòu)成視覺(jué)假體，在人類初級(jí)視皮層繪制W、S和Z等字母的形狀，成功地能夠讓盲人“看見(jiàn)”了這些字母。

再結(jié)合馬斯克創(chuàng)辦的腦機(jī)接口公司Neuralink發(fā)布的高帶寬、全植入式腦機(jī)接口系統(tǒng)，下一代視覺(jué)假體有可能精準(zhǔn)刺激大腦初級(jí)視覺(jué)皮層的每一個(gè)神經(jīng)元，幫助盲人“看見(jiàn)”更復(fù)雜的信息，實(shí)現(xiàn)他們看清世界的夢(mèng)想。

4、清華大學(xué)首次提出類腦計(jì)算完備性概念及計(jì)算系統(tǒng)層次結(jié)構(gòu)

2020年10月，清華大學(xué)張悠慧、李國(guó)齊、宋森團(tuán)隊(duì)首次提出“類腦計(jì)算完備性”概念以及軟硬件去耦合的類腦計(jì)算系統(tǒng)層次結(jié)構(gòu)，通過(guò)理論論證與原型實(shí)驗(yàn)證明該類系統(tǒng)的硬件完備性與編譯可行性，擴(kuò)展了類腦計(jì)算系統(tǒng)應(yīng)用范圍使之能支持通用計(jì)算。

該研究成果發(fā)表在2020年10月14日的《自然》（Nature）期刊，《自然》周刊評(píng)論認(rèn)為，“‘完備性’新概念推動(dòng)了類腦計(jì)算”，對(duì)于類腦系統(tǒng)存在的軟硬件緊耦合問(wèn)題而言這是“一個(gè)突破性方案”。

5、康奈爾大學(xué)提出無(wú)偏公平排序模型可緩解檢索排名的馬太效應(yīng)問(wèn)題

2020年7月，康奈爾大學(xué)Thorsten Joachims教授團(tuán)隊(duì)發(fā)表了公平無(wú)偏的排序?qū)W習(xí)模型FairCo，一舉奪得了國(guó)際信息檢索領(lǐng)域頂會(huì)SIGIR 2020最佳論文獎(jiǎng)。

該研究分析了當(dāng)前排序模型普遍存在的位置偏差、排序公平性以及物品曝光的馬太效應(yīng)問(wèn)題等，基于反事實(shí)學(xué)習(xí)技術(shù)提出了具有公平性約束的相關(guān)度無(wú)偏估計(jì)方法，并實(shí)現(xiàn)了排序性能的提升，受到了業(yè)界的廣泛關(guān)注和好評(píng)。

6、DeepMind用深度神經(jīng)網(wǎng)絡(luò)求解薛定諤方程促進(jìn)量子化學(xué)發(fā)展

2019年，DeepMind開(kāi)發(fā)出一種費(fèi)米神經(jīng)網(wǎng)絡(luò)來(lái)近似計(jì)算薛定諤方程，為深度學(xué)習(xí)在量子化學(xué)領(lǐng)域的發(fā)展奠定了基礎(chǔ)。

在2020年10月，DeepMind開(kāi)源了FermiNet，并把相關(guān)論文發(fā)表在物理學(xué)期刊Physical Review Research。

FermiNet是第一個(gè)利用深度學(xué)習(xí)來(lái)從第一性原理計(jì)算原子和分子能量的嘗試，在精度和準(zhǔn)確性上都滿足科研標(biāo)準(zhǔn)，且是目前在相關(guān)領(lǐng)域中最為精準(zhǔn)的神經(jīng)網(wǎng)絡(luò)模型。

而在2020年9月，德國(guó)柏林自由大學(xué)的幾位科學(xué)家也提出了一種新的深度學(xué)習(xí)波函數(shù)擬設(shè)方法，它可以獲得電子薛定諤方程的近乎精確解，相關(guān)研究發(fā)表在Nature Chemistry上。

該類研究所展現(xiàn)的，不僅是深度學(xué)習(xí)在解決某一特定科學(xué)問(wèn)題過(guò)程中的應(yīng)用，也是深度學(xué)習(xí)能在生物、化學(xué)、材料以及醫(yī)藥領(lǐng)域等各領(lǐng)域科研中被廣泛應(yīng)用的一個(gè)遠(yuǎn)大前景。

7、深度勢(shì)能分子動(dòng)力學(xué)研究獲得戈登·貝爾獎(jiǎng)

在2020年11月19日，美國(guó)亞特蘭大舉行國(guó)際超級(jí)計(jì)算大會(huì)SC20，在會(huì)上，智源學(xué)者、北京應(yīng)用物理與計(jì)算數(shù)學(xué)研究院王涵所在的“深度勢(shì)能”團(tuán)隊(duì)，獲得了國(guó)際高性能計(jì)算應(yīng)用領(lǐng)域最高獎(jiǎng)項(xiàng)“戈登·貝爾獎(jiǎng)”。

據(jù)了解，“戈登·貝爾獎(jiǎng)”設(shè)立于1987年，由美國(guó)計(jì)算機(jī)協(xié)會(huì)（ACM）頒發(fā)，被譽(yù)為“計(jì)算應(yīng)用領(lǐng)域的諾貝爾獎(jiǎng)”。

而“深度勢(shì)能”團(tuán)隊(duì)研究的“分子動(dòng)力學(xué)”，結(jié)合了分子建模、機(jī)器學(xué)習(xí)和高性能計(jì)算相關(guān)方法，能夠?qū)⒌谝恍栽�理精度分子�?dòng)力學(xué)模擬規(guī)模擴(kuò)展到1億原子，同時(shí)計(jì)算效率相比此前人類最好水平提升1000倍以上，極大地提升了人類使用計(jì)算機(jī)模擬客觀物理世界的能力。

美國(guó)計(jì)算機(jī)協(xié)會(huì)評(píng)價(jià)道，基于深度學(xué)習(xí)的分子動(dòng)力學(xué)模擬通過(guò)機(jī)器學(xué)習(xí)和大規(guī)模并行的方法，將精確的物理建模帶入了更大尺度的材料模擬中，將來(lái)有望為力學(xué)、化學(xué)、材料、生物乃至工程領(lǐng)域解決實(shí)際問(wèn)題（如大分子藥物開(kāi)發(fā)）發(fā)揮更大作用。

8、AlphaFold2破解蛋白質(zhì)結(jié)構(gòu)預(yù)測(cè)難題

2020年11月30日，Google旗下的DeepMind公司，其AlphaFold2人工智能系統(tǒng)在第14屆國(guó)際蛋白質(zhì)結(jié)構(gòu)預(yù)測(cè)競(jìng)賽（CASP）中取得桂冠——在評(píng)估中的總體中位數(shù)得分達(dá)到了92．4分。

據(jù)悉，其準(zhǔn)確性可以與使用冷凍電子顯微鏡（CryoEM）、核磁共振或X射線晶體學(xué)等實(shí)驗(yàn)技術(shù)解析的蛋白質(zhì)3D結(jié)構(gòu)相媲美，有史以來(lái)首次把蛋白質(zhì)結(jié)構(gòu)預(yù)測(cè)任務(wù)做到了基本接近實(shí)用的水平。

對(duì)此，《自然》雜志評(píng)論認(rèn)為，AlphaFold2算法解決了困擾生物界“50年來(lái)的大問(wèn)題”。

9、北京大學(xué)首次實(shí)現(xiàn)基于相變存儲(chǔ)器的神經(jīng)網(wǎng)絡(luò)高速訓(xùn)練系統(tǒng)

2020年12月，智源學(xué)者、北京大學(xué)楊玉超團(tuán)隊(duì)提出并實(shí)現(xiàn)了一種基于相變存儲(chǔ)器（PCM）電導(dǎo)隨機(jī)性的神經(jīng)網(wǎng)絡(luò)高速訓(xùn)練系統(tǒng)，有效地緩解了人工神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程中時(shí)間、能量開(kāi)銷巨大并難以在片上實(shí)現(xiàn)的問(wèn)題。

該系統(tǒng)在誤差直接回傳算法（DFA）的基礎(chǔ)上進(jìn)行改進(jìn)，利用PCM電導(dǎo)的隨機(jī)性自然地產(chǎn)生傳播誤差的隨機(jī)權(quán)重，有效降低了系統(tǒng)的硬件開(kāi)銷以及訓(xùn)練過(guò)程中的時(shí)間、能量消耗。

據(jù)悉，該系統(tǒng)在大型卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程中表現(xiàn)優(yōu)異，為人工神經(jīng)網(wǎng)絡(luò)在終端平臺(tái)上的應(yīng)用以及片上訓(xùn)練的實(shí)現(xiàn)提供了新的方向。

10、MIT僅用19個(gè)類腦神經(jīng)元實(shí)現(xiàn)控制自動(dòng)駕駛汽車

MIT計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室（CSAIL）、維也納工業(yè)大學(xué)、奧地利科技學(xué)院的團(tuán)隊(duì)僅用19個(gè)類腦神經(jīng)元就實(shí)現(xiàn)了控制自動(dòng)駕駛汽車，有效替代以往深度神經(jīng)網(wǎng)絡(luò)所需的百萬(wàn)神經(jīng)元。

此外，這一神經(jīng)網(wǎng)絡(luò)能夠模仿學(xué)習(xí)，具有擴(kuò)展到倉(cāng)庫(kù)的自動(dòng)化機(jī)器人等應(yīng)用場(chǎng)景的潛力。這一研究成果已發(fā)表在2020年10月13日的《自然》雜志子刊《自然·機(jī)器智能》上。