15． 第二代細胞和基因療法

第二代細胞和基因療法是該報告的最后一篇，ARK 預(yù)測第二代細胞和基因療法可將腫瘤治療的總潛在市場增加 20 倍以上。

時代的寵兒 — 深度學(xué)習(xí)

根據(jù) ARK 的說法，深度學(xué)習(xí)可能是我們這個時代最重要的軟件突破。根據(jù) ARK 的研究，深度學(xué)習(xí)將在未來 15－20 年內(nèi)為全球股票市值增加 30 萬億美元。

圖 ｜ 深度學(xué)習(xí)是軟件 2．0

報告認為，深度學(xué)習(xí)正在創(chuàng)造下一代計算平臺，其中包括：

智能對話平臺：在人工智能的支持下，智能揚聲器在 2020 年回答了 1000 億條語音命令，比 2019 年增長了 75％；

無人駕駛汽車：Waymo 的自動駕駛汽車已在 25 個城市（包括舊金山、底特律和鳳凰城）收集了超過 2000 多萬英里的真實世界行駛里程；

消費類應(yīng)用程序：使用深度學(xué)習(xí)進行視頻推薦的 TikTok，日活人數(shù)已經(jīng)超過了 Snapchat 和 Pinterest 的總和。

圖 ｜ 深度學(xué)習(xí)正在創(chuàng)造下一代計算平臺

ARK 指出：盡管硬件和軟件的進步，每年將人工智能培訓(xùn)成本降低 37％，但人工智能模型的規(guī)模卻仍以每年 10 倍的速度增長，相比較培訓(xùn)成本的降低速度來講這種規(guī)模增長的速度更快。因此，人工智能培訓(xùn)的總成本不斷攀升。我們相信最先進的人工智能培訓(xùn)模型成本可能會增加 100 倍，從目前的大約 100 萬美元增加到 2025 年的 1 億美元。

圖 ｜ 深度學(xué)習(xí)需要無限算力

深度學(xué)習(xí)還將在人工智能芯片領(lǐng)域創(chuàng)造繁榮。ARK 估計，在未來五年中，數(shù)據(jù)中心在人工智能處理器上的支出將增加四倍以上，從目前的每年 50 億美元增加到 2025 年的 220 億美元。

圖 ｜ 深度學(xué)習(xí)正在創(chuàng)造 AI 芯片的繁榮

同時，ARK 預(yù)測人工智能將從視覺擴展到語言。報告指出：2020 年是會話式 AI 的突破年。人工智能系統(tǒng)首次能夠以人類一樣準確地理解并生成語言。會話式 AI 所需的計算資源是計算機視覺的 10 倍，并在未來幾年會刺激相關(guān)領(lǐng)域的大量投資。

圖 ｜ AI 正在從視覺擴展到語言

報告中最大膽的估計也許是，深度學(xué)習(xí)可以創(chuàng)造比互聯(lián)網(wǎng)更大的經(jīng)濟價值。ARK 認為，深度學(xué)習(xí)將在未來 15－20 年內(nèi)為股市的資本增加 30 萬億美元。

圖 ｜ 深度學(xué)習(xí)可以創(chuàng)造比互聯(lián)網(wǎng)更大的經(jīng)濟價值

引發(fā)關(guān)注的 GPT－3

除了上述的內(nèi)容，Big Ideas 2021 的深度學(xué)習(xí)部分還使用了單獨頁面介紹了 GPT－3。

報告認為，AI 的每個領(lǐng)域都在進步，而自然語言處理和深度學(xué)習(xí)正是 AI 領(lǐng)域中發(fā)展最快的部分。GPT－3 是該領(lǐng)域最新的潮流引領(lǐng)者，它一出現(xiàn)就成為了每一個社交媒體討論的話題。

圖 ｜ OpenAI 的 GPT－3 是第一個能真正 “理解” 語言的 AI

GPT 是一種自動回歸語言模型，由人工智能研究實驗室 OpenAI 創(chuàng)建，使用深度學(xué)習(xí)來生成類似于人的文本。GPT－3 是 GPT 系列的第三代產(chǎn)品，被認為是迄今為止創(chuàng)建的最大的人工神經(jīng)網(wǎng)絡(luò)。該系列模型的工作方式類似于手機中的自動完成功能，可嘗試預(yù)測人們輸入中缺少的難題。

2019 年，OpenAI 發(fā)布了擁有 15 億參數(shù)的 GPT－2，這是第一個具有超過 10 億參數(shù)的自然語言模型，這在當時被人們認為是驚人的壯舉。僅僅過了一年，OpenAI 就發(fā)布了 GPT－3，其參數(shù)高達 1750 億，GPT－3 的誕生，顛覆了人們的既有認知。

GPT－3 可以生成推文、寫詩、總結(jié)電子郵件、回答瑣碎問題、翻譯語言，甚至可以編寫計算機程序。在這一過程中，它只需要獲得很少的提示就能完成這些任務(wù)，其中一些技能甚至讓專家們都措手不及。

盡管以前的語言模型也以類似的方式工作，但 GPT－3 可以執(zhí)行以前模型做不到的事情，比如編寫自己的計算機代碼。更重要的是，它可以只用幾個例子為特定的任務(wù)做準備，而不是像它的 “前輩們” 那樣，需要成千上萬個例子和數(shù)小時的額外訓(xùn)練。

而為推動研發(fā)我國自主的大規(guī)模預(yù)訓(xùn)練模型，2020 年 10 月，北京智源人工智能研究院、阿里巴巴、清華大學(xué)、中國人民大學(xué)、中科院、搜狗、智譜?AI、循環(huán)智能等單位科研骨干組成 “悟道” 聯(lián)合攻關(guān)團隊，啟動了新型超大規(guī)模預(yù)訓(xùn)練模型研發(fā)項目 “悟道”，包括四類大規(guī)模預(yù)訓(xùn)練模型：

文源：以中文為核心的超大規(guī)模預(yù)訓(xùn)練語言模型 ；

文匯：面向認知的超大規(guī)模新型預(yù)訓(xùn)練模型；

文瀾：超大規(guī)模多模態(tài)預(yù)訓(xùn)練模型；

文溯：超大規(guī)模蛋白質(zhì)序列預(yù)訓(xùn)練模型。

其中， 文源：以中文為核心的超大規(guī)模預(yù)訓(xùn)練語言模型，第一階段 26 億參數(shù)規(guī)模的中文語言模型已于 2020 年 11 月 14 日發(fā)布；文匯：面向認知的超大規(guī)模新型預(yù)訓(xùn)練模型，已于 2021 年 1 月 11 日發(fā)布，文匯模型參數(shù)規(guī)模達 113 億，僅次于 DALL?E 模型的 120 億參數(shù)量，是目前我國規(guī)模最大的預(yù)訓(xùn)練模型，并已實現(xiàn)與國際領(lǐng)先預(yù)訓(xùn)練技術(shù)的并跑。

下一步，“悟道” 團隊將加快四類大規(guī)模預(yù)訓(xùn)練模型的研發(fā)進度。特別是 “文匯” 模型，未來將著力在多語言、多模態(tài)條件下，提升完成開放對話、基于知識的問答、可控文本生成等復(fù)雜認知推理任務(wù)的能力，使其更加接近人類水平。

身處于一個科技創(chuàng)新的時代中，一行行代碼，一串串數(shù)字，背后都蘊藏著無窮的力量。正如 Big Ideas 2021 報告中所說，深度學(xué)習(xí)可以創(chuàng)造比互聯(lián)網(wǎng)更大的經(jīng)濟價值，并將在未來 15－20 年內(nèi)為股市的資本增加 30 萬億美元。以 GPT－3 為代表的 AI 前沿發(fā)展方向，也定將開啟一個全新的智能時代。