失眠已經(jīng)成為一項(xiàng)通病，它難以治愈，也很復(fù)雜，研究起來非常困難。美國(guó)疾病控制和預(yù)防中心的數(shù)據(jù)顯示，有超過三分之一的美國(guó)成年人睡眠不足。 

通常，醫(yī)生會(huì)通過在患者身上佩戴胸帶、鼻探針和腦部電極等傳統(tǒng)傳感器，對(duì)患者進(jìn)行睡眠監(jiān)測(cè)。這些令人不舒服的方式本身就會(huì)導(dǎo)致失眠，因此收集到的數(shù)據(jù)不具有代表性。

為了給患者提供更好的睡眠，麻省理工學(xué)院和麻省總醫(yī)院的研究人員聯(lián)合英偉達(dá)公司，使用AI和類似Wi-Fi的信號(hào)來監(jiān)測(cè)病人，且無需佩戴任何傳感器。

研究人員在臥室安裝了特殊的無線設(shè)備，因此受監(jiān)測(cè)人員可以在家中睡覺。該設(shè)備收集從監(jiān)測(cè)對(duì)象反射回來的信號(hào)，并通過云將數(shù)據(jù)發(fā)回給研究人員。

通過了解臥室內(nèi)人員對(duì)射頻的影響方式，并對(duì)脈搏、呼吸頻率和運(yùn)動(dòng)這些測(cè)量數(shù)據(jù)的分析，研究人員可以確定不同的睡眠階段：輕度睡眠、深度睡眠、快速眼動(dòng)或清醒狀態(tài)。 

此外，研究人員還對(duì)25名人員在100個(gè)晚上的睡眠進(jìn)行了研究。每隔30秒進(jìn)行一次睡眠標(biāo)記，并將用于訓(xùn)練的數(shù)據(jù)與用于測(cè)試的數(shù)據(jù)互相分開。其基于云的服務(wù)可以遠(yuǎn)程收集信號(hào)并運(yùn)行算法模型。

麻省理工學(xué)院的研究人員使用NVIDIA GPU進(jìn)行模型訓(xùn)練以及后端云服務(wù)上的推理。此外，他們還使用了NVIDIA的cuDNN庫(kù)和TensorFlow深度學(xué)習(xí)框架。 

睡眠階段的研究具有廣泛的應(yīng)用價(jià)值，這種睡眠階段檢測(cè)技術(shù)可用于監(jiān)測(cè)諸如抑郁癥等疾病。這一應(yīng)用案例，讓人們看到了“AI+醫(yī)療”的全新應(yīng)用場(chǎng)景。

從研究到臨床的AI應(yīng)用

如今，深度學(xué)習(xí)技術(shù)在醫(yī)療領(lǐng)域正逐漸從研究發(fā)展到臨床應(yīng)用。其涉及的數(shù)據(jù)類型，也從放射學(xué)和病理學(xué)數(shù)據(jù)，逐步擴(kuò)展至其它類型的臨床數(shù)據(jù)，如電子病歷、醫(yī)院運(yùn)營(yíng)和遺傳學(xué)數(shù)據(jù)等。

然而目前在醫(yī)院，AI算法的訓(xùn)練和使用依然不夠成熟。原因在于，用深度學(xué)習(xí)方法打造臨床影響，需要的不僅僅是前沿的算法，還包括這樣一些關(guān)鍵的組成：

臨床醫(yī)生需要從項(xiàng)目開端即參與其中，以明確AI模型的使用情況；

可訪問帶注解的臨床數(shù)據(jù)集；

開發(fā)機(jī)器學(xué)習(xí)模型；

整合到臨床工作流中；

模型部署的基礎(chǔ)設(shè)施；

在真實(shí)世界臨床環(huán)境中進(jìn)行驗(yàn)證。

基于此，全球頂尖GPU公司NVIDIA（英偉達(dá)）聯(lián)合美國(guó)馬薩諸塞州波士頓 MGH & BWH 臨床數(shù)據(jù)科學(xué)中心（下簡(jiǎn)稱：CCDS中心），總結(jié)出了一套科學(xué)的AI項(xiàng)目訓(xùn)練周期。據(jù)悉，CCDS 的典型項(xiàng)目周期，是以放射科醫(yī)生的持續(xù)輸入以及對(duì)近期研究的頻繁評(píng)估等臨床反饋為基礎(chǔ)。

在CCDS 的典型項(xiàng)目周期中，專門的硬件基礎(chǔ)設(shè)施，對(duì)于AI模型的訓(xùn)練可謂至關(guān)重要，因?yàn)樗�是整個(gè)模型開發(fā)和部署的基礎(chǔ)。 

醫(yī)院的臨床系統(tǒng)對(duì)計(jì)算能力的要求有限，于醫(yī)院而言，更傾向于使用可靠度高、正常運(yùn)行時(shí)間長(zhǎng)的系統(tǒng)，以滿足適度的計(jì)算和數(shù)據(jù)訪問要求。而高性能 GPU、高速網(wǎng)絡(luò)連接、高性能存儲(chǔ)和訓(xùn)練神經(jīng)網(wǎng)絡(luò)所需的寬帶接入模式，遠(yuǎn)遠(yuǎn)超出了醫(yī)院 IT 團(tuán)隊(duì)的能力范圍。 

深度學(xué)習(xí)的臨床應(yīng)用，硬件基礎(chǔ)設(shè)施必滿足其計(jì)算要求。大部分醫(yī)院在高性能計(jì)算基礎(chǔ)設(shè)施方面的缺陷，正嚴(yán)重阻礙著AI項(xiàng)目實(shí)施的進(jìn)程。

本篇文章，摘錄自英偉達(dá)公司的《開發(fā)醫(yī)院深度學(xué)習(xí)模型：關(guān)于臨床數(shù)據(jù)科學(xué)中心的案例研究》白皮書。從中，你將了解到英偉達(dá)是如何與CCDS中心合作，利用自身高性能計(jì)算優(yōu)勢(shì)，解決AI模型訓(xùn)練過程中圖像加工和初始模型開發(fā)、大規(guī)模模型訓(xùn)練、臨床驗(yàn)證過程中的種種難題。

圖像加工和初始模型開發(fā)

一旦對(duì)研究進(jìn)行標(biāo)注后，CCDS 團(tuán)隊(duì)便開始進(jìn)行早期模型開發(fā)。

該過程的第一步，是將研究轉(zhuǎn)化成易于使用的文件格式。通過研究供應(yīng)商中性存檔，從臨床 PACS 復(fù)制圖像，以將臨床系統(tǒng)的風(fēng)險(xiǎn)降至最低。然后，將圖像保存在網(wǎng)絡(luò)存儲(chǔ)解決方案的目錄中，權(quán)限僅限于已獲批的 IRB 申請(qǐng)上所列的人。

容量數(shù)據(jù)（例如，MR、CT 等）通常從 DICOM（PACS 使用的標(biāo)準(zhǔn)醫(yī)學(xué)成像格式）轉(zhuǎn)換成 NIFTI（一種文件格式）。

通過定制開發(fā)的網(wǎng)頁(yè)應(yīng)用程序，CCDS 團(tuán)隊(duì)對(duì)來自放射學(xué)報(bào)告的研究進(jìn)行標(biāo)記。通過基于短語(yǔ)的匹配首先分配軟標(biāo)號(hào)（頂部），對(duì)短語(yǔ)重新設(shè)定優(yōu)先次序并進(jìn)行質(zhì)量評(píng)估（中間）。最后，CCDS 團(tuán)隊(duì)會(huì)逐個(gè)研究手動(dòng)確認(rèn)軟標(biāo)號(hào)（底部）。

模型開發(fā)的初始階段也遵循交互式工作流。在這些交互式會(huì)話中，CCDS 團(tuán)隊(duì)對(duì)模型進(jìn)行開發(fā)并進(jìn)行一定時(shí)間的訓(xùn)練，以確保功能上的正確性。由于 PHI 顧慮問題，因此CCDS 團(tuán)隊(duì)必須在合作伙伴的數(shù)據(jù)中心遠(yuǎn)程啟動(dòng)這些交互式會(huì)話，以確保 PHI 被本地保存在易于移動(dòng)的硬件上。

該環(huán)境旨在用作縮小版的 CCDS 計(jì)算集群。因此，CCDS 團(tuán)隊(duì)會(huì)為每位機(jī)器學(xué)習(xí)科學(xué)家分配兩個(gè)至四個(gè)高性能 GPU（NVIDIA Tesla P100 或 Tesla V100），支持適用于高效節(jié)點(diǎn)內(nèi)通信的 GPUDirect P2P 和適用于節(jié)點(diǎn)間通信的 GPUDirect RDMA。

在容量數(shù)據(jù)上訓(xùn)練模型時(shí)，這些特點(diǎn)非常有優(yōu)勢(shì)，已經(jīng)證明同時(shí)屬于高度計(jì)算型和內(nèi)存密集型。16GB 的高速HBM2 內(nèi)存, 支持半精度浮點(diǎn)操作，以及 TensorCore 混合精度矩陣相乘/相加（僅適用于Tesla V100）大幅度減少相對(duì)于消費(fèi)者 GPU 所需要的硬件。

在整個(gè)CCDS 的基礎(chǔ)設(shè)施中都體現(xiàn)了這些益處。雖然在早期模型開發(fā)階段，高性能并非必要要求，但在集群工作期間，開發(fā)環(huán)境中必須具備這些特點(diǎn)，以確保模型的正確性。目前，CCDS 團(tuán)隊(duì)正在探索兩種方法，以支持該工作流：

1.靜態(tài)硬件分配：每位機(jī)器學(xué)習(xí)科學(xué)家均配備有專用機(jī)器，實(shí)體機(jī)或虛擬機(jī)，在機(jī)器上可進(jìn)行對(duì)圖像歸一化技術(shù)和初始模型開發(fā)的所有探索。

2. 動(dòng)態(tài)硬件分配：通過集群的調(diào)度器從高優(yōu)先次序隊(duì)列分配節(jié)點(diǎn)。相對(duì)于首個(gè)請(qǐng)求，個(gè)人對(duì)第二個(gè)節(jié)點(diǎn)的請(qǐng)求會(huì)非常不被優(yōu)先考慮。

大規(guī)模模型訓(xùn)練

一旦確定了一組候選架構(gòu)后，CCDS 團(tuán)隊(duì)便使用 CCDS 的計(jì)算集群大規(guī)模進(jìn)行訓(xùn)練。雖然使用的是相同的硬件，但這些操作大部分是分兩步進(jìn)行：

1. 超參數(shù)搜索：用各種各樣的超參數(shù)配置測(cè)試候選架構(gòu)，以確定最佳模型配置。這取決于科學(xué)家的偏好，或通過隨機(jī)搜索或貝葉斯優(yōu)化 (Bayesian Optimization) 來決定。通過利用集群的過剩能力，大量配置可以平行進(jìn)行測(cè)試，將之前測(cè)試各種架構(gòu)和配置的系列任務(wù)轉(zhuǎn)化成一項(xiàng)平行的任務(wù)，這讓AI模型能夠快速迭代和優(yōu)化。

2. 大規(guī)模訓(xùn)練：一旦確定了有限的一組模型架構(gòu)和超參數(shù)配置后，訓(xùn)練每個(gè)模型達(dá)到匯聚融合，設(shè)法確定組群中的最佳模型。成功的大規(guī)模訓(xùn)練依賴于：在具有高效節(jié)點(diǎn)間通信的GPU 中對(duì)模型進(jìn)行并行化。

對(duì)此，CCDS團(tuán)隊(duì)將集群設(shè)計(jì)為容納該工作流的需求。計(jì)算節(jié)點(diǎn)儲(chǔ)存于 IBM 的 LSF 調(diào)度器之后，將已經(jīng)提交的工作委派至可用的資源并確保節(jié)點(diǎn)的合理分布。

通過 Docker 容器提交工作，以管理開發(fā)環(huán)境和確保一致性，簡(jiǎn)化對(duì)集群和安裝在每個(gè)節(jié)點(diǎn)上的程序包數(shù)量管理。

CCDS 團(tuán)隊(duì)最近收到了全世界首臺(tái) Volta 型 DGX-1 系統(tǒng)

憑借便于使用的容器化環(huán)境，CCDS 已能夠非常容易的在多個(gè)節(jié)點(diǎn)和利用 TensorFlow 透明同步化操作的 GPU 以及定制的內(nèi)部庫(kù)對(duì)工作進(jìn)行并行化。CCDS團(tuán)隊(duì)也深度依賴于NVIDIA 的 NCCL 庫(kù)，該庫(kù)被整合到框架中，用于高效的多 GPU 操作。該工具可以讓團(tuán)隊(duì)減少訓(xùn)練的時(shí)間并縮短模型的開發(fā)周期。 

臨床驗(yàn)證

模型和工具的臨床驗(yàn)證是CCDS團(tuán)隊(duì)開發(fā)過程的關(guān)鍵步驟。在學(xué)術(shù)背景中，如果某個(gè)模型能夠在測(cè)試集上的表現(xiàn)超過三到四位放射科醫(yī)生，則該模型被視為成功的。

CCDS團(tuán)隊(duì)專注于打造可供臨床醫(yī)生診斷患者的工具，對(duì)此制定了嚴(yán)格的驗(yàn)證過程，用于確保模型在臨床上可行。

1、部署前驗(yàn)證

在模型開發(fā)期間即開始模型驗(yàn)證。CCDS團(tuán)隊(duì)與臨床醫(yī)生合作，創(chuàng)建群組和訓(xùn)練集。

CCDS團(tuán)隊(duì)與醫(yī)生共同收集了海量的訓(xùn)練集，該訓(xùn)練集不僅僅是針對(duì)特定疾病陽(yáng)性或陰性的清晰理想圖像，團(tuán)隊(duì)還確保解釋說明質(zhì)量較低的研究（例如，掃面器移動(dòng)或圖像偽影）和被認(rèn)為較“難以”讀取的研究（例如，模擬、非典型解剖和手術(shù)后隨訪）。

為了對(duì)模型進(jìn)行進(jìn)一步應(yīng)力測(cè)試，CCDS團(tuán)隊(duì)從醫(yī)院掃描器獲取的連貫研究上對(duì)其進(jìn)行評(píng)估。由于每天均能獲取大量圖像，所以CCDS團(tuán)隊(duì)能夠在整個(gè)開發(fā)周期內(nèi)持續(xù)測(cè)試模型。

2、部署后驗(yàn)證

與醫(yī)院的臨床系統(tǒng)整合完成后，CCDS團(tuán)隊(duì)需要在臨床醫(yī)生的日常運(yùn)作中評(píng)估該模型。該過程幫助評(píng)估：

模型性能：該模型在讀取室中是否表現(xiàn)良好，是否滿足放射科醫(yī)生的預(yù)期？

易用性： 該模型及其用戶界面是否提高了臨床工作流的有效性和效率？

對(duì)此，CCDS團(tuán)隊(duì)與臨床合作伙伴一起，在高度協(xié)同和迭代的過程中測(cè)試了模型的性能和工具的易用性。

CCDS團(tuán)隊(duì)的軟件和用戶界面開發(fā)人員持續(xù)觀察臨床醫(yī)生的情況，目的是為了了解工具在整個(gè)讀取室的采用情況。由于不同的臨床醫(yī)生有不同的細(xì)微工作流差異，因此CCDS團(tuán)隊(duì)針對(duì)部門而非特定的放射科醫(yī)生作出改變，以優(yōu)化易用性。

這不僅提高了模型改進(jìn)臨床醫(yī)生的表現(xiàn)而非抑制其表現(xiàn)的可能性，還有助于推動(dòng)采用情況。隨著更多放射科醫(yī)生使用該工具，獲取更多的反饋，團(tuán)隊(duì)能進(jìn)一步改進(jìn)模型，打造良性循環(huán)。

掃描器、其序列、其影像解決方案及其重建算法均不斷發(fā)生變化，且團(tuán)隊(duì)無法始終察覺到這些軟件或硬件的升級(jí)。

因此，需要連續(xù)監(jiān)控，以確保模型性能不會(huì)下降。雖然可以應(yīng)用手動(dòng)反饋環(huán)路，但這樣的程序易于出錯(cuò)且會(huì)增加放射科醫(yī)生的工作負(fù)擔(dān)和額外責(zé)任。

為了消除該依賴關(guān)系并將臨床醫(yī)生工作負(fù)擔(dān)減至最小，CCDS團(tuán)隊(duì)將該過程自動(dòng)化；所有模型輸出均連同放射科醫(yī)生的報(bào)告一起記錄。通過運(yùn)行分析，以評(píng)估模型隨時(shí)間變化的性能并標(biāo)記顯著的變化。

鑒于停機(jī)時(shí)間對(duì)患者治療的潛在重大影響，醫(yī)院打算在采用新技術(shù)方面保守一點(diǎn)。因此，非常關(guān)鍵的是，任何新解決方案在整合之前均需徹底驗(yàn)證，且該解決方案符合現(xiàn)有工作流是非常有益的。雖然深度學(xué)習(xí)醫(yī)學(xué)的出現(xiàn)給前線工作帶來了許多新挑戰(zhàn)，但是CCDS團(tuán)隊(duì)發(fā)現(xiàn)，適當(dāng)結(jié)合創(chuàng)造性、警覺性和仔細(xì)挑選供應(yīng)商解決方案，能克服這些困難。

英偉達(dá)提供了哪些技術(shù)支持？

在整個(gè)CCDS的項(xiàng)目中，英偉達(dá)提供的AI技術(shù)起到了至關(guān)重要的作用，包括以下幾項(xiàng)重要技術(shù)：

1、高性能 GPU（Nvidia Tesla P100 或 Tesla V100），支持適用于高效節(jié)點(diǎn)內(nèi)通信的 GPUDirect P2P 和適用于節(jié)點(diǎn)間通信的 GPUDirect RDMA。

2、集群基礎(chǔ)設(shè)施：高性能 DGX-1 提供了強(qiáng)勁的計(jì)算平臺(tái)。當(dāng)與高速 Infiniband 連接起來時(shí)，個(gè)人能夠高效地在容量醫(yī)學(xué)數(shù)據(jù)上訓(xùn)練合理批量的大模型。

3、Nvidia-docker 可實(shí)現(xiàn) GPU 無縫整合至容器最新的 2.0 發(fā)布版，進(jìn)一步減少摩擦。CCDS 已實(shí)現(xiàn)的其它好處包括易于選擇 Tensorflow 發(fā)布版，這通常需要特別版的 Nvidia 高度優(yōu)化 cuDNN 庫(kù)；選擇基部容器的靈活性，包括非 Nvidia 容器（如需）；以及GPU分離的簡(jiǎn)單方法。 

如果您是醫(yī)療AI領(lǐng)域的創(chuàng)業(yè)者或投資人，我們強(qiáng)烈推薦您下載這份白皮書，詳細(xì)了解英偉達(dá)是如何基于高性能計(jì)算，解決AI模型在醫(yī)院訓(xùn)練全周期中所遇到的種種難題。