AI里程碑!藥監(jiān)局三類AI器械申報流程流出!審批要點全解讀!
昨日,傳來醫(yī)療AI界萬眾翹首期盼的消息。
“人工智能類醫(yī)療器械注冊申報公益培訓”悄然在北京開幕,整個會議僅持續(xù)一下午,卻隱含了醫(yī)療AI領域所共同關注的三類器械審批信息,里程碑式的勝利就此展開?
在本次會上,藥監(jiān)局細致入微的分析了影響醫(yī)療人工智能器械審批的每一個過程,細化到對每個指標進行了詳盡的講解,這是一場名副其實的“AI+醫(yī)療注冊申報培訓”。
同時,會上介紹,截至2018年11月底,藥監(jiān)局收到創(chuàng)新特別審批申請1054項,192項同意按照特別程序?qū)徟?1項創(chuàng)新醫(yī)療器械已通過特別程序獲準上市。遺憾的是,會上并未透露AI相關產(chǎn)品過審的信息。
據(jù)相關人士透露,國家藥品監(jiān)督管理局已經(jīng)理清了AI審批全流程的思路,審批通道已于12月中旬開放,然而,高標準下,還無一企業(yè)進行AI三類器械產(chǎn)品申報。不過,標準出臺后,一切只是時間問題。
在此,動脈網(wǎng)記者對整個會議的內(nèi)容進行了梳理,嘗試幫助醫(yī)療AI的從業(yè)人員理清藥監(jiān)局審批的思路與要點,其內(nèi)容包括主要包括以下四個方面:
一、審批流程;
二、審批要點解讀;
三、肺結(jié)節(jié)、糖網(wǎng)病變的臨床試驗設計及問題思考;
四、申報材料等其他信息。
第一部分:審批總體思維、原則及流程
醫(yī)療器械注冊是一項行政許可制度,是食品藥品監(jiān)督管理部門根據(jù)醫(yī)療器械注冊申請人的申請,依照法定程序,對其擬上市醫(yī)療器械的安全性、有效性研究及其結(jié)果進行系統(tǒng)評價,以決定是否統(tǒng)一其申請的過程。
從總體思維上看,醫(yī)療器械申報以分類管理為基礎,以風險高低為依據(jù),確定醫(yī)療器械注冊與備案的具體要求,其具體的申報流程如下圖所示:
國家藥品監(jiān)督管理局醫(yī)療器械審批流程圖
第二部分:審批要點解讀
審批要點解讀是本次會議的核心,本次會議系統(tǒng)性的講解了醫(yī)療AI產(chǎn)品在審批過程中所面臨數(shù)據(jù)庫、數(shù)據(jù)安全、軟件更新、產(chǎn)品適用、云計算服務等問題,涵蓋了人工智能的產(chǎn)品的每一個要素,研究人員甚至可以根據(jù)這一套指標設立明確的評分。
1、適用范圍
按照適用范圍,AI產(chǎn)品可通過下屬三個因素進行分類:
深度學習輔助決策醫(yī)療器械軟件:
包括醫(yī)療器械數(shù)據(jù)、深度學習、輔助決策、醫(yī)療器械軟件。
軟件類型:
可分為AI獨立軟件(本身即為醫(yī)療器械的AI軟件)
AI軟件組件(醫(yī)療器械內(nèi)含的AI軟件)。
軟件用途:
輔助決策;
輔助篩查、識別、診斷、治療等-非輔助決策;
前處理、流程優(yōu)化、常規(guī)后處理。
2、風險考量
風險考量即是對AI產(chǎn)品在使用過程中的風險進行評價,以達到抑制風險,提高AI產(chǎn)品可靠性的目的。主要包括以下兩大類因素的考量。
1. 臨床使用風險
假陽性:誤診,過度醫(yī)療風險。
假陰性:漏診,快速進展疾病風險。
進口軟件:中外差異(人種、流行病學、臨床診療準則)。
2. 風險管理活動
要素:預期用途(目標疾病、臨床用途、重要程度、緊迫程度)、使用場景(患者人群目標用戶、使用場所、臨床流程)、核心功能(處理對象、功能類型)。
措施:設計、防護、警示。
要求:貫穿于軟件全生命周期過程。
3、需求分析
需求分析以臨床需求與使用風險為導向,結(jié)合預期用途、使用場景和核心功能,綜合考慮法規(guī)、標準、用戶、產(chǎn)品、數(shù)據(jù)、功能、性能、接口、用戶界面、網(wǎng)絡安全等需求。在此情況下,企業(yè)需重點關注:
1. 數(shù)據(jù)收集:目標疾病流行病學特征,如疾病構(gòu)成(分型、分級、分期)、人群分布(健康狀態(tài)、性別、年齡)、統(tǒng)計指標(患病率、治愈率)、并發(fā)癥與類似疾病等。
2. 算法性能:假陽性與假陰性指標、重復性與再現(xiàn)性、魯棒性/健壯性。
3. 臨床使用限制:臨床禁用、慎用等場景。
4、軟件確認
軟件確認即以提供客觀證據(jù)認定軟件滿足用戶需求和預期目的,包括軟件確認測試(用戶測試)、臨床評價(若適用)、評審等系列活動。
臨床評價是此類軟件進行確認的主要方式,主要包括兩個原則。
1. 軟件指導原則:基于臨床試驗的臨床評價資料,即軟件的臨床試驗資料或與軟件核心算法具有實質(zhì)等同性的同品種產(chǎn)品臨床試驗資料。
2. 進口軟件:評估中外差異,若存在顯著差異應在中國開展臨床試驗;而使用境外臨床試驗數(shù)據(jù)應當滿足相應指導原則要求。
5、臨床試驗
臨床試驗需基于軟件的預期用途、使用場景和核心功能,按照診斷試驗進行臨床試驗設計,其核心要點包括以下四項:
1. 試驗設計:建議優(yōu)先選擇同品種產(chǎn)品或臨床參考標佳進行非劣效對照設計,次之可選擇用戶結(jié)合軟件聯(lián)合決策與用戶單獨決策進行優(yōu)效對照設計;非劣效或優(yōu)效界值的確定應有充分臨床依據(jù)。
2. 觀察指標:以敏感性、特異性、ROC/AUC為主要指標 ,亦可選擇時間效率等指標作為評價指標
3. 入排標準:基于目標疾病的流行病學特征
4. 來源機構(gòu):異于訓練數(shù)據(jù)主要來源機構(gòu),地域分布盡可能廣泛,機構(gòu)數(shù)量需盡可能多。
6、回顧性研究
為鼓勵創(chuàng)新并降低臨床試驗成本,臨床試驗可使用回顧性數(shù)據(jù),但應在設計時考慮并嚴格控制偏倚問題,原則上應當包含多個不同地域臨床機構(gòu)(非訓練數(shù)據(jù)主要來源機構(gòu))的同期數(shù)據(jù)。
使用原則(基于風險),軟件安全性級別判定詳見軟件指導原則:
對于高風險軟件:臨床預試驗或臨床試驗補充。
對于中風險次件:臨床預試驗或替代臨床試驗。
7、軟件更新基本原則
軟件更新應當考慮對軟件安全性和有效性的影響(正面和負面),注意軟件更新是導致軟件召回的主要原因之一。
監(jiān)管部門將對以下程度的更新進行監(jiān)管:
重大軟件更新:許可事項變更。
輕微軟件更新:質(zhì)量體系控制,無需申請注冊變更。
軟件版本命名規(guī)則:
明確并區(qū)分重大軟件更新和輕微軟件更新,其中重大軟件更新應當列舉全部典型情況,應涵蓋算法驅(qū)動型、數(shù)據(jù)驅(qū)動型軟件更新。
8、重大軟件更新要點
常見更新類型包括算法驅(qū)動型更新與數(shù)據(jù)驅(qū)動型更新,算法驅(qū)動型更新包括軟件所用算法、算法結(jié)構(gòu)、算法流程、所用框架、輸入與輸出等發(fā)生改變;數(shù)據(jù)驅(qū)動型指僅由訓練數(shù)據(jù)量增加加而促使軟件更新
對于重大軟件更新,判定需遵循以下原則:
1. 算法驅(qū)動型軟件更新通常屬于重大軟件更新。
2. 數(shù)據(jù)驅(qū)動型軟件更新若導致算法評估結(jié)果發(fā)生顯著性改變(與前次注冊相比)則屬于重大軟件更新。
3. 其他類型重大軟件更新的判定準則詳見軟件指導原則、網(wǎng)絡安全指導原則
9、驗證與確認
無論何種軟件更新,均應按照質(zhì)量管理體系要求,開展與軟件更新類型、內(nèi)容和程度相適宜的驗證與確認活動。而算法驅(qū)動型和數(shù)據(jù)驅(qū)動型軟件更新均應開展算法性能再評估、臨床再評價。
其中,臨床再評價(基于風險)包括:
高風險軟件:適用范圍變更應當開展臨床試驗,其他情況原則上可使用回顧性研究。
中低風險軟件:可使用回顧性研究。
10、適用范圍擴展
根據(jù)要求,全部AI軟件功能均應開展需求分析、數(shù)據(jù)收集(若適用)、算法設計、 軟件確認;每項AI軟件功能應獨立開展需求分析、 數(shù)據(jù)收集(若適用)、算法設計、軟件確認。
對于深度學習非輔助決策軟件則需遵循以下步驟:
1. 前處理:算法性能評估、臨床評價。
2. 流程優(yōu)化:算法性能評估。
3. 常規(guī)后處理:算法性能評估,必要時臨床評價。
11、第三方數(shù)據(jù)庫
第三方數(shù)據(jù)庫視為回顧性研究一種特殊形式,可用于算法性能評估,但未必能夠完全滿足軟件確認的要求。
第三方數(shù)據(jù)庫類型包括測評數(shù)據(jù)庫與非測評數(shù)據(jù)庫。評測數(shù)據(jù)庫可用于軟件確認,非測評數(shù)據(jù)庫(如公開數(shù)據(jù)庫)不可用于軟件確認 。
12、評測數(shù)據(jù)庫
測評數(shù)據(jù)庫需滿足網(wǎng)絡與數(shù)據(jù)安全、可擴展性等因素。具體要求如下:
權威性:數(shù)據(jù)標注應由相應權威臨床機構(gòu)負責。
科學性:樣本量、樣本分布應符合統(tǒng)計學要求。
規(guī)范性:數(shù)據(jù)治理應建立質(zhì)控程序并可追溯。
多樣性:數(shù)據(jù)應來源于多個臨床機構(gòu)。
封閉性:應封閉管理,且樣本總量遠大于單次測試量。
動態(tài)性:應定期更換一定比例數(shù)據(jù)。
13、網(wǎng)絡與數(shù)據(jù)安全過程控制
無論企業(yè)上市前還是上市后,除考慮軟件自身網(wǎng)絡安全能力建設外,企業(yè)還應當在軟件全生命周期過程中考慮網(wǎng)絡與數(shù)據(jù)安全過程控制要求,
基本考量指標包括:脫敏數(shù)據(jù)轉(zhuǎn)移、封閉與開放網(wǎng)絡環(huán)境、數(shù)據(jù)接口兼容性、數(shù)據(jù)備份與恢復。
14、云計算服務與移動計算終端
云計算服務應明確服務模式、部署模式、核心功能、數(shù)據(jù)接口、網(wǎng)絡安全能力和服務(質(zhì)量)協(xié)議。
移動計算終端需結(jié)合終端的類型、特點和使用風險明確性能指標要求。詳見移動器械指導原則、網(wǎng)絡安全指導原則
15、適用范圍
AI獨立軟件的適用范圍包括以下場景:
1. 明確預期用途、使用場景和核心功能。
2. 包括但不限于處理對象、目標疾病、臨床用途、患者人群、目標用戶、使用場所、數(shù)據(jù)采集設備要求(若適用)、臨床使用限制(若適用)。
AI軟件組件的適用范圍可參照Al獨立軟件要求,并在產(chǎn)品適用范圍中予以體現(xiàn)。
16、研究資料
研究資料包括軟件描述文檔、網(wǎng)絡安全描述文檔、軟件版本命名規(guī)則.
軟件描述文檔要求核心算法部分應當結(jié)合本審評要點提供相應算法研究資料,以及測試集、公開數(shù)據(jù)庫、測評數(shù)據(jù)庫、回顧性研究、臨床試驗的算法性能評估結(jié)果比較分析資料。
研究資料其他資料應當提供網(wǎng)絡與數(shù)據(jù)安全過程控制研究資料、第三方數(shù)據(jù)庫(測評、公開)的基本信息(如名稱、創(chuàng)建者、數(shù)據(jù)量、數(shù)據(jù)分布)和使用情況(如使用量、數(shù)據(jù)分布、比重、資質(zhì))。
17、說明書
輔助決策軟件應明確軟件的適用范圍、臨床使用限制、注意事項、用戶培訓、數(shù)據(jù)采集設備要求、數(shù)據(jù)采集操作規(guī)范、輸入與輸出、算法性能評估總結(jié)(測試集基本信息、評估指標與結(jié)果)、臨床評價總結(jié)(臨床數(shù)據(jù)基本信息、評價指標與結(jié)果)等信息
深度學習輔助決策軟件除上述內(nèi)容外還應當補充算法訓練總結(jié)信息(訓練集基本信息、訓練指標售與結(jié)果)。
第三部分(上):肺結(jié)節(jié)臨床試驗設計及問題思考
“肺結(jié)節(jié)的臨床試驗設計與問題思考”這一議題的內(nèi)容由四川大學華西醫(yī)院劉倫旭主任制作。肺結(jié)節(jié)一直在醫(yī)療人工智能領域處于核心研究方向,其審批標準的探討已經(jīng)持續(xù)了接近一年之久。然而人工智能的審批本就是一個極其復雜且極其嚴謹?shù)膯栴}。劉倫旭主任在會上總結(jié)肺病外科診治臨床問題,嘗試構(gòu)架完善的研究設計。
基于胸外科領域目前存在的若干實際臨床問題,研究人員應從手術指征判斷、手術方式選擇和術后預后預測模型三方面構(gòu)建胸外科肺癌診治智能化系統(tǒng)。
手術指征判定包括:
1. 肺結(jié)節(jié)智能定位和定性識別;
2. 縱隔窗淋巴結(jié)智能定位與定性識別;
3. GGO圖像特征提取與腺癌形成各時期相關性分析;
4. 多原發(fā)癌和肺內(nèi)轉(zhuǎn)移影像譜特征鑒定和鑒別。
手術方式選擇:
1. 基于圖像分割和三維重建的肺段可視化及小結(jié)節(jié)定位手術方式選擇
2. 基于神經(jīng)網(wǎng)絡的淋巴結(jié)轉(zhuǎn)移精準預測
3. 基于胸部影像譜頂測小結(jié)節(jié)STAS和微乳頭成分
術后預后預測:
1. 基干神經(jīng)網(wǎng)絡的術后并發(fā)癥預測模型構(gòu)建
2. 基于多種數(shù)據(jù)類型的肺癌術后復發(fā)轉(zhuǎn)移模式、預后預測模型構(gòu)建
3. 基于影像類數(shù)據(jù)驅(qū)動基因突變和免疫檢查變化
4. 未知(因PPT缺失)
基于神經(jīng)網(wǎng)絡的術后并發(fā)定預測模型構(gòu)建,官方調(diào)研了8465例接受了手術治療的肺癌患者,其中1453例發(fā)生術后并發(fā)癥。
在這其中隨機選取250例術后發(fā)生并發(fā)癥患者,并選取250例未發(fā)生患者作為測試集;剩余7965例數(shù)據(jù)作為訓練集, 在訓練集上訓練神經(jīng)網(wǎng)絡模型。
經(jīng)過數(shù)據(jù)整理,模型的動態(tài)識別模型效能為88.0%,識別率為81.2%,查全率為73.2%,查準率為87.14%。這是現(xiàn)階段人工智能產(chǎn)品在臨床中實現(xiàn)的理想數(shù)據(jù)。
第三部分(下):糖尿病視網(wǎng)膜病變AI輔助診斷臨床試驗設計中的問題及思考
“糖尿病視網(wǎng)膜病變AI輔助診斷臨床試驗設計中的問題及思考”由四川大學華西醫(yī)院劉倫旭主任講解。會上總共提到了三種糖網(wǎng)AI臨床試驗的方法,這里收錄了其中兩種:
1. 以產(chǎn)品有效性為參考,在實際中,AI產(chǎn)品應滿足“AI>醫(yī)生”,若強調(diào)AI對醫(yī)生的輔助作用,則滿足“醫(yī)生+AI>醫(yī)生”。
從理論上這是一個很好的臨床評價方法,但實際評價結(jié)果與醫(yī)生水平有很大關系。在目前臨床試驗下,公司多選取三甲醫(yī)院來做,這導致AI輔助作用被弱化。而基層醫(yī)院的醫(yī)生水平參差不齊,很難設一個統(tǒng)的標準,所以Al主要的應用場景是在基層醫(yī)院/體檢中心的輔助篩查和輔助診斷。
2. 以單組目標值作為參考,主要觀察AI產(chǎn)品性能與其聲稱的性能是否一致;是否FDA已經(jīng)批準的IDX-DR產(chǎn)品采用的臨床試驗方法。與有效性相比,這種方法受人為因素的干擾較小,具有比較好的客觀性。
在這一類AI產(chǎn)品中,企業(yè)必須嚴格進行數(shù)據(jù)控制,同時考慮諸多不同的場景,如考慮輔助篩查、輔助診斷、隨診分析的流程差異;三甲醫(yī)院、基層醫(yī)院、體檢中心等場景差異;不同場景和機型下的圖片質(zhì)量差異;是否需輔助轉(zhuǎn)診:需要不需要轉(zhuǎn)診等。
第四部分:受理前咨詢、申報材料等其他信息
受理前咨詢?nèi)Q為醫(yī)療器械注冊受理前技術問題咨詢,其范圍主要包括醫(yī)療器械注冊申報前的相關問題,不包含技術審評過程中的相關問題。
受理前咨詢申請每周五下午1:00至4:00,地點為北京市西城區(qū)宣武門西大街大成廣場行政受理服務大廳。
境內(nèi)申請人攜帶:申請人出具的涵蓋相關委托內(nèi)容的委托書、個人有效身份證件、醫(yī)療器械技術審評中心咨詢登記表。
境外申請人攜帶:境外申請人指定境內(nèi)企業(yè)法人作為代理人的委托書、境內(nèi)代理人出具的涵蓋相關委托內(nèi)容的委托書、個人有效身份證件、醫(yī)療器械技術審評中心咨詢登記表。
申請人(與申請表蓋章單位一致)對委托辦事人員及所辦事項的委托書(見關于辦理受理和領取批件等行政許可事項的公告(第169號)(附件D),辦事人員需攜帶身份證明原件、復印件及注冊申報資料。
總結(jié)
關于AI類醫(yī)療器械創(chuàng)新申請目前還沒有太多的審查經(jīng)驗。會上藥監(jiān)局提到了以下幾點建議:
1. 規(guī)范的醫(yī)療器械產(chǎn)品名稱;
2. 有明確的軟件預期用途、使用場景、核心功能、運行環(huán)境;
3. 使用的數(shù)據(jù)應來自臨床機構(gòu)。且說明來源機構(gòu)及采集要求;
4. 提供算法設計的相關資料。包括算法選擇及訓練;
5. 提供真實臨床數(shù)據(jù)的軟件驗證資料;
6. 能夠支持產(chǎn)品具有顯著臨床應用價值的數(shù)據(jù)資料。
由于審批條件較多,對于當前的許多人工智能企業(yè)而言,其中的部分條款可能相對較為苛刻,企業(yè)仍在準備相關材料,據(jù)幾家人工智能頭部企業(yè)透露,本次申請過程存在細節(jié)多、標準高的特點,他們正在提交資料申請備案,但由于沒有先例,對后續(xù)結(jié)果沒法進行其他判斷。
當然,嚴格的把關凸顯了我國發(fā)展AI的決心,這樣落地的產(chǎn)品必然是能經(jīng)得起醫(yī)院、醫(yī)生、患者考量的產(chǎn)品。同時,有了審批標準化的指引,企業(yè)也有了為之奮斗的明確目標,剩下的,不過只是時間問題。
請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個字
圖片新聞
最新活動更多
-
2 石藥集團的陽謀
- 高級軟件工程師 廣東省/深圳市
- 自動化高級工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 銷售總監(jiān)(光器件) 北京市/海淀區(qū)
- 激光器高級銷售經(jīng)理 上海市/虹口區(qū)
- 光器件物理工程師 北京市/海淀區(qū)
- 激光研發(fā)工程師 北京市/昌平區(qū)
- 技術專家 廣東省/江門市
- 封裝工程師 北京市/海淀區(qū)
- 結(jié)構(gòu)工程師 廣東省/深圳市