“深度學(xué)習(xí)輔助決策醫(yī)療器械軟件審評(píng)要點(diǎn)”發(fā)布!AI要拿三類證,這幾點(diǎn)做好了嗎?
3
算法設(shè)計(jì)
算法設(shè)計(jì)應(yīng)當(dāng)考慮算法選擇、算法訓(xùn)練、網(wǎng)絡(luò)安全防護(hù)、算法性能評(píng)估等活動(dòng)的質(zhì)控要求。建議數(shù)據(jù)驅(qū)動(dòng)與知識(shí)驅(qū)動(dòng)相結(jié)合進(jìn)行算法設(shè)計(jì),以提升算法可解釋性。
1. 算法選擇
算法選擇應(yīng)當(dāng)明確所用算法的名稱、結(jié)構(gòu)(如層數(shù)、參數(shù)規(guī)模)、流程圖、現(xiàn)成框架(如Tensorflow、Caffe)、輸入與輸出、運(yùn)行環(huán)境、算法來源依據(jù)(或注明原創(chuàng))等信息。同時(shí)應(yīng)當(dāng)明確算法選擇與設(shè)計(jì)的原則、方法和風(fēng)險(xiǎn)考量,如量化誤差、梯度消失、過擬合、白盒化等。
若使用遷移學(xué)習(xí)技術(shù),除上述內(nèi)容外還應(yīng)當(dāng)補(bǔ)充預(yù)訓(xùn)練模型的數(shù)據(jù)集構(gòu)建、驗(yàn)證與確認(rèn)等總結(jié)信息。
2. 算法訓(xùn)練
算法訓(xùn)練需要基于訓(xùn)練集、調(diào)優(yōu)集進(jìn)行訓(xùn)練和調(diào)優(yōu),應(yīng)當(dāng)明確評(píng)估指標(biāo)、訓(xùn)練方法、訓(xùn)練目標(biāo)、調(diào)優(yōu)方法、訓(xùn)練數(shù)據(jù)量-評(píng)估指標(biāo)曲線等要求。
評(píng)估指標(biāo)建議根據(jù)臨床需求進(jìn)行選擇,如敏感性、特異性等。訓(xùn)練方法包括但不限于留出法和交叉驗(yàn)證法。訓(xùn)練目標(biāo)應(yīng)當(dāng)滿足臨床要求,提供ROC曲線等證據(jù)予以證實(shí)。調(diào)優(yōu)方法應(yīng)當(dāng)明確算法優(yōu)化策略和實(shí)現(xiàn)方法。訓(xùn)練數(shù)據(jù)量-評(píng)估指標(biāo)曲線應(yīng)當(dāng)能夠證實(shí)算法訓(xùn)練的充分性和有效性。
3. 網(wǎng)絡(luò)安全防護(hù)
網(wǎng)絡(luò)安全防護(hù)應(yīng)當(dāng)結(jié)合軟件的預(yù)期用途、使用場景和核心功能,基于保密性、完整性、可得性等網(wǎng)絡(luò)安全特性,確定軟件網(wǎng)絡(luò)安全能力建設(shè)要求,以應(yīng)對(duì)網(wǎng)絡(luò)攻擊和數(shù)據(jù)竊取等網(wǎng)絡(luò)威脅。相關(guān)要求詳見網(wǎng)絡(luò)安全指導(dǎo)原則。
此類軟件常見網(wǎng)絡(luò)威脅包括但不限于框架漏洞攻擊、數(shù)據(jù)污染,其中框架漏洞攻擊是指利用算法所用現(xiàn)成框架本身漏洞進(jìn)行網(wǎng)絡(luò)攻擊,數(shù)據(jù)污染是指通過污染輸入數(shù)據(jù)進(jìn)行網(wǎng)絡(luò)攻擊。
4. 算法性能評(píng)估
算法性能評(píng)估作為軟件驗(yàn)證的重要組成部分,需要基于測試集對(duì)算法設(shè)計(jì)結(jié)果進(jìn)行評(píng)估,應(yīng)當(dāng)明確假陰性與假陽性、重復(fù)性與再現(xiàn)性、魯棒性/健壯性等評(píng)估要求,以證實(shí)算法性能滿足算法設(shè)計(jì)要求。
同時(shí),應(yīng)當(dāng)分析算法性能影響因素及其影響程度,如采集設(shè)備、采集參數(shù)、疾病構(gòu)成、病變特征等因素影響,以提升算法可解釋性,并作為軟件驗(yàn)證、軟件確認(rèn)的基礎(chǔ)。
4
驗(yàn)證與確認(rèn)
1. 軟件驗(yàn)證
軟件驗(yàn)證是指通過提供客觀證據(jù)認(rèn)定軟件開發(fā)、軟件更新某一階段的輸出滿足輸入要求,包括軟件驗(yàn)證測試(單元測試、集成測試、系統(tǒng)測試)、設(shè)計(jì)評(píng)審等系列活動(dòng)。
軟件驗(yàn)證應(yīng)當(dāng)明確法規(guī)、標(biāo)準(zhǔn)、用戶、產(chǎn)品、數(shù)據(jù)、功能、性能、接口、用戶界面、網(wǎng)絡(luò)安全、警示提示等測試要求,以驗(yàn)證軟件的安全性和有效性,并作為軟件確認(rèn)的基礎(chǔ)。
2. 軟件確認(rèn)
軟件確認(rèn)是指通過提供客觀證據(jù)認(rèn)定軟件滿足用戶需求和預(yù)期目的,包括軟件確認(rèn)測試(用戶測試)、臨床評(píng)價(jià)、設(shè)計(jì)評(píng)審等系列活動(dòng),其中軟件確認(rèn)測試應(yīng)當(dāng)基于軟件需求在真實(shí)或模擬使用場景下予以實(shí)施。
(1)基本原則
臨床評(píng)價(jià)是此類軟件進(jìn)行軟件確認(rèn)的主要方式,相關(guān)要求詳見《醫(yī)療器械臨床評(píng)價(jià)技術(shù)指導(dǎo)原則》。根據(jù)軟件指導(dǎo)原則要求,軟件應(yīng)當(dāng)提交基于臨床試驗(yàn)的臨床評(píng)價(jià)資料,即提交申報(bào)產(chǎn)品的臨床試驗(yàn)資料,或者與申報(bào)產(chǎn)品核心算法具有實(shí)質(zhì)等同性的同品種產(chǎn)品或同類軟件功能的臨床試驗(yàn)資料。
進(jìn)口軟件應(yīng)當(dāng)提供中外人種、流行病學(xué)特征、臨床診療規(guī)范等方面差異影響的臨床評(píng)價(jià)資料,若不足以證實(shí)申報(bào)產(chǎn)品在中國使用的安全性和有效性,應(yīng)當(dāng)在中國開展臨床試驗(yàn)。使用境外臨床試驗(yàn)數(shù)據(jù)應(yīng)當(dāng)滿足《接受醫(yī)療器械境外臨床試驗(yàn)數(shù)據(jù)技術(shù)指導(dǎo)原則》要求。
(2)臨床試驗(yàn)
臨床試驗(yàn)應(yīng)當(dāng)符合《醫(yī)療器械臨床試驗(yàn)質(zhì)量管理規(guī)范》要求?蓞⒄铡夺t(yī)療器械臨床試驗(yàn)設(shè)計(jì)指導(dǎo)原則》,基于軟件的預(yù)期用途、使用場景和核心功能進(jìn)行試驗(yàn)設(shè)計(jì),確定觀察指標(biāo)、樣本量估計(jì)、入排標(biāo)準(zhǔn)、隨訪以及實(shí)施機(jī)構(gòu)等要求,以確認(rèn)軟件的安全性和有效性。
建議優(yōu)先選擇同品種產(chǎn)品或臨床參考標(biāo)準(zhǔn)(即臨床金標(biāo)準(zhǔn))進(jìn)行非劣效對(duì)照設(shè)計(jì),若無同品種產(chǎn)品且難以獲取臨床參考標(biāo)準(zhǔn)(如違背倫理學(xué)要求)可選擇替代方法,如選擇用戶結(jié)合軟件聯(lián)合決策與用戶單獨(dú)決策進(jìn)行優(yōu)效對(duì)照設(shè)計(jì)。非劣效界值或優(yōu)效界值的確定應(yīng)當(dāng)有充分的臨床依據(jù)。此外考慮到用戶的差異性,可選擇多閱片者多病例(MRMC)試驗(yàn)設(shè)計(jì)。
建議結(jié)合適用人群、病變等層面選擇觀察指標(biāo),原則上選擇敏感性、特異性、ROC/AUC作為主要觀察指標(biāo),亦可在此基礎(chǔ)上根據(jù)軟件特點(diǎn)選擇敏感性/特異性衍生指標(biāo)、ROC/AUC衍生指標(biāo)、組內(nèi)相關(guān)系數(shù)、Kappa系數(shù)、時(shí)間效率、數(shù)據(jù)有效使用率等指標(biāo)作為觀察指標(biāo)。
入排標(biāo)準(zhǔn)應(yīng)當(dāng)基于目標(biāo)疾病流行病學(xué)特征,保證陽性樣本和陰性樣本選取的合理性和充分性。
建議臨床試驗(yàn)結(jié)果由第三方獨(dú)立評(píng)價(jià)。
實(shí)施機(jī)構(gòu)應(yīng)當(dāng)具備代表性和廣泛性,不同于訓(xùn)練數(shù)據(jù)主要來源機(jī)構(gòu),地域分布盡可能廣泛,機(jī)構(gòu)數(shù)量盡可能多,以確認(rèn)算法泛化能力。
例如,預(yù)期以提高輔助診斷時(shí)間效率為首要目標(biāo)的某軟件,無同品種產(chǎn)品且難以獲取臨床參考標(biāo)準(zhǔn),其臨床試驗(yàn)設(shè)計(jì)可選擇用戶結(jié)合軟件聯(lián)合決策與用戶單獨(dú)決策進(jìn)行交叉對(duì)照設(shè)計(jì),以敏感性、特異性、時(shí)間效率作為主要觀察指標(biāo),其中敏感性、特異性可為非劣性對(duì)照,時(shí)間效率指標(biāo)應(yīng)當(dāng)為優(yōu)效對(duì)照。
(3)回顧性研究
臨床評(píng)價(jià)可采用基于現(xiàn)有歷史數(shù)據(jù)的回顧性研究。回顧性研究應(yīng)當(dāng)在設(shè)計(jì)時(shí)考慮并必須嚴(yán)格控制偏倚,如選擇偏倚、臨床參考標(biāo)準(zhǔn)偏倚、測量偏倚、記憶偏倚等;仡櫺匝芯吭瓌t上應(yīng)當(dāng)包含多個(gè)不同地域臨床機(jī)構(gòu)(非訓(xùn)練數(shù)據(jù)主要來源機(jī)構(gòu))的同期數(shù)據(jù),結(jié)合分層分析、第三方獨(dú)立評(píng)價(jià)等方法控制偏倚,以保證真實(shí)、準(zhǔn)確評(píng)價(jià)軟件的安全性和有效性。
回顧性研究應(yīng)當(dāng)基于軟件安全性級(jí)別考慮使用問題。對(duì)于安全性級(jí)別為C級(jí)的高風(fēng)險(xiǎn)軟件,原則上應(yīng)當(dāng)開展臨床試驗(yàn),此時(shí)回顧性研究可用作臨床預(yù)試驗(yàn),為臨床試驗(yàn)設(shè)計(jì)提供參考依據(jù),或者在少見亞組病例入組時(shí)間過長等情況下,用作臨床試驗(yàn)的補(bǔ)充。對(duì)于安全性級(jí)別為B、A級(jí)的中低風(fēng)險(xiǎn)軟件,回顧性研究可用作臨床預(yù)實(shí)驗(yàn)或替代臨床試驗(yàn)。
軟件安全性級(jí)別應(yīng)當(dāng)基于軟件的預(yù)期用途、使用場景和核心功能進(jìn)行綜合判定,判定方法詳見軟件指導(dǎo)原則。例如,預(yù)期用于病理圖像輔助篩查或者危重疾病輔助識(shí)別的軟件,其安全性級(jí)別通常為C級(jí)。
三、軟件更新
1
基本原則
軟件更新應(yīng)當(dāng)考慮對(duì)軟件安全性和有效性的影響,包括正面影響和負(fù)面影響。若為重大軟件更新(即影響到軟件安全性或有效性的軟件更新)應(yīng)當(dāng)申請?jiān)S可事項(xiàng)變更,若為輕微軟件更新(即未影響軟件安全性和有效性的軟件更新)則無需申請?jiān)S可事項(xiàng)變更,通過質(zhì)量管理體系進(jìn)行控制。
發(fā)表評(píng)論
請輸入評(píng)論內(nèi)容...
請輸入評(píng)論/評(píng)論長度6~500個(gè)字
圖片新聞
最新活動(dòng)更多
-
11月19日立即報(bào)名>> 【線下論壇】華邦電子與恩智浦聯(lián)合技術(shù)論壇
-
11月29日立即預(yù)約>> 【上海線下】設(shè)計(jì),易如反掌—Creo 11發(fā)布巡展
-
即日-12.26火熱報(bào)名中>> OFweek2024中國智造CIO在線峰會(huì)
-
精彩回顧立即查看>> 2024(第五屆)全球數(shù)字經(jīng)濟(jì)產(chǎn)業(yè)大會(huì)暨展覽會(huì)
-
精彩回顧立即查看>> 全數(shù)會(huì)2024中國人形機(jī)器人技術(shù)創(chuàng)新發(fā)展大會(huì)
-
精彩回顧立即查看>> OFweek 2024中國激光產(chǎn)業(yè)高質(zhì)量發(fā)展峰會(huì)
-
8 BD新浪潮
- 高級(jí)軟件工程師 廣東省/深圳市
- 自動(dòng)化高級(jí)工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 銷售總監(jiān)(光器件) 北京市/海淀區(qū)
- 激光器高級(jí)銷售經(jīng)理 上海市/虹口區(qū)
- 光器件物理工程師 北京市/海淀區(qū)
- 激光研發(fā)工程師 北京市/昌平區(qū)
- 技術(shù)專家 廣東省/江門市
- 封裝工程師 北京市/海淀區(qū)
- 結(jié)構(gòu)工程師 廣東省/深圳市