配備 NXP 神經(jīng)處理單元的康佳特 AI 入門套件

在生物工程應(yīng)用領(lǐng)域 (包括診斷、除顫器、微創(chuàng)外科手術(shù)中的實(shí)時(shí)影像),嵌入式集成的實(shí)現(xiàn)方式?jīng)Q定了 AI 系統(tǒng)的成敗。預(yù)配置的嵌入式模塊可幫助開發(fā)者更快為醫(yī)療應(yīng)用找到適用的解決方案。為此,康佳特開發(fā)了解決方案平臺(tái),該平臺(tái)基于恩智浦(NXP) i.MX 8 Plus 處理器并配備了集成式神經(jīng)處理單元(NPU),讓它能夠像真人一樣協(xié)助護(hù)理病患。

用于恢復(fù)心率的除顫器

2021 年 6 月 12 日傍晚 6:43,整個(gè)足球界都屏住了呼吸:在丹麥與芬蘭的一場(chǎng)歐洲杯比賽中,丹麥球員Christian Eriksen 倒下了,他的心臟停止了跳動(dòng)。幸運(yùn)的是,醫(yī)生就在旁邊并迅速使用除顫器設(shè)備來挽救他的生命�，F(xiàn)在,非專業(yè)醫(yī)療人員也可以操作它了。在現(xiàn)代計(jì)算機(jī)技術(shù)的支持下,AED(自動(dòng)化體外除顫器)可被編程以進(jìn)行急救電擊,并以全自動(dòng)的方式使心率恢復(fù)正常。用戶只需要把兩個(gè)粘性電極貼到右鎖骨和左腋窩之間,剩下的流程將由其內(nèi)置的處理器來控制和計(jì)算。NXP 的 i.MX 8 應(yīng)用處理器平臺(tái)就是其選用的內(nèi)建處理器。

具備 AI 計(jì)算機(jī)技術(shù)的 AED 可全自動(dòng)地恢復(fù)病患的正常心率,從而拯救生命。

采用 NXP 處理器的生物工程學(xué)應(yīng)用

除了除顫器,使用 NXP 技術(shù)的電子醫(yī)療解決方案在醫(yī)學(xué)領(lǐng)域還有很多應(yīng)用,比如病患登記、分析和診斷、外科手術(shù)、病床護(hù)理等。為了提高采用 AI 的醫(yī)學(xué)應(yīng)用的效率,NXP 為其新款 i.MX 8MPlus 處理器配備了一個(gè)用于深度學(xué)習(xí)和機(jī)器學(xué)習(xí)的神經(jīng)處理單元(NPU)。神經(jīng)形態(tài)處理器的設(shè)計(jì)靈感來自大腦的神經(jīng)網(wǎng)絡(luò),在圖形識(shí)別方面經(jīng)過優(yōu)化,在執(zhí)行此類任務(wù)時(shí)的耗電量比普通 CPU 要少。同時(shí),這類低功耗 NPU 具有每秒數(shù)兆次的運(yùn)算能力(TOPS),為智能電子醫(yī)療解決方案的開發(fā)者們開辟了新的可能。

提升病患福祉的全天候數(shù)字醫(yī)療助手

NPU 加速的 NXP i.MX 8M Plus 處理器能通過 AI 引擎達(dá)到 2.3TOPS 的運(yùn)算能力,并具有 4 個(gè) ArmCortex-A53 核心和 1 個(gè)用于傳統(tǒng)計(jì)算任務(wù)的 Arm Cortex-M7 控制器。它還具有一個(gè)圖像信號(hào)處理器(ISP),用于高分辨率圖片及視頻的并行實(shí)時(shí)處理。

由此,它能夠在圖像獲取階段預(yù)處理并準(zhǔn)備好成像數(shù)據(jù),讓NPU 更快地提供更清晰的結(jié)果。這對(duì)于需要實(shí)時(shí)高精度畫面信息的場(chǎng)合(例如各種成像操作和微創(chuàng)手術(shù))尤其有益。在麻醉機(jī)中,具備 AI 加速器的 i.MX 處理器也能幫助手術(shù)團(tuán)隊(duì)精準(zhǔn)地管控麻醉劑量。監(jiān)控設(shè)備會(huì)控制麻醉機(jī)的壓縮氣體的流動(dòng),氣體隨后會(huì)通過霧化器,最后的混合氣體則會(huì)通過病患的呼吸系統(tǒng)排出。

AI 嵌入式應(yīng)用配備了基于邊緣的實(shí)時(shí)圖像處理 AI,可協(xié)助醫(yī)生在手術(shù)室中執(zhí)行微創(chuàng)外科手術(shù)。

AI 在放射診斷學(xué)和病床護(hù)理中的用途

配備 AI 后,放射診斷設(shè)備能分析 X 光機(jī)和超聲波儀器的信息,并將這些信息用于診斷。例如,醫(yī)生在用 CT 掃描儀檢查肺部時(shí),可以查看整個(gè)胸腔的情況,從而檢測(cè)出冠狀動(dòng)脈的鈣化現(xiàn)象。在為病患規(guī)劃綜合治療方案并確定治療手段時(shí),這些額外信息尤其有用。AI 系統(tǒng)會(huì)對(duì)比病患的數(shù)據(jù)和軟件中的參考數(shù)據(jù)。任何的不符和異常記錄都會(huì)以圖片形式被標(biāo)注,讓醫(yī)生能夠更深入地檢查相應(yīng)的部位。

在病床護(hù)理方面,具有 NPU 的處理器相當(dāng)于一個(gè)加強(qiáng)病患護(hù)理的數(shù)字助手。電子化操作的病床所配備的 AI 能夠記住讓病患舒適的位置,以及他們坐立或起床時(shí)所需的支撐力度。AI 應(yīng)用還能監(jiān)控生命體征,例如血壓、體溫或心電圖數(shù)據(jù),并控制輸液泵。這樣就能控制血液、藥劑、營養(yǎng)液等液體向病患循環(huán)系統(tǒng)的輸送。此外,AI 解決方案還能幫助醫(yī)務(wù)人員與病患交流,尤其是在病患因藥物狀況無法清晰說話的情況下。

簡(jiǎn)化人機(jī)互動(dòng)

通過觸屏、語音、增強(qiáng)現(xiàn)實(shí)(AR)設(shè)備來操控的醫(yī)用人機(jī)界面也受益于 AI。有了集成式 AI 處理器,不僅麻醉和病床護(hù)理時(shí)的病患監(jiān)控系統(tǒng)操作有所簡(jiǎn)化,相關(guān)的早期警告系統(tǒng)也能被其激活,減輕醫(yī)生和護(hù)士的工作量。此外,AI 解決方案正廣泛用于病患入院時(shí)使用的入院登記機(jī)。它們可根據(jù)實(shí)時(shí)的血糖、肺部功能等生命體征數(shù)據(jù),為緊急入院情況下的醫(yī)務(wù)人員提供治療建議,從而避免危險(xiǎn)的醫(yī)療事故。在未來,開發(fā)者還打算讓 AI 創(chuàng)建病患的數(shù)字孿生,對(duì)療法進(jìn)行虛擬測(cè)試,讓醫(yī)生能評(píng)估藥物或療法的潛在效果并減少風(fēng)險(xiǎn)。

在所有這些用例中,重要的是醫(yī)療設(shè)備必須具有足夠的算力,用來自動(dòng)記錄和評(píng)估信息。這就需要在手術(shù)室、急診部、ICU 病房中配備獨(dú)立于云端的 AI 邊緣系統(tǒng),避開云端的數(shù)據(jù)評(píng)估流程,從而減少延遲,讓設(shè)備在任何網(wǎng)絡(luò)環(huán)境下都能順暢運(yùn)行

用于病患護(hù)理的緊湊型入門套件

為了在各種可能的 AI 應(yīng)用領(lǐng)域加快 i.MX 8M Plus 處理器的推廣,康佳特設(shè)計(jì)了一款入門套件,讓開發(fā)者能夠快捷、安全地實(shí)現(xiàn)邊緣生物工程類應(yīng)用�？紤]到醫(yī)療應(yīng)用的復(fù)雜多樣,不言而喻,入門套件必須使嵌入式應(yīng)用完美適配。為此,康佳特開發(fā)了一款信用卡尺寸的 SMARC 2.1 計(jì)算機(jī)模塊,配備一個(gè)i.MX 8M Plus 處理器。其集成的 NPU 可加速 AI 邊緣推理的本地執(zhí)行,且無需持續(xù)連接云端。對(duì)于基于視覺的任務(wù),該模塊集成了硬件加速的視頻編碼和解碼功能并采用了尤為高效的 H.265 視頻壓縮標(biāo)準(zhǔn)。由此,即使是來自 2 個(gè)集成式 MIPI CSI 接口的高分辨率的視頻流,也能夠通過網(wǎng)絡(luò)直接傳輸?shù)狡渌�的電子醫(yī)療解決方案或醫(yī)院圖像存儲(chǔ)與傳輸系統(tǒng)(PACS)中。

透過 eIQ 實(shí)現(xiàn)定制化適配

在軟件方面,NXP 提供了“eIQ 機(jī)器學(xué)習(xí)”平臺(tái)。“eIQ”指邊緣智能。AI 系統(tǒng)的開發(fā)者可訪問一個(gè)為NXP 的微處理器和微控制器定制的開發(fā)環(huán)境,它囊括了各種庫和開發(fā)工具,還包括多種基于軟件的推理引擎,可將邏輯規(guī)則應(yīng)用于數(shù)據(jù)或信息,從而推理出新的發(fā)現(xiàn)。eIQ 支持多種推理引擎和庫,例如 Arm Neural Network (NN)和開源的 TensorFlow Lite 等。

來自 Basler 的 AI 觀察眼

用于各種具體應(yīng)用的設(shè)計(jì)是透過 3.5 英寸的載板來實(shí)現(xiàn)的。它相當(dāng)于數(shù)據(jù)通信的中央接口,將所有必要的外設(shè)連接到模塊。例如,它具有 2 個(gè) MIPI CSI-2.0 接口,讓攝像頭無需額外的轉(zhuǎn)換模塊就能輕松連接。入門套件配備了 Basler dart BCON MIPI 攝像頭,但只要符合 MIPI CSI 標(biāo)準(zhǔn),在康佳特套件的支持下,也可選用其它 OEM 的攝像頭。在軟件方面,Basler pylon 攝像頭軟件套件還提供了一套統(tǒng)一的 SDK,用于 MIPI CSI-2.0 以外的接口,并允許通過 USB 3.0 或 GigE 接口來操控?cái)z像頭。憑借集成式 Basler 軟件包,開發(fā)者可以方便地使用核心的 AI 視覺功能,例如觸發(fā)。這樣就能超快地提供定格畫面和高度差異化的攝像頭配置選項(xiàng)。不僅如此,軟件還為各種客戶提供了針對(duì)性的推理算法,它們基于Arm NN和TensorFlow Lite引擎,能夠完全發(fā)揮NPU的性能。

預(yù)配置的入門套件不僅能節(jié)省醫(yī)用視覺系統(tǒng)的開發(fā)時(shí)間,還采用了市面上成熟的技術(shù)和現(xiàn)行標(biāo)準(zhǔn),確保使用安全。Arm Cortex-A 處理器和 NPU 在醫(yī)療設(shè)備中相結(jié)合,在無需或僅需少量人為干預(yù)的情況下,即可通過傳感器數(shù)據(jù)得出正確結(jié)論,進(jìn)而做出智能決策。

AI 是全方位的醫(yī)務(wù)幫手

AI 已被用于醫(yī)學(xué)實(shí)習(xí)、醫(yī)院、護(hù)理設(shè)施,在各種環(huán)境下協(xié)助醫(yī)護(hù)人員完成重要任務(wù)。無論是否具備視覺處理功能,各種電子醫(yī)療解決方案都可通過 AI 協(xié)助的深度學(xué)習(xí)和機(jī)器學(xué)習(xí),被用于具體的應(yīng)用領(lǐng)域中。

面向 AI 視覺的康佳特入門套件集成了各種組件,采用 Basler dart 作為攝像頭、具有 2個(gè) MIPI CSI接口的SMARC 2.1 載板作為傳輸接口,以及一個(gè) SMARC 2.1 模塊作為處理器。

AI 視覺用的中央處理單元:conga-SMX8-Plus SMARC 2.1 模塊以僅僅6W 的 TDP(熱功耗)為邊緣設(shè)備賦予神經(jīng)形態(tài)智能

在探索 AI 的無限可能時(shí),簡(jiǎn)單快速的應(yīng)用開發(fā)至關(guān)重要,這使得康佳特預(yù)配置入門套件迅速脫穎而出,因?yàn)樗鼈冊(cè)诩涌扉_發(fā)流程的同時(shí),還提供豐富的選擇,能夠充分發(fā)揮搭載了智能 NPU的邊緣處理器的算力。

作者: Martin Danzer, 德國康佳特產(chǎn)品管理總監(jiān)