基于OpenVINO的海信醫(yī)療 CAS 計算機輔助手術胸肺系統(tǒng)

要點綜述
　　人工智能等數(shù)字化技術正在深度重構醫(yī)療行業(yè)，從醫(yī)學影像輔助診斷、疾病預測/健康管理到藥物研發(fā)等諸多環(huán)節(jié)，數(shù)字化技術都發(fā)揮著日趨重要的作用，帶來更加智慧、高效、精確的診療方式。其中，三維手術規(guī)劃系統(tǒng)通過醫(yī)療影像中解剖結構智能分割、三維重建及渲染，能夠幫助醫(yī)生更精準定位手術位置，判斷手術可行性，并規(guī)劃最優(yōu)手術路徑，可有效提高腫瘤切除率、修正手術方案、大大減少手術時間及術中出血，提高手術安全性，造福病患。
　　青島海信醫(yī)療設備股份有限公司（以下簡稱：海信醫(yī)療）是海信集團全資子公司，公司與青島大學共建了數(shù)字醫(yī)學與計算機輔助手術省級重點實驗室，專注于與醫(yī)學影像相關的人工智能技術開發(fā)，形成了以醫(yī)學影像處理、人工智能、信息交互、醫(yī)用顯示等核心技術為基礎，以計算機輔助手術系統(tǒng)、智能影像中心、數(shù)字化手術室等醫(yī)院信息化解決方案為落地場景的完整研發(fā)、生產(chǎn)、營銷服務體系。海信醫(yī)療多年致力于醫(yī)學影像人工智能技術研發(fā)，成功開發(fā)出海信計算機輔助手術規(guī)劃系統(tǒng)，覆蓋胸肺、肝膽胰脾和泌尿系統(tǒng)，已應用于全國100多家醫(yī)院，服務病患超過9000例（根據(jù)2020年2月的數(shù)據(jù)統(tǒng)計），產(chǎn)生了良好的社會及經(jīng)濟效益，具有良好的臨床應用前景。
　　為了進一步提升 CAS 手術胸肺系統(tǒng)針對 CT（電子計算機斷層掃描）人工智能器官分割的效率，提高部署靈活性并控制大規(guī)模部署成本，海信醫(yī)療部署了英特爾?至強?可擴展處理器，并使用OpenVINO?工具套件進行了算法深度學習加速，成功達到了預期目標。
背景：CAS 手術在中國與全球市場的發(fā)展現(xiàn)狀與預測
　　隨著近年來低劑量螺旋CT早期篩查普及率的提高，越來越多癌前病變的小結節(jié)被檢出。與此同時，肺癌的外科治療也經(jīng)歷了從一側全肺切除、解剖性肺葉切除到肺楔形段切除的發(fā)展演變。
　　從解剖學上講，肺段是一個完整和獨立的單位，每個肺段都有其獨立的動脈、靜脈及支氣管分支供應，精準切除腫瘤所在的肺段，既能保證腫瘤的完整切除，又能最大限度的保留正常肺組織，還能進行段間及段內淋巴結的采樣或清掃，達到解剖性切除、根治腫瘤的目的。研究表明，針對如臨床I期非小細胞肺癌（NSCLC）治療等，解剖性肺段切除術與傳統(tǒng)肺葉切除相比，可以提供類似的局部和遠端控制1,2。因此，精準肺 段切除非常適合肺小結節(jié)或無法耐受肺葉切除病人的治療。
　　由于肺臟邊緣動靜脈、支氣管分支特別復雜，且缺乏天然可見的解剖邊界，精準肺段切除術具有較大技術和解剖學難度?；谏疃壬窠?jīng)網(wǎng)絡自動分割的肺部精準三維重建技術可以將肺組織、病灶、肺內血管和支氣管等結構的形態(tài)和空間分布等進行識別與分析，實現(xiàn)直觀準確的可視化呈現(xiàn)。使用三維重建技術的3D CT 手術計劃對機器人輔助節(jié)段切除術非常有用，有利于減少并發(fā)癥和提高手術效率。
　　術前精準三維重建可有效顯示病灶及附近解剖結構，為肺癌患者提供了更多的選擇，能夠最大限度地保留患者的肺功能。針對早期肺癌和癌前病變，通過精準肺段切除能以最小代價提前實施干預，切除病灶，增加患者的長期生存率，提高患者生活質量。實例驗證顯示，解剖性肺段分析可有效確定腫瘤體積、所在肺段位置并幫助醫(yī)生預測切緣。切緣預測陽性準確率對腫瘤切緣高于1cm或者切緣腫瘤直徑比大于1的情況，切緣準確率（TP/（TP+FP））分別達到87%及75%，可有效輔助醫(yī)生術前精確判斷周圍型肺癌肺段切除可行性。
　　為了支持醫(yī)療影像的自動分割，研究人員使用了 NiftyNet 等基礎架構來開發(fā)深度學習方案，NiftyNet 使研究人員能夠快速開發(fā)和分發(fā)用于分段、回歸、圖像生成和表示學習應用程序的 深度學習解決方案，或將平臺擴展到新的應用程序6 。
　　據(jù)美國聯(lián)合市場研究（Allied Market Research）機構最近公布的一份研究報告預測，全球術前規(guī)劃軟件市場規(guī)模2018年為8409萬美元，到2026年這個數(shù)字將達到1.27億美元，復合年增長率為5.2%。
　　胸肺 CT 三維重建是 AI 技術在醫(yī)療行業(yè)的典型應用。事實上，由于AI在診療過程中具備突出的優(yōu)勢，其已成為眾多醫(yī)院推進數(shù)字化創(chuàng)新、推動智慧醫(yī)院建設的重要方向?！吨袊t(yī)學影像 AI 白皮書》顯示，在醫(yī)學影像方面，AI 技術具有更廣闊的落地場景，通過 AI 技術，可以有效提高醫(yī)師診療效率與診斷精 度，使醫(yī)學影像的分析技術下沉，縮短患者就診等待時間，降低患者就醫(yī)成本。
　　開展精準肺段切除的最大難點在于個體解剖差異， 如何分辨肺段的靜脈、動脈、支氣管及段間平面是手術是否精準的關鍵。隨著人工智能技術的發(fā)展， 國內少數(shù)醫(yī)院通過將 CT 數(shù)據(jù)影像導入計算機工作站，建立起三維立體數(shù)字器官模型，真實還原了患者的動脈、靜脈及支氣管的走形形態(tài)，手術過程中能夠在電腦中旋轉觀察，準確定位并精準切除病灶，同時也大大提升了手術的安全性。— 彭忠民 山東省立醫(yī)院東院胸外科主任
海信醫(yī)療基于英特爾架構加速三維神經(jīng)網(wǎng)絡預測
　　海信醫(yī)療 CAS 計算機輔助手術胸肺系統(tǒng)可以為腹腔精準外科手術提供高效、精準、易用的影像重建及量化模擬分析整體解決方案。該系統(tǒng)能夠針對腹腔組織器官的 CT/MR 影像進行預 處理和分割，精準輸出清晰的肝臟、腫瘤、血管及周邊器官組織的重建結果，并提供多種模擬手術工具進行直接 3D 切割、2D 映射切割和流域分析，為臨床醫(yī)生快速精準地進行診斷和制定方案提供了有力的輔助工具。

圖 1. 利用海信醫(yī)療 CAS 完成的胸肺 CT 三維重建模型。圖片由海信醫(yī)療提供

圖 2. 海信醫(yī)療 CAS 計算機輔助手術胸肺系統(tǒng)。圖片由海信醫(yī)療提供

　　面向重大肝臟疾病的計算機輔助手術系統(tǒng)進行的匯總分析顯示，海信計算機輔助手術系統(tǒng)和其它同類產(chǎn)品已向臨床醫(yī)護人員提供幫助。
　　海信醫(yī)療 CAS 計算機輔助手術胸肺系統(tǒng)的設計采用功能原型設計、性能優(yōu)化、準確性比對的步驟進行。系統(tǒng)采用了V-Net 神經(jīng)網(wǎng)絡架構來進行全卷積神經(jīng)網(wǎng)絡的三維圖像分割，利用 NiftyNet 進行快速的算法原型設計，在功能驗證的基礎上，進一步利用英特爾工具進行性能優(yōu)化，并對優(yōu)化后預測結果與優(yōu)化前預測結果進行對比，以確保優(yōu)化后的神經(jīng)網(wǎng)絡的一致性。
V-Net
　　大多數(shù)醫(yī)學影像數(shù)據(jù)是三維體數(shù)據(jù)，能夠提取三維特征對于管道類組織的分割至關重要，這是因為血管、支氣管等管道類組織在單張 CT 影像上往往呈現(xiàn)圓形或橢圓形截面，而其主要的形態(tài)特征存在于 z 軸方向。同時醫(yī)學圖像分割經(jīng)常存在目標組織解剖結構體積占比小，樣本間不均衡現(xiàn)象，如：肺支氣管、肺小結節(jié)相比肺實質，從而帶來預測偏差。 V-Net 神經(jīng)網(wǎng)絡結構由 Milletari et al. 在 2016 年提出，輸入圖像經(jīng)過一個圖像壓縮路徑進行特征提取及降采樣操作，連接一個圖像解壓縮路徑將圖像恢復到輸入圖像大小，形成左右對稱的 V 字神經(jīng)網(wǎng)絡架構。壓縮及解壓路徑間通過特征前項短接 保留細顆粒特征，提升邊緣的預測準確率。通過引入基于Dice系數(shù)的目標函數(shù)進行參數(shù)優(yōu)化，可有效處理前景/背景體素不平衡現(xiàn)象。
NiftyNet
　　NiftyNet 是基于TensorFlow 的開源卷積神經(jīng)網(wǎng)絡（CNN）平臺，通常用于醫(yī)學影像分析和影像引導療法的研究。海信醫(yī)療使用 NitfyNet 以及其內部開放模型庫（Model Zoo）中的 Dense-Vnet 實現(xiàn)對于腹部 CT 中多個器官影像的分割，該神經(jīng)網(wǎng)絡平臺可分割腹部 CT 上的八種類型的器官，包括胃腸道（食道、胃、十二指腸），胰腺和附近的器官（肝、膽、脾、 左腎）。

圖 3. V-Net 神經(jīng)網(wǎng)絡架構圖

　　NiftyNet 的開放模型庫提供了可在 TensorFlow 之上，使用標準公共數(shù)據(jù)集訓練模型的步驟，以及用于驗證模型推理和性能評估的權重文件（checkpoint 文件）。在本案例中，英特爾幫助海信醫(yī)療修改 NiftyNet 的公共源代碼來序列化 TensorFlow 模型圖，并生成將權重固化到模型圖的pb文件。OpenVINO工具套件需要使用在通用框架（Caffe， Tensorflow，MXNet，ONNX）上訓練好的模型來進行轉換，所以在開始使用OpenVINO之前，需要基于TensorFlow將 NiftyNet 模型源碼生成模型圖并固化權重，以便進行后續(xù)的工作。在深度網(wǎng)絡圖形序列化步驟中，需要指定正確的輸入和輸出節(jié)點，使得生成的權重固化文件中只包含從正確輸入節(jié)點到正確輸出節(jié)點之間的模型結構圖。以下流程圖反映了如何將 NiftyNet 公開模型使用 OpenVINO 加速的過程，其中橙色部分表示在 NiftyNet 源文件中編寫代碼完成的流程，藍色部分表示 OpenVINO 優(yōu)化流程：

圖 4.NiftyNet模型使用OpenVINO優(yōu)化性能的流程圖。約 14.7x 的性能提高細節(jié)請參考圖 9

使用 OpenVINO 工具套件分發(fā)來加速模型推斷
　　OpenVINO 工具套件發(fā)行版提供了高度優(yōu)化的神經(jīng)網(wǎng)絡計算能力，并基于包括英特爾 CPU、GPU、VPU 和 FPGA 在內的英特爾硬件平臺，加速了深度學習模型推理。英特爾幫助海信醫(yī)療使用了英特爾? 深度學習部署工具包（英特爾? DLDT）。 該工具包是 OpenVINO 工具套件中的主要推理優(yōu)化模塊。
　　如圖5所示，英特爾 DLDT 包含兩個模塊，模型優(yōu)化器（MO，Model Optimizer）和推理引擎（IE，Inference Engine）。模型優(yōu)化器是一個跨平臺的命令行工具，可實現(xiàn)訓練和部署環(huán)境之間的轉換，執(zhí)行靜態(tài)模型分析并調整深度學習模型， 致力于在終端目標設備上實現(xiàn)最佳執(zhí)行能力。它支持從流行的框架（包括 TensorFlow 模型）到中間數(shù)據(jù)格式（IR，Intermediate Representation）的離線模型轉換。

圖 5. OpenVINO 工具套件的深度學習部署 相關的產(chǎn)品架構

　　中間數(shù)據(jù)格式包含用于描述深度學習網(wǎng)絡結構的 XML 和用于存儲權重值和偏差值的二進制文件，可以使用推理引擎在英特爾至強可擴展處理器上加載和執(zhí)行模型網(wǎng)絡。推理引擎提供統(tǒng)一的跨平臺 C++ 和 Python API，用于推理加速和優(yōu)化。在英特爾?處理器上，IE將自動在運行時使用集成了英特爾?深度神經(jīng)網(wǎng)絡庫（英特爾? DNNL）的運行插件，該插件均為動態(tài)函數(shù)庫，可以在運行時檢測指令集架構（ISA），并使用準時制代碼生成（JIT）來部署，針對最新的 ISA12 進行優(yōu)化，以加速神經(jīng)網(wǎng)絡中各層的運算。
　　圖 6 展示了在 CPU 平臺上，英特爾 DLDT 的加速推理的機制和流程，其中推理引擎使用到的MKL-DNN（又稱英 特爾 DNNL）插件中定義了深度神經(jīng)網(wǎng)絡核心的原始操作（primitive operation）層的實現(xiàn)，其中包括卷積層（Conv，Convolution），對位操作層（Eltwise，element-wise），全連接層（Concat，Concatenation）等。
OpenVINO 異步模式
　　為了高度優(yōu)化整個推理流程并降低數(shù)據(jù)傳輸成本，海信醫(yī)療采用推理引擎的異步應用程序編程接口（Async API）來設置多個推理請求對象的實例，并在多個處理器核上并行進行推理。該模式可將CT影像分割成多個小塊進行處理（每個小塊的尺寸為 64*64*64），并且每兩個小塊之間都不會存在數(shù)據(jù)相互依賴性，這意味著系統(tǒng)可以在開始時加載成批的塊，并將其注入推理請求池以便并行計算，而無需等待逐個數(shù)據(jù)的輸入或等待其他推理實例完成。這里提供了方便快捷的響應機制，一旦異步推理請求完成推理執(zhí)行時，這組運算的結果將被獲取和記 錄，下一組輸入將直接注入推理請求池進行下一輪推理。

圖 6. 英特爾 DLDT 基于 CPU 平臺上的優(yōu)化機制

　　圖 7 顯示了使用英特爾? VTune工具包，通過程序熱點（hotspot）分析選項，分析原始的推理引擎同步（Sync）API程序的運算情況。網(wǎng)絡層在主線程上執(zhí)行，英特爾DNNL將為在多個內核上進行計算的每一個網(wǎng)絡層創(chuàng)建英特爾? TBB 線程。從OpenVINO工具套件2019R1版本開始，DLDT 將默認的并行化機制從 OpenMP 轉移到英特爾 TBB，旨在為多網(wǎng) 絡場景和異步及吞吐量模式下的推理運算提供更高的性能。
　　圖 7 中黃色圓圈圈中的一欄代表主線程，橫軸表示時常，橙色 的內容表示主線程處于空轉的狀態(tài)下，線程占據(jù)了系統(tǒng)資源，

　圖 7. VTune 工具展示的 OpenVINO IE Sync API 計算過程

　　原因是主線程需要等待，直到下面的TBB子線程逐層地完成，并且每小塊的輸入數(shù)據(jù)將被逐一計算后，主線程才可以結束運算并釋放資源。
　　與 Sync API 相比，Async API 可以創(chuàng)建多個推理請求實例來同時執(zhí)行網(wǎng)絡推理。如圖 8 所示，Async API 將同時創(chuàng)建帶有多個推理請求的線程，每個線程分別使用不同的輸入數(shù)據(jù)塊執(zhí)行推理，圖像中的紅色圓圈表示同一個網(wǎng)絡層在不同推理實例上的并行情況。通過使用這種方式，將減少主線程和子線程之間的等待時延。

　圖 8. VTune 工具展示的 OpenVINO IE Async API 計算過程（“吞吐量” 模式打開）

　　同時，海信醫(yī)療還使用處理器推理引擎的“吞吐量”（Throughput）模式在 CPU上同時高效地運行多個推理請求，從而大大提高了吞吐量。使用該模式，執(zhí)行資源會被固定到執(zhí)行“流”中，而這些“流”的可以綁定在CPU物理核上， “流”的數(shù)量建議設置為 CPU 的物理核數(shù)。通過此功能將容易 獲得更高性能，尤其是在多核服務器上。
基于OpenVINO工具套件的海信醫(yī)療CAS性能驗證
　　要對 CT 等醫(yī)療影像進行三維重建，需要采集目標的點云數(shù)據(jù) （Point Cloud Data，PCD），經(jīng)過深度影像增強、點云計算與配準、數(shù)據(jù)融合、表面生成等步驟，完成對目標的三維重建計算，其涉及到影像人工智能自動分割、重建，需要部署 人工智能預測網(wǎng)絡，對于計算資源、存儲和網(wǎng)絡連接有著巨大的需求。
　　在選擇人工智能預測網(wǎng)絡的基礎設施時，用戶常常會面臨是選擇 CPU 還是 GPU的困擾。GPU的并行架構適合處理圖像算法，也普遍被用于深度學習訓練中，但是由于醫(yī)療場景的特殊性，GPU 并非是面向三維重建的人工智能預測網(wǎng)絡構建 的必然選擇：
　　? 醫(yī)院部署人工智能功能往往局限于醫(yī)院局域網(wǎng)，很難利用公網(wǎng)中的廉價 GPU資源。為了滿足并發(fā)需求，部署多塊高性能 GPU 是不小的硬件成本。
　　? 通常GPU顯存有限，針對三維神經(jīng)網(wǎng)絡預測的大數(shù)據(jù)量，需要采用拆分-單獨預測-合并的 Patch-based 方法，這樣容易丟失所預測目標的上下文信息，引入噪聲。如胸肺動靜分割，數(shù)據(jù)量（512*512*400），使用只有 11GB 顯存的 GPU（海信醫(yī)療評估系統(tǒng)設置），最大Patch尺寸為（232*232*232）。部署時該GPU的適配性不高。
　　? 本案例中的海信醫(yī)療 CAS 手術系統(tǒng)的AI算法有較強的批處理屬性，人為交互少，可以允許損失一部分處理時間而不影響用戶體驗。
　　? GPU 通用性有一定的限制，僅能用于定制的AI運算，平時不能利用。使用 CPU 服務器可有效利用空置資源，提供其他閱片室或者手術室服務。
　　因此，選擇恰當?shù)娜S神經(jīng)網(wǎng)絡預測的基礎設施平臺，并通過深度學習加速工具包來加速預測性能，就成為三維重建手術規(guī)劃系統(tǒng)部署的重要因素。
　　基于英特爾至強可擴展處理器以及 OpenVINO 工具套件，海信醫(yī)療與英特爾共同優(yōu)化了胸肺CT人工智能自動分割、重建算法，在可接受的性能指標范圍內，大大降低了CAS計算機輔助手術胸肺系統(tǒng)部署成本與靈活性。
　　在發(fā)現(xiàn)GPU方案可能存在的弊端之后，海信醫(yī)療決定基于英特爾至強可擴展處理器來搭建基礎設施平臺，并對該方案的性能進行評估。英特爾至強可擴展處理器不僅擁有強大的通用計算能力，還集成了增強單指令多數(shù)據(jù)流（Single Instruction Multiple Data，SIMD）、英特爾? AVX-512 等創(chuàng)新技術，實現(xiàn)了對于通用計算能力和并行計算能力的兼顧，為人工智能訓練提供了卓越的性能基礎。相比上一代產(chǎn)品，英特爾至強可擴展處理器針對人工智能訓練和推理可提供大幅領先的性能。
　　此外，海信醫(yī)療還使用OpenVINO工具套件進行了加速，OpenVINO工具套件包括英特爾深度學習部署工具套件。通過輸入來自標準網(wǎng)絡的訓練后模型，模型優(yōu)化器可將其轉換為統(tǒng)一的中間代碼（IR）文件，然后在推理引擎上運行該文件， 這有助于跨不同加速器進行測試，無需重新編碼。
　　為了驗證該方案的性能表現(xiàn)，海信醫(yī)療進行了對比測試（其中，CPU方案采用了英特爾至強可擴展處理器，搭載了英特爾?SSE4.2、英特爾?AVX、英特爾? AVX2、英特爾AVX-512指令集，并使用OpenVINO工具套件進行了優(yōu)化，結果如圖 9 所示）。在方案中，CT 影像原圖為尺寸為（284，512，512），即284張 512*512 的 CT 影像切片。海信醫(yī)療 CAS 應用 NiftyNet 中的 GridSampler 函數(shù)將該 CT 影像原始切片分成了1001個64*64*64 的小塊進行深度學習推理。
　　測試結果顯示 CPU 方案具備更高的部署與應用靈活性，可以承擔更廣泛的負載，更有效地控制系統(tǒng)的總體擁有成本（TCO）。

圖 9. 缺省NiftyNet和OpenVINO工具套件優(yōu)化前后的推理性能對比。數(shù)據(jù)由海信醫(yī)療于 2020 年 1 月提供

效果實例：8分鐘完成疑難病癥手術關鍵核心環(huán)節(jié)
　　通過英特爾至強可擴展處理器、OpenVINO工具套件來優(yōu)化胸肺CT人工智能自動分割，海信醫(yī)療 CAS 計算機輔助手術系統(tǒng)的效率與精度得到了有效保證。通過對于胸肺 CT 進行三維重建，該系統(tǒng)可形成立體360度可量化、可觀察、可互動的影像模型，醫(yī)生可以通過旋轉、調整透明度、縮放等方式對于影像模型進行更加細致的觀察，為術前規(guī)劃、術中參考提供重要支撐。
　　海信醫(yī)療副總經(jīng)理陳永健指出，近日在中國重慶醫(yī)科大學附屬第一醫(yī)院泌尿外科的一例“腎癌伴下腔靜脈癌栓并浸潤腔靜脈壁”疑難手術中，患者病情的特殊性讓醫(yī)生找不到同類手術進行參考，施行手術的風險極高。通過引入海信醫(yī)療 CAS 計算機輔助手術系統(tǒng)進行三維重建，醫(yī)生進行了充分的術前規(guī)劃準備，最終手術關鍵環(huán)節(jié)僅用時8分鐘就順利完成。
　　基于海信醫(yī)療在醫(yī)療行業(yè)深厚的積累，以及英特爾架構所帶來的高性能、靈活性與敏捷性，該系統(tǒng)在胸肺類疾病的診斷中可以發(fā)揮出巨大潛力，幫助醫(yī)生提升臨床手術的質量。對于醫(yī)院而言，該解決方案也可以有效利用醫(yī)院內部的通用計算資源，節(jié)省相應支出。
　　2020 年1月份，青島大學附屬醫(yī)院和海信醫(yī)療聯(lián)合科研團隊共同開發(fā)的，基于海信醫(yī)療 CAS 計算機輔助手術系統(tǒng)的“基于小兒肝膽胰計算機輔助手術系統(tǒng)研發(fā)、臨床應用及產(chǎn)業(yè)化”成果，榮獲 2019 年度國家科技進步獎二等獎。
展望：英特爾與海信醫(yī)療推動智慧醫(yī)療的落地
　　“三維重建的技術優(yōu)勢在疾病診斷中的效率、準確性優(yōu)勢日漸顯現(xiàn)。通過與英特爾進行合作，我們確保了該系統(tǒng)的運行效率以及敏捷性。而在未來，我們也將與英特爾合作探索 3D 打印、混合現(xiàn)實等技術在醫(yī)療行業(yè)的應用，為術前精確診斷、術中精準手術、患者快速康復提供更大的支持保障”，海信醫(yī)療副總經(jīng)理陳永健表示。
　　為推進人工智能在醫(yī)療健康領域的廣泛應用，英特爾推出了CPU、FPGA、Myriad?視覺處理器及一系列的軟件開發(fā)工具，具備全面的人工智能產(chǎn)品組合和端到端的技術實力，可以提供高度靈活和多種優(yōu)化的解決方案，并充分發(fā)揮合作伙伴們在各自領域的專業(yè)性，來推動人工智能醫(yī)療技術的落地與進一步發(fā)展。