Rad AI 使用由 NVIDIA 提供支援的 Amazon EC2 P4d 執行個體將營收提高了 10 倍

根據 Mayo Clinic 的一項研究指出，將近 90% 的美國放射科醫生都在滿載或超載的情況下工作。Rad AI 透過訓練機器學習 (ML) 模型來閱讀詳細的文件，並自動總結出根據放射科醫生語言 (醫生用來識別疾病和制定治療計劃) 客製化的結果，協助他們減輕工作負載。Rad AI 的合作夥伴數量占美國放射學市場的 16%，包括 10 個最大的放射學團隊中的 6 個，並希望擴展其解決方案以服務更多客戶。為提升機器學習 (ML) 推論速度並產生即時結論，公司選擇使用 Amazon Web Services (AWS)。

Rad AI 將其在內部部署 GPU 伺服器上執行的文件摘要應用程式，遷移至由 NVIDIA A100 Tensor Core GPU 提供支援的 Amazon Elastic Compute Cloud (Amazon EC2) P4d 執行個體。透過在 Amazon EC2 P4d 執行個體上部署其應用程式，Rad AI 顯著縮短了機器學習 (ML) 推論時間，為放射科醫生提供更快速、更準確的報告並提高患者照護品質。

Rad AI 是一家軟體即服務的新創公司，旨在透過簡化放射學工作流程來提高醫療保健品質。「放射科醫生效率很高，但他們的研究量太大，因此疲勞是很常見的狀況。」Rad AI 的業務發展和策略經理 Niven Shah 表示，「我們的產品會利用自然語言處理方面的最新進展，自動產生放射學報告的客製化結論，以及根據國家指導方針所提供的後續建議。」

Rad AI 每天可將放射科醫生口述的單詞數量減少 30% 至 35%，並為放射科醫生在每 9 小時的輪班中節省大約 1 小時的時間。其產品與現有的工作流程相關聯，並作為零點擊解決方案執行。「我們專門打造了 Rad AI 來減少放射科醫生的倦怠感，提高患者照護品質，並確保我們的患者在正確的時間得到適當的追蹤和治療。」Rad AI 的放射科醫生兼聯合創始人 Jeff Chang 博士表示。公司之前已使用 Amazon EC2 P3 Instances 來部署其機器學習 (ML) 應用程式，但希望獲得更高的效能和更快的推論速度來為更多的客戶提供服務。Rad AI 看到了一種可實現其目標的方法，就是透過將其機器學習 (ML) 模型遷移至由 NVIDIA A100 GPU 提供支援的 Amazon EC2 P4d 執行個體。 

Amazon EC2 P4d 執行個體為每個執行個體提供 320 GB 的 GPU 記憶體，並且率先在雲端支援 400 Gbps 的高速聯網功能。其高效能和低延遲的特性使其非常適合以更快的速度來處理更大的文件。使用 AWS 服務亦能協助 Rad AI 促進 HIPAA 合規，並滿足其系統與組織控制 (SOC) 2 類型 II 認證的要求，進而簡化新放射學群組和健康系統的上線流程。

Rad AI 於 2021 年完成了遷移，提升了其機器學習 (ML) 推論速度和整體效能。「透過遷移至 Amazon EC2 P4d 執行個體，我們將即時推論速度提高了 60%。」Rad AI 的資深軟體工程師 Ali Demirci 表示，「由於我們可以即時產生摘要，這個解決方案對客戶體驗產生了直接影響。」 與內部部署相較，Rad AI 透過將 Amazon EC2 P4d 執行個體用於其以雲端為基礎的部署，使效能提高了 136%，輸送量提高了 11%。這家新創公司擁有更快的速度、更高的效能和雲端擴展能力，與小型私人診所以及價值數十億美元的醫療保健系統合作，可為更多客戶提供解決方案。

Rad AI 的解決方案現在可在 3 秒內提供 CT 和 MRI 掃描報告摘要 (之前為 10 秒)，而 X 光報告摘要則只需 0.7 秒 (之前為 2.5 秒)。透過在 Amazon EC2 P4d 執行個體上訓練部分機器學習 (ML) 模型，Rad AI 將訓練持續時間縮短了 2.4 倍。隨著推論速度的提升，放射科醫生現在能夠更快地向醫生提供更準確的報告和適當的後續追蹤建議。然後，醫生能夠使用這些報告來診斷病情並制定治療計劃，進而改善患者的治療效果。

Rad AI 使用 Amazon Elastic Container Service (Amazon ECS，一種全受管的容器協同運作服務) 每天部署多個機器學習 (ML) 模型。「能夠使用 Amazon ECS 進行持續部署讓我們得以快速回應客戶意見回饋。」Demirci 表示，「我們可以根據需要，簡單地調整模型或立即進行變更。我們的機器學習 (ML) 團隊可以快速自動佈建執行個體，這有助於簡化模型改進的實驗。」 透過將其機器學習 (ML) 推論遷移至雲端，Rad AI 亦不需為內部部署資料中心採購和佈建基礎設施。相反地，Rad AI 能夠隨需佈建執行個體，進而最佳化其營運成本。

Rad AI 還選擇使用開源機器學習 (ML) 架構 PyTorch 來開發、訓練和部署其機器學習 (ML) 技術。PyTorch 讓 Rad AI 能夠分解和重組其機器學習 (ML) 工作流程的組件，以便使用其機器學習 (ML) 訓練流程的更新的、更進階的迭代進行簡單的偵錯和快速實驗。使用 PyTorch，團隊可以用更少的開發和迭代時間來交付更複雜的模型架構。

公司還擴展了其在 AWS 上的服務，擴展至為新客戶提供服務。「當您需要像我們一樣部署大型機器學習 (ML) 模型時，就會需要大量的 GPU 記憶體。」Rad AI 的機器學習 (ML) 工程師 Andriy Mulyar 表示，「Amazon EC2 P4d 執行個體的每個 GPU 均具有 40 GB 的高頻寬記憶體，可以有效滿足我們的記憶體要求。現在，我們可以隨需擴展機器學習 (ML) 應用程式，而無需佈建實體的硬體。我們能夠以更快的速度為客戶產生輸出，這反過來提升了我們的創新速度。」 由於 Rad AI 能夠擴展以服務更多客戶，這家新創公司在 2021 年的客戶群成長了 100% 以上。與 2020 年全年相較，Rad AI 在 2021 年的經常性營收也提高了 10 倍以上。

透過遷移到 Amazon EC2 P4d 執行個體，Rad AI 增加了營收，加快了創新速度，並無縫擴展了其機器學習 (ML) 應用程式，為其客戶提供即時優勢並擴大其影響範圍。例如，德州最大的私人放射科診所 Radiology Associates of North Texas 在測試了公司的 AWS 解決方案後，將 Rad AI 服務擴展到了所有 225 名放射科醫生。未來，Rad AI 計劃在 AWS 上進一步自動化其資料管道，並將推出新的機器學習 (ML) 驅動產品以改善患者照護服務。

Rad AI 使用 AWS 快速構建了一個快速、高效能的解決方案，用於機器學習 (ML) 應用程式開發和部署。「每當您向 AWS 團隊尋求協助時，都會有一位具備專業知識的人員與您保持聯絡，並且很快就能解決問題。」Demirci 表示，「與 AWS 團隊合作對我們而言是一個巨大的益處。」