反向代理伺服器提升 AI 網路安全

October 9, 2024

Brandon Lewis

AI 模型仰賴持續的資料串流來學習及推斷。這就是它的價值所在。也是它的脆弱之處。由於 AI 模型是建立在其接觸的資料上，因此也容易受到損壞、操縱或洩漏之資料的影響。

網路威脅可能來自不良行為者，他們偽造推斷、對模型注入偏見，擾亂模型的效能或運作。分散式阻斷服務（DDoS）攻擊可以產生相同的結果，這種攻擊會壓垮模型執行的平台（以及模型本身）。這些和其他威脅可能會讓模型及其敏感資料受到 IP 竊盜，如果周圍基礎架構保護不當，情況更是如此。

可惜，急着實施 AI 模型會導致 AI 部署架構產生重大的安全漏洞。隨著公司將 AI 整合到更多業務系統和流程中，資訊安全主管（CISO）必須努力填補這些漏洞，以免每次推斷都遭人擷取有價值的資料和 IP。

AI 網路安全讓追求效能的 CISO 進退維谷

在技術層面上：目前這一代 AI 部署缺乏安全性有一個簡單的解釋：效能。

AI 模型運算屬於資源密集型任務，幾乎完全隸屬運算叢集和超級電腦的範疇，這點直到最近才改觀。現在的情況已有別以往，八核心的第 4 代 Intel^® Xeon^®可擴充處理器等平台支援 Dell Technologies PowerEdge R760 等機架伺服器，能夠高效同時託管多台 AI 模型伺服器（圖 1）。

Dell 機架伺服器圖片 — **圖 1.** Dell PowerEdge R760 等機架伺服器可以同時託管多台高效能 Intel^® OpenVINO^™ 工具組模型伺服器。（資料來源：Dell Technologies）

不過，不管是在邊緣還是資料中心託管，AI 模型伺服器都需要大部分（如果不是全部）平台的資源。這犧牲了安全性等功能為代價，而且幾乎不管部署範例為何，這些功能對運算的要求也很高：

部署模型 1：主機處理器：在同一處理器上部署 AI 模型伺服器與防火牆或加密/解密等安全性功能，會使工作負載爭奪 CPU 資源、網路頻寬和記憶體。這會減緩回應時間、增加延遲，並降低效能。
部署模型 2：獨立虛擬機器（VM）：在同一個主機處理器上的不同 VM 託管 AI 模型和安全性功能，可能會帶來不必要的開銷、架構複雜性，最終會對系統擴充性和靈活性造成影響。
部署模型 3：相同的 VM：兩種工作負載類型託管在同一個 VM 中，模型伺服器和安全功能可能會暴露在相同的漏洞中。這可能會加劇資料外洩、未經授權的存取和服務中斷。

CISO 需要新的部署架構，既能提供 AI 模型所需的效能擴充性，也能保護其中駐留的敏感資料和 IP。

COTS 硬體的 AI 模型安全性代理

另一種選擇是在不同系統上託管 AI模型伺服器和安全性工作負載。這提供了足夠的資源，以防 AI 任務不必要的延遲或效能下降，同時在推斷、安全性作業和 AI 模型本身之間提供實體隔離。

接下來的挑戰就變成了實體足跡和成本。

全球首屈一指的應用程式交付基礎架構公司 F5 Networks, Inc. 察覺這個機遇，與 Intel 和提供廣泛產品組合的全球領先 OEM 公司 Dell 合作，開發了一款解決方案，在單一商用現成（COTS）系統中滿足上述要求。F5 基於搭載第 4 代 Intel Xeon 可擴充處理器的 Dell PowerEdge R760 機架伺服器，整合了 Intel^® Infrastructure Processing Unit (Intel^® IPU) 配接器 E2100（圖 2）。

Intel IPU 配接器影像 — **圖 2。**Intel^® Infrastructure Processing Unit (Intel^® IPU) 配接器 E2100 從主機處理器卸載安全性作業，將資源釋放給 AI 訓練和推斷等其他工作負載。（資料來源：Intel）

Intel IPU 配接器 E2100 是一種基礎架構加速卡，提供 200 GbE 頻寬、x16 PCIe 4.0 通道，以及內建加密加速器，結合進階封包處理管道，提供線速安全性。該卡的標準介面可與　PowerEdge R760 等伺服器整合，且 IPU 配備充足的運算和記憶體來託管 F5 的 NGINIX Plus 等反向代理伺服器。

NGINX Plus 建置在開放原始碼的 Web 伺服器上，可以部署為反向代理伺服器，攔截、解密/加密往返目的地伺服器的流量。這種分離有助於緩解 DDoS 攻擊，但也表示加密作業可以在 AI 模型伺服器主機以外的其他地方進行。

F5 Networks NGINX Plus 反向代理伺服器提供 SSL/TLS 加密，並在未經驗證的推斷與 R760 上執行的 Intel^® OpenVINO^™ 工具組模型伺服器之間提供安全間隙。除了以反向代理伺服器運作，NGINX Plus 也提供安全性控制、負載平衡、內容快取、應用程式監控與管理等企業級功能。