Skip to main content

評測基準影響 AI 伺服器設計

AI 推理

處理器製造商競相在這個不斷成長的 AI 市場紮根。因此,為了服務 AI 使用案例,已經持續引進或改造了大量的運算產品。這類產品包括 CPU 和 GPU 這類已知的處理選項,以及較新穎的解決方案,例如視覺處理器(VPU)。

但是,隨著這些裝置紛紛部署在真實的系統,產品型錄效能規格基本上已經毫無意義。處理器在特定使用案例的表現如何,才是設計工程師最重視的事。他們想瞭解能夠提升效率、降低成本、減少用電量的功能與最佳化,並且實現新功能。

但是,根據這些參數評估多項解決方案可能曠日持久。

ComBox Technology 這個 IT 與類神經網路系統整合商的工程師,設計 AI 伺服器之前,會先撥時間用評測基準評估數種運算解決方案。他們根據執行 AI 演算法每秒畫面格數(FPS)的成本測量不同選項,亦即用於計算電腦視覺系統 ROI 的關鍵測量。

ComBox 理事長 Dmitriy Rytvinskiy 表示:「我們發現,搭載第 8 代 Intel® Core 處理器的 Intel® NUC8i5BEK,在這類工作負載提供的價值最高,每個 FPS 的平均成本每個月僅逾 4 美元。」

每 FPS 的處理器成本已揭露

ComBox 工程團隊利用主要深度學習處理器的數個選項,展開他們的每 FPS 成本實驗。這些選項包括多家供應商的晶片、繪圖卡和加速器模組。他們測試這些平台時,採用的是兩種常見的圖片分類卷積神經網路(CNN):U-Net 與 DarkNet-19。ComBox 評估針對 U-Net 演算法使用的圖片輸入大小為 768 x 512 像素和 576 x 384 像素,針對 DarkNet-19 使用的是 256 x 256 像素圖片資料。

這兩種 CNN 是單獨在個別處理元件執行,甚至連裝置都是同一部。換句話說,同時包含 CPU 和 GPU 或整合式圖形處理器的裝置,例如精選的 Intel Atom® 處理器、Intel Core 處理器,或是搭載任一處理器的 Intel NUC 平台,皆經過超過一次的測試。在所有情況中,類神經網路皆以 Intel® OpenVINO 工具組或 TensorFlow/TensorRT 引擎這類架構最佳化。

為了計算每個競爭者的價值,ComBox 測試人員直接用其各工作負載 FPS 效能除以產品成本,然後選取在所有工作負載提供最高價值的裝置。如前所述,NUC8i5BEK 提供了最佳的成本/效能價值。

利用視訊編碼/解碼作弊碼打敗評測基準

NUC8i5BEK 採用 Intel Core i5-8259U。但是在 ComBox 一連串的推斷評測基準測試中,裝置 CPU 並非貢獻最佳成本效益的唯一因素。整合式 Intel Iris Plus 655 圖形處理器也是。但這並非 NUC 僅有的能耐。

雖然 Core i5 CPU 核心並未在演算法執行本身發揮作用,但它們確實處理了圖片編碼與解碼,讓圖形處理器繼續專門負責推斷工作負載。這並不代表評測基準中的其他 SoC 和卡並未善用類似的架構。有些其實利用了。但是 Intel® Iris® Plus 655 顯示晶片、多執行緒四核心 CPU 搭配 OpenVINO,以更低的價格點提供了優於f所有對手的效能。

Rytvinskiy 表示:「根據評測基準結果,我們設計了伺服器中的 NUC8i5BEK。」平台最多可針對 80 個 Full HD IP 攝影機視訊串流同時執行類神經網路。

適用於 AI 和視覺處理能力的包裝

現成可用的 NUC 已包裝為完整的系統,機箱、I/O 和其他裝飾品一應俱全,無論是原型開發或輕型商業部署皆適用。然而,外型規格和包裝顯然不適合整合至機架伺服器,因此 ComBox 團隊一次整合八個 NUC 主機板至 1U 伺服器機架(圖 1)。

單一伺服器中採用 8 個 Intel NUC 主機板的 ComBox 伺服器。
圖 1. ComBox 8xNUC Rev 2 伺服器採用直接串接至主機板的八個 Intel® NUC8i5BEK。(資料來源:ComBox

八個可熱交換的 NUC 模組隨附兩個可熱交換的電源供應裝置(PSU),以及可控制模組的前面板顯示器。八個模組共提供 32 核心與 64 執行緒的處理能力,總計 3,072 個整合式 GPU 核心和 1GB EDRAM。

Rytvinskiy 表示:「根據我們的建模,採用 8xNUC 的伺服器會分配數量恰到好處的資源給每個工作負載。」「由於 NUC 的每 FPS 成本低,因此相較於採用替代 AI 處理技術的相似平台,伺服器成本只有一半。」

專為 AI 和 DL 所設計

經過測試 AI 運算替代方案的過程之後,ComBox 為許多類型的工作負載產生了省電、高效能的推斷解決方案。該公司已發表的報告,說明了如何使用 NUC 建立高效率、低成本的 AI 解決方案,包括建立同樣採用 NUC8i5BEK 的電腦視覺輔助煙霧偵測器專案。

或許始料未及,但 Iris Plus 655 與 Core 處理器 CPU 的熟悉設定,相較於較新的 AI 處理解決方案,可為 CV 推斷帶來更高的價值。因此,何必花得更多卻獲得更少呢?

 

作者簡介

Brandon is a long-time contributor to insight.tech going back to its days as Embedded Innovator, with more than a decade of high-tech journalism and media experience in previous roles as Editor-in-Chief of electronics engineering publication Embedded Computing Design, co-host of the Embedded Insiders podcast, and co-chair of live and virtual events such as Industrial IoT University at Sensors Expo and the IoT Device Security Conference. Brandon currently serves as marketing officer for electronic hardware standards organization, PICMG, where he helps evangelize the use of open standards-based technology. Brandon’s coverage focuses on artificial intelligence and machine learning, the Internet of Things, cybersecurity, embedded processors, edge computing, prototyping kits, and safety-critical systems, but extends to any topic of interest to the electronic design community. Drop him a line at techielew@gmail.com, DM him on Twitter @techielew, or connect with him on LinkedIn.

Profile Photo of Brandon Lewis