評測基準影響 AI 伺服器設計

July 8, 2021

Brandon Lewis

AI 推理

處理器製造商競相在這個不斷成長的 AI 市場紮根。因此，為了服務 AI 使用案例，已經持續引進或改造了大量的運算產品。這類產品包括 CPU 和 GPU 這類已知的處理選項，以及較新穎的解決方案，例如視覺處理器（VPU）。

但是，隨著這些裝置紛紛部署在真實的系統，產品型錄效能規格基本上已經毫無意義。處理器在特定使用案例的表現如何，才是設計工程師最重視的事。他們想瞭解能夠提升效率、降低成本、減少用電量的功能與最佳化，並且實現新功能。

但是，根據這些參數評估多項解決方案可能曠日持久。

ComBox Technology 這個 IT 與類神經網路系統整合商的工程師，設計 AI 伺服器之前，會先撥時間用評測基準評估數種運算解決方案。他們根據執行 AI 演算法每秒畫面格數（FPS）的成本測量不同選項，亦即用於計算電腦視覺系統 ROI 的關鍵測量。

ComBox 理事長 Dmitriy Rytvinskiy 表示：「我們發現，搭載第 8 代 Intel^® Core^™ 處理器的 Intel^® NUC8i5BEK，在這類工作負載提供的價值最高，每個 FPS 的平均成本每個月僅逾 4 美元。」

每 FPS 的處理器成本已揭露

ComBox 工程團隊利用主要深度學習處理器的數個選項，展開他們的每 FPS 成本實驗。這些選項包括多家供應商的晶片、繪圖卡和加速器模組。他們測試這些平台時，採用的是兩種常見的圖片分類卷積神經網路（CNN）：U-Net 與 DarkNet-19。ComBox 評估針對 U-Net 演算法使用的圖片輸入大小為 768 x 512 像素和 576 x 384 像素，針對 DarkNet-19 使用的是 256 x 256 像素圖片資料。

這兩種 CNN 是單獨在個別處理元件執行，甚至連裝置都是同一部。換句話說，同時包含 CPU 和 GPU 或整合式圖形處理器的裝置，例如精選的 Intel Atom^® 處理器、Intel Core 處理器，或是搭載任一處理器的 Intel NUC 平台，皆經過超過一次的測試。在所有情況中，類神經網路皆以 Intel^® OpenVINO^™ 工具組或 TensorFlow/TensorRT 引擎這類架構最佳化。

為了計算每個競爭者的價值，ComBox 測試人員直接用其各工作負載 FPS 效能除以產品成本，然後選取在所有工作負載提供最高價值的裝置。如前所述，NUC8i5BEK 提供了最佳的成本/效能價值。

利用視訊編碼/解碼作弊碼打敗評測基準

NUC8i5BEK 採用 Intel Core i5-8259U。但是在 ComBox 一連串的推斷評測基準測試中，裝置 CPU 並非貢獻最佳成本效益的唯一因素。整合式 Intel Iris Plus 655 圖形處理器也是。但這並非 NUC 僅有的能耐。

雖然 Core i5 CPU 核心並未在演算法執行本身發揮作用，但它們確實處理了圖片編碼與解碼，讓圖形處理器繼續專門負責推斷工作負載。這並不代表評測基準中的其他 SoC 和卡並未善用類似的架構。有些其實利用了。但是 Intel^® Iris^® Plus 655 顯示晶片、多執行緒四核心 CPU 搭配 OpenVINO，以更低的價格點提供了優於f所有對手的效能。

Rytvinskiy 表示：「根據評測基準結果，我們設計了伺服器中的 NUC8i5BEK。」平台最多可針對 80 個 Full HD IP 攝影機視訊串流同時執行類神經網路。