傳播 AI：加速開發者成功的關鍵

June 26, 2023

Christina Cardoza

開發商的成功

愈來愈多 AI 嵌入任務關鍵的應用程式，包括製造業的缺陷偵測、零售業的客戶行為分析，乃至於智慧城市的交通偵測。AI 制霸一切。但要實現這些功能，即訓練 AI模型，以及將其真正轉化為商業價值，需要投注大量的時間與精力。

值得慶幸的是，Intel 年復一年精益求精，使 AI 更易於使用。今年 Intel 歡慶 OpenVINO^™ 工具組五週年，以及 OpenVINO 2023.0 的發布。它剛發布 Intel^® Geti^™ 解決方案，專為讓開發者更輕鬆地與業務方進行合作。Intel OpenVINO 架構師 Yury Gorbachev 與 Intel AI 軟體推廣員 Raymond Lo 為我們介紹一切須知（影片 1）。

影片 1。Intel 的 Yury Gorbachev 與 Raymond Lo 探討 AI 的發展以及 OpenVINO^™ 持續扮演的角色。（資料來源：insight.tech）

近期在 AI 的發展中，您看到哪些趨勢？

Yury Gorbachev：AI 已是主流。相當多的使用案例正在透過 AI 解決，包括客戶監控、道路監控、安全性、病患健康檢查，這些應用皆已成主流。

但我認為過去一年中，人們對 AI 的看法以及它能解決的問題上發生了巨大的變化。我指的是生成式 AI，以及現在的 ChatGPT、Stable Diffusion 以及所有模型的熱門趨勢。我們見證了影像產生、見證了影片產生、見證了影片畫質提升、見證了文字產生。這些功能都發展神速。回首 10 年前左右，當時深度學習的採用呈現爆炸式成長，如今生成式 AI 也發生同樣的狀況。

能不能和我們談談開發者的進展？

Raymond Lo：若要與開發者合作，必須自己成為一名開發者。我大概在 10 到 12 年前與團隊建構了第一個神經網路。我試圖釐清如何追蹤指尖，確保攝影機能理解我在它面前做的動作。我們花了三個月的時間才搞懂如何訓練第一個模型。換成今天，如果我把它交給 Yury，也許兩天後就統統搞定了。可是在當年，光是建構一個極其簡單的神經網路，就花了我很長時間。

最後當然成功了；我釐清它的運作方式。但經過多年的發展，如今架構已問世；TensorFlow 與 PyTorch 更易於使用。當時我是使用自己的 C++ 程式進行運算。很死硬派，對吧？現在大家用的是 OpenVINO。

現在我與社群的開發者交談，聊的是 OpenML、GPT，產品功能一應俱全。您不必擔心那麼多，因為如果犯錯，猜猜怎麼著？變！它不會再運行，或者會給出錯誤的結果。現今有價值的地方在於，我有一套工具與資源，因此一旦有人問我，我可以迅速給出一個經過驗證的答案。如今 Intel 為人們提供這個經過驗證的工具。

您如何與開發者合作建構這些類型的解決方案？

Raymond Lo：我與年輕開發者交談時，我傾聽他們的心聲。「你需要什麼，才能讓某些東西照你所需的方式運行？」這麼說好了，假設有人想在購物中心安裝攝影機。他們需要考量隱私，倘若是在極為耗電的裝置上執行又希望它保持隱蔽，則也要考量散熱。某些使用案例需要非常獨特的系統。使用者希望它置於工廠並且處於邊緣。他們不想上傳這些資料，想要確保一切都在現場進行。

因此我們考慮產品組合，這正是 Intel 所具備的。依我看，與客戶的合作愈多，我們正在嘗試收集這些使用案例，並為他們建構這些解決方案套件。但我不需要所費不貲的超級電腦進行推斷。

Yury Gorbachev：您說得完全正確。我會說，最被低估的平台就是您桌上的那台電腦。大多數開發者實際上使用的是搭載 Intel 技術的筆電或桌電。而 OpenVINO能夠在這些裝置上運行，並為我們所說的情境提供相當出色的 AI 效能。無需資料中心為您處理影片、執行風格轉換、偵測車輛和人員。這是我們多年以來一直試圖向客戶與開發者展示的。

從商業角度來看，完全相同的平台在攝影機與影片處理裝置等裝置上運行。這一切都始於每位開發者所擁有的基本款筆電。

您如何看待過去幾年 OpenVINO^™ 的進展？

Yury Gorbachev：最初我們從開發 OpenCV 著手。因此我們從 OpenCV 範例借鑑許多，也從 OpenCV 理念借鑑不少。我們在 OpenCV 上處理大量電腦視覺，因此最初要處理 OpenVINO 的電腦視覺使用案例。然後我們著手開發這個開源工具組，以部署 AI 模型。

後來，隨著歲月的流逝，我們見證了 TensorFlow 的成長和 PyTorch 的爆發。所以我們必須跟上這個趨勢。我們見證了近距離影像分類，接著是物件偵測與分割等場景的演進。我們最初只製作執行階段；然後開始開發最佳化工具，最終新增訓練時間最佳化工具。

所以，我們一開始從電腦視覺著手，但隨後在 NLP 領域，也就是文字處理領域，發生了巨大的爆炸性變化。因此我們必須大幅改變在 API 中處理推斷的方式；為了支援這些使用案例，我們在生態系統中做了許多改變。如今我們見證了生成式 AI、圖像產生和影片產生的演進。因此我們也在適應這些領域的發展。

我們與合作夥伴密切合作；我們團隊之間也進行大量合作，以便這些技術始終擁有 Intel 效能最佳的架構。我們最近研究了世代之間演進的規律，成長不只 5% 或 10%，有時是前幾代的兩三倍。

能否談談 OpenVINO^™ 與 Intel^® Geti^™ 如何協同合作？

Raymond Lo：這實際上取決於您想要解決什麼問題。Geti 填補了兩者之間的訓練差距，您可以提供一組您希望演算法識別的資料。它可以是缺陷，可以像是模型或物件的分類。如今我們提供這個介面，為人們提供工具。工具也有這些微調參數，您可以根據自己的需求確定訓練方式。

甚至可以將它和資料集一起使用，這樣每次訓練時都能加上註解。我們稱之為主動學習方法。提供足夠的範例後，AI 會為您解決剩餘的問題。這是 Geti 真正的功能。現在您有多種辦法解決這個問題：只要取得能在 OpenVINO 上部署的模型即可。

您對 AI 的未來有何看法？

Yury Gorbachev：很難確切預測一年內會發生什麼，或透過 AI 可能出現哪些潛在情境。但有一點我可以肯定：我認為我們可以完全相信，我們現在看到的，所有使用生成式 AI 的使用案例—圖像產生、影片、文字、聊天機器人、個人助理等等，這些功能最終都將在邊緣執行。主要是因為人們希望將這些功能部署在邊緣。

人們希望在本機編輯文件；與自己的個人助理進行對話，不必將要求傳送至雲端，以享有一點隱私。同時，您希望快速完成這項任務，而在邊緣通常會比在雲端作業更有效率。這就是 OpenVINO 能扮演關鍵角色的地方，因為我們將嘗試在一般筆電上執行這些任務。

最初，筆電效能不足。顯然，最初在最化與您會達到的效能之間有些折衷取捨。不過最後需求會高到筆電不得不去適應。

Raymond Lo：就像 Yury 所說的，由於情勢瞬息萬變，很難為事物建立模型。但總有什麼是我不論如何都能建立模型的吧：只要有一項成功的技術，就一定會有採用曲線，對吧？這稱為必然發生的趨勢。「必然發生」表示每個人都會明白它是什麼。在 2023 年 OpenVINO 版本中，我們的下載量達到 100 萬次。這個數字意義重大。這代表市場正在採用它，而不是雖然優秀但沒人再次使用的技術。

我可以告訴您，一年後我們擁有的 AI 將會更卓越。

OpenVINO 五週年與最新版本有何重要意義？

Yury Gorbachev：這個版本的效能持續提升。我們正致力發展生成式 AI，並在多個平台上改善生成式 AI 的效能。但最明顯的是，我們開始支援 GPU 上的動態形狀。我們下了很多苦功，終於得以在 GPU 上執行大量的文字處理情境，包括整合式 GPU與獨立 GPU。我們正在研究聊天等功能，我認為就連它們也能在整合式 GPU 上執行。在提高效能等方面仍有可以改進的空間。但一般而言，以前百分百天方夜譚的事，現在冒出可能成真的曙光。

第二件重要的事：我們正在簡化量化與模型最佳化體驗。我們正在開發一種工具，可以透過 Python API 實現所有功能，更適合資料科學人員使用。此外，我們也開始支援 PyTorch 模型，直接轉換 PyTorch 模型，目前還是試用階段。雖然尚未達到生產就緒的狀態，但團隊對此非常興奮。