Skip to main content

AI • 物聯網 • 網路邊緣

傳播 AI:加速開發者成功的關鍵

開發商的成功

愈來愈多 AI 嵌入任務關鍵的應用程式,包括製造業的缺陷偵測、零售業的客戶行為分析,乃至於智慧城市的交通偵測。AI 制霸一切。但要實現這些功能,即訓練 AI模型,以及將其真正轉化為商業價值,需要投注大量的時間與精力。

值得慶幸的是,Intel 年復一年精益求精,使 AI 更易於使用。今年 Intel 歡慶 OpenVINO 工具組五週年,以及 OpenVINO 2023.0 的發布。它剛發布 Intel® Geti 解決方案,專為讓開發者更輕鬆地與業務方進行合作。Intel OpenVINO 架構師 Yury GorbachevIntel AI 軟體推廣員 Raymond Lo 為我們介紹一切須知(影片 1)

影片 1。Intel 的 Yury Gorbachev 與 Raymond Lo 探討 AI 的發展以及 OpenVINO 持續扮演的角色。 (資料來源:insight.tech

近期在 AI 的發展中,您看到哪些趨勢?

Yury Gorbachev:AI 已是主流。相當多的使用案例正在透過 AI 解決,包括客戶監控、道路監控、安全性、病患健康檢查,這些應用皆已成主流。

但我認為過去一年中,人們對 AI 的看法以及它能解決的問題上發生了巨大的變化。我指的是生成式 AI,以及現在的 ChatGPT、Stable Diffusion 以及所有模型的熱門趨勢。我們見證了影像產生、見證了影片產生、見證了影片畫質提升、見證了文字產生。這些功能都發展神速。回首 10 年前左右,當時深度學習的採用呈現爆炸式成長,如今生成式 AI 也發生同樣的狀況。

能不能和我們談談開發者的進展?

Raymond Lo:若要與開發者合作,必須自己成為一名開發者。我大概在 10 到 12 年前與團隊建構了第一個神經網路。我試圖釐清如何追蹤指尖,確保攝影機能理解我在它面前做的動作。我們花了三個月的時間才搞懂如何訓練第一個模型。換成今天,如果我把它交給 Yury,也許兩天後就統統搞定了。可是在當年,光是建構一個極其簡單的神經網路,就花了我很長時間。

最後當然成功了;我釐清它的運作方式。但經過多年的發展,如今架構已問世;TensorFlow 與 PyTorch 更易於使用。當時我是使用自己的 C++ 程式進行運算。很死硬派,對吧?現在大家用的是 OpenVINO。

現在我與社群的開發者交談,聊的是 OpenML、GPT,產品功能一應俱全。您不必擔心那麼多,因為如果犯錯,猜猜怎麼著?變!它不會再運行,或者會給出錯誤的結果。現今有價值的地方在於,我有一套工具與資源,因此一旦有人問我,我可以迅速給出一個經過驗證的答案。如今 Intel 為人們提供這個經過驗證的工具。

您如何與開發者合作建構這些類型的解決方案?

Raymond Lo:我與年輕開發者交談時,我傾聽他們的心聲。「你需要什麼,才能讓某些東西照你所需的方式運行?」這麼說好了,假設有人想在購物中心安裝攝影機。他們需要考量隱私,倘若是在極為耗電的裝置上執行又希望它保持隱蔽,則也要考量散熱。某些使用案例需要非常獨特的系統。使用者希望它置於工廠並且處於邊緣。他們不想上傳這些資料,想要確保一切都在現場進行。

因此我們考慮產品組合,這正是 Intel 所具備的。依我看,與客戶的合作愈多,我們正在嘗試收集這些使用案例,並為他們建構這些解決方案套件。但我不需要所費不貲的超級電腦進行推斷。

Yury Gorbachev:您說得完全正確。我會說,最被低估的平台就是您桌上的那台電腦。大多數開發者實際上使用的是搭載 Intel 技術的筆電或桌電。而 OpenVINO能夠在這些裝置上運行,並為我們所說的情境提供相當出色的 AI 效能。無需資料中心為您處理影片、執行風格轉換、偵測車輛和人員。這是我們多年以來一直試圖向客戶與開發者展示的。

從商業角度來看,完全相同的平台在攝影機與影片處理裝置等裝置上運行。這一切都始於每位開發者所擁有的基本款筆電。

您如何看待過去幾年 OpenVINO 的進展?

Yury Gorbachev:最初我們從開發 OpenCV 著手。因此我們從 OpenCV 範例借鑑許多,也從 OpenCV 理念借鑑不少。我們在 OpenCV 上處理大量電腦視覺,因此最初要處理 OpenVINO 的電腦視覺使用案例。然後我們著手開發這個開源工具組,以部署 AI 模型。

後來,隨著歲月的流逝,我們見證了 TensorFlow 的成長和 PyTorch 的爆發。所以我們必須跟上這個趨勢。我們見證了近距離影像分類,接著是物件偵測與分割等場景的演進。我們最初只製作執行階段;然後開始開發最佳化工具,最終新增訓練時間最佳化工具。

所以,我們一開始從電腦視覺著手,但隨後在 NLP 領域,也就是文字處理領域,發生了巨大的爆炸性變化。因此我們必須大幅改變在 API 中處理推斷的方式;為了支援這些使用案例,我們在生態系統中做了許多改變。 如今我們見證了生成式 AI、圖像產生和影片產生的演進。 因此我們也在適應這些領域的發展。

我們與合作夥伴密切合作;我們團隊之間也進行大量合作,以便這些技術始終擁有 Intel 效能最佳的架構。我們最近研究了世代之間演進的規律,成長不只 5% 或 10%,有時是前幾代的兩三倍。

能否談談 OpenVINO 與 Intel® Geti 如何協同合作?

Raymond Lo:這實際上取決於您想要解決什麼問題。Geti 填補了兩者之間的訓練差距,您可以提供一組您希望演算法識別的資料。它可以是缺陷,可以像是模型或物件的分類。如今我們提供這個介面,為人們提供工具。工具也有這些微調參數,您可以根據自己的需求確定訓練方式。

甚至可以將它和資料集一起使用,這樣每次訓練時都能加上註解。我們稱之為主動學習方法。提供足夠的範例後,AI 會為您解決剩餘的問題。這是 Geti 真正的功能。現在您有多種辦法解決這個問題:只要取得能在 OpenVINO 上部署的模型即可。 

您對 AI 的未來有何看法?

Yury Gorbachev:很難確切預測一年內會發生什麼,或透過 AI 可能出現哪些潛在情境。但有一點我可以肯定:我認為我們可以完全相信,我們現在看到的,所有使用生成式 AI 的使用案例—圖像產生、影片、文字、聊天機器人、個人助理等等,這些功能最終都將在邊緣執行。主要是因為人們希望將這些功能部署在邊緣。

人們希望在本機編輯文件;與自己的個人助理進行對話,不必將要求傳送至雲端,以享有一點隱私。同時,您希望快速完成這項任務,而在邊緣通常會比在雲端作業更有效率。這就是 OpenVINO 能扮演關鍵角色的地方,因為我們將嘗試在一般筆電上執行這些任務。

最初,筆電效能不足。顯然,最初在最化與您會達到的效能之間有些折衷取捨。不過最後需求會高到筆電不得不去適應。

Raymond Lo:就像 Yury 所說的,由於情勢瞬息萬變,很難為事物建立模型。但總有什麼是我不論如何都能建立模型的吧:只要有一項成功的技術,就一定會有採用曲線,對吧?這稱為必然發生的趨勢。「必然發生」表示每個人都會明白它是什麼。在 2023 年 OpenVINO 版本中,我們的下載量達到 100 萬次。這個數字意義重大。這代表市場正在採用它,而不是雖然優秀但沒人再次使用的技術。

我可以告訴您,一年後我們擁有的 AI 將會更卓越。 

OpenVINO 五週年與最新版本有何重要意義?

Yury Gorbachev:這個版本的效能持續提升。我們正致力發展生成式 AI,並在多個平台上改善生成式 AI 的效能。但最明顯的是,我們開始支援 GPU 上的動態形狀。我們下了很多苦功,終於得以在 GPU 上執行大量的文字處理情境,包括整合式 GPU與獨立 GPU。我們正在研究聊天等功能,我認為就連它們也能在整合式 GPU 上執行。在提高效能等方面仍有可以改進的空間。但一般而言,以前百分百天方夜譚的事,現在冒出可能成真的曙光。

第二件重要的事:我們正在簡化量化與模型最佳化體驗。我們正在開發一種工具,可以透過 Python API 實現所有功能,更適合資料科學人員使用。此外,我們也開始支援 PyTorch 模型,直接轉換 PyTorch 模型,目前還是試用階段。雖然尚未達到生產就緒的狀態,但團隊對此非常興奮。

相關內容

若要進一步瞭解 AI 開發,請收聽《利用 OpenVINO 加速開發者的 AI 成功》,並閱讀《開發工具讓 AI 在各行各業中落實》。若要進一步瞭解最新版本的 OpenVINO ,請造訪 https://openvino.ai/。若要瞭解 Intel 最新的創新技術,請追蹤 Intel 的 TwitterLinkedIn 帳號。
 

本文由 Erin Noble 編審。

作者簡介

Christina Cardoza is an Editorial Director for insight.tech. Previously, she was the News Editor of the software development magazine SD Times and IT operations online publication ITOps Times. She received her bachelor’s degree in journalism from Stony Brook University, and has been writing about software development and technology throughout her entire career.

Profile Photo of Christina Cardoza