軟體工具

人工智慧正在顛覆產業、創造機會、提升客戶體驗。人工智慧開發人員是這場革命的先鋒，他們正在打造未來的解決方案。因此，他們必須配備合適的工具，才能將他們的人工智慧解決方案和電腦視覺應用程式付諸實現。

為了了解開發人員應該跟上的最新趨勢和技術，我們採訪了 Intel 的 Bill Pearson，網路與邊緣事業群副總裁、解決方案工程總經理；以及 Adam Burns，物聯網副總裁、邊緣推論產品總監。Pearson 和 Adams 討論了產業趨勢，以及 Intel 的技術、工具和程式，讓開發人員更容易保持領先。

推動物聯網、邊緣和人工智慧解決方案需求的產業趨勢是什麼？

Bill Pearson：有四個產業趨勢浮現在腦海中：

• 世界正變得越來越軟體化。這在網路、應用程式和基礎設施方面都是如此。人工智慧已經在幾乎每種使用案例中變得更加普遍。
• 變化速度正在迅速加快。
• 在這個領域，世界發展的速度正在加快，我們也在迅速前進。
• 現代人工智慧開發人員所期望的簡潔性和可用性，需要我們朝著這個方向努力。

把它想像成雲端原生範式：開發者所積累的所有經驗教訓，他們現在期望能夠應用到任何其他地方。

參考蘋果在手機領域的做法。他們向我們展示，任何體驗都應該是令人愉快的。它應該是簡單且直接明瞭的。現在，這種期望正在進入開發領域。總結一下，基本上我們需要建立軟體定義的人工智慧應用案例，讓人們能夠在日常生活中輕鬆應用。

Adam Burns：我完全同意。如果您將這些趨勢應用於市場變化，特別是在邊緣物聯網（IoT）領域，過去幾年中一直存在的慢燃現象已經迅速加速。在 Intel 於30多年前開始的嵌入式世界中，焦點是可靠性。開發者當時正在尋找一種極為可靠的軟體和硬體結合，可以在生產中使用 5 到 10 年而不必擔心它。現在的轉變是「我想知道該裝置和它所處系統中發生的一切。我想知道如何使它更加有效率。」

這是由 Bill 所提到的軟體定義系統、人工智慧以及所有這些事物的整合所實現的。這種從開發者和操作者思維的轉變，從根本上改變了人們的需求，與我們傳統上對嵌入式運算的看法有所不同。

在建立邊緣人工智慧應用程式時，開發者會面臨哪些挑戰？

Bill Pearson：第一個挑戰是該如何入門？在這個行業中有如此多的選擇和很多雜音。首先，人們正在詢問如何踏上實現他們的目標和關鍵績效指標（KPIs）的道路。接下來，他們正在尋找在其獨特的使用案例中實現目標的最有效方式。

第三，開發者希望找到能最適合其使用情境的正確解決方案。舉例來說，如果他們從供應商那裡取得某個參考解決方案或產品，那麼這是否會滿足他們的需求意圖？對於 Intel 來說，重點在於我們如何幫助開發者，確保他們不僅能實現他們的目標，而且所選擇的解決方案有助於引導他們實現目標。

解決方案的一部分是其中使用的硬體。我把這個留到最後，因為這不是開發者的首選，但它是一個重要的選擇。Intel 希望讓開發者更容易使用適合他們，能夠提供最佳結果的正確硬體。因此，他們不會建造過於龐大、耗能過多、產生過多熱量或不適合物理空間的東西，特別是在邊緣設備。

Adam Burns：假設我想要開發一個電腦視覺應用程式，用於在裝配線上進行機器缺陷檢測。市面上有許多優秀的分類模型可供使用。舉例來說，我們的合作夥伴 Hugging Face 在人工智慧領域擁有最龐大的模型生態系統之一，其中包括許多適用於電腦視覺的模型或轉換器。

現在他們已經有一個表現良好的通用模型，該如何對其進行微調以適應其特定應用？一位經驗豐富的資料科學家可能會希望使用大量資料並自行進行訓練。但是應用程式開發者可能希望使用像 Intel^® Geti^™ 這樣的專用工具，它可以在有限的訓練計算量和計算能力下處理相對較少的資料，並能夠生成非常精確的模型。

那麼，他們如何部署，以使其最佳化適合適當類型的硬體？開發者可以使用類似 Intel^® DevCloud、Intel Geti 和 Intel^® Distribution of OpenVINO^™ 工具套件之類的工具，將模型壓縮到適合邊緣運算的大小。然後他們可以使用 DevCloud 來確定是最適合在具有 GPU 的 Intel^® Core^™ 上運行，還是應該在 Intel Atom^® 上運行。或者他們是否需要升級到 Intel^® XEON^®，因為工作負載較重？正如 Bill 所談到的，這些是在找到適當的應用程式、針對特定目的進行調整，並確保它部署在正確的硬體上所需做的決策。

我們希望引導開發者完成整個工作流程。我們發現，特別是在人工智慧領域，超過 50% 的開發者對這些模型的想法並未最終投入生產。對我們來說，重點是簡化他們進入生產並以最具成本效益的方式部署解決方案的過程。

還有哪些 Intel 工具可以簡化這條路徑？

Bill Pearson：Adam 做了很好的介紹。當你考慮解決方案時，讓我們看看 Intel^® Edge Software Hub 以及它所提供的所有參考實施案例。例如，一位開發者想知道如何組合一個無摩擦結帳的解決方案。如果您願意，Edge Software Hub 可以向他們展示不同元素如何組合在一起，幫助他們編寫程式碼來實現它，然後他們可以進行實驗。

您會越來越看到這一點。我們提供 Jupyter Notebooks，這是擴充版的 OpenVINO 工具套件的一部分，其中包含開發者可以立即應用的實際範例集，現在可以在 DevCloud 上運行。因此，他們可以立即說：「我對人工智慧解決方案感興趣，我可以使用 OpenVINO，我有這些 Jupyter Notebooks，現在就讓我試試看。」

就像 Adam 所說的，我們將這些東西組合在一起，形成一個工作流程，他們可以在其中可視化他們想要建立的解決方案，使用我們提供的範例和參考資料來實現它。然後他們可以立即使用我們的工具，了解如何應用它，需要哪些硬體。當然，他們隨時可以使用 Geti 和 OpenVINO 來找出如何將其建構到他們最終要部署的產品中。

您能再多談談 OpenVINO^™ 工具套件嗎？

Adam Burns：OpenVINO 的目標是從模型和網路的角度擴充其範圍。雖然我們最初專注於電腦視覺，但我們看到了更多多模態的人工智慧應用。一個工業的例子是使用電腦視覺應用程式來識別缺陷，並使用聲音特徵來監聽馬達或軸承，以確定該系統是否可能發生故障。

我們看到越來越多的客戶對使用生成式人工智慧感興趣，結合不同類型的人工智慧技術，我們正在擴充 OpenVINO 以跟上這些類型的模型。例如，我們與 Hugging Face 合作發表關於穩定擴散性能的部落格文章。我們正在開發新的開放式聊天機器人系統，例如 Dolly 和 LLaMa，以確保我們有適合它們的正確性能。我們繼續專注於範圍和開發者效率。

因此，我們提供多樣化的路線圖，以滿足多樣化的開發者需求。隨著 OpenVINO 23.0 的發布和我們 CPU 路線圖中性能和效率核心的引入，我們已經將這些核心的使用達到自動化，以實現對系統和運行在其上的工作負載最高效的運用。

OpenVINO 如何支援新趨勢，例如生成式人工智慧？

Adam Burns：從市場的角度來看，生成式人工智慧已經成為每個企業每次討論的一部分。我們看到了巨大的需求，生成式人工智慧正在引發這些討論。

我們一直致力於透過多種技術來將 OpenVINO 達到最佳化，例如從熱門的自然語言處理（NLP）風格模型和 ChatGPT 開始。我們關注 OpenVINO 內部的最佳化和可移植性。

但是它並不是每個問題的答案。生成式人工智慧的強大之處在於，當您開始考慮不僅是主要應用程式，還有所有的整合工作時。它具有理解介面的能力，可以幫助客戶自動化整合、系統設定以及各種不同的事情。這使操作員和開發者極具效率。

業界的頂尖人工智慧開發人員說，他們現在只需要寫 20% 的程式碼，因為生成式人工智慧已經完成了大部分的程式碼編寫和設定工作。我真的可以專注於演算法和我正在增加價值的獨特領域。因此，這是一個驚人的力量倍增器，可以提高開發者的效率。看到企業正在開發的各種應用程式真的很有趣。從 OpenVINO 的角度來看，不僅在雲端中支援，還要適應和微調這些模型，使它們特別適用於邊緣運算是至關重要的。

Bill Pearson：儘管經過多年的研究，但現在還只是剛剛開始的階段。當生成式人工智慧走入公眾視野時，它提高了人們對人工智慧的認識。但是它也帶來了更多的實驗，事實證明它在這方面表現出色。有很多有趣的應用案例正在被探索，但我認為故事還沒有寫完。

我覺得有趣的是，我們正在進行兩件事。一個是生成式人工智慧創造了這種可能性的藝術。這個故事只是一個為想像而存在的故事，我們將對它的未來發展感到驚訝。實際上，很多客戶今天可以將這作為一個機會來探索他們真正需要的是什麼：他們想要實現的關鍵績效指標（KPIs），他們要實施的使用案例。但在很多情況下，我們可以在不使用生成式人工智慧的情況下做到這一點，坦白說，有很多更專注且更具成本效益的優秀解決方案可以幫助實現這一目標。關鍵是幫助我們的客戶找到解決他們試圖解決的問題的正確解決方案。

對於想要深入了解的開發者，他們該如何入門？

Bill Pearson：如果你想要建構解決方案，Intel^® 開發者專區是一個很好的起點。您會找到所有由 Intel 提供的工具，比如 Edge Software Hub 和 OpenVINO。如果你對建構邊緣人工智慧應用程式感興趣，你可以直接前往 OpenVINO.ai，這是另一個很好的起點。

Adam Burns：我認為我們生活在一個人們希望親自動手和嘗試各種事物的世界中。這就是人們可以使用 Edge Software Hub 來深入研究解決方案並理解它們的地方。

有什麼其他想要在我們的對話中補充的嗎？

Bill Pearson：對我來說，現在是這個行業最好的時代，市場變化的節奏令人興奮，軟體定義一切，人工智慧變得如此普及。作為開發人員，這是一個令人興奮的時代，也是我們所有人一起努力創造這些現代解決方案的令人興奮的時代。

Adam Burns：延續 Bill 所說的，看到開發人員、客戶和合作夥伴能夠運用我們的技術所取得的成就，是非常令人滿足和有回報的。舉個例子，皇家布朗普頓醫院 (Royal Brompton Hospital) 在兒科肺部疾病檢測方面的應用。恰巧，我表妹的女兒患有肺病。有些情況下，我們立即可以看到實際的價值，無論是確保某人更快地獲得他們所需的診斷，還是使工廠更加有效率。能夠成為其中的一份子，並讓開發人員能夠創造出他們所能創造的，是一件非常令人滿意和有成就感的事情。
 

本文由 insight.tech 編輯副總監 Christina Cardoza 編輯。