處理快速資料獲取更快的結果和投資回報

March 2, 2017

試圖透過部署大型物聯網（IoT）感測器網路來實現業務轉型的公司，大多會在將行業物聯網（IoT）應用投產時遭遇挑戰。如果使用Intel® IoT Gateway Technology（英特爾物聯網閘道技術），則可輕鬆令此類感測器連接雲端，不過許多公司都還在探尋如何在公司運營中高效使用來自感測器及其他流資料來源的資料。 McKinsey & Company發佈的一份報告表明，提高感測器資料利用率，到2025年可每年提升價值11.1萬億美元的生產力，然而目前許多行業實際分析感測器資料的比例只有百分之一。我們這個行業任重而道遠。

釋放此類生產力的秘訣之一在於提高處理「快速資料」的效率。快速資料與其他資料不同，它會大量生成，且價值極具時效性。可以想想點選流向資料、金融股票資料、記錄檔聚合、即時進程感測器資料等大資料。這些快速事件可以每秒發生成千上萬次。如果系統只是將快速資料轉儲至Hadoop分散式檔案系統（HDFS）、分析型關聯式資料庫管理系統（RDBMS）或平面檔案，那麼就會錯失立即採取行動或發出警報的機會。

Objectivity，一家致力於服務全球1000強公司和主流政府機構的矽谷公司，針對這個難題提出了一些突破性方案。他們的方案能夠即時結合多方資來源資料，用於支援執法、網路智慧、地球科學、電信、能源、物流等實施IoT應用之行業的高級分析。

為幫助開發者更快優化快速資料IoT方案，Objectivity於2015年末宣佈，支援英特爾於2015年推出的作為英特爾物聯網平臺一部分的開源Trusted Analytics Platform (TAP，可信分析平臺)。本文將先介紹Objectivity的ThingSpan*方案，再探討其對TAP的重要支援作用。

>IoT資料融合平臺

ThingSpan是一種致力於將來自多方資源的感測器快速資料和企業大資料進行即時關聯以促進高級解析的目的型資訊融合平臺。這個大規模分散式平臺能夠將強大的物件資料建模技術與Hadoop和Apache Spark的高性能平行處理相結合，創造出更快更高效的大資料規模關鍵任務應用支援途徑。

搭載於大資料平臺的大多數融合應用都依賴於批次處理，但批次處理至少需要花費幾個小時甚至幾天，而依託于ThingSpan的融合應用可以即時收集和詮釋資料，並根據企業現有資料分析新資訊。ThingSpan融合應用能夠以最優速度和最強處理能力從廣泛結構化和非結構化資源獲取資料並分析其內在關係，從而挖掘時效型資料的價值。

ThingSpan採用等級制物件資料模式，令企業能夠從其大資料檔案和來自IoT感測器及裝置的即時流資料中發現新的模式和聯繫（圖1）。一旦收集到新資料，就會立刻根據現有查詢進行分析，因此不會造成採取必要行動和接收寶貴解析過程中的延遲。

圖1. ThingSpan架構令企業能夠從其大資料檔案和即時流資料中發現新的模式和聯繫。

ThingSpan能夠將人物、地點、事件和裝置的相關資料組織成實際物件，令關係資訊得以存留，從而不必像傳統關聯式資料庫那樣需要不斷跨越不同資料表聯合資料獲取要求，也就不必像該過程那樣昂貴、費時和低效。如果本地系統能夠支援HDFS、YARN、Spark和Kafka等大型開源項目，ThingSpan所提供的方案就能令行業IoT業界領袖從其資料流程中獲取即時解析並收穫IoT投資回報率。

ThingSpan組件包括：

HDFS版ThingSpan，適用於Hadoop HDFS環境，能夠簡單高速地進行處理和分析
Apache Spark版ThingSpan，提供Spark適配器，令使用者能夠管理Spark DataFrames並將ThingSpan收集的資料轉換成Spark元件，如SQL和MLlib（圖2）
ThingSpan Metadata Store，令使用者能夠透過預定義中繼資料方案來定義資料關係，從而將這些關係儲存在記憶體中
Thing Span Rest API，為定義和管理查詢以及轉換資料提供簡單介面

圖2. ThingSpan的高級儲存層能夠與SparkSQL充分整合，以優化處理層內外資料的活動。

用TAP加速投產時間

TAP的面世，令Objectivity看到了幫助開發者和ThingSpan客戶加速行業IoT應用投產時間的機遇。英特爾開發了TAP這個開源項目，旨在令資料科學家能夠更快更簡便地部署大資料分析。將融合工作流納入TAP，可以極大地提高用快速流資料充實大資料過程的執行性能。

TAP為在公開和私人雲端進行高級分析提供了共享型彈性環境，令開發者、資料科學家和系統操作員能夠更加簡便地進行合作。其可擴展環境能夠將許多開源元件整合進單個綜合型平臺，該平臺具備多種易於整合的工具和服務，無需重新建立現有功能（圖3）。這樣，資料科學家和開發者就能夠專注於自身專業價值領域，而不用陷入複雜整合項目（圖4）。