工業場景下IOT數據處理

昨天偶然聊起工業場景下IOT時序處理問題，有人討論時序數據庫哪家強，有人詢問數據收集應該用云服務商的PaaS還是自己搭建，不一而足。筆者認為沒有最強的產品，只有最合適的架構。拋開具體應用場景而去談單一產品性能，無異于緣木求魚，刻舟求劍。針對客戶具體情況，選擇相應的架構，靈活結合開源工具和云廠商服務；同時以實用性為原則，解決問題而非為了所謂的最新科技而選擇一些實用性有限的產品。在此分享個人一點看法，水平有限，拋磚引玉，歡迎切磋討論。

首先，我們可以把整個系統分成幾部分，隨后逐一探討。在此暫且采用將整個架構分為，終端、分析、行動三部分。

在“終端”部分，微軟近期動作很大，預期投入50億美金進行IOT研發的大部分都花在了這里，其中產品AzureSphere備受期待，目前已經和臺積電等廠商聯合生產開發中，×××還要飛一會~其最大的優勢就是雙套安全機制，確保客戶終端安全

暗黑科技Azuresphere傳送門：https://azure.microsoft.com/en-us/services/azure-sphere/

在“分析”部分，微軟IOT solution包含了豐富的產品。

傳送門：https://azure.microsoft.com/zh-cn/overview/iot/

先從數據收集說起，常見幾種收集方式如下：

其中最常被比較的兩種方式為使用云廠商PaaS （在此以微軟IOT Hub，Event Hub為例）vs 開源自建（在此以Kafka為例），對比如下：

真實工業情況下，能否用云廠商PaaS收集數據往往其決定因素的是客戶終端設備，特別是該設備支持的協議。比方Honeywell的工業機器大部分可以用微軟IOT收集數據；比方Siemens自成體系，并未開放，微軟只能在Siemens自己收集完數據，加工整理之后，通過客戶傳給微軟，做做數據分析展現之類的后續工作。

其中IOT Hub還在不斷演進當中，接下來devices streams即將登場，會給設備端鏈接帶來更好的易用性和安全性：

https://azure.microsoft.com/zh-cn/blog/introducing-iot-hub-device-streams-in-public-preview/

如果客戶使用開源，會常見Kafka, Flume, Storm等名詞，可參見以下blog，內有基礎介紹和分步驟代碼：

http://www.cnblogs.com/smartloli/p/4615908.html

https://www.cnblogs.com/smartloli/p/4632644.html

數據存儲、計算各家云廠商都有功能強大的服務，所實現功能也大同小異，在此不贅述。謹在此提兩個技術細節問題供探討：

數據庫選擇：時序數據庫雖然喧囂之上，但是實際應用者寥寥。針對需要長期展現的類似matrix數據有一定應用場景價值。更多情況下，傳統數據庫或者Hadoop體系就有均有豐富的最佳實踐，選擇時根據實際情況而定，簡簡單單能夠解決問題就好。

壓縮數據：這項技術特別容易被忽略，但是特別是在大數據量情況下可以考慮。在這里需要做一個平衡，就是壓縮和解壓縮帶來計算量的增大和存儲/網絡負載減少之間的取舍。其好處一方面顯而易見的好處是壓縮數據可以節約存儲成本，還有可以在分布式計算情況下節約各個節點之間傳輸數據的網絡壓力，減少傳輸時間，從而增加運算速度。

常見壓縮工具對比如下：

接下來就是數據分析引擎的選擇，常見選擇標準為查詢的兼容性和時延：

除了工具推陳出新，隨著架構的演進，現在serverless大行其道，傳統架構也可以進擊發展為分為fast path和slow path雙通道的全自動連接架構。

“行動”部分，根據客戶具體應用場景而定，有的采用預防性維護，有的采取遠程開關機等等，在此不展開。

工業數據分析曾經甚囂塵上，似乎傳統制造業要執數字化轉型之牛耳，言必及GE；而隨著一系列泡沫擠出，Predix也落得一個出售的命運，頗有點“看斜陽照大地阡陌，從頭轉“的味道了。作為從業人員，大勢不能違，從小處做起，積點滴，匯江海，共勉之。

技術博大精深，個人能力有限，行文粗鄙，拋磚引玉，歡迎探討指正，共精進。

參考材料：

微軟IOT參考架構：

Azure IoT Reference Architecture Guide

微軟在IOT成熟案例：

Rolls Royce   https://customers.microsoft.com/en-us/story/rollsroycestory

POC含具體步驟的blog在此：

https://mp.weixin.qq.com/s/rMJZ2At6AGVqTVZ5ZB0GLA?

POC代碼在此：

https://github.com/jurejoy/Temperature-Forecast