英特爾AI生態兩大利器，讓AI開發更快更簡單

　　 【IT168 評論】今天，大數據與人工智能已經非常普及。像Hadoop和Spark這樣的大數據平臺，幾乎已經成為業界最常見的，對大規模數據進行存儲、處理和分析的平臺。但許多組織、企業的數據科學團隊，在面向AI的實際開發過程中，仍然不免要面臨許多系統和平臺層面的挑戰。

　　英特爾在AI領域布局廣泛，一直致力于提供全棧的技術解決方案，除了面向不同場景的硬件外，也通過不斷完善軟件生態來支撐AI產業發展。在此前舉行的英特爾人工智能大會上，英特爾軟件和服務事業部高級首席工程師、大數據技術全球CTO戴金權分享了兩大軟件“利器”——BigDL和Analytics Zoo。

　　 幫助用戶構建統一的大數據分析與AI平臺

　　據介紹，BigDL是一個由英特爾開發且開源的，基于Apache Spark的開源分布式深度學習框架，它可以幫助用戶直接在已有的Hadoop/Spark集群上開發深度學習工作應用，無需特意將數據從大數據集群上拷貝到獨立的深度學習集群上進行訓練。也可在存儲數據的同一個集群上使用深度學習來進行分析，重用現有的大數據工具(如Spark工作流)構建大規模深度學習應用。

　　Analytics Zoo可以說是BigDL一個擴充，它能夠將不同的軟件框架，如Spark、TensorFlow、Keras等無縫集成到一個端到端的數據處理流水線中，分布式地運行在大規模集群上，并且對用戶透明，幫助用戶構建統一的大數據分析和AI平臺。

英特爾軟件和服務事業部高級首席工程師、大數據技術全球CTO戴金權

　　戴金權表示：“(借助BigDL與Analytics Zoo)用戶能夠在現有的大數據集群和大數據平臺上，在數據存儲的地方直接運行深度學習和AI應用，也能將數據的全生命處理流程——從數據收集、處理、分析，到機器學習、深度學習等，整合到統一的工作流和數據流水線當中，這樣大大提高了開發、運維和部署的效率。”

　　 行業用戶認可，實際應用效果顯著

　　寶信軟件是寶鋼股份控股的上市軟件企業，它的前身是寶鋼的自動化部門。該公司致力于推動新一代信息技術與制造技術融合發展，幫助制造企業從信息化、自動化向智慧制造邁進。為推動智能制造發展，寶信軟件推出了具有自主知識產權的大數據平臺軟件xInsight，探索工業大數據如何在實際應用場景中創造價值。

　　寶信軟件研發團隊與英特爾團隊共同合作，利用了Analytics Zoo解決方案建立了無監督的深度學習的系統，開發了設備故障自動預測的驗證模型。寶信軟件研究開發部總經理董文生表示：“寶信與英特爾目前的合作成果，已經把Analytics Zoo以及BigDL與xInsight大數據平臺做了集成，在我們大數據平臺上可以提供相關的方案。在智能制造領域，我們還將與英特爾一起合作，進一步探索，提供更多解決方案。”

　　此外，戴金權還分享了更案例。美的集團與英特爾團隊基于Analytics Zoo構建了一個高度優化的缺陷檢測解決方案，從而通過計算機視覺自動化地探測流水線上的產品缺陷。利用Analytics Zoo，研發團隊無縫地將Spark、BigDL和TensorFlow程序統一到了一個集成式的流水線中。

　　世界銀行采用了英特爾的Analytics Zoo以及AWS Databricks平臺構建圖像分類模型，Analytics Zoo將復雜的數據處理分析和模型訓練的流水線單一化，幫助研發團隊輕松訓練由69類、近百萬張圖片組成的數據集，實現了高準確性，部分數據集還可實現近乎線性的擴展。

　　超級計算公司CRAY與英特爾團隊共同合作，成功為他們的TB級訓練數據構建了短期降水預測模型，同時確保了極佳的可擴展性。借助Analytics Zoo中基于Apache Spark的可擴展深度學習功能，數據科學家輕松構建了復雜的工作流，充分利用了CRAY的超級計算機。

　　 最后

　　如今的深度學習和AI領域，優秀的算法和框架數不勝數，用于訓練的數據也常常能夠達到要求。但隨著應用場景的增多，AI應用的開發也越來越難，項目流程越來越復雜。英特爾推出的BigDL和Analytics Zoo，在一定程度上很好地填補了在AI開發流程優化以及效率提升方面的空白，能夠幫助開發人員將更多精力集中在模型的優化上，推動應用落地。