您好,登錄后才能下訂單哦!
小編給大家分享一下Hadoop的誤解有哪些,相信大部分人都還不怎么了解,因此分享這篇文章給大家參考一下,希望大家閱讀完這篇文章后大有收獲,下面讓我們一起去了解一下吧!
Hadoop是一種用于存儲和分析大型數據集開源軟件框架,可處理分布在多個現有服務器中的數據。Hadoop適合處理來自手機、電子郵件、社交媒體、傳感器網絡和其它不同渠道的多樣化、大負荷的數據,因此通常被認為是一種大數據操作系統。而這正是第一個誤解的來源:
1、Hadoop是一個完整的解決方案。
事實并非如此。無論你把它稱為“框架”或“平臺”都可以,只是不能認為Hadoop可以解決大數據方面的所有問題。
“市場上沒有標準的Hadoop產品,”《太大而無法忽略:大數據的商業案例》一書的作者菲爾·西蒙說:“這不像別的東西,你可以從IBM或SAP那里,得到一個標準的數據庫。”
然而西蒙不認為這是一個長期的問題。首先,由于Hadoop是開源項目,許多其他Hadoop相關的項目,如Cassandra和HBase,都可以滿足特定的需求。HBase提供的分布式數據庫,支持大數據表的結構化數據存儲。
此外,正像紅帽、IBM和其他廠商將Linux打包成各種用戶友好的產品一樣,有很多大數據方面的創業公司,正在對Hadoop做同樣的事情。所以,雖然Hadoop本身不是一個完整的解決方案,大多數企業實際上還是會在比較完整的大數據解決方案中遇到它。
2、Hadoop是一種數據庫。
Hadoop是經常被當作數據庫,但事實并非如此。Damballa安保公司的一名軟件工程師,Marshall Bockrath-Vandegrift說:“Hadoop核心中沒有任何類似于查詢或索引的核心平臺。”Damballa公司利用Hadoop來分析實時的安全風險。
“我們使用HBase來幫助我們的風險分析師針對被動DNS數據運行實時查詢。HBase和其他實時技術不僅與Hadoop是互補的,而且多數依賴Hadoop核心的分布式存儲技術(HDFS)來實現高性能的分布式數據集的訪問。”他補充說。
Bloom Reach數據營銷分析公司的科學家Prateek Gupta也表示:“Hadoop不是為替代數據庫系統而生的,但卻可以用來建立數據庫系統。”
3、企業級Hadoop應用過于冒險。
許多企業擔心Hadoop太新,未經考驗,不適合企業級應用。沒有什么想法比這更錯誤的了。別忘了,Hadoop是基于谷歌文件系統的分布式存儲平臺和運行于該文件系統上的GoogleMapReduce數據分析工具建立的。雅虎在Hadoop上投入了資金和精力,并于2008年推出其第一個大型Hadoop應用,一種搜索“站點地圖”,可對所有已知的網頁和相應的元數據進行索引,從而完成對這些頁面的搜索。
現在,Hadoop被包括Netflix、Twitter和eBay等公司所采用,包括微軟、IBM和甲骨文這樣的公司都有Hadoop工具出售。目前,將Hadoop稱為“成熟”的技術還為時尚早,這一點與任何大數據平臺的情況類似,然而它確實已經得到了大型企業的采納和驗證。
這不意味著它是一種沒有風險的平臺,安全問題本身就是一個比較棘手的問題。但企業遠不該就因此被Hadoop平臺的年輕而嚇跑。
4、要使用Hadoop,就得請一堆程序員。
取決于你要做的事情,這個說法或許是對的。如果你計劃開發優秀的下一代Hadoop大數據套件,可能需要專業的Java和MapReduce編程人員。反過來,如果你愿意利用他人的成就,編程就不是一個問題。數據集成供應商Syncsort的建議分析師們利用Hadoop兼容的數據集成工具來運行高級查詢,這樣做無需任何編碼工作。
大多數數據集成工具都有圖形化界面,可以屏蔽MapReduce編程的復雜性,很多還帶有預置的模板。此外,包括Alpine Data Labs、Continuuity和Hortonworks在內的創業型公司,還提供可以簡化大數據和Hadoop應用的工具。
5、Hadoop不適合中小企業。
許多中小企業擔心會被“大數據”的趨勢拒之門外。IBM、甲骨文等大型廠商自然傾向于兜售大而昂貴的解決方案。這并不意味著市場上沒有適合中小企業的相關工具。
云計算正在迅速推動一些尖端技術的大眾化應用。“云計算正將資本支出轉化為運營成本,”《大數據》的作者菲爾·西蒙指出。“你可以和Netflix利用相同的云服務。同樣的事情也開始發生在大數據領域,一個只有五個員工的企業,照樣可以使用Kaggle。”
Kaggle稱自己為“在數據問題和數據方案間搭建橋梁的市場。”例如,創業公司Jetpac以5000美元懸賞一種算法,以找出最有吸引力的度假照片。多數度假照并不好,而從中篩選是一個繁瑣,耗時的過程。
Jetpac讓人手工評選出了30000張照片,并且尋求一種能夠與人工方式類似,只是通過分析元數據(照片大小、標題,描述信息)來進行排序的算法。如果該公司自行開發這一算法,花的錢絕對不止5000美元。而且他們只能得到一種方案,而不是從各種方案中優選。Jetpac的圖像處理工具,最終幫助其獲得了240萬美元的風投資金。
6、Hadoop比較便宜。
這個誤解對任何開放源代碼的軟件都適用。省下最初的采購成本,并不意味著你一定會省錢。例如,云計算的問題之一就是,要在亞馬遜平臺上建立一個科研項目非常容易,以致于很多人都在AWS建立了自己的項目,在持續付費的同時,卻忘了這些項目本身。
虛擬服務器的盲目擴張,已經使物理服務器的增加相形見絀。雖然Hadoop可以幫助你存儲和分析數據,但你又如何將老的數據導入到新的系統中?如何實現數據的可視化?如何分享數據?對于這些會更多被大家分享的數據,你又如何去保護它?
Hadoop實際上一種東拼西湊的解決方案。你可以從Cloudera這樣的公司獲得完整的企業級解決方案,也可以著手建立自己高度定制化的解決方案。無論你選擇的路線如何,都要認真做好預算,因為免費軟件從來都不是真正免費的。
以上是“Hadoop的誤解有哪些”這篇文章的所有內容,感謝各位的閱讀!相信大家都有了一定的了解,希望分享的內容對大家有所幫助,如果還想學習更多知識,歡迎關注億速云行業資訊頻道!
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。