分布式與集群的聯系與區別

一句話概括：分布式是以縮短單個任務的執行時間來提升效率的，而集群則是通過提高單位時間內執行的任務數來提升效率。

例如：如果一個任務由10個子任務組成，每個子任務單獨執行需1小時，則在一臺服務器上執行改任務需10小時。

分布式方案：提供10臺服務器，每臺服務器只負責處理一個子任務，不考慮子任務間的依賴關系，執行完這個任務只需一個小時。(這種工作模式的一個典型代表就是Hadoop的Map/Reduce分布式計算模型）

采用集群方案：提供10臺服務器，每臺服務器都能獨立處理這個任務。假設有10個任務同時到達，10個服務器將同時工作，10小后，10個任務同時完成，這樣，整身來看，還是1小時內完成一個任務！

=============================================================

以下是摘抄自網絡文章：

集群概念：

1. 兩大關鍵特性

集群是一組協同工作的服務實體，用以提供比單一服務實體更具擴展性與可用性的服務平臺。在客戶端看來，一個集群就象是一個服務實體，但事實上集群由一組服務實體組成。與單一服務實體相比較，集群提供了以下兩個關鍵特性：

·  可擴展性－－集群的性能不限于單一的服務實體，新的服務實體可以動態地加入到集群，從而增強集群的性能。

·  高可用性－－集群通過服務實體冗余使客戶端免于輕易遇到out of service的警告。在集群中，同樣的服務可以由多個服務實體提供。如果一個服務實體失敗了，另一個服務實體會接管失敗的服務實體。集群提供的從一個出 錯的服務實體恢復到另一個服務實體的功能增強了應用的可用性。

2. 兩大能力

為了具有可擴展性和高可用性特點，集群的必須具備以下兩大能力：

·  負載均衡－－負載均衡能把任務比較均衡地分布到集群環境下的計算和網絡資源。

·  錯誤恢復－－由于某種原因，執行某個任務的資源出現故障，另一服務實體中執行同一任務的資源接著完成任務。這種由于一個實體中的資源不能工作，另一個實體中的資源透明的繼續完成任務的過程叫錯誤恢復。

負載均衡和錯誤恢復都要求各服務實體中有執行同一任務的資源存在，而且對于同一任務的各個資源來說，執行任務所需的信息視圖（信息上下文）必須是一樣的。

3. 兩大技術

實現集群務必要有以下兩大技術：

·  集群地址－－集群由多個服務實體組成，集群客戶端通過訪問集群的集群地址獲取集群內部各服務實體的功能。具有單一集群地址（也叫單一影像）是集群的一個基 本特征。維護集群地址的設置被稱為負載均衡器。負載均衡器內部負責管理各個服務實體的加入和退出，外部負責集群地址向內部服務實體地址的轉換。有的負載均 衡器實現真正的負載均衡算法，有的只支持任務的轉換。只實現任務轉換的負載均衡器適用于支持ACTIVE-STANDBY的集群環境，在那里，集群中只有 一個服務實體工作，當正在工作的服務實體發生故障時，負載均衡器把后來的任務轉向另外一個服務實體。

·  內部通信－－為了能協同工作、實現負載均衡和錯誤恢復，集群各實體間必須時常通信，比如負載均衡器對服務實體心跳測試信息、服務實體間任務執行上下文信息的通信。

具有同一個集群地址使得客戶端能訪問集群提供的計算服務，一個集群地址下隱藏了各個服務實體的內部地址，使得客戶要求的計算服務能在各個服務實體之間分布。內部通信是集群能正常運轉的基礎，它使得集群具有均衡負載和錯誤恢復的能力。

集群分類

Linux集群主要分成三大類( 高可用集群， 負載均衡集群，科學計算集群)

高可用集群( High Availability Cluster)

負載均衡集群(Load Balance Cluster)

科學計算集群(High Performance Computing Cluster)

================================================

具體包括：

Linux High Availability 高可用集群

(普通兩節點雙機熱備，多節點HA集群，RAC, shared, share-nothing集群等)

Linux Load Balance 負載均衡集群

(LVS等....)

Linux High Performance Computing 高性能科學計算集群

(Beowulf 類集群....)

分布式存儲其他類linux集群

(如Openmosix, rendering farm 等..)

================================================

詳細介紹：

1. 高可用集群(High Availability Cluster)

常見的就是2個節點做成的HA集群，有很多通俗的不科學的名稱，比如"雙機熱備", "雙機互備", "雙機".高可用集群解決的是保障用戶的應用程序持續對外提供服務的能力。 (請注意高可用集群既不是用來保護業務數據的，保護的是用戶的業務程序對外不間斷提供服務，把因軟件/硬件/人為造成的故障對業務的影響降低到最小程度)。

2. 負載均衡集群(Load Balance Cluster)

負載均衡系統：集群中所有的節點都處于活動狀態，它們分攤系統的工作負載。一般Web服務器集群、數據庫集群和應用服務器集群都屬于這種類型。

負載均衡集群一般用于相應網絡請求的網頁服務器，數據庫服務器。這種集群可以在接到請求時，檢查接受請求較少，不繁忙的服務器，并把請求轉到這些服務器上。從檢查其他服務器狀態這一點上看，負載均衡和容錯集群很接近，不同之處是數量上更多。

3. 科學計算集群(High Performance Computing Cluster)

高性能計算(High Perfermance Computing)集群，簡稱HPC集群。這類集群致力于提供單個計算機所不能提供的強大的計算能力。

高性能計算分類

高吞吐計算(High-throughput Computing)

有一類高性能計算，可以把它分成若干可以并行的子任務，而且各個子任務彼此間沒有什么關聯。象在家搜尋外星人（ SETI@HOME  -- Search for Extraterrestrial Intelligence at Home ）就是這一類型應用。這一項目是利用Internet上的閑置的計算資源來搜尋外星人。SETI項目的服務器將一組數據和數據模式發給Internet上 參加SETI的計算節點，計算節點在給定的數據上用給定的模式進行搜索，然后將搜索的結果發給服務器。服務器負責將從各個計算節點返回的數據匯集成完整的 數據。因為這種類型應用的一個共同特征是在海量數據上搜索某些模式，所以把這類計算稱為高吞吐計算。所謂的Internet計算都屬于這一類。按照 Flynn的分類，高吞吐計算屬于SIMD（Single Instruction/Multiple Data）的范疇。分布計算(Distributed Computing)

另一類計算剛好和高吞吐計算相反，它們雖然可以給分成若干并行的子任務，但是子任務間聯系很緊密，需要大量的數據交換。按照Flynn的分類，分布式的高性能計算屬于MIMD（Multiple Instruction/Multiple Data）的范疇。

4. 分布式（集群）與集群的聯系與區別：

分布式是指將不同的業務分布在不同的地方。

而集群指的是將幾臺服務器集中在一起，實現同一業務。

分布式中的每一個節點，都可以做集群。而集群并不一定就是分布式的。

舉例：就比如新浪網，訪問的人多了，他可以做一個群集，前面放一個響應服務器，后面幾臺服務器完成同一業務，如果有業務訪問的時候，響應服務器看哪臺服務器的負載不是很重，就將給哪一臺去完成。而分布式，從窄意上理解，也跟集群差不多， 但是它的組織比較松散，不像集群，有一個組織性，一臺服務器垮了，其它的服務器可以頂上來。分布式的每一個節點，都完成不同的業務，一個節點垮了，哪這個業務就不可訪問了。