云計算：大數據時代的系統工程

1.云計算哲學（組織資源以服務，組織技術以實現，組織流程以應變）：服務和平臺

(1)定義：既是指在互聯網以服務形式提供應用，也是指在數據中心提供這些服務的軟件

云：數據中心的硬件和軟件

(2)前身：超大規模分布式計算

(3)核心思想：通用、動態:、多租賃

彈性：控制損耗(群組通信:單點失效、冗余機制、多活體機制、消息順序機制)、

狀態感知(成員管理服務、全局視圖)、

動態平衡(由節點增加而對負載進行的動態均衡、DHT算法)

透明：冗余等方式保證系統底層架構節點問題，不會對整體影響

        用戶無需關心底層實現方式，只要專注上層的業務邏輯

        自容錯(會話復制技術、節點內存連接到全局共享內存數據空間)、

        自管理(分布式的執行機制、基于策略的自動化管理、事件驅動機制)、

        跨平臺互操作性(用戶通用、應用通用、平臺層通用)

積木化：業務流程管理BPM、資源快速重組滿足不同業務需要

 (4)模式：商業模式（云服務）、技術（按需提供強大資源的云計算平臺）。

 (5)挑戰：大用戶、大數據、大系統

 (6)局限：帶寬、安全、原子操作(最小不可分割)時延問題

2. 2006年8月SES搜索引擎戰略谷歌CEO施密特為云計算命名

2006年亞馬遜EC2（動態計算云）服務明確云計算商業模式

3.云商業模式：

1）SaaS軟件即服務（互聯網提供軟件服務）：按需求提供服務、無需購買軟件、會員費、不對底層云基礎設施進行管理控制

2）PaaS平臺即服務（互聯網提供應用程序運行平臺服務）:以服務形式交付計算平臺和解決方案包，提供創建、應用測試及應用部署的高度集成環境，無需購買軟硬件

      (1)不會對底層基礎設施管理控制：網絡、服務器、操作系統、存儲等

      (2)可控制所部署的應用，服務商提供應用服務編程接口

      (3)eg：谷歌GAE開發托管網絡應用平臺

3）IaaS基礎實施即服務：互聯網提供基礎設施服務

  (1)消費者獲得處理能力、存儲、網絡和其他基礎計算資源

  (2)可部署運行操作系統和應用等任意軟件

  (3)網站托管、數據存儲備份、電子商務、高性能計算、搜索引擎、虛擬主機服務等

      (4)eg：亞馬遜AWS(存儲、計算、消息傳遞（SQS）和數據采集（SimpleDB）等服務)

4. SaaS面向服務對象與普通單機應用程序的客戶無明顯區別

  PaaS用戶對象是開發人員，需了解平臺提供環境下應用的開發和部署

  IaaS最底層的IT基礎設施服務，面向IT管理人員

5.部署使用方式

1）公有云Public Cloud：開放給公眾使用的云基礎設施

2）私有云Private Cloud：客戶單獨使用而建立的云基礎設施，提供對數據、安全性和務質量最有效控制，并可控制在此基礎設施上部署應用程序的方式

.【公有云和私有云區別】主要體現在商業應用方面，技術上互通，但技術層面根本區別訪問權限和訪問模式的控制（可訪問范圍決定了云的業務性質）

3）混合云Hybrid Cloud：半公半私，資源借用/租用

6.云計算技術流派

Yahu :搜索起家，門戶網站模式

發展大規模分布式系統考慮最多的是通用性（支持各種應用、非存儲性問題）

未解決郵箱存儲和搜索效率問題推動Hadoop

Google：搜索起家，保證大塊數據的查詢和搜索的效率和可用性

存儲為根，本、高效新可用性

Amazon：電子商務，底層架構核心作用保證在線交易不中斷

存儲品臺Dynamo更適用存儲相對較小的對象

7.Hadoop：對大量數據進行分布式處理的軟件框架，主要由HDFS（文件系統）、MapReduce（計算機系統）、Hbase（數據庫）等組成。

Yahu推動，技術思想屬于Google

8. GFS、HDFS：一個主控服務器（Master）+多個子表服務器（Chunk Server）

9. Dynamo：采用哈希算法切分數據，將數據在一個及誒單”環”內均勻存儲，分擔壓力

10.VMware：主要向企業用戶提供虛擬化技術，決定其技術路徑是自單機虛擬化做起，向上、發展處更高層面上的虛擬化技術來部署云計算平臺

  特點：借虛擬化技術實現的各種硬件資源的”池化”，在此基礎上晚上配置、調度和管理

11.分布式系統：通過網絡將物理上分散的計算資源連接起來解決問題

12.站來說的.數據量含義：總量、流量（并發量）

13.cebook將數據存儲在Hadoop分布式文件系統（HDFS）上，依靠Hive完成數據分析

14.系統由許多廉價的普通組件組成，組件失效是常態。系統必須時刻監控自身狀態，迅速地偵查、承受并恢復失效組件

15.云計算快速發展的因素

   1）技術：光纖使用、寬帶普及、結點通信、虛擬化技術、Ajax、LAMP

2）商業模式&需求：軟件即服務

16.Ajax：Asynchronous JavaScript XML 異步的JavaScript和XML技術

   服務器對客戶端的表單反饋，不會因為部分更改而刷新所有頁面內容消失再出現的刷新，僅需返回更改必需的數據

17.XaaS一切皆可為服務。衍生商業流程即服務、數據庫即服務、安全即服務等

     服務隨時可接入、服務應永遠在線、服務擁有足夠大的用戶群

18.并行計算：同時執行多個指令的計算模式，化大為小加快計算速度。緊耦合

    耦合：互相交互的系統彼此間的依賴

分布式計算：松耦合，將分布于各處的計算資源以透明、可擴展方式連接共同解決問題

【比較】(1)分布式計算的資源分散，通過網絡節點連接表現出無共享的架構

           各處處理器都有自己的存儲器，通過處理器之間的消息傳遞進行信息交換

        (2)并行計算通常集中于一處，通過共享存儲來進行信息交換

          所有的處理器共享一個存儲器，一次交換處理間信息

(3)NUMA(非一致存儲訪問結構)和MPP(大規模并行處理)每個節點都有自己的CPU、內存和I/O,節點通過某些機制信息交互

19.集群(Cluster):用多個計算機，冗余互聯組成一個對用戶來說單一的高可用性的系統

20.網絡計算技術：將分散在網絡中的計算機節點(如空閑服務器、存儲系統等)連接在一起，形成一個擁有超強性能的虛擬計算機，為用戶提供強大的計算存儲能力

    松耦合、異構性質更明顯

21.網格計算：多個零散資源為個別任務提供運行環境

   云計算：單個整合資源為多個用戶提供服務

22..SOA(Service Oriented Architecture)面向服務的體系結構，組織和利用可能處于不同所有權范圍控制下的分散功能的范式

        給定一種彼岸準接口和一個約束借口的服務協議，則任何業務應用只要滿足即可通過給定標準接口進行通信和交互，實現對接。

本質：用于交換系統和系統之間的信息的企業集成技術

23.EAI(EnterpriseApplication Intergration)企業應用集成技術：基于消息中間件產品

24.虛擬化(Virtulization)：資源的邏輯表示，不收物理限制的約束

     將底層資源抽象，向上提供與真實的層相同或類似功能，屏蔽設備的差異性和兼容性

25.云計算進行負載均衡方法：橫向切分(按工作量切分)、豎向切分(按工作流程切分)

26.業務應用架構：展現層、業務層、數據層

27.分布式數據總線：運維管理系統，數據采集系統、數據存儲系統、數據服務系統、服務交付系統，分布式調度系統/分布式工作流引擎

(1)分布式調度系統/分布式工作流引擎：系統執行者，實現定義、調度、協作和執行，主要支撐大規模系統的自動化運維和分布式計算框架的實現

(2)運維管理系統：配置控制。權限管理、監控報警、應用管理、故障管理，集成策略引擎、分布式工作流、資源與服務管理調度等機制

(3)數據采集系統(數據驅動架構起點)：配置管理、數據過濾、數據預處理

(4)數據存儲系統(任何信息系統核心)：統一存儲系統

    關系型數據庫集群：海量強關系結構化數據的存儲和快速訪問

    分布式實時數據庫：用戶行為數據和系統日志數據等數據量特大、關聯性不強

    分布式文件系統：總數據量和總容量都大的各類圖片、視頻等媒體文件

非結構化數據實時高效存儲和訪問

(5)數據分析系統：分布式計算模型(數據轉換、數據聚合、數據關聯、數據挖掘)

(6)數據服務系統：連接企業信息系統支撐平臺與上層業務應用的橋梁

    服務管理系統：服務注冊、注銷、變更、審核、發布、設計

    數據訪問服務---數據緩存：數據庫訪問、實時訪問、文件系統訪問…

    業務邏輯服務---數據緩存：推存系統、智能分析、統計報表…

(7)服務交付框架：前端服務器、交付服務器、負載均衡