bigdata - zookeeper筆記（一）

zookeeper的定義

zookeeper是分布式應用程序的高性能協調服務，顧名思義，zookeeper用來保存分布式應用程序的多個節點之間的狀態、配置等信息，以確保分布式程序的正確、高速運行。

zookeeper集群角色：leader、follower、觀察者（集群訪問量大時，增加Observer角色）

1 客戶端訪問zookeeper時，連接到leader與連接到follower之間的區別？

• leader可處理事務操作（增刪改），且所有的事務操作只能由leader處理，其他角色接收到事務請求時，需轉發給leader；
• follower只能處理非事務型操作（讀操作）；
• follower可參與集群leader選舉；
• Observer功能：增加非事務型請求（讀操作）的橫向擴展性；當讀操作的需求量特別大時，可通過增減觀察者節點的方式來提高集群性能。

2 集群搭建

• 機器數量：zookeeper集群選舉leader時使用posix算法，所以一般選擇奇數臺機器（2n+1）
• zookeeper集群需要配置sun java環境（sun JDK）
• 部署leader+follower集群（https://www.cnblogs.com/wrong5566/p/6056788.html）
  • 集群的主機間設置每臺機器的hosts
  • 修改zookeeper的配置zoo.cfg（zookeeper啟動時，如果未顯示指定配置文件，則默認讀取conf目錄下的zoo.cfg配置文件）
  • 新建myid文件
  • 配置zookeeper目錄及配置的環境變量

zookeeper數據模型

zookeeper的數據模型是樹（猜測是b+樹，但未進行確認），
1 樹上每個節點被稱為Znode；Znode由3部分組成：stat（znode的狀態信息）、data（znode中的數據信息）和children（znode子節點的信息）
2 節點Znode的特點：

• Znode 既可以作為文件存儲數據，也可以作為目錄；
• Znode 上的操作具有原子性；
• Znode 節點限制存放文件的大小（最大1M）；
• Znode 的訪問需要使用絕對路徑。

3 Znode節點的屬性：

• dataVersion：局部值，當前節點的數據版本；每次對當前節點設置值后，當前節點的dataVersion值都加1，默認為0;
• cversion：局部值，當前節點的子節點版本號；子節點每次發生變化后，cversion的值都加1，默認為0;
• cZxid：全局值，創建當前節點的事務id；每當創建一個新的znode后，cZxid的值都加1;
• mZxid：全局值，當前節點最近一次被修改的事務id；任意Znode被修改后，mzxid的值加1，其中mZxid與cZxid沒有必然的聯系;
• pZxid：全局值，Znode子節點最近一次被創建時的cZxid;
• ephemeralOwner：局部值，記錄臨時節點的session id，如果非臨時節點，值為0;
• dataLength：局部值，當前節點的數據長度（字節）;
• numChildren：子znode的數量;

zookeeper節點類型

1. 臨時節點：臨時節點依賴于會話，創建臨時節點的會話結束時，臨時節點將被刪除;且臨時節點不允許擁有子節點;
2. 永久節點：永久節點的生命周期不依賴于會話，可以擁有子節點;

zookeeper shell

- jps查看zookeeper進程：QuorumPeerMain
- 連接zookeeper集群：zkCli.sh -server zookeeper:2181
- 創建節點：create [-s] [-e] path data acl; -s表示順序節點、-e表示臨時節點
- 讀取節點：ls path [watch] 獲取節點的子節點、get path [watch] 獲取節點保存的數據和節點屬性信息、ls2 path [watch] 獲取節點的子節點和當前節點屬性信息
- 更新節點數據：set path data [version] 
- 刪除節點：delete path [version]、rmr path 遞歸刪除數據

zookeeper選舉機制

- 算法：FastLeaderElection
- 選舉算法用到的概念：
    服務器ID：數值型，編號越大權重越大
    選舉狀態：
        LOOKING，觀望狀態
        FOLLOWING，隨從狀態，
        OBSERVING，觀察者狀態，同步leader狀態，不參與選舉
        LEADING，領導者狀態
    數據ID：最新寫入的數據的ID
    邏輯時鐘：每輪投票，邏輯時鐘的次數相同;（根據邏輯時鐘判斷集群中的節點是否不穩定）
- 新集群選舉：
    1. 前提：
        1.1. 每個機器都給自己投票;
        1.2. 投票數過半，選舉結束; 
    2. 思路：集群中的機器啟動后，給自己投一票，然后開始與其他機器交換投票結果，如果沒有其他機器可以交換，則進入LOOKING狀態；如果有其他機器可以交換投票，則根據服務器ID大小，服務器ID小的機器將自己的票投給服務器ID大的機器;當有一臺機器拿到過半的票數時，將結束選舉；同一集群中，先啟動服務的機器將有更大的機會獲得leader。
- 運行中的集群選舉：
    1. 前提同上;此時選舉需要用數據ID、服務器ID、邏輯時鐘
    2. 思路：首先，同一邏輯時鐘，邏輯時鐘小的被淘汰，邏輯時鐘相同的機器將重新投票；然后，機器中數據ID大的勝出；如果數據ID相同，那么服務器ID大的勝出。

zookeeper的應用場景：

1. 數據發布與訂閱;
2. 命名服務;
3. 分布式鎖;

數據發布與訂閱中心（配置中心）

- 發布者將數據發布到zookeeper中，訂閱者來獲取新的數據更新自己的配置;
- 注意點：
    1. 統一管理的數據不能太大;
- 原理：
    1. 所有訂閱者首次啟動時，訪問zk指定的節點獲取相關的訂閱信息;
    2. 獲取數據的同時，設置對節點數據變化的監聽; zk.getData(path, true);設置對指定path的監聽
    3. 被監聽的path上的節點數據發生改變時，監聽被觸發，所有對次path的訂閱者將收到zookeeperde通知，然后訪問zookeeper獲取新的配置信息;
    4. 獲取數據時，再次對path設置監聽;
- 疑問：zookeeper中的數據發生改變時，zookeeper如何通知訂閱者？給訂閱者發送了什么通知？