ibm cdc 架構

IBM? InfoSphere? Data Replication - CDC Replication 是一個復制解決方案，用于捕獲正在發生的數據庫更改，并根據 InfoSphere Data Replication Management Console GUI 應用程序中配置的表映射將這些更改傳遞到目標數據庫、消息隊列或 ETL 解決方案（例如 InfoSphere DataStage?）。

對于動態數據倉儲、主控方數據管理、應用程序合并或遷移、運營 BI 以及啟用 SOA 項目之類的關鍵信息管理活動，CDC Replication 能夠以影響性較低的方式捕獲數據更改并高速傳遞這些更改。另外，通過僅發送更改的數據，CDC Replication 還可以幫助降低處理開銷和網絡流量。復制可連續執行，也可定期執行。數據從源服務器傳輸出來后，可以在目標環境中重新映射或變換。

下圖顯示了 CDC Replication 的關鍵組件。

• Access Server - 控制所有以非命令行方式對復制環境進行的訪問。當您登錄到 Management Console 時，就是連接到 Access Server。您可以在客戶機工作站上關閉 Access Server，而不會影響源服務器與目標服務器之間正在進行的數據復制活動。
• 管理 API - 以基于 Java 的可選編程接口形式運行。您可以使用此 API 對操作配置或交互進行腳本編制。
• 應用代理程序 - 充當目標上的代理程序，用于處理源所發送的更改。
• 命令行界面 - 允許您獨立于 Management Console 來管理數據存儲器和用戶帳戶，以及執行管理腳本編制。
• 通信層 (TCP/IP) - 充當源與目標之間的專用網絡連接。
• 源和目標數據存儲器 - 表示數據復制所需的數據文件和 CDC Replication 實例。每個數據存儲器都表示您要連接到的數據庫，并且充當表的容器。被設為可供復制的表包含在數據存儲器中。
• Management Console - 允許您配置、監視和管理各種服務器上的復制，指定復制參數以及從客戶機工作站啟動刷新和鏡像操作。另外，Management Console 還允許您監視復制操作、等待時間、事件消息以及源或目標數據存儲器所支持的其他統計信息。Management Console 中的監視器旨在用于需要持續分析數據移動的時間關鍵型工作環境。在設置復制之后，您可以在客戶機工作站上關閉 Management Console，而不會影響源服務器與目標服務器之間正在進行的數據復制活動。
• 元數據 - 表示相關表、映射、預訂、通知、事件以及您設置的數據復制實例的其他細節的相關信息。
• 鏡像 - 將更改復制到目標表或者積累源表更改并在以后將其復制到目標表。如果在環境中實施了雙向復制，那么可以在源表與目標表之間來回進行鏡像。
• 刷新 - 將表從源數據庫初始同步到目標。這會由刷新閱讀器進行讀取。
• 復制引擎 - 用于發送和接收數據。用于發送所復制數據的進程是源捕獲引擎，而用于接收所復制數據的進程是目標引擎。CDC Replication 實例可以同時作為源捕獲引擎和目標引擎運行。
• 單次提取 - 充當僅用于源的日志閱讀器和日志解析器組件。它會檢查并分析所選數據存儲器上所有預訂的源數據庫日志。

  并非所有 CDC Replication 引擎都使用“單次提取”。對于 CDC Replication Engine for DB2? for i，有一個“提取器”作業（充當日志閱讀器）和一個“鏡像”作業（用于執行鏡像功能）。

• 源變換引擎 - 處理行過濾、關鍵列、列過濾、編碼轉換以及要傳播到目標數據存儲器引擎的其他數據。
• 源數據庫日志 - 由源數據庫維護以用于其自身的恢復。CDC Replication 日志閱讀器會在鏡像過程中檢查這些日志，并過濾掉不在復制范圍內的表。
• 目標變換引擎 - 處理數據和值轉換、編碼轉換、用戶出口、沖突檢測以及目標數據存儲器引擎上的其他數據。

• JMS 消息 - 充當 JMS 消息目標（隊列或主題），用于創建為 XML 文檔的行級別操作。
• InfoSphere DataStage - 處理從 CDC Replication 傳遞的更改，這些更改可由 InfoSphere DataStage 作業使用。