AWS 監控服務（六）

AWS CloudWatch

概念

• 基于確定的內容監控基礎設施組件
• 基于指定的指標發送通知并觸發各種操作
• 分布式統計數據和收集系統，用于收集并跟蹤指標
• 默認情況下，在管理程序級別無縫收集指標，如CPU利用率、IO字節操作、網絡字節操作
• CloudWatch可以觸發包括啟動終止重啟EC2，增加減少AutoScaling組，將消息發送至SNS等操作
• 屬性
  • 面板（Dashboards）-可創建自定義面板來方便觀察AWS環境中的不同監控對象
  • 告警（Alarms）- 當某個監控對象超過閾值時，會發出告警信息
  • 事件（Events）- 針對AWS環境中所發生的變化進行的反應
  • 日志（Logs）-Cloudwatch日志幫助收集、監控和存儲日志信息
• 監控指標
  • 支持對絕大多數AWS服務的監控和指定指標，包括：
    • Auto Scaling，Amazon CloudFront，Amazon CloudSearch，Amazon DynamoDB，Amazon EC2，Amazon EC2容器服務 (Amazon ECS)，Amazon ElastiCache，Amazon Elastic Block Store(Amazon EBS) ，Elastic Load Balancing，Amazon Elastic MapReduce(Amazon EMR)，Amazon Elasticsearch服務， Amazon Kinesis Streams，Amazon Kinesis Firehose，AWS Lambda，Amazon Machine Learning， AWS OpsWorks，Amazon Redshift，Amazon關系數據庫服務(Amazon RDS)，Amazon Route 53 ， Amazon SNS，Amazon Simple Queue Service(Amazon SQS)，Amazon S3，AWS Simple Workflow Service(Amazon SWF)，AWS Storage Gateway，AWS WAF和Amazon WorkSpaces。
  • 自定義指標的能力，包括：
    • 那些本身對AWS不可見的應用程序指標，如 網頁加載時間，請求出錯率，并發進程或線程數量 ，支持通過API調用的方式PUT各種指標
• 監控頻率
  • 基本監控以每5分鐘作為數據點進行采集，免費提供有限數量的指標和監控
  • 詳細監控以每分鐘為數據點進行采集，可自定義指標，需要付費使用
  • 支持更細粒度的高分辨率指標，每1s采集
  • CloudWatch支持跨可用區聚合和檢索，但不支持跨區域聚合
  • CloudWatch只能監視性能指標，不能跟蹤變化
• 云設計模式 - CloudWatch 結合監控軟件工作
  • CloudWatch無法提供EC2內部的工作，如操作系統、中間件、應用程序等，這些都需要使用獨立監控系統實現
  • 可以在獨立的EC2上部署 Nagios、Zabbix、Munin等軟件， 通過CloudWatch API來獲取來自AWS的監控信息，從而進行整合

CloudWatch Logs

• 可以通過自定義指標或CloudWatch Logs來處理數據，獲取近乎實時的監控日志
• 監控并存儲日志，以幫助您更好地了解并運行系統和應用程序
• 您可以使用 CloudWatch Logs 將日志數據長期存儲在高持久性且經濟高效的存儲中，無需擔心耗盡硬盤空間。
• CloudWatch Logs 可以存儲單獨的測量結果及其他信息的日志文件
• 監控數據默認最長保留15個月。且不可手工刪除
  • 時段低于 60 秒的數據點可保留 3 個小時。這些數據點是高分辨率自定義指標。
  • 時段為 60 秒（1 分鐘）的數據點可保留 15 天
  • 時段為 300 秒（5 分鐘）的數據點可保留 63 天
  • 時段為 3600 秒（1 小時）的數據點可保留 455 天（15 個月）
• 支持對日志文件進行實時監視并觸發特定事件
• CloudWatch Logs 可以用于以下處理方式：
  • 以數據日志的實時流傳輸到Amazon Kinesis Stream 或者 AWS Lambda 等數據處理解決方案中
  • 以批存檔形式存儲到 S3或者Glacier中
  • 管理員可以通過控制臺看到
• CLoudWatch Agent
  • 在EC2的Linux系統中可以通過安裝CloudWatch log Agent 來搜集EC2系統內部日志
  • Amazon Linux、Ubuntu、CentOS、Red Hat Enterprise Linux 和 Windows 均支持
• CloudWatch Logs Insights
  • 用于 CloudWatch Logs 的一項隨用隨付的交互式集成日志分析功能。它允許開發人員、操作人員和系統工程師搜索和可視化其日志，以幫助他們了解、改進和調試其應用程序。

    Alert

• 您可以在賬戶中創建警報來監控任何 Amazon CloudWatch 指標。例如，您可以創建警報來監控 Amazon EC2 實例 CPU 使用情況、Amazon ELB 請求延遲、Amazon DynamoDB 表吞吐量、Amazon SQS 隊列長度、甚至 AWS 賬單費用。
• 您還可以為特定于自定義應用程序或基礎設施的自定義指標創建警報。如果自定義指標是高分辨率指標，您可以選擇創建高分辨率警報，該警報將在 10 秒鐘或 30 秒鐘時段時發出提醒。
• 創建警報時，可進行配置，以便在所選監控指標超出所定義的閾值時執行一項或多項自動操作。例如，您可以設置發送電子郵件的警報，發布到 SQS 隊列，停止或終止一個 Amazon EC2 實例，或執行 Auto Scaling 策略。由于 Amazon CloudWatch 警報與 Amazon Simple Notification Service 實現集成，因此還可使用由 SNS 支持的任意通知類型。
• 警報歷史記錄有效期為 14 天

Dashboard

• Amazon CloudWatch 控制面板讓您能夠創建、自定義、交互和保存 AWS 資源及自定義指標的圖表。
• 自動化控制面板預先構建了 AWS 服務建議的最佳實踐，保持資源感知，并能動態更新以反映重要性能指標的最新狀態。您現在可以對特定視圖進行篩選和故障排除，無需添加其他代碼來反映 AWS 資源的最新狀態。確定性能問題的根本原因之后，您就可以直接轉到 AWS 資源以快速采取行動。
• 控制面板處于打開狀態時會自動刷新。

Event

• Amazon CloudWatch Events (CWE) 是一個描述 AWS 資源更改的系統事件流。
• 當某個事件與您在系統中創建的某條規則匹配時，您可以自動調用一個 AWS Lambda 函數、將事件中繼到 Amazon Kinesis 流、發送 Amazon SNS 主題通知，或調用一個內置工作流。
• Event 并不像AWS Config一樣檢查合規性，也不像CloudTrail一樣記錄調用記錄。

CloudWatch的限制

• 每個AWS賬戶最多保存5000個告警
• 默認監控采集和聚合粒度為1分鐘
• 默認情況下搜集的指標數據保留15天，長時間保留需要轉存到S3或者Glacier中
• 默認不支持監控內存和系統內部指標，需要自定義配置

AWS CloudTrail

概述

• CloudTrail 可通過記錄賬戶上執行的操作來提供用戶活動的可見性。CloudTrail 可記錄每個操作的重要信息，包括請求的發出方、使用的服務、執行的操作、操作的參數，以及 AWS 服務返回的響應元素。這些信息能夠幫助您追蹤 AWS 資源的變更情況，幫助您排查操作問題。CloudTrail 便于您確保與內部策略和監管標準的合規性。
• 一個事件中包含了相關活動的信息：請求的發出方、使用的服務、執行的操作、操作的參數，以及 AWS 服務返回的響應元素。
• 捕獲AWS賬戶所做的各種操作，包括AWS API調用和相關事件，并將日志文件上傳至S3
• 上傳至S3后可以選擇觸發SNS進行通知
• 也可以將事件傳遞到CloudWatch監控日志組
• 日志文件在S3中使用SSE加密存儲，可以定義生命周期對日志進行歸檔或刪除
• API調用會在大約15分鐘內生成日志
• 日志文件會每5分鐘發布一次
• 默認開啟，且保留90天記錄

配置

• 適用于所有區域的CloudTrail
• 每個Region使用相同的配置和策略
• 所有日志將被傳送到單個指定的S3存儲桶
• 這是CloudTrail的默認配置，也是推薦選項
• 適用于單個區域的CloudTrail
• 每個區域單獨處理自己的Trail日志
• 日志傳送到每個區域自己的S3存儲桶

CloudTrail 跟蹤

• 通過設置 CloudTrail 跟蹤，您可以將 CloudTrail 事件傳送至 Amazon S3、Amazon CloudWatch Logs、Amazon CloudWatch Events。這讓您能夠利用多種功能來幫助歸檔、分析和響應 AWS 資源中發生的更改。
• 將一個跟蹤應用到所有地區是指創建一個可記錄所有地區內 AWS 賬戶活動的跟蹤。
• 您只需調用一次 API 或單擊幾次鼠標，即可在分區內的所有地區創建和管理跟蹤。您將在一個 S3 存儲桶或 CloudWatch Logs 日志組中收到在您的 AWS 賬戶中跨所有地區進行的賬戶活動的記錄
• Global Trail
  • 將一個跟蹤應用到所有地區之后，CloudTrail 會通過復制相關跟蹤配置在所有地區創建一個新跟蹤。CloudTrail 將記錄并處理每個地區中的日志文件，并會將包含所有 AWS 地區的賬戶活動的日志文件傳送至一個 S3 存儲桶和一個 CloudWatch Logs 日志組中。
• Multiple Trail
• 在一個 AWS 區域中，您最多可以創建五個跟蹤。應用到所有區域的跟蹤會出現在每個區域中，并算作每個區域的一個跟蹤。
• 有了多個跟蹤，安全管理員、軟件開發人員和 IT 審計人員等不同利益相關者就可以創建并管理他們自己的跟蹤。
• 如果在多個region開啟Logging Global Service，會讓Global Service的日志產生多條重復，所以建議僅在一個region啟用

CloudTrail 處理庫

• AWS CloudTrail 處理庫是一個 Java 庫，可以幫助您輕松構建讀取和處理 CloudTrail 日志文件的應用程序。
• CloudTrail 處理庫可提供處理以下任務的功能，如不斷輪詢 SQS 隊列、讀取和解析 SQS 消息、下載 S3 中存儲的日志文件、以容錯方式解析和序列化日志文件中的事件。

AWS Trusted Advisor

概述

• 借鑒大量的最佳實踐，檢查AWS環境對存在機會的資金節省，可用性和性能提升、彌補安全性漏洞提出建議
• 通過儀表盤查看AWS資源整體狀態和節省預算
• 四個類別的最佳實踐
  • 成本優化
  • 安全性
  • 容錯性
  • 性能改進
• 顏色編碼：
  • 紅色-建議采取行動
  • ×××-建議調查
  • 綠色-未檢測到問題
• 免費檢查項目
  • 服務限制 - 檢查超出服務限制80%， 基于快照，有約24小時的延遲
  • 安全組未限制端口 - 檢查允許0.0.0.0/0 的端口
  • IAM - 檢查是否使用IAM
  • 根賬戶MFA - 檢查根賬號是否啟用MFA

    Trusted Advisor 特性和功能

• 通知 ： 免費服務，每周發送一封電郵了解AWS資源部署的最新情況
• Access Management： 利用IAM控制對具體檢查項目或檢查類別的訪問
• AWS Support API: 以編程方式檢索和刷新Trust Advisor 結果
• 操作鏈接 ： 直接通過報告中的超鏈接進入AWS管理控制臺根據建議進行操作
• 最近改動： 在控制臺儀表盤上跟蹤檢查近期變化
• 排除項目： 自定義不檢查不相關的項目
• 5分鐘刷新： 可以通過單擊refresh all 或者自動每5分鐘刷新檢查項目

AWS Config

概述

• 提供AWS資源清單、配置歷史記錄和配置更改通知的完全托管服務
• 支持合規審計、安全分析、資源變更跟蹤和故障排除
• 默認情況下，AWS Config會為區域中每一個被支持的資源創建配置項
• 每一次變更都會生成一個配置項目變化的歷史記錄
• 可以配置檢查資源更改是否違規，對不合規的行為進行標記并通過SNS發送通知
• 支持更改管理、持續審計和合規、故障排除、安全和事件分析
• AWS Config 可以基于地區啟用
• AWS Config 可以在多個賬戶間聚合數據，但不能跨賬戶預置規則

Config Rule

• Config 規則代表某個資源的期望配置，其評估依據是 AWS Config 中記錄的相關資源的配置更改。針對資源配置評估規則的結果可在控制面板中查看。使用 Config 規則，您可以從配置角度評估整體合規性和風險狀態、查看一段時間內的合規性趨勢，以及查明哪些配置更改導致了資源脫離規則合規性。
• Config 規則不會直接影響最終用戶使用 AWS 的方式。它僅在配置更改已完成并由 AWS Config 記錄之后才評估資源配置。Config 規則不會阻止用戶進行可能非合規的更改。
• Config 規則在資源的配置項 (CI) 由 AWS Config 捕獲之后評估規則。它不會在預置資源或更改資源配置之前評估規則。
• 默認情況下，您在 AWS 賬戶中最多可以創建 50 個規則
• 任何規則都可以作為由更改觸發的規則或作為定期規則建立。由更改觸發的規則在 AWS Config 為任何指定資源記錄配置更改后執行。此外，還必須指定以下項之一：
  • 標簽鍵:（可選值）：“標簽鍵:值”意味著為帶有指定“標簽鍵:值”的資源記錄的任何配置更改都將觸發規則評估。
  • 資源類型：為指定資源類型內的任何資源記錄的任何配置更改都將觸發規則評估。
  • 資源 ID：為由資源類型和資源 ID 指定的資源記錄的任何更改都將觸發規則評估。
  • 定期規則以指定的頻率觸發。可用頻率為 1 小時、3 小時、6 小時、12 小時或 24 小時。定期規則具有適用于該規則的所有資源當前配置項 (CI) 的完整快照。

Config Items

• 配置項 (CI) 指的是一項資源在給定時間點的配置。CI 由 5 個部分組成：
• 各不同資源類型共同的有關資源的基本信息（例如 Amazon Resource 名稱、標簽）、
• 資源特定的配置數據（例如 EC2 實例類型）、
• 與其他資源關系的映射（例如 EC2::Volume vol-3434df43“附加到實例”EC2 Instance i-3432ee3a）
• 與此狀態相關的 AWS CloudTrail 事件 ID、
• 幫助您識別 CI 有關信息的元數據（如該 CI 的版本）以及捕捉到該 CI 的時間。
• AWS Config 檢測資源配置的更改并記錄由更改導致的配置狀態。如果接二連三地（例如，在幾分鐘內）對資源進行多次配置更改，則 Config 將只記錄代表這一組更改累積影響的最終配置。
• 借助 AWS Config，您可以記錄 AWS 賬戶中的 EC2 實例內軟件的配置更改，還可記錄本地環境中虛擬機 (VM) 或服務器的配置更改。AWS Config 記錄的配置信息包括操作系統更新、網絡配置、已安裝的應用程序等。

AWS Config 與CloudTrail集成

• 如果資源配置更改是API調用的結果，則AWS Config還會記錄CloudTrail事件與修改資源配置API調用對應的ID，
• 同時還會記錄調用者，調用事件和IP地址的日志，便于排障。

歡迎大家掃碼關注，獲取更多信息