Nginx訪問日志舉例分析

本篇內容主要講解“Nginx訪問日志舉例分析”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實用性強。下面就讓小編來帶大家學習“Nginx訪問日志舉例分析”吧!

數據接入向導（Wizard）

一. 概述

日志服務在12月份推出了數據接入向導（Wizard）功能，快速完成數據的采集、存儲、分析、離線投遞， 降低用戶使用日志服務門檻，目前支持的數據源以及支持配置如下：

二. 使用指引

如果你還沒有使用過阿里云日志服務功能，可以參考五分鐘快速入門。

我們先以最常見的NGINX訪問日志分析開頭，來一起試一試如何快速接入該類數據源。

首先可以采用如下兩種方式進入數據接入向導。

• 新建項目在創建項目和創建日志庫后點擊數據接入向導

• 已存在Logstore點擊列表中數據接入向導圖標進入

1. 選擇數據類型

選擇 自建軟件 > NGINX。

2. 數據源設置

a.按照實際情況填寫配置名稱和日志路徑，填寫實際的log_format信息到NGINX日志格式中。

日志服務會自動提取出相應的鍵名稱。

注意：其中$request會被提取為request_method和request_uri兩個鍵。

b.應用到機器組

如果您之前沒有創建過機器組，請先根據頁面提示創建機器組。

注意：Logtail配置推送生效時間最長需要3分鐘，請耐心等待

3. 查詢分析 & 可視化

確保日志機器組心跳正常的情況下，可以通過點擊右側預覽按鈕獲取到采集上來的數據

日志服務提供預設的數據鍵名稱以便分析使用，可以選擇實際數據鍵名稱（根據預覽數據生成）和默認數據鍵名稱形成映射關系，nginx訪問日志提供的預設數據鍵如下：

body_bytes_sent bytes_sent connection connection_requests msec status time_iso8601 time_local content_length content_type host hostname remote_addr remote_port remote_user request_length request_method request_time upstream_response_time request_uri scheme server_addr server_name server_port server_protocol http_user_agent http_referer

各數據鍵釋義可參考NGINX相關文檔

點擊下一步，日志服務會為您設置好索引屬性并創建nginx-dashboard儀表盤以供分析使用。

3.1 分析訪問日志

建立好儀表盤之后我們就可以快速分析訪問日志了，可以通過左側導航儀表盤進入分析頁面。

• PV/UV統計(pv_uv)

統計最近一天的PV數和UV數。

統計語句：

* | select approx_distinct(remote_addr) as uv ,         count(1) as pv ,          date_format(date_trunc('hour', __time__), '%m-%d %H:%i')  as time         group by date_format(date_trunc('hour', __time__), '%m-%d %H:%i')         order by time         limit 1000

• 熱點訪問頁面統計(top_page)

統計最近一天訪問最多的20個頁面。

統計語句：

* | select count(1) as pv,         split_part(request_uri,'?',1) as path         group by split_part(request_uri,'?',1)          order by pv desc          limit 20

• 請求方法統計(http_method_percentage)

統計最近一天各種請求方法的占比。

統計語句：

* | select count(1) as pv,         request_method         group by request_method

• http狀態碼統計(http_status_percentage)

統計最近一天各種http狀態碼的占比。

統計語句：

* | select count(1) as pv,         status         group by status

• 客戶端類型統計(user_agent)

統計最近一天各種瀏覽器的占比。

統計語句：

* | select count(1) as pv,     case when http_user_agent like '%Android%' then 'Android'      when http_user_agent like '%iPhone%' then 'iOS' else 'unKnown' end as http_user_agent     group by case when http_user_agent like '%Android%' then 'Android'      when http_user_agent like '%iPhone%' then 'iOS' else 'unKnown' end        order by pv desc     limit 10

• 來源頁面統計(top_10_referer)

統計最近一天referer來源于不同域名前十的占比。

統計語句：

* | select count(1) as pv,         http_referer         group by http_referer         order by pv desc

4. 投遞 & ETL

除此之外還提供投遞到MaxCompute(原ODPS)、OSS以及ETL服務，有興趣的同學可參考對應幫助鏈接

到此，相信大家對“Nginx訪問日志舉例分析”有了更深的了解，不妨來實際操作一番吧！這里是億速云網站，更多相關內容可以進入相關頻道進行查詢，關注我們，繼續學習！