基于無埋點技術的用戶行為分析

用戶行為分析從狹義來看是用戶的行為數據分析，但是廣義來說這一個詞包含用戶分析，用戶行為的結果分析，用戶的行為分析。用戶行為的結果和用戶的行為分析是不一樣的，一個是結果，一個是過程。現在國內市場上關于用戶行為分析的產品分為基于前臺數據的用戶行為分析和基于后臺數據的用戶行為分析。基于前臺技術的用戶行為分析側重于用戶的行為分析，而基于后臺技術的用戶行為分析側重于用戶行為的結果分析。這兩類產品可以說是有一定的片面性，完成的只是用戶行為分析的一部分。基于這個現狀來談談全面的用戶行為分析應該怎么做。這篇文章主要會從數據來源和數據收集方式兩個角度來說。

一 用戶行為數據來源

數據是用戶行為分析的大前提，一切的分析都始于數據，巧婦難為無米之炊。用戶行為的數據來源有前臺點擊數據和后臺業務數據。僅僅使用后臺的業務數據，會導致前臺用戶行為缺失，這樣和僅僅通過數據庫做傳統地統計實現的效果差不多。假設有兩種路徑能夠下單（用字母D表示），A-B-C-E-D 和A-B-F-D。那么僅僅通過后臺數據我們知道一個客戶下單了，下單金額是多少，那么如果我們想知道哪種路徑引導才能讓客戶更容易下單呢？

僅僅使用前臺數據，還是上面那個例子，雖然能夠識別出用戶是來自A-B-F-D下單的，但是要想分析這個路徑帶來的用戶有多大價值，在之后這個用戶有沒有回來，他之后有在我們產品消費了多少，像這種復雜的分析，依賴前臺數據也是做不到的。

如果想分析用戶結果是依靠什么行為產生的，以此來優化產品和業務來反向獲得更好的結果，相反的想要根據用戶行為來衡量行為模式的效果， 就需要將前后臺數據打通進行關聯分析。舉個例子，訂單金額大于1萬的高凈值客戶行為以及其轉化率這個指標就必須通過前臺數據和后臺數據相結合的方式。

怎么把來自前臺和后臺的用戶數據關聯起來？這是需要解決的問題。

二 用戶行為數據收集技術

用戶行為數據收集技術主要有兩種：埋點和無埋點。先來科普先這兩種技術方式，以及說明下應該怎么選擇。

埋點

所謂埋點就是為了數據分析的需求在原本的復雜的代碼邏輯之上在加上N行獲取數據的代碼。比如如果想獲取某商品的點擊數量，就得在點擊事件的中搜集點擊的商品數據，發出包含商品名稱和點擊事件的數據（{productname,clicktime}）。

埋點的優勢：

1）埋點最大的優勢就是數據都是手動編碼產生的，靈活性比較大，可以更好得支持一些擴展數據。

2）埋點由于是按照埋點邏輯進行的預處理，所以對之后的分析友好，分析效果也比較好。

埋點的劣勢：

1）埋點最重要的前提條件是必須十分清楚目標，即需要收集什么樣的數據必須提前確定。所以埋點最容易出現的問題就是漏埋，一般來說在發布前一定要經過謹慎的校驗和測試，因為一旦版本發布出去而數據采集出了問題。

2）在產品的迭代過程中，如果代碼再迭代的時候忽略了埋點邏輯的更改，從而導致后續的分析邏輯不準，甚至導致產品bug。更甚于對于產品迭代比較快的場景，埋點就是一個×××。

無埋點

埋點技術和無埋點技術都需要在原有的業務代碼上進行改動。無埋點就是通過編程語言自身的特點來完成數據收集的自動化過程。比如前臺無埋點其實就是通過監聽JS事件，把頁面上發生的所有事件都采集下來。后臺無埋點實現比較復雜，但是說起來很簡單，其實就是將網絡數據進行旁路反解析，前后端交互的數據肯定都會經過網絡，所以網絡中應該包含了絕大多數業務數據。 

無埋點的優勢：

1) 相對于埋點方式帶來的收益就是正好就是埋點容易產生的問題，由于采集的是全量數據，所以產品迭代過程中是不需要關注埋點邏輯的，也不會出現漏埋、誤埋等現象。

2）無埋點方式因為收集的是全量數據，可以大大減少運營和產品的試錯成本，試錯的可能性高了，可以帶來更多啟發性的信息。

3）最后一點，也是最清楚的一點，就是減少了因為人員流動帶來的溝通成本。

無埋點的缺陷，也是無埋點存在的一些質疑點：

1）適用大部門，通用的場景，有少部分需要埋點的場景覆蓋不了。

2）無埋點采集全量數據，給數據傳輸和服務器增加壓力

根據前面關于埋點和無埋點的科普，我們都明白其實兩個方式都有其自身的優勢和缺陷，知乎等其他技術博客上關于這兩個討論點的文章也有很多，有人在批埋點，有人在批無埋點。關于技術，我們還是理性看待吧，它們兩個不是你死我活的關系，通過我們調研的得到的情況是，目前沒有方案能夠完美解決無埋點問題，但是我們致力于研究最大限度通過通用方式解決埋點問題，盡量減少埋點代碼，埋點代碼越少，出錯的可能性就越低。我們選擇使用前臺無埋點和后臺無埋點技術相結合的方式來獲取用戶數據。

三 如何利用無埋點打通前后臺數據

當前的分析手段，都需要進行大量埋點以及關聯才能做到前臺和后臺數據打通，有沒有可能通過無埋點將前后臺數據自動關聯打通？

前臺無埋點弊端

前端無埋點針對數據分析比較簡單需求是很合適的，如果是僅僅分析頁面跳轉，轉化率、或者控件點擊等行為，前端無埋點完全能夠勝任。但是如果要做細粒度的分析，僅僅靠前端無埋點可能存在困難，最關鍵的原因就是前臺采集技術再先進也還是有些數據難以采集到，比如客戶的下單金額等數據，這些數據很多都是以html形式傳到前臺，在不同的技術實現中，前臺所展示的金額數據可能僅僅是展示數據，并不會再傳至后臺。所以導致如果想要做一些按照客單價分群的行為，就很難僅僅依靠前端無埋點技術來實現。

后臺無埋點的引入

在典型的前后臺交互的程序中，數據最通用的來源，我們發現是wired data。Wired data應該包含了90%以上的細粒度的業務數據，只是這些數據是以不同格式存在于wired data中，這里面的難度就是設計一種數據處理方案，能夠通用的將存在于wired data的數據利用起來，這是后臺無埋點的實現關鍵。

前后臺數據自動打通

前后臺無埋點的關聯點就在于cookie，在用戶請求中埋入特殊的sessionid和uid。后臺的數據采集wired data中如用戶信息，通過sessionid和uid關聯之后，就可以知道某次下單業務是哪個用戶操作的，在頁面上有何種行為。我們采用這種方式實現了前后數據的自動關聯。