Kuiper中如何使用Golang模版template定制分析結果

本篇文章給大家分享的是有關Kuiper中如何使用Golang模版template定制分析結果，小編覺得挺實用的，因此分享給大家學習，希望大家閱讀完這篇文章后可以有所收獲，話不多說，跟著小編一起來看看吧。

簡介

用戶通過 Kuiper 進行數據分析處理后，使用各種 sink 可以往不同的系統發送數據分析結果。針對同樣的分析結果，不同的 sink 需要的格式可能未必一樣。比如，在某物聯網場景中，當發現某設備溫度過高的時候，需要向云端某 rest 服務發送一個請求，同時在本地需要通過 MQTT 協議 往設備發送一個控制命令，這兩者需要的數據格式可能并不一樣，因此，需要對來自于分析的結果進行「二次處理」后，才可以往不同的目標發送針對數據。下面將介紹如何利用 sink 中的數據模版（data template ）來實現對分析結果的「二次處理」。

Golang 模版介紹

Golang 模版將一段邏輯應用到數據上，然后按照用戶指定的邏輯對數據進行格式化輸出，Golang 模版常見的使用場景為在網頁開發中，比如將 Golang 中的某數據結構進行轉換和控制后，將其轉換為 HTML 標簽輸出到瀏覽器。在Kuiper 使用了 Golang 的 template（模版）對分析結果實現「二次處理」，請參考以下來自于 Golang 的官方介紹。

模版是通過將其應用到一個數據結構上來執行的。模版中的注釋 (Annotations) 指的是數據結構中的元素（典型的為結構體中的一個字段，或者 map 中的一個 key），注釋用于控制執行、并獲取用于顯示的值。模版的執行會迭代數據結構并設置游標，通過符號「.」 來表示，稱之為「dot」，在執行過程中指向數據結構中的當前位置。

模版的輸入文本可以為 UTF-8 編碼的任意文本。「動作 (Actions)」 -- 數據求值或者控制結構 - 是通過 "{{" 和 "}}" 來界定的；所有在動作之外的文本會被保持原樣到輸出，除了 raw strings，動作不可跨行（注釋除外）。

動作 (Actions)

Golang 模版提供了一些內置的動作，可以讓用戶寫各種控制語句，用于提取內容。比如，

• 根據判斷條件來輸出不同的內容

{{if pipeline}} T1 {{else}} T0 {{end}}

• 循環遍歷數據，并進行處理

{{range pipeline}} T1 {{else}} T0 {{end}}

讀者可以看到，動作是用 {{}} 界定的，在 Kuiper 的數據模版使用過程中，由于輸出一般也是 JSON 格式， 而 JSON 格式是用 {} 來界定，因此讀者在不太熟悉使用的時候，在使用 Kuiper 的數據模版的功能會覺得比較難以理解。比如以下的例子中，

{{if pipeline}} {"field1": true} {{else}}  {"field1": false} {{end}}

上述表達式的意思如下（請注意動作的界定符和 JSON 的界定符）：

• 如果滿足了條件 pipeline，則輸出 JSON 字符串 {"field1": true}

• 否則輸出 JSON 字符串 {"field1": false}

Kuiper sink 數據格式

Golang 的模版可以作用于各種數據結構，比如 map、切片 (slice)，通道等，而 Kuiper 的 sink 中的數據模版得到的數據類型是固定的，是一個包含了 Golang map 切片的數據類型，如下所示。

[]map[string]interface{}

切片 (slice) 數據按條發送

流入 sink 的數據是一個 map[string]interface{} 切片的數據結構，但是用戶往目標 sink 發送數據的時候，可能是需要單條的數據，而不是所有的數據。比如在這篇 Kuiper 與 AWS IoT Hub 集成 的文章中所介紹的，規則產生的樣例數據如下所示。

[
  {"device_id":"1","t_av":36.25,"t_count":4,"t_max":80,"t_min":10},
  {"device_id":"2","t_av":27,"t_count":4,"t_max":45,"t_min":12}
]

在發送到 sink 的時候，希望每條數據分開發送，首先需要將 sink 的 sendSingle 設置為 true，然后使用數據模版：{{json .}}，完整配置如下，用戶可以將其拷貝到某 sink 配置的最后。

 ...
 "sendSingle": true,
 "dataTemplate": "{{json .}}"

• 將 sendSingle 設置為 true后，Kuiper 把傳遞給 sink 的 []map[string]interface{} 數據類型進行遍歷處理，對于遍歷過程中的每一條數據都會應用用戶指定的數據模版

• json 是 Kuiper 提供的函數（用戶可以參考 Kuiper 擴展模版函數來了解更多的 Kuiper 擴展），可以將傳入的參數轉化為 JSON 字符串輸出，對于遍歷到的每一條數據，將 map 中的內容轉換為 JSON 字符串

Golang 還內置提供了一些函數，用戶可以參考更多 Golang 內置提供的函數來獲取更多函數信息。

數據內容轉換

還是針對上述例子，需要對返回的 t_av（平均溫度）做一些轉換，轉換的基本要求就是根據不同的平均溫度，加入不同的描述文字，用于目標 sink 中的處理。規則如下，

• 當溫度小于 30，描述字段為「Current temperature is$t_av, it's normal.」

• 當溫度大于 30，描述字段為「Current temperature is$t_av, it's high.」

假設目標 sink 還是需要 JSON 數據，該數據模版的內容如下，

...
"dataTemplate": "{\"device_id\": {{.device_id}}, \"description\": \"{{if lt .t_av 30.0}}Current temperature is {{.t_av}}, it's normal.\"{{else if ge .t_av 30.0}}Current temperature is {{.t_av}}, it's high.\"{{end}}}"
"sendSingle": true,

在上述的數據模版中，使用了 {{if pipeline}} T1 {{else if pipeline}} T0 {{end}} 的內置動作，看上去比較復雜，稍微調整一下，去掉轉義并加入縮進后排版如下（注意：在生成 Kuiper 規則的時候，不能傳入以下優化后排版的規則）。

{"device_id": {{.device_id}}, "description": "
  {{if lt .t_av 30.0}}
    Current temperature is {{.t_av}}, it's normal."
  {{else if ge .t_av 30.0}}
    Current temperature is {{.t_av}}, it's high."
  {{end}}
}

使用了 Golang 內置的二元比較函數，

• lt： 小于

• ge：大于等于

值得注意的是，在 lt 和 ge 函數中，第二個參數值的類型應該與 map 中的數據實際的數據類型一致，否則會出錯。如在上述的例子中，溫度大于 30 的情況，因為 map 中實際平均數的類型為 float，因此第二個參數的值需傳入 30.0，而不是 30。

另外，模版還是應用到切片中每條記錄上，所以還是需要將 sendSingle 屬性設置為 true。最終該數據模版針對上述數據產生的內容如下，

{"device_id": 1, "description": "Current temperature is 36.25, it's high."}
{"device_id": 2, "description": "Current temperature is 27, it's normal."}

數據遍歷

通過給 sink 的 sendSingle 屬性設置為 true ，可以實現把傳遞給 sink 的切片數據進行遍歷。在此處，我們將介紹一些更為復雜的例子，比如在 sink 的結果中，包含了嵌套的數組類型的數據，如何通過在數據模版中提供的遍歷功能，自己來實現遍歷。

假設流入 sink 中的數據內容如下所示，

{"device_id":"1", 
 "values": [
  {"temperature": 10.5},
  {"temperature": 20.3},
  {"temperature": 30.3}
 ]
}

需求為，

• 當發現 "values" 數組中某個 temperature 值小于等于 25 的時候，增加一個名為 description 的屬性，將其值設置為 fine。

• 當發現 "values" 數組中某個 temperature 值大于 25 的時候，增加一個名為 description 的屬性，將其值設置為 high。

"sendSingle": true,
"dataTemplate": "{{$len := len .values}} {{$loopsize := add $len -1}} {\"device_id\": \"{{.device_id}}\", \"description\": [{{range $index, $ele := .values}} {{if le .temperature 25.0}}\"fine\"{{else if gt .temperature 25.0}}\"high\"{{end}} {{if eq $loopsize $index}}]{{else}},{{end}}{{end}}}"

該數據模板比較復雜，解釋如下，

• {{$len := len .values}} {{$loopsize := add $len -1}}，這一段執行了兩個表達式，第一個 len 函數取得數據中 values 的長度，第二個 add 將其值減 1 并賦值到變量 loopsize：由于 Golang 的表達式中目前還不支持直接將數值減 1 的操作， add 是 Kuiper 為實現該功能而擴展的函數。

• {\"device_id\": \"{{.device_id}}\", \"description\": [ 這一段模版在作用到樣例數據后，生成了 JSON 串 {"device_id": "1", "description": [

• {{range $index, $ele := .values}} {{if le .temperature 25.0}}\"fine\"{{else if gt .temperature 25.0}}\"high\"{{end}} {{if eq $loopsize $index}}]{{else}},{{end}}{{end}} ，這一段模版看起來比較復雜，但是如果把它調整一下，去掉轉義并加入縮進后排版如下，看起來可能會更加清晰（注意：在生成 Kuiper 規則的時候，不能傳入以下優化后排版的規則）。

  {{range $index, $ele := .values}} 
    {{if le .temperature 25.0}}
      "fine"
    {{else if gt .temperature 25.0}}
      "high"
    {{end}} 
    {{if eq $loopsize $index}}
      ]
    {{else}}
      ,
    {{end}}
  {{end}}

  
  

  第一個條件判斷生成是 fine 或者 high；第二個條件判斷是生成分隔數組的 , 還是數組結尾的 ]。

另外，模版還是應用到切片中每條記錄上，所以還是需要將 sendSingle 屬性設置為 true。最終該數據模版針對上述數據產生的內容如下，

  {"device_id": "1", "description": [ "fine" , "fine" , "high" ]}

通過 Kuiper 提供的數據模版功能可以實現對分析結果的二次處理，以滿足不同的 sink 目標的需求。但是讀者也可以看到，由于 Golang 模版本身的限制，實現比較復雜的數據轉換的時候會比較笨拙，希望將來 Golang 模版的功能可以做得更加強大和靈活，這樣可以支持處理更加復雜的需求。目前建議用戶可以通過數據模版來實現一些較為簡單的數據的轉換；如果用戶需要對數據進行比較復雜的處理，并且自己擴展了 sink 的情況下，可以在 sink 的實現中直接進行處理。

另外，Kuiper 團隊在規劃將來支持自定義擴展 sink 中的模版函數，這樣一些比較復雜的邏輯可以在函數內部實現，用戶調用的時候只需一個簡單的模版函數調用即可實現。

以上就是Kuiper中如何使用Golang模版template定制分析結果，小編相信有部分知識點可能是我們日常工作會見到或用到的。希望你能通過這篇文章學到更多知識。更多詳情敬請關注億速云行業資訊頻道。