亚洲激情专区-91九色丨porny丨老师-久久久久久久女国产乱让韩-国产精品午夜小视频观看

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

kubernetes中怎么利用map/reduce模式實現優選計算

發布時間:2021-08-10 13:43:37 來源:億速云 閱讀:119 作者:Leah 欄目:云計算

本篇文章給大家分享的是有關kubernetes中怎么利用map/reduce模式實現優選計算,小編覺得挺實用的,因此分享給大家學習,希望大家閱讀完這篇文章后可以有所收獲,話不多說,跟著小編一起來看看吧。


1. 設計基礎

     

1.1 兩階段: 單點與聚合

在進行優選的時候,除了最后一次計算,在進行針對單個算法的計算的時候,會分為兩個階段:單點和聚合

在單點階段,會根據當前算法針對單個node計算在聚合階段,則會根據當前單點階段計算完成后,來進行聚合

     

1.2 并行: 節點與算法

單點和聚合兩階段在計算的時候,都是并行的,但是對象則不同,其中單點階段并行是針對單個node的計算,而聚合階段則是針對算法級別的計算,通過這種設計分離計算,從而避免多goroutine之間數據競爭,無鎖加速優選的計算

     

1.3 map與reduce

而map與reduce則是針對一個上面并行的兩種具體實現,其中map中負責單node打分,而reduce則是針對map階段的打分進行聚合后,根據匯總的結果進行二次打分計算

     

1.4 weight

map/reduce階段都是通過算法計算,如果我們要進行自定義的調整,針對單個算法,我們可以調整其在預選流程中的權重,從而進行定制自己的預選流程 

     

1.5 隨機分布

當進行優先級判斷的時候,肯定會出現多個node優先級相同的情況,在優選節點的時候,會進行隨機計算,從而決定是否用當前優先級相同的node替換之前的最合適的node

2. 源碼分析 

優選的核心流程主要是在PrioritizeNodes中,這里只介紹其關鍵的核心數據結構設計

     

2.1 無鎖計算結果保存

無鎖計算結果的保存主要是通過下面的二維數組實現, 如果要存儲一個算法針對某個node的結果,其實只需要通過兩個索引即可:算法索引和節點索引,同理如果我把針對單個node的索引分配給一個goroutine,則其去其他的goroutine則就可以并行計算kubernetes中怎么利用map/reduce模式實現優選計算

// 在計算的時候,會傳入nodes []*v1.Node的數組,存儲所有的節點,節點索引主要是指的該部分
results := make([]schedulerapi.HostPriorityList, len(priorityConfigs), len(priorityConfigs))
 
     

2.2 基于節點索引的Map計算

kubernetes中怎么利用map/reduce模式實現優選計算之前在預選階段介紹過ParallelizeUntil函數的實現,其根據傳入的數量來生成計算索引,放入chan中,后續多個goroutine從chan中取出數據直接進行計算即可

workqueue.ParallelizeUntil(context.TODO(), 16, len(nodes), func(index int) {
       // 根據節點和配置的算法進行計算
       nodeInfo := nodeNameToInfo[nodes[index].Name]
           // 獲取算法的索引
       for i := range priorityConfigs {
           if priorityConfigs[i].Function != nil {
               continue
           }

           var err error
               
               // 通過節點索引,來進行針對單個node的計算結果的保存
           results[i][index], err = priorityConfigs[i].Map(pod, meta, nodeInfo)
           if err != nil {
               appendError(err)
               results[i][index].Host = nodes[index].Name
           }
       }
   })
 
     

2.3 基于算法索引的Reduce計算

kubernetes中怎么利用map/reduce模式實現優選計算基于算法的并行,則是為每個算法的計算都啟動一個goroutine,每個goroutine通過算法索引來進行該算法的所有map階段的結果的讀取,并進行計算,后續結果仍然存儲在對應的位置

// 計算策略的分值
   for i := range priorityConfigs {
       if priorityConfigs[i].Reduce == nil {
           continue
       }
       wg.Add(1)
       go func(index int) {
           defer wg.Done()
           if err := priorityConfigs[index].Reduce(pod, meta, nodeNameToInfo, results[index]); err != nil {
               appendError(err)
           }
           if klog.V(10) {
               for _, hostPriority := range results[index] {
                   klog.Infof("%v -> %v: %v, Score: (%d)", util.GetPodFullName(pod), hostPriority.Host, priorityConfigs[index].Name, hostPriority.Score)
               }
           }
       }(i)
   }
   // Wait for all computations to be finished.
   wg.Wait()
 
     

2.4 優先級打分結果統計

根據之前的map/reduce階段,接下來就是將針對所有node的所有算法計算結果進行累加即可

// Summarize all scores.
   result := make(schedulerapi.HostPriorityList, 0, len(nodes))

   for i := range nodes {
       result = append(result, schedulerapi.HostPriority{Host: nodes[i].Name, Score: 0})
       // 便利所有的算法配置
       for j := range priorityConfigs {
           result[i].Score += results[j][i].Score * priorityConfigs[j].Weight
       }

       for j := range scoresMap {
           result[i].Score += scoresMap[j][i].Score
       }
   }
 
     

2.5 根據優先級隨機篩選host

這里的隨機篩選是指的當多個host優先級相同的時候,會有一定的概率用當前的node替換之前的優先級相等的node(到目前為止的優先級最高的node), 其主要通過cntOfMaxScore和rand.Intn(cntOfMaxScore)來進行實現

func (g *genericScheduler) selectHost(priorityList schedulerapi.HostPriorityList) (string, error) {
   if len(priorityList) == 0 {
       return "", fmt.Errorf("empty priorityList")
   }
   maxScore := priorityList[0].Score
   selected := priorityList[0].Host
   cntOfMaxScore := 1
   for _, hp := range priorityList[1:] {
       if hp.Score > maxScore {
           maxScore = hp.Score
           selected = hp.Host
           cntOfMaxScore = 1
       } else if hp.Score == maxScore {
           cntOfMaxScore++
           if rand.Intn(cntOfMaxScore) == 0 {
               // Replace the candidate with probability of 1/cntOfMaxScore
               selected = hp.Host
           }
       }
   }
   return selected, nil
}

以上就是kubernetes中怎么利用map/reduce模式實現優選計算,小編相信有部分知識點可能是我們日常工作會見到或用到的。希望你能通過這篇文章學到更多知識。更多詳情敬請關注億速云行業資訊頻道。

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

宁海县| 白山市| 灵宝市| 乌海市| 谷城县| 大同县| 年辖:市辖区| 黄大仙区| 荔浦县| 柘城县| 石河子市| 潍坊市| 吉木萨尔县| 海盐县| 师宗县| 伊宁市| 深泽县| 南漳县| 湘潭市| 武鸣县| 益阳市| 南丰县| 分宜县| 信丰县| 涟源市| 湘乡市| 凌源市| 二手房| 博白县| 珲春市| 都安| 柳江县| 绩溪县| 平遥县| 乌鲁木齐县| 威宁| 荆门市| 麻栗坡县| 扶沟县| 吴旗县| 砀山县|