Golang中怎么手寫一個簡單的并發任務manager

本篇內容主要講解“Golang中怎么手寫一個簡單的并發任務manager”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實用性強。下面就讓小編來帶大家學習“Golang中怎么手寫一個簡單的并發任務manager”吧!

需求拆解

ok，我們來試著用 sync 包基礎能力來實現一個簡單的并行任務 manager。首先我們分析下需求。

• 一定要能做到并發執行各個任務，開多個協程，而不是在一個 main goroutine 里串行執行各個任務；

• 并發安全，我們當然不希望出現數據異常，不希望并發執行任務導致最后程序因為 runtime error 而掛掉；

• 如果多個任務都失敗，只返回一個 error 即可；

• 能夠 recover from panic，不需要開發者使用的時候再手動去寫 recover 邏輯；

• 性能有保障。

并發執行這一點我們可以借助 sync.WaitGroup 的能力，每次啟動一個goroutine，WaitGroup 就加 1，在 defer 里完成 Done，啟動所有 goroutine 之后，等著 Wait 返回結果即可。常規的能力復用。

需要額外處理的地方在于，怎么實現多個線程只有一個 error 能賦值，以及 recover 的適配。

實戰代碼

我們理一下思路，看看代碼怎么寫。

Job

首先一定需要定義一個通用的函數簽名，使得開發者能夠傳入自己要執行的并發任務。

type Job interface {
	Do(ctx context.Context, param interface{}) error
	Name() string
}

JobManager

我們的 job manager 現階段可以簡單實現，只是一組 Job 的集合：

type JobManager []Job

錯誤處理

要達到只有一個 error 賦值，且不出現 race condition，有兩個方案：

• sync.Mutex 加鎖；

• sync.Once 只執行一次。

當然，什么時候我們都可以用一把大鎖解決問題，但它的性能不會很好，能用原子操作解決的盡量還是不要用 Mutex，這里參照 errgroup，我們可以用一個 Once 對象來控制只賦值一次。

panic 恢復可以直接在 defer 里面 recover 即可，需要能帶出來 stack trace，把它變成一個 error 賦值

及時退出

有時候我們這個并發任務數量非常多，可能還沒創建完 goroutine，某個先創建的任務就已經掛了，這時候需要有一個全局的信號，終止后續的 goroutine 創建。這一點用原子操作就能實現。

完整代碼

把上面的分析落地，這樣我們就實現了一個帶上了 recover 能力，以及終止能力的的 errgroup。

package main
import (
	"context"
	"errors"
	"fmt"
	"sync"
	"sync/atomic"
)
type Job interface {
	Do(ctx context.Context, param interface{}) error
	Name() string
}
type JobManager []Job

func (mgr JobManager) Execute(ctx context.Context, param interface{}) error {
	var (
		stop    int32 = 0
		err     error
		wg      sync.WaitGroup
		errOnce sync.Once
	)

	for _, job := range mgr {
		if atomic.LoadInt32(&stop) > 0 {
			break
		}

		wg.Add(1)
		go func(j Job) {
			defer func() {
				wg.Done()
				if r := recover(); r != nil {
					errMsg := fmt.Sprintf("JobManager panic: job: %v, reason: %v", j.Name(), r)
					nerr := errors.New(errMsg)
					errOnce.Do(func() {
						if err == nil {
							err = nerr
						}
					})
					atomic.AddInt32(&stop, 1)
				}
			}()
			nerr := j.Do(ctx, param)
			if nerr != nil {
				atomic.AddInt32(&stop, 1)
				errOnce.Do(func() {
					if err == nil {
						err = nerr
					}
				})
			}
		}(job)
	}
	wg.Wait()
	return err
}

使用方法也很簡單：

var mgr = JobManager{
	AJob, BJob, CJob, // 這里的各個 Job 需要實現一開始我們定義的接口
}
err := mgr.Execute(ctx, param)

這里我們需要定義統一的 param interface{}，建議是一個接口，各個 Job 執行完畢后如果有需要寫入的數據，可以調用 param 的 Setter 方法寫入，最后直接拿 param 來做后續邏輯。

到此，相信大家對“Golang中怎么手寫一個簡單的并發任務manager”有了更深的了解，不妨來實際操作一番吧！這里是億速云網站，更多相關內容可以進入相關頻道進行查詢，關注我們，繼續學習！