消息隊列產生嚴重消息堆積怎么處理

這篇文章主要介紹“消息隊列產生嚴重消息堆積怎么處理”，在日常操作中，相信很多人在消息隊列產生嚴重消息堆積怎么處理問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”消息隊列產生嚴重消息堆積怎么處理”的疑惑有所幫助！接下來，請跟著小編一起來學習吧！

1. 為什么產生消息堆積？

大多是因為 Consumer 出問題了，沒有及時發現，或者故障恢復需要較長的時間，導致大量消息積壓在 MQ 中。

2. 消息堆積會有什么后果呢？

2.1 消息被丟棄

例如 RabbitMQ 有一個消息過期時間 TTL，過期的消息會被扔掉，這樣消息就徹底沒有了。

2.2 磁盤滿了

如果堆積量太大，可能導致磁盤空間不足，那么新消息就進不來了。

2.3 海量消息待處理

如果消息沒過期，并且磁盤空間也夠用，那么就是產生海量消息等待被消費，Consumer 的噩夢。

3. 如何應對呢？

3.1 消息被丟棄的情況

首先，要實現防止消息過期問題，不應該設置過期時間。

如果就是設置了過期時間，導致了消息丟失，怎么補救呢？

那就只能在夜深人靜，趁著訪問量最低的時候，寫一個臨時程序來補消息了。

例如有訂單消息丟了，那就需要找出哪些訂單消息丟了，然后重新發到隊列。

3.2 磁盤不足的情況

系統通常都是有監控的，達到空間閾值時就會發警報，這時就要馬上處理了。

例如，在其他機器上創建臨時的消息隊列，再寫一個臨時的 Consumer，作為消息的中轉，把消息積壓隊列中的消息取出來，放到臨時隊列里面去。

快速疏散積壓的消息，讓磁盤空間恢復正常水平。

3.3 快速處理海量積壓消息

Consumer 恢復正常之后，面對堆積如山的消息，怎么處理呢？

如何按照之前正常情況處理的話，猴年馬月才能消費完，此過程中還有新消息在不斷進來。

例如，積壓了 100 萬條，有 3 個 Consumer，每一個每秒能處理 200 條，3 個 Consumer 每秒一共能處理 600 條。

大概需要一個多小時才能處理完。

這一個多小時又會積壓多少新的消息呢？

所以正常處理肯定不行，需要提速。

例如 Kafka，這個消息積壓的 Topic 有 3 個 Partition，那最多就能用 3 個 Consumer，所以增加 Consumer 沒有用。

還是可以使用臨時隊列的方式。

新建一個 Topic，設置為 20 個 Partition

Consumer 不再處理業務邏輯了，只負責搬運，把消息放到臨時 Topic 中

這 20 個 Partition 可以有 20個 Consumer 了，它們來處理原來的業務邏輯。

這 20 個 Consumer 每秒一共能處理 4000 條了，這樣幾分鐘就可以處理完積壓的 100 萬條。

這幾分鐘新來的消息也不會太多，所以很快就可以恢復正常水平，之后，再把整體結構恢復為原來的形式。

小結一下，消息積壓還是比較麻煩的，最好是提前防范，做好硬件和消息系統的健康監控。如果出現消息丟失，就要人工查找丟失的消息，然后補上。在消費不過來的時候，可以考慮使用臨時隊列作為中轉，提升處理能力。

到此，關于“消息隊列產生嚴重消息堆積怎么處理”的學習就結束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習，快去試試吧！若想繼續學習更多相關知識，請繼續關注億速云網站，小編會繼續努力為大家帶來更多實用的文章！