溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
在上家公司工作時，設計的日志收集與實時分析架構，還是比較簡單的:
flume-ng + rocketmq + storm + redis + 前端展示
消息隊列部分，我們剛開始采用的是kafka，但 kafka在支持回溯消費和重復消費方面比較弱，同時在數據安全方面也相對弱一些，后來我們改為阿里的rocketmq。
考慮到我們的數據量也不是很大，已經能夠足夠支撐，但在rocketmq這層，有時會因為網絡異常問題，會產生消息堆積，導致消息隊列被沖爆，穩定性還不是非常高，后來咨詢了其他部門的同事，他們的做法是，在消息隊列這一層次，額外增加了一層mongodb，消息隊列這層僅保留消息的索引信息，消息的實體信息保存在mongodb中，可以很好地回避此問題，后來由于各種原因就沒有再去嘗試此方法......
其他一些常用方案：
logstash + elasticsearch + kibana
fluentd + influxdb + grafana
flume-ng + kafka + storm
kafka + spark streaming + redis
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
