您好,登錄后才能下訂單哦!
本篇文章為大家展示了使用ogg將Oracle數據傳輸到flume刷到kafka中的內存設置是怎樣的,內容簡明扼要并且容易理解,絕對能使你眼前一亮,通過這篇文章的詳細介紹希望你能有所收獲。
flume 環境可以根據不同的需求啟動多個進程,并配置多個服務。
內存參數可以修改flume-env.sh 腳本中內存設置:
export JAVA_OPTS=" -Xms128m -Xmx512m -Dcom.sun.management.jmxremote"
一般分配如上大小就可以。
對應OGGpump傳輸段配置內存大小實例如下:
javawriter.bootoptions=-Xmx2048m -Xms256m -XX:-UseGCOverheadLimit -Djava.class.path=/data/ogg_for_bigdata/ggjava/ggjava.jar -Dlog4j.configuration=/data/ogg_for_bigdata/cfg/log4j.properties
可以添加參數 -UseGCOverheadLimit 防止 OOM 出現。
設置好合理的內存后,ogg的pump進程可以正常啟動。
info 查看后:
File /data/ogg_for_bigdata/dirdat/ff014656
2019-03-22 14:54:59.000996 RBA 126667880
數據實時更新。
查看 stats 進程:
Hourly statistics since 2019-04-09 20:00:04 ***
Total inserts 589.00
Total updates 555.00
Total befores 555.00
Total deletes 0.00
Total discards 0.00
Total operations 1144.00
進程正常running
內存參數優化是調整進程掛起事務提交失敗的一種方式,具體視配置環境而定。
異常報錯如下:
上述內容就是使用ogg將Oracle數據傳輸到flume刷到kafka中的內存設置是怎樣的,你們學到知識或技能了嗎?如果還想學到更多技能或者豐富自己的知識儲備,歡迎關注億速云行業資訊頻道。
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。