溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
本篇文章為大家展示了spark2.0配合hive0.13.1使用問題的處理方法，內容簡明扼要并且容易理解，絕對能使你眼前一亮，通過這篇文章的詳細介紹希望你能有所收獲。
功能，spark2.0配合hive0.13.1使用，并保存數據到hive
錯誤： Invalid method name: 'alter_table_with_cascade'
解決1：
將hive-site.xml中的 hive.metastore.uris配置項置空。使用jdo相關配置。此舉是將spark提取hive元信息的方式修改為直接從數據庫提取。雖然可以解決，但是客戶方不給該數據。
解決2:
配置spark-defaults.conf,增加spark.sql.hive.metastore.jars和spark.sql.hive.metastore.version項。
配置完成后 Invalid method name: 'alter_table_with_cascade'異常消失了，
結果運行又出現了NoSuchMethodException:org.apche.hadoop.,hive.ql.metada.Hive. loadTable(org.apche.hadoop.fs.Path,java.lang.String,boolean,boolean)的錯誤。
找到該類Hive.java，里面的loadTable方法竟然需要5個參數。果然沒有4個參數的loadTable 方法。只能參照Shim_v0_14修改 Spark中的HiveShim.scala中的Shim_v0_13類，增加
loadTable和loadPartition方法。重新編譯，執行。
竟然好了。看來spark中的bug也挺多，或者我的用法不對？
解決問題中有一個很奇怪的現象：在yarn-client 模式下竟然未出現 loadTable方法未找到的問題
上述內容就是spark2.0配合hive0.13.1使用問題的處理方法，你們學到知識或技能了嗎？如果還想學到更多技能或者豐富自己的知識儲備，歡迎關注億速云行業資訊頻道。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
