nutch部署到eclipse常見錯誤有哪些

nutch部署到eclipse常見錯誤有哪些，針對這個問題，這篇文章詳細介紹了相對應的分析和解答，希望可以幫助更多想解決這個問題的小伙伴找到更簡單易行的方法。

Nutch部署到eclipse常見錯誤

Failed to set permissions of path: \tmp\hadoop-hadoop\mapred\staging\hadoop1847455384\.staging to 0700

之前在eclipse上部署hadoop時好像也遇到過這個問題。但是，現在已經不知道怎么解決了。

方法1：

1. 注釋掉

<target name="create-native-configure">

<exec executable="autoreconf" dir="${native.src.dir}" searchpath="yes" failonerror="yes">  <arg value="-if"/>

</exec>

  </target>

1. 去掉compile-core-native

  <target name="compile-core-native" depends="create-native-configure，compile-core-classes"

 if="compile.native">

中的create-native-configure依賴

3、修改hadoop-1.1.2/src/core/org/apache/hadoop/fs/FileUtil.java 691行，把throw new IOException改為LOG.warn

4、用ant編譯項目，編譯成功后從build文件夾中取出hadoop-core.jar文件夾，放入我們eclipse中的hadoop項目中，替換項目中原有hadoop-core.jar，放入lib文件夾下。再通過buildpath添加jar包。

方法2：

不用修改build.xml，直接修改FileUtil.java文件中的“checkReturnValue(rv, f, permission);”，直接注釋掉，再用ant命令編譯一遍即可產生hadoop-core.jar包，同樣將hadoop-core.jar替換掉項目中hadoop-core.jar。

繼解決了上一個異常Failed to set permissions of path:之后，運行文件又出現異常：

運行參數為：urls -dir crawl -depth 2 -topN 2

異常為：

Input path does not exist: file:/E:/qjay/wrokespace2013/trunk/-dir

這個錯是由于未正確指定參數Program arguments導致的。來來去去就這么幾個錯，折騰了一天。深刻體會到，有時候想問題真的不要那么狹隘，要敢于大膽假設。從沒想過是Program arguments的問題。。。不過找到問題了就快了。

Eclipse查看hadoop源代碼

Eclipse查看hadoop源代碼導入不成功。以hadoop-1.2.1.tar.gz為例，我們先解壓hadoop項目，然后在壓縮成zip格式的文件，導入即可成功。

total number of urls rejected by filters: 0

我遇見的這個問題并不是由于程序本身問題導致的，而是因為傳遞配置參數時沒寫正確。

在eclipse中運行injector類時，傳的參數應當為：

Main class: org.apache.nutch.crawl.Injector

VM arguments: -Dhadoop.log.dir=logs -Dhadoop.log.file=hadoop.log

Program arguments: crawldb urls

繼續運行，這次會發現已經開始報錯了。很好，報錯是好事，害怕的就是它不報錯。能報錯就好辦了，繼續解決下邊這個異常：

nutch java.lang.Exception: java.lang.RuntimeException: Error in configuring object

nutch部署過程中出現了下面錯誤，主要是沒有正確配置插件導致的，可以通過設置nutch-site.xml文件的plugin.folders屬性解決問題

 修改conf下nutch-default文件將plugin.folders的值由plugins修改為./src/plugin

因為plugin文件在src目錄下。

關于nutch部署到eclipse常見錯誤有哪些問題的解答就分享到這里了，希望以上內容可以對大家有一定的幫助，如果你還有很多疑惑沒有解開，可以關注億速云行業資訊頻道了解更多相關知識。