Nutch報錯怎么辦

這篇文章主要介紹了Nutch報錯怎么辦，具有一定借鑒價值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

Indexer: java.io.IOException: Job failed!

環境：nutch2.8  local模式 solr服務正常

ParseSegment: finished at 2014-07-14 21:21:19, elapsed: 00:00:35
CrawlDB update
CrawlDb update: starting at 2014-07-14 21:21:21
CrawlDb update: db: crawl/crawldb
CrawlDb update: segments: [crawl/segments/20140714190910]
CrawlDb update: additions allowed: true
CrawlDb update: URL normalizing: false
CrawlDb update: URL filtering: false
CrawlDb update: 404 purging: false
CrawlDb update: Merging segment data into db.
CrawlDb update: finished at 2014-07-14 21:21:30, elapsed: 00:00:09
Link inversion
LinkDb: starting at 2014-07-14 21:21:33
LinkDb: linkdb: crawl/linkdb
LinkDb: URL normalize: true
LinkDb: URL filter: true
LinkDb: internal links will be ignored.
LinkDb: adding segment: crawl/segments/20140714190910
LinkDb: merging with existing linkdb: crawl/linkdb
LinkDb: finished at 2014-07-14 21:21:42, elapsed: 00:00:09
Dedup on crawldb
Indexing 20140714190910 on SOLR index -> http://192.168.122.104:8080/solr
Indexer: starting at 2014-07-14 21:21:55
Indexer: deleting gone documents: false
Indexer: URL filtering: false
Indexer: URL normalizing: false
Active IndexWriters :
SOLRIndexWriter
        solr.server.url : URL of the SOLR instance (mandatory)
        solr.commit.size : buffer size when sending to SOLR (default 1000)
        solr.mapping.file : name of the mapping file for fields (default solrindex-mapping.xml)
        solr.auth : use authentication (default false)
        solr.auth.username : use authentication (default false)
        solr.auth : username for authentication
        solr.auth.password : password for authentication


Indexer: java.io.IOException: Job failed!
        at org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:1357)
        at org.apache.nutch.indexer.IndexingJob.index(IndexingJob.java:114)
        at org.apache.nutch.indexer.IndexingJob.run(IndexingJob.java:176)
        at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
        at org.apache.nutch.indexer.IndexingJob.main(IndexingJob.java:186)

解決方法： 

1、查看nutch日志發現是nutch在向solr請求的時候有Bad Request導致的

2、查看solr日志（在solr的web頁面上的logging）中查看找到org.apache.solr.common.SolrException: ERROR: [doc=http://18.ifeng.com/] unknown field 'anchor'

3、從2中可以看出是缺少叫做'anchor'的field，那么在solr的solr/collection1/conf/schema.xml文件中增加'anchor'字段

No agents listed in 'http.agent.name' property

原因：$NUTCH_HOME/conf/nutch-site.xml中沒有設置http.agent.name值，nutch較新版本（TODO：確切版本待考證）中這個值為空的話就會報這個錯誤。

解決：這個值其實就是User-Agent值，可以填寫瀏覽器UA值以達到偽裝成瀏覽器訪問的目的。注意！填寫后需使用ant重新編譯才能生效。

感謝你能夠認真閱讀完這篇文章，希望小編分享的“Nutch報錯怎么辦”這篇文章對大家有幫助，同時也希望大家多多支持億速云，關注億速云行業資訊頻道，更多相關知識等著你來學習!