溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
利用JAVA實現一個多線程爬蟲？很多新手對此不是很清楚，為了幫助大家解決這個難題，下面小編將為大家詳細講解，有這方面需求的人可以來學習下，希望你能有所收獲。
JAVA 多線程爬蟲實例詳解
前言
以前喜歡Python的爬蟲是出于他的簡潔，但到了后期需要更快，更大規模的爬蟲的時候，我才漸漸意識到Java的強大。Java有一個很好的機制，就是多線程。而且Java的代碼效率執行起來要比python快很多。這份博客主要用于記錄我對多線程爬蟲的實踐理解。
線程
線程是指一個任務從頭至尾的執行流。線程提供了運行一個任務的機制。對于Java而言，可以在一個程序中并發地啟動多個線程。這些線程可以在多處理器系統上同時運行。
runnable接口
任務類必須實現runnable接口，它只包含一個run方法。需要實現這個方法來告訴系統線程將如何運行。
Thread類
包含為任務而創建的線程的構造方法，以及控制線程的方法。
synchronized關鍵字
為避免競爭狀態，防止多個線程同時進入程序的某個特定部分，即臨界區，以便一次只有一個線程可以訪問臨界區。
利用加鎖同步
Java可以顯式加鎖，一個鎖是一個Lock接口的實例，它定義了加鎖和釋放鎖的方法。
線程池
線程池是管理開發執行任務個數的理想方法。Java提供Executor接口來執行線程池中的任務，提供ExecutorService接口管理和控制任務。
使用線程池的方法獲取url列表
import java.util.ArrayList;
import java.util.List;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;
import java.util.concurrent.locks.Lock;
import java.util.concurrent.locks.ReentrantLock;
/*
* 獲取京東評論url列表
*/
public class MyThreading {
private static String p_id = null;
private static Url urls = null;
public MyThreading(String p_id){
this.p_id = p_id ; // 京東商品的id
urls = new Url(p_id);
}
public List<String> getUriList(){
ExecutorService executor = Executors.newCachedThreadPool();
for (int i = 0 ; i < 600 ; i ++){
executor.execute(new AddUrl(i)); // 添加任務到線程池
}
executor.shutdown();
while (!executor.isTerminated()){}
return urls.getList();
}
public static class AddUrl implements Runnable{
int page;
public AddUrl(int page){
this.page = page;
}
public void run(){
urls.addList(page); // 啟動多線程任務
}
}
public static class Url {
private static Lock lock = new ReentrantLock(); // 開啟顯式家鎖
private static List<String> urlList = new ArrayList();
private String p_id;
public Url(String p_id ){
this.p_id = p_id ;
}
public List<String> getList(){
return urlList;
}
public void addList(int page){
lock.lock();
try{
String url = "http://club.jd.com/productpage/p-" + p_id + "-s-0-t-0-p-" + String.valueOf(page) + ".html";
// Thread.sleep(5);
urlList.add(url); //添加url到url列表
}catch(Exception ex ){
}
finally {
lock.unlock(); // 解鎖
}
}
}
public static void main(String[] args) {
String p_id = "2441288";
MyThreading myThreading = new MyThreading(p_id);
List <String> urlList = myThreading.getUriList();
for(String url : urlList){
System.out.println(url);
}
System.out.println(urlList.size());
}
}代碼分析
使用線程池的方法根據url列表爬取網頁元素
import java.io.BufferedReader;
import java.io.InputStreamReader;
import java.net.URL;
import java.net.URLConnection;
import java.util.ArrayList;
import java.util.List;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;
import java.util.concurrent.locks.Lock;
import java.util.concurrent.locks.ReentrantLock;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
public class ThreadingCrawel {
private static Content content = null;
private static List<String> urlList = null;
public ThreadingCrawel(List<String> urlList){
this.urlList = urlList;
content = new Content();
}
public List<String> getContent(){
ExecutorService executor = Executors.newCachedThreadPool();
for (String url : urlList){
executor.execute(new AddContent(url));
}
executor.shutdown();
while(!executor.isTerminated()){}
return content.getContent();
}
public static class AddContent implements Runnable{
String url;
public AddContent(String url){
this.url = url;
}
public void run(){
content.addContent(url);
}
}
public static class Content {
private static Lock lock = new ReentrantLock();
private static List<String> contentList = new ArrayList();
public void addContent(String url){
String content = "";
BufferedReader in = null;
try{
URL realUrl = new URL(url);
URLConnection connection = realUrl.openConnection();
in = new BufferedReader(new InputStreamReader(connection.getInputStream(), "gbk"));
String line;
while( (line = in.readLine()) != null){
content += line +"\n";
}
}catch(Exception e){
e.printStackTrace();
}
finally{
try{
if (in != null){
in.close();
}
}catch(Exception e2){
e2.printStackTrace();
}
}
Pattern p = Pattern.compile("content\":\".*?\"");
Matcher match = p.matcher(content);
String tmp;
lock.lock();
while(match.find()){
tmp = match.group();
tmp = tmp.replaceAll("\"", "");
tmp = tmp.replace("content:", "");
tmp = tmp.replaceAll("<.*?>", "");
contentList.add(tmp);
try {
Thread.sleep(1);
} catch (InterruptedException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
lock.unlock();
}
public List getContent(){
return contentList;
}
}
public static void main(String[] args){
long start = System.currentTimeMillis();
String p_id = "2441288";
MyThreading myThreading = new MyThreading(p_id);
List <String> urlList = myThreading.getUriList();
ThreadingCrawel threadingCrawel = new ThreadingCrawel(urlList);
List <String> contentList = threadingCrawel.getContent();
for(String content : contentList){
System.out.println(content);
}
long end = System.currentTimeMillis();
System.out.println(end - start);
}
}看完上述內容是否對您有幫助呢？如果還想對相關知識有進一步的了解或閱讀更多相關文章，請關注億速云行業資訊頻道，感謝您對億速云的支持。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
