要爬取動態網頁,你需要使用一個支持JavaScript渲染的庫。在Java中,常用的庫有HtmlUnit、Selenium和Jsoup。這里以HtmlUnit為例,介紹如何爬取動態網頁。
Maven:
<dependency>
<groupId>net.sourceforge.htmlunit</groupId>
<artifactId>htmlunit</artifactId>
<version>2.56.0</version>
</dependency>
Gradle:
implementation 'net.sourceforge.htmlunit:htmlunit:2.56.0'
import com.gargoylesoftware.htmlunit.WebClient;
import com.gargoylesoftware.htmlunit.html.HtmlPage;
import java.io.BufferedWriter;
import java.io.FileWriter;
import java.io.IOException;
public class DynamicWebScraper {
public static void main(String[] args) throws IOException {
// 創建WebClient對象
WebClient webClient = new WebClient();
// 啟用JavaScript支持
webClient.getOptions().setJavaScriptEnabled(true);
// 設置超時時間(可選)
webClient.getOptions().setJavaScriptTimeout(10000);
// 獲取網頁
HtmlPage page = webClient.getPage("https://example.com/dynamic-page");
// 等待頁面加載完成(可選)
webClient.waitForBackgroundJavaScript(10000);
// 獲取渲染后的HTML內容
String htmlContent = page.asXml();
// 關閉WebClient
webClient.close();
// 將HTML內容寫入文件
try (BufferedWriter writer = new BufferedWriter(new FileWriter("output.html"))) {
writer.write(htmlContent);
}
System.out.println("動態網頁已成功抓取并保存到output.html文件中");
}
}
這個示例將會訪問指定的URL(請替換為實際的動態網頁URL),執行JavaScript代碼,等待頁面加載完成,然后將渲染后的HTML內容保存到名為"output.html"的文件中。
注意:HtmlUnit可能無法完美地模擬所有瀏覽器的行為,因此在某些情況下,你可能需要使用Selenium。