Java中怎么實現數據異步加載

這篇文章給大家介紹Java中怎么實現數據異步加載，內容非常詳細，感興趣的小伙伴們可以參考借鑒，希望對大家能有所幫助。

1、內置一個瀏覽器內核

內置瀏覽器就是在抓取的程序中，啟動一個瀏覽器內核，使我們獲取到 js 渲染后的頁面，這樣我們就跟采集靜態頁面一樣了。這種工具常用的有以下三種：

Selenium  HtmlUnit  PhantomJs

這些工具都能幫助我們解決數據異步加載的問題，但是他們都存在缺陷，那就是效率不高而且不穩定。

2、反向解析法

什么是反向解析法呢？我們 js 渲染頁面的數據是通過 Ajax 的方式從后端獲取的，我們只需要找到對應的 Ajax 請求連接就 OK，這樣我們就獲取到了我們需要的數據，反向解析法的好處就是這種方式獲取的數據都是 json 格式的數據，解析起來也比較方便，另一個好處就是相對頁面來說，接口的變化概率更小。同樣它有兩個不足之處，一個是在 Ajax 時你需要有耐心有技巧，因為你需要在一大推請求中找到你想要的，另一個不足的地方就是對 JavaScript 渲染的頁面束手無策。

上面就是異步數據加載的兩種解決辦法，為了加深大家的理解和在項目中如何使用，我以采集網易要聞為例，網易新聞地址：https://news.163.com/ 。利用上訴的兩種方式來獲取網易要聞的新聞列表。網易要聞如下：

內置瀏覽器 Selenium 方式

Selenium 是一個模擬瀏覽器，進行自動化測試的工具，它提供一組 API 可以與真實的瀏覽器內核交互。在自動化測試上使用的比較多，爬蟲時解決異步加載也經常使用它，我們要在項目中使用 Selenium ，需要做兩件事：

1、引入 Selenium 的依賴包，在 pom.xml 中添加

<!-- https://mvnrepository.com/artifact/org.seleniumhq.selenium/selenium-java --><dependency> <groupId>org.seleniumhq.selenium</groupId> <artifactId>selenium-java</artifactId> <version>3.141.59</version></dependency>

2、下載對應的 driver，例如我下載的 chromedriver，下載地址為：https://npm.taobao.org/mirrors/chromedriver/，下載后，需要將 driver 的位置寫到 Java 的環境變量里，例如我直接放在項目下，所以我的代碼為：

System.getProperties().setProperty("webdriver.chrome.driver", "chromedriver.exe");

完成上面兩步之后，我們就可以來編寫使用 Selenium 采集網易要聞啦。具體代碼如下：

/** * selenium 解決數據異步加載問題 * https://npm.taobao.org/mirrors/chromedriver/ * * @param url */public void selenium(String url) { // 設置 chromedirver 的存放位置 System.getProperties().setProperty("webdriver.chrome.driver", "chromedriver.exe"); // 設置無頭瀏覽器，這樣就不會彈出瀏覽器窗口 ChromeOptions chromeOptions = new ChromeOptions(); chromeOptions.addArguments("--headless"); WebDriver webDriver = new ChromeDriver(chromeOptions); webDriver.get(url); // 獲取到要聞新聞列表 List<WebElement> webElements = webDriver.findElements(By.xpath("//p[@class='news_title']/h4/a")); for (WebElement webElement : webElements) { // 提取新聞連接 String article_url = webElement.getAttribute("href"); // 提取新聞標題 String title = webElement.getText(); if (article_url.contains("https://news.163.com/")) {  System.out.println("文章標題：" + title + " ,文章鏈接：" + article_url); } } webDriver.close();}

運行該方法，得到結果如下：

我們使用 Selenium 已經正確的提取到了網易要聞的列表新聞。

反向解析法

反向解析法就是獲取到 Ajax 異步獲取數據的鏈接，直接獲取到新聞數據。如果沒有技巧的話，查找 Ajax 的過程將非常痛苦，因為一個頁面加載的鏈接太多了，看看網易要聞的 network：

有幾百條的請求，該如何查找到是哪條請求獲取的要聞數據呢？你不嫌麻煩的話，可以一個一個的去點，肯定能夠查找到的，另一種快捷的辦法是利用 network 的搜索功能，如果你不知道搜索按鈕，我在上圖已經圈出來啦，我們在要聞中隨便復制一個新聞標題，然后檢索一下，就可以獲取到結果，如下圖所示：

這樣我們就快速的獲取到了要聞數據的請求鏈接，鏈接為：https://temp.163.com/special/00804KVA/cm_yaowen.js?callback=data_callback，訪問該鏈接，查看該鏈接返回的數據，如下圖所示：

從數據我們可以看出，我們需要的數據都在這里啦，所以我們只需要解析這段數據接可以啦，要從這段數據中解析出新聞標題和新聞鏈接，有兩種方式，一種是正則表達式，另一種是將該數據轉成 json 或者 list。這里我選擇第二種方式，利用 fastjson 將返回的數據轉換成 JSONArray 。所以我們是要引入 fastjson ，在 pom.xml 中引入 fastjson 依賴：

<dependency> <groupId>com.alibaba</groupId> <artifactId>fastjson</artifactId> <version>1.2.59</version></dependency>

除了引入 fastjson 依賴外，我們在轉換前還需要對數據進行簡單的處理，因為現在的數據并不符合 list 的格式，我們需要去掉 data_callback( 和最后面的 )。具體反向解析獲取網易要聞的代碼如下：

/** * 使用反向解析法 解決數據異步加載的問題 * * @param url */public void httpclientMethod(String url) throws IOException { CloseableHttpClient httpclient = HttpClients.createDefault(); HttpGet httpGet = new HttpGet(url); CloseableHttpResponse response = httpclient.execute(httpGet); if (response.getStatusLine().getStatusCode() == 200) { HttpEntity entity = response.getEntity(); String body = EntityUtils.toString(entity, "GBK"); // 先替換掉最前面的 data_callback( body = body.replace("data_callback(", ""); // 過濾掉最后面一個 ）右括號 body = body.substring(0, body.lastIndexOf(")")); // 將 body 轉換成 JSONArray JSONArray jsonArray = JSON.parseArray(body); for (int i = 0; i < jsonArray.size(); i++) {  JSONObject data = jsonArray.getJSONObject(i);  System.out.println("文章標題：" + data.getString("title") + " ,文章鏈接：" + data.getString("docurl")); } } else { System.out.println("處理失敗！！！返回狀態碼：" + response.getStatusLine().getStatusCode()); }}

編寫 main 方法，執行上面的方法，需要注意的地方是：這時候傳入的鏈接為https://temp.163.com/special/00804KVA/cm_yaowen.js?callback=data_callback 而不是 https://news.163.com/。得到如下結果:

兩種方法都成功的獲取到了網易要聞異步加載的新聞列表，對于這兩種方法的選取，我個人的傾向是使用反向解析法，因為它的性能和穩定是都要比內置瀏覽器內核靠譜，但是對于一些使用 JavaScript 片段渲染的頁面，內置瀏覽器又更加靠譜。所以根據具體情況選擇吧。

關于Java中怎么實現數據異步加載就分享到這里了，希望以上內容可以對大家有一定的幫助，可以學到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。