要爬取JavaScript加載的數據,可以使用Selenium庫來模擬瀏覽器操作并渲染JavaScript。
下面是一個使用Selenium庫的示例代碼來爬取JavaScript加載的數據:
from selenium import webdriver
# 使用Chrome瀏覽器驅動
driver = webdriver.Chrome()
# 打開目標網頁
driver.get("https://example.com")
# 使用driver來執行JavaScript代碼獲取頁面數據
data = driver.execute_script("return document.documentElement.outerHTML")
# 關閉瀏覽器驅動
driver.quit()
print(data)
在上面的示例代碼中,我們使用了Selenium庫的webdriver
模塊來創建一個Chrome瀏覽器驅動,并打開了目標網頁。然后使用execute_script
方法執行JavaScript代碼,獲取到頁面數據。最后關閉瀏覽器驅動并打印出獲取到的數據。
需要注意的是,使用Selenium庫爬取數據需要安裝對應瀏覽器的驅動,比如Chrome瀏覽器需要下載Chrome驅動并配置環境變量。