是的,Python3 爬蟲可以定時執行。您可以使用任務調度庫(如 APScheduler 或 Celery)或者操作系統的定時任務(如 cron)來實現定時執行爬蟲。
以下是兩種實現方法的簡要說明:
APScheduler 是一個輕量級、可擴展的任務調度庫,可以很容易地集成到您的 Python 項目中。以下是一個簡單的示例:
from apscheduler.schedulers.blocking import BlockingScheduler
import requests
def crawl():
response = requests.get('https://example.com')
print(response.text)
scheduler = BlockingScheduler()
scheduler.add_job(crawl, 'interval', minutes=10)
scheduler.start()
這個示例將每隔 10 分鐘執行一次 crawl
函數。
您可以在操作系統中設置定時任務,以便定期運行 Python 腳本。以下是在 Linux 和 Windows 上設置定時任務的簡要說明:
Linux(使用 cron):
crontab -e
以編輯 cron 任務。python3 /path/to/your/script.py
:0 1 * * * python3 /path/to/your/script.py
Windows(使用任務計劃程序):
C:\Python39\python.exe
),然后單擊“下一步”。C:\path\to\your\script.py
。單擊“下一步”。這樣,您就可以實現 Python3 爬蟲的定時執行了。