python中的爬蟲函數有以下幾種
1.urlopen()函數
urlopen()函數的作用主要是獲取遠程數據。
語法:
urllib.urlopen(url[, data[, proxies]])
url:表示遠程數據的路徑,一般是網址;
data:表示以post方式提交到url的數據;
proxies:用于設置代理;
2.urlretrieve函數
urlretrieve函數的作用是直接將遠程數據下載到本地。
語法:
urllib.urlretrieve(url[, filename[, reporthook[, data]]])
注:
url:外部或者本地url;
filename:指定了保存到本地的路徑;
reporthook:回調函數,用來顯示當前的下載進度;
data:指post到服務器的數據;