亚洲激情专区-91九色丨porny丨老师-久久久久久久女国产乱让韩-国产精品午夜小视频观看

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

python如何獲取整個網頁源碼

發布時間:2020-08-03 09:40:40 來源:億速云 閱讀:273 作者:小豬 欄目:開發技術

小編這次要給大家分享的是python如何獲取整個網頁源碼,文章內容豐富,感興趣的小伙伴可以來了解一下,希望大家閱讀完這篇文章之后能夠有所收獲。

1、Python中獲取整個頁面的代碼:

import requests
res = requests.get('https://blog.csdn.net/yirexiao/article/details/79092355')
res.encoding = 'utf-8'
print(res.text)

2、運行結果

python如何獲取整個網頁源碼

實例擴展:

from bs4 import BeautifulSoup
import time,re,urllib2
t=time.time()
websiteurls={}
def scanpage(url):
 websiteurl=url
 t=time.time()
 n=0
 html=urllib2.urlopen(websiteurl).read()
 soup=BeautifulSoup(html)
 pageurls=[]
 Upageurls={}
 pageurls=soup.find_all("a",href=True)
 for links in pageurls:
  if websiteurl in links.get("href") and links.get("href") not in Upageurls and links.get("href") not in websiteurls:
   Upageurls[links.get("href")]=0
 for links in Upageurls.keys():
  try:
   urllib2.urlopen(links).getcode()
  except:
   print "connect failed"
  else:
   t2=time.time()
   Upageurls[links]=urllib2.urlopen(links).getcode()
   print n,
   print links,
   print Upageurls[links]
   t1=time.time()
   print t1-t2
  n+=1
 print ("total is "+repr(n)+" links")
 print time.time()-t
scanpage(http://news.163.com/)

看完這篇關于python如何獲取整個網頁源碼的文章,如果覺得文章內容寫得不錯的話,可以把它分享出去給更多人看到。

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

宜昌市| 长白| 阳城县| 库尔勒市| 长丰县| 大渡口区| 卢湾区| 泗洪县| 逊克县| 菏泽市| 禹州市| 平和县| 安庆市| 喀什市| 拉萨市| 蚌埠市| 紫阳县| 太湖县| 天祝| 通州市| 博客| 宣威市| 白城市| 余姚市| 中江县| 绥德县| 南皮县| 洛宁县| 临夏市| 台南县| 方山县| 宿松县| 五莲县| 都昌县| 逊克县| 临西县| 东乡族自治县| 开化县| 军事| 长沙市| 平定县|