您好,登錄后才能下訂單哦!
這篇文章將為大家詳細講解有關Python怎么爬取網頁天氣預報,文章內容質量較高,因此小編分享給大家做個參考,希望大家閱讀完這篇文章后對相關知識有一定的了解。
爬蟲簡單說來包括兩個步驟:獲得網頁文本、過濾得到數據。 爬蟲獲取網頁天氣信息也可以按照這個步驟做:
1、獲得html文本。
python在獲取html方面十分方便,寥寥數行代碼就可以實現我們需要的功能。
代碼如下:
def getHtml(url): page = urllib.urlopen(url) html = page.read() page.close() return html
這么幾行代碼相信不用注釋都能大概知道它的意思。
2、根據正則表達式等獲得需要的內容。
使用正則表達式時需要仔細觀察該網頁信息的結構,并寫出正確的正則表達式。
python正則表達式的使用也很簡潔。我的上一篇文章《Python的一些用法》介紹了一點正則的用法。這里需要一個新的用法:
代碼如下:
def getWeather(html): reg = '(.*?).*?(.*?).*?(.*?)' weatherList = re.compile(reg).findall(html) return weatherList
其中reg是正則表達式,html是第一步獲得的文本。findall的作用是找到html中所有符合正則匹配的字符串并存放到weatherList中。之后再枚舉weatheList中的數據輸出即可。
這里的正則表達式reg有兩個地方要注意。
一個是“(.*?)”。只要是()中的內容都是我們將要獲得的內容,如果有多個括號,那么findall的每個結果就都包含這幾個括號中的內容。上面有三個括號,分別對應城市、最低溫和最高溫。
另一個是“.*?”。python的正則匹配默認是貪婪的,即默認盡可能多地匹配字符串。如果在末尾加上問號,則表示非貪婪模式,即盡可能少地匹配字符串。在這里,由于有多個城市的信息需要匹配,所以需要使用非貪婪模式,否則匹配結果只剩下一個,且是不正確的。
關于Python怎么爬取網頁天氣預報就分享到這里了,希望以上內容可以對大家有一定的幫助,可以學到更多知識。如果覺得文章不錯,可以把它分享出去讓更多的人看到。
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。