Python黑客怎么打造快速編寫信息收集器

這篇文章將為大家詳細講解有關Python黑客怎么打造快速編寫信息收集器，文章內容質量較高，因此小編分享給大家做個參考，希望大家閱讀完這篇文章后對相關知識有一定的了解。

環境：
Python 3
模塊：
Lxml
Request
Beautifulsoup
開始：
首先看一下目標站：

http://gaokao.chsi.com.cn/gkxx/zszcgd/dnzszc/201706/20170615/1611254988-1.html

這里有一個目錄：我們點擊第一個北京市，就可以看到其中的表格，和北京市所有的大學名字

我們的目標就是吧每一個城市的所有大學，分別放在不同的txt文本中。

正式開始分析：

我們審查元素，我們要取的目標為學校名稱

可以清晰的看到網頁的結構，我們要取的目標在一個tbodyz中，并在一個tr標簽內。繼續分析下一個名字找到他們的規律

可以看到每個名字都在一個單獨的tr標簽中。

好我們在看一下這個北京市的url和第二個城市網頁對應的url。

http://gaokao.chsi.com.cn/gkxx/zszcgd/dnzszc/201706/20170615/1611254988-2.html

http://gaokao.chsi.com.cn/gkxx/zszcgd/dnzszc/201706/20170615/1611254988-3.html

可以看到最后的數字不同，從二開始。依次增加。好我們已經基本獲得了目標的信息，下面我們開始激動人心的敲代碼。

我們先從一頁開始。

#coding=utf-8import requestsimport lxmlfrom bs4 import BeautifulSoup as bs #導入我們的BF,并且命名為bs，名字太長了偷個懶。def school(): #定義一個函數        url="http://gaokao.chsi.com.cn/gkxx/zszcgd/dnzszc/201706/20170615/1611254988-2.html"        r=requests.get(url=url) #利用requests請求我們的目標網站。        soup=bs(r.content,"lxml")#利用beautifulsoup解析，將返回內容賦值給soup        print (soup)       #打印出內容。if __name__ == '__main__':  #程序開始運行的地方，需要調用剛才設置的函數，不然程序是不會運行的。    school()

寫完之后點一下運行，成功返回發現并不需要設置頭信息。省去了一些麻煩。

現在我們開始取內容：

我們的內容在<tr height=”29”>這個標簽中，我們以這個標簽為標準，查找所有的這個標簽中的內容。代碼是這樣的。運行

def school():      url="http://gaokao.chsi.com.cn/gkxx/zszcgd/dnzszc/201706/20170615/1611254988-2.html"

r=requests.get(url=url)

soup=bs(r.content,"lxml")     content=soup.find_all(name="tr",attrs={"height":"29"})

print(content)

Ok 成功返回了我們需要的東西，但是有很多其他沒有用的選項，現在我們要去掉這些東西。繼續編輯school函數。我們需要用循環遍歷我們的取出的內容。讓每一個tr標簽中的內容作為一個獨立的列表，然后利用find_all方法找出而每一個td標簽為list中的內容，方便我們取參數。學校名稱位于第二個td標簽中，在list中的位置則為1.代碼如下。

def school():        url="http://gaokao.chsi.com.cn/gkxx/zszcgd/dnzszc/201706/20170615/1611254988-2.html"        r=requests.get(url=url)        soup=bs(r.content,"lxml")        content=soup.find_all(name="tr",attrs={"height":"29"})
        for content1 in content:
            soup_content=bs(str(content1),"lxml")
            soup_content1=soup_content.find_all(name="td")
            print(soup_content1[1])

加好之后我們運行代碼。發現報錯了，不慌我們看一下報錯的內容

報錯大意為列出索引超出范圍。但是我們發現還是成功返回了一個內容，我們再去分析一下網頁源代碼。

可以看到前三個tr標簽，我們成功的取到了第一個tr標簽中的”學校名稱”這行的內容，然后第二個tr報錯。我們的代碼打印的的是list的第二個內容，但是在第二個tr標簽中只有一個內容。然后剩下的都恢復了正常，我們怎么解決這個問題呢。可以用python的異常處理。當他報錯時，然后忽略錯誤繼續運行。把代碼變成這樣。

def school():        url="http://gaokao.chsi.com.cn/gkxx/zszcgd/dnzszc/201706/20170615/1611254988-2.html"        r=requests.get(url=url) 
        soup=bs(r.content,"lxml")
        content=soup.find_all(name="tr",attrs={"height":"29"})
        for content1 in content:
            try:               soup_content=bs(str(content1),"lxml")                soup_content1=soup_content.find_all(name="td")
                print(soup_content1[1])
            except IndexError:
                pass

再次運行。

成功了，但這只是一個城市，我們還需要其他的。接下來我們需要用一個for循環，從2到33，每次加1，并修改url中的控制頁面的參數中。

#coding=utf-8import requestsimport lxmlfrom bs4 import BeautifulSoup as bs 
def school():     for i in range(2,34,1):
        url="http://gaokao.chsi.com.cn/gkxx/zszcgd/dnzszc/201706/20170615/1611254988-%s.html"%(str(i))
        r=requests.get(url=url)
        soup=bs(r.content,"lxml")
        content=soup.find_all(name="tr",attrs={"height":"29"})
        for content1 in content:
            try:
                soup_content=bs(str(content1),"lxml")
                soup_content1=soup_content.find_all(name="td")
                print(soup_content1[1])
            except IndexError:
                passif __name__ == '__main__': 
    school()

我們可以看到不僅有北京的學校，還有天津的，當然下面所有的學校都打印出來了。我們還要去掉標簽。修改打印為如下代碼，這樣就只會看到文本。

print(soup_content1[1].string)

主要功能就寫完了，我們還需要，將他們分別存放在不同的文件夾內并保持為特定的文件名，當然我們不可能手動輸入每個城市的名字。還記的我們剛才報錯的地方嗎，那個地方剛剛好有我們要的城市名稱。理一下思路，我們首先從網頁中取出城市名稱，并新建一個對應城市名稱的TXT文本，然后把我們取得的內容分別放入不同的文件內。為了防止報錯停止，我們再加一個異常處理好讓我們繼續把我們的代碼寫完。

def school():    for i in range(2,34,1):
        try:
            url="http://gaokao.chsi.com.cn/gkxx/zszcgd/dnzszc/201706/20170615/1611254988-%s.html"%(str(i))
            r=requests.get(url=url)
            soup=bs(r.content,"lxml")
            content2=soup.find_all(name="td",attrs={"colspan":"7"})[0].string
            f1=open("%s.txt"%(content2),"w")
            content=soup.find_all(name="tr",attrs={"height":"29"})
            for content1 in content:
                try:
                    soup_content=bs(str(content1),"lxml")
                    soup_content1=soup_content.find_all(name="td")
                    f1.write(soup_content1[1].string+"/n")
                    print(soup_content1[1].string)
                except IndexError:
                    pass        except IndexError:
            pass

完整代碼：

#coding=utf-8import requestsimport lxmlfrom bs4 import BeautifulSoup as bsdef school():    for i in range(2,34,1):
        try:
            url="http://gaokao.chsi.com.cn/gkxx/zszcgd/dnzszc/201706/20170615/1611254988-%s.html"%(str(i))
            r=requests.get(url=url)
            soup=bs(r.content,"lxml")
            content2=soup.find_all(name="td",attrs={"colspan":"7"})[0].string
            f1=open("%s.txt"%(content2),"w")
            content=soup.find_all(name="tr",attrs={"height":"29"})
            for content1 in content:
                try:
                    soup_content=bs(str(content1),"lxml")
                    soup_content1=soup_content.find_all(name="td")
                    f1.write(soup_content1[1].string+"/n")
                    print(soup_content1[1].string)
                except IndexError:
                    pass        except IndexError:
            passif __name__ == '__main__':
    school()

總結：
這個程序的難度并不大，也沒有用什么多線程，類，非常的簡單，并不一定是代碼越多的程序越好，有的時候我們只是想快速的完成我們的要實現的目標，這時候代碼就要越簡潔越好。希望可以給初學者一些好的學習思路，最后我之所以要再加一個異常處理，是因為又出現了一個和上面一樣的報錯，而為了快速實現我們的目標，我直接嘗試添加一個異常處理，程序正常運行。

關于Python黑客怎么打造快速編寫信息收集器就分享到這里了，希望以上內容可以對大家有一定的幫助，可以學到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。