學好爬蟲技術能做到哪些很酷很有趣很有用的事情？

一個熟悉爬蟲技術的人的獨白！

不得不說，Python爬蟲對于我來說真是個神器。之前在分析-些經濟數據的時候，需要從網上抓取一些數據下來，想了很多方法，一開始是通過Excel,但是Excel只能爬下表格，局限性太大了。之后問了學編程的朋友，他說JavaScrip也能實現，于是懵懵董董地就去學Java (我那朋友是學Java的，我當時問他用Java能不能實現，他說JavaScript好像可以，當時我什么都不懂，就把JavaScript理解成是Java下的一個分支，以為JavaScript只是ava其中-個包什么的，于是我便去學了一小會Java,無知惹的禍啊。。。)。

但整個Java體系也太龐大了 ,學起來力不從心，畢竟我只是要運用其中一部分功能而已，于是學沒多久我就放棄了。就在我迷茫的時候，我發現了Python.....

廢話說多了，說說自己的學習經歷吧。也給想學Python,想寫爬蟲的人一個參考。

一開始我是在網上自己找了個基礎的視頻來學，Python真是門簡單的語言，之前懂一點Visual Basic,感覺Python也很適合給無編程基礎的人學習。

入門視頻到最后，就做出了我的第一個爬蟲一百度貼吧圖片爬蟲 (相信很多的教程都是以百度貼吧爬蟲為經典例子來說的。)

一開始代碼很簡單，只能爬取第一頁的數據，于是我加了一一個循環，就能夠爬取制定頁數的圖片了。并且圖片是有按順序排列的，非常方便。在篩選網址的時候用正則表達式就好了。

可是我不經常混貼吧啊，也很少有要下載貼吧圖片的需求。回歸初衷吧。我對投資有興趣，學編程有一個原因也是為了投資服務。在7月股災進行時的時候，我錯過了一個明顯的“撿錢”的機會，并非自身專業知識不夠，而是當時在準備考試，很少去看股市，這讓我心有不甘:要是有個東西能夠幫我自動爬取數據分析并推送就好了，于是有了以下學習軌跡:

一、爬取數據

在此順便提一下，可以到公眾號菜單欄的學習福利里面逛逛。里面有些教程還是挺不錯的。兩個可以替代Python里urlib和re正則表達式的庫,它們分別叫做requests和Ixml。

第一個庫挺不錯的，現在在獲取網頁源代碼時，我都用這個庫，大家如果有不懂的可以看看那個網站。第二個庫由于我是用3.4版本的Python,折騰了很久沒折騰進去，于是我發現了另一個不錯的庫BeautifulSoup,詳細教程參考: Python爬蟲入門八之Beautiful Soup的用法

有了requests和Beautifulsoup,基本上可以實現我想要的很多功能了。我便做了一一個抓取分級基金數據的爬蟲:

二、分析并推送

其實在此分析其實還談不上，頂多算是篩選。(不過我相信隨著 我數學能力提升會能有進一步的分析的，美好的祝愿。。。)篩選很簡單，就是漲幅或收益率等等滿足一定條件就保留下來，保留下來干嘛?推送啊! ! !

將保存下來的數據通過郵件發送到自己的郵箱，手機上下載個軟件，一切就大功告成了!

至此當時學習Python的目的就達到了，當時激動地要炸了! ! !

不過....那么好玩的東西，怎么能這么快就結束了?再折騰吧!

三、簡單的界面

等等! Python好像不能直接弄成exe可執行文件，不能每次運行都開Python的窗口啊!強迫癥怎么能忍! 1上網搜搜發現有諸如py2exe的包可以轉換，可是老子是3.4版本啊! 折騰半天沒搞定，算了!我不是會點VB嗎，用那個吧。于是連界面都有了