亚洲激情专区-91九色丨porny丨老师-久久久久久久女国产乱让韩-国产精品午夜小视频观看

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

怎么用Python爬取分析拉勾網職位數據

發布時間:2021-07-28 22:04:09 來源:億速云 閱讀:371 作者:chen 欄目:大數據

這篇文章主要講解了“怎么用Python爬取分析拉勾網職位數據”,文中的講解內容簡單清晰,易于學習與理解,下面請大家跟著小編的思路慢慢深入,一起來研究和學習“怎么用Python爬取分析拉勾網職位數據”吧!

數據中蘊藏著大量的價值等待挖掘,這是當前大家都承認的事實。

然而對于我們個人,怎樣利用這一點給自己創造價值呢?

擋在這面前的第一點,就是得有數據。

對個人來說,爬蟲是獲取數據的非常遍歷的方式,得到數據之后,我們可以進行一些數據分析、統計,然后用于指導我們的學習、工作、副業的方向。

比如你想找一份Python相關的工作,那么可以爬取Python職位列表,然后進行統計分析,比如可以得到如下信息:

  1. 招聘Python職位的這些公司,所處的行業領域、公司規模、融資階段、學歷要求、工作經驗都有哪些?
  2. 招聘Python職位的薪資分布是怎么樣的?和其他職位的薪資分布有哪些區別?
  3. Python職位本身的職位要求,關注哪些關鍵字,或者說哪些技能要求?

當然職位關鍵字不只是Python,可以是Java、大數據、推薦算法等等,都可以進行數據挖掘,用于指導自己對職位的宏觀把控、學習和努力的方向。

本文介紹怎么爬取北京Python職位的概要信息和簡單的數據分析。

 

確認待爬取的目標

本次待爬取的目標為拉勾網>北京站>Python職位:

首先進入拉勾首頁,切換到北京站,輸入python搜索:

怎么用Python爬取分析拉勾網職位數據  

本次的目標就是爬取職位列表的概要信息:

怎么用Python爬取分析拉勾網職位數據  
 

分析爬取方法

點擊頁面下方的分頁按鈕,發現URL并沒有變化,一直是https://www.lagou.com/jobs/list_python/p-city_2?&cl=false&fromSearch=true&labelWords=&suginput=

怎么用Python爬取分析拉勾網職位數據  

打開查看元素,發現頁面的數據來自一個ajax請求,返回的是json

怎么用Python爬取分析拉勾網職位數據  

而這個請求,是一個POST請求:

怎么用Python爬取分析拉勾網職位數據  

經過嘗試,直接請求該json的Url是可以取到數據的,然而拉勾做了很強的反爬措施,需要有幾點注意:

  1. 要請求這個json,需要附帶cookie,這個cookie可以通過先請求一下列表頁得到;
  2. 每次請求后,可以sleep幾秒鐘,防止被禁IP
 

代碼實現

  1. 設置用于獲取cookie的url和提交post的Url,以及從瀏覽器復制headers
怎么用Python爬取分析拉勾網職位數據  
  1. 進行列表頁的爬取
怎么用Python爬取分析拉勾網職位數據  
  1. 提取職位信息 這是一個JSON,提取方式類似訪問Python的字典
怎么用Python爬取分析拉勾網職位數據  
  1. 查看結果數據
怎么用Python爬取分析拉勾網職位數據  
 

數據分析

 

使用pandas加載數據

怎么用Python爬取分析拉勾網職位數據  
 

融資階段分布

怎么用Python爬取分析拉勾網職位數據  

需要Python職位多的公司:不需要融資、上市公司、A輪 需要Python職位少的公司:天使輪、C輪、D輪以上

 

公司規模的分布

怎么用Python爬取分析拉勾網職位數據  

50~150人的公司,需要Python職位的最多~其次是2000人以上的大公司

 

薪資的分布

因為薪資是個區間,處理成只查看區間低薪作為參考值:

怎么用Python爬取分析拉勾網職位數據  

最多分布在15K、20K的職位;

 

融資階段與薪資的關系

使用seaborn更方便

怎么用Python爬取分析拉勾網職位數據  

最窮的是天使輪、C輪的公司,不服來辯。


感謝各位的閱讀,以上就是“怎么用Python爬取分析拉勾網職位數據”的內容了,經過本文的學習后,相信大家對怎么用Python爬取分析拉勾網職位數據這一問題有了更深刻的體會,具體使用情況還需要大家實踐驗證。這里是億速云,小編將為大家推送更多相關知識點的文章,歡迎關注!

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

淳化县| 扬州市| 巴南区| 阳高县| 华阴市| 扶绥县| 遂川县| 五寨县| 龙山县| 宣威市| 苏州市| 阿克陶县| 乳源| 大悟县| 长沙市| 翼城县| 西充县| 蓝田县| 自治县| 峡江县| 萍乡市| 临邑县| 古丈县| 寿光市| 星子县| 广州市| 乐山市| 丰原市| 龙岩市| 平原县| 玛纳斯县| 徐闻县| 安福县| 贵南县| 武陟县| 玉山县| 临夏县| 南澳县| 额敏县| 九江市| 万山特区|