如何使用Python爬取某乎手機APP數據

小編給大家分享一下如何使用Python爬取某乎手機APP數據，希望大家閱讀完這篇文章之后都有所收獲，下面讓我們一起去探討吧！

一、配置抓包工具

1.安裝軟件

本文選擇的抓包工具：Fiddler  

具體的下載安裝這里不詳細贅述！（網上搜Fiddler安裝，一大堆教程），本文以實戰為例，就不再這里浪費時間了！

2.配置Fiddler

安裝好之后，接下來就開始配置Fiddler工具（這里是關鍵，仔細閱讀！）

配置Connections

打開Fiddler后，點擊Tools->Options

點擊Connections

勾選上對應的選項

配置HTTPS

由于目前大部分APP都是https加密，包括本文實戰『某乎』案例也是https加密，因此配置HTTPS，來抓取https數據包！

勾選上對應的選項

最后抓包工具Fiddler就配置好了

記得重啟Fiddler！重啟Fiddler！重啟Fiddler！不然可能不生效

二、配置手機代理

 1.設置代理

準備工作

首先看一下安裝Fiddler主機ip（電腦和手機必須處于同一局域網）

查看ip命令

window：ipconfig

開始配置

目標代理主機信息
ip：192.168.31.195

端口：8888

在wifi無線網處進去，點擊配置代理

填寫好相關代理信息

2.安裝證書

在瀏覽器輸入：

http://192.168.31.195:8888

點擊下載證書后，下面就開始安裝（看圖操作）

ok，這樣手機端就配置完成，下面開始抓取數據！！！

三、抓取數據

1.打開某乎app

2.查看數據包列表

打開app之后，Fiddler就已經抓取到數據了

這里可以看到app發送和接收了哪些數據包

為了更加精準定位到某乎（只看目標的數據包），添加一個過濾條件

這樣我們獲取的數據包列表就都是過濾條件內的目標網址

3.查找數據包

比如點擊熱榜

對應的https加密數據包如下：

數據包中的數據如下：

提取出url鏈接

https://api.zhihu.com/topstory/hot-list?limit=10&reverse_order=0

拿到url之后，接著開始編程爬取保存數據。

4.編寫爬蟲程序

# -*- coding: utf-8 -*-

ok這樣就可以將數據獲取下來！

四、總結

1.配置抓包工具Fiddler（重點）。

2.ios蘋果手機配置證書和設置代理（安卓手機也類似）。

3.簡單使用Fiddler（過濾數據包、查看數據包等）。

4.本文以某乎為實戰，實現了python爬取手機app數據

看完了這篇文章，相信你對“如何使用Python爬取某乎手機APP數據”有了一定的了解，如果想了解更多相關知識，歡迎關注億速云行業資訊頻道，感謝各位的閱讀！