您好,登錄后才能下訂單哦!
小編給大家分享一下python一次性下載多個文件的方法,希望大家閱讀完這篇文章后大所收獲,下面讓我們一起去探討吧!
Python 批量文件下載
所謂批量下載,當然不是一個一個文件的下載了,比如說我們要下載百度圖片,如果一個一個下載會出現兩種負面情況:
·如果某個請求堵塞,整個隊列都會被堵塞;
·如果是小文件,單線程下載太慢。
我們的解決方案是使用異步策略。如果你會用scrapy框架,那就輕松許多了,因為它結合了twisted異步驅動架構,根本不需要你自己寫異步。實現異步下載的方法:
我們需要使用到兩個包,一個是asyncio、一個是aiohttp。asyncio是Python3的原裝庫,但是aiohttp則需要各位使用cmd/Terminal打開,輸入以下命令安裝:
pip install aiohttp
注意:asyncio是單進程并發庫,不是多線程,也不是多進程,單純是在一個進程里面異步(切來切去運行),切換的地方用await標記,能夠切換的函數用async標記。比如下載異步批量下載兩個圖片的代碼如下:
Python異步批量下載
注意:img = await session.get(url)
這時候,在你請求第一個圖片獲得數據的時候,它會切換請求第二個圖片或其他圖片,等第一個圖片獲得所有數據后再切換回來。從而實現多線程批量下載的功能,速度超快,下載超清大圖用這個方法可以一秒一張。
看完了這篇文章,相信你對python一次性下載多個文件的方法有了一定的了解,想了解更多相關知識,歡迎關注億速云行業資訊頻道,感謝各位的閱讀!
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。