亚洲激情专区-91九色丨porny丨老师-久久久久久久女国产乱让韩-国产精品午夜小视频观看

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

Python tornado隊列示例-一個并發web爬蟲代碼分享

發布時間:2020-10-09 22:25:22 來源:腳本之家 閱讀:313 作者:self-motivation 欄目:開發技術

Queue

Tornado的tornado.queue模塊為基于協程的應用程序實現了一個異步生產者/消費者模式的隊列。這與python標準庫為多線程環境實現的queue模塊類似。

一個協程執行到yieldqueue.get會暫停,直到隊列中有條目。如果queue有上限,一個協程執行yieldqueue.put將會暫停,直到隊列中有空閑的位置。

在一個queue內部維護了一個未完成任務的引用計數,每調用一次put操作便會增加引用計數,而調用task_done操作將會減少引用計數。

下面是一個簡單的web爬蟲的例子:

最開始,queue只包含一個基準url。當一個worker從中取出一個url后,它會從對應的頁面中解析中所包含的url并將其放入隊列,然后調用task_done減少引用計數一次。

最后,worker會取出一個url,而這個url頁面中的所有url都已經被處理過了,這時隊列中也沒有url了。這時調用task_done會將引用計數減少至0.

這樣,在main協程里,join操作將會解除掛起并結束主協程。

這個爬蟲使用了HTMLParse來解析html頁面。

import time
from datetime import timedelta

try:
 from HTMLParser import HTMLParser
 from urlparse import urljoin, urldefrag
except ImportError:
 from html.parser import HTMLParser
 from urllib.parse import urljoin, urldefrag

from tornado import httpclient, gen, ioloop, queues

base_url = 'http://www.tornadoweb.org/en/stable/'
concurrency = 10


@gen.coroutine
def get_links_from_url(url):
 """Download the page at `url` and parse it for links.

 Returned links have had the fragment after `#` removed, and have been made
 absolute so, e.g. the URL 'gen.html#tornado.gen.coroutine' becomes
 'http://www.tornadoweb.org/en/stable/gen.html'.
 """
 try:
  response = yield httpclient.AsyncHTTPClient().fetch(url)
  print('fetched %s' % url)

  html = response.body if isinstance(response.body, str) \
   else response.body.decode()
  urls = [urljoin(url, remove_fragment(new_url))
    for new_url in get_links(html)]
 except Exception as e:
  print('Exception: %s %s' % (e, url))
  raise gen.Return([])

 raise gen.Return(urls)

#用于從一個包含片段的url中提取中真正的url.
def remove_fragment(url):  
 pure_url, frag = urldefrag(url)
 return pure_url


def get_links(html):
 class URLSeeker(HTMLParser):
  def __init__(self):
   HTMLParser.__init__(self)
   self.urls = []

	#從所有a標簽中提取中href屬性。
  def handle_starttag(self, tag, attrs):
   href = dict(attrs).get('href')
   if href and tag == 'a':
    self.urls.append(href)

 url_seeker = URLSeeker()
 url_seeker.feed(html)
 return url_seeker.urls


@gen.coroutine
def main():
 q = queues.Queue()
 start = time.time()
 fetching, fetched = set(), set()

 @gen.coroutine
 def fetch_url():
  current_url = yield q.get()
  try:
   if current_url in fetching:
    return

   print('fetching %s' % current_url)
   fetching.add(current_url)
   urls = yield get_links_from_url(current_url)
   fetched.add(current_url)

   for new_url in urls:
    # Only follow links beneath the base URL
    if new_url.startswith(base_url):
     yield q.put(new_url)

  finally:
   q.task_done()

 @gen.coroutine
 def worker():
  while True:
   yield fetch_url()

 q.put(base_url)

 # Start workers, then wait for the work queue to be empty.
 for _ in range(concurrency):
  worker()
 yield q.join(timeout=timedelta(seconds=300))
 assert fetching == fetched
 print('Done in %d seconds, fetched %s URLs.' % (
  time.time() - start, len(fetched)))


if __name__ == '__main__':
 import logging
 logging.basicConfig()
 io_loop = ioloop.IOLoop.current()
 io_loop.run_sync(main)

總結

以上所述,來自Tornado官方網站用戶指南的介紹和實例,這位同學進行了簡單的翻譯,然后把代碼拿過來了。時間有些倉促,小編并未進行tornado的安裝和對本段代碼進行測試,故無結果演示,大家請見諒。

有關Python tornado隊列示例-一個并發web爬蟲代碼分享的介紹就到這里了,希望對大家有所幫助。感興趣的朋友可以繼續參閱本站其他相關專題,如有不足之處,歡迎留言指出。感謝朋友們對本站的支持!

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

中卫市| 连山| 太谷县| 来宾市| 洪湖市| 东辽县| 平乡县| 灵台县| 梅州市| 白山市| 丰都县| 桓台县| 滁州市| 昌都县| 舒兰市| 山东省| 内江市| 拜泉县| 肇庆市| 称多县| 涟水县| 句容市| 青阳县| 江门市| 翁源县| 建阳市| 苏尼特左旗| 壶关县| 曲松县| 凌云县| 嘉兴市| 上高县| 汾西县| 青河县| 来凤县| 长丰县| 伽师县| 垦利县| 天水市| 沙田区| 庐江县|