码迷,mamicode.com
首页 > 其他好文 > 详细

高性能异步爬虫02

时间:2019-10-02 00:55:23      阅读:91      评论:0      收藏:0      [点我收藏+]

标签:调用   obj   需要   创建   cal   线程   none   eve   time   

单线程+异步协程(推荐):

-asyncio的一些关键字的说明:

  • event_loop 事件循环:程序开启一个无限循环,把一些函数注册到事件循环上,当满足事件发生的时候,调用相应的协程函数

  • coroutine 协程:协程对象,指一个使用async关键字定义的函数,它的调用不会立即执行函数,而是会返回一个协程对象。协程对象需要注册到事件循环,由事件循环调用。

  • task 任务:一个协程对象就是一个原生可以挂起的函数,任务则是对协程进一步封装,其中包含了任务的各种状态

  •  

  • async:async定义一个协程

  • awati:await用于挂起阻塞方法执行。

测试1:

import asyncio
async def do_something(sth):
    print("doing %s"%sth)
    print("done")
c = do_something("eating")#该方法不会执行 返回一个协程对象
print(c)

#结果
sys:1: RuntimeWarning: coroutine do_something was never awaited
<coroutine object do_something at 0x0000014EE2EFD1C8>

测试2:

import asyncio
async def do_something(sth):
    print("doing %s"%sth)
    print("done")
c = do_something("eating")#该方法不会执行
loop = asyncio.get_event_loop()#创建loop
loop.run_until_complete(c)#协程对象c 扔到loop中 触发执行

#结果
doing eating
done

测试3(task的使用) 通过loop创建:

import asyncio
async def do_something(sth):
    print("doing %s"%sth)
    print("done")
c = do_something("eating")
loop = asyncio.get_event_loop()
task = loop.create_task(c)
print(task) #pending 未执行
loop.run_until_complete(task)
print(task) #finished 执行完毕

#结果
<Task pending coro=<do_something() running at C:/Users/86155/PycharmProjects/chapter_7/mybs4.py:48>>
doing eating
done
<Task finished coro=<do_something() done, defined at C:/Users/86155/PycharmProjects/chapter_7/mybs4.py:48> result=None>

 

测试4(future的使用)通过 asynico创建: 

import asyncio
async def do_something(sth):
    print("doing %s"%sth)
    print("done")
c = do_something("eating")
loop = asyncio.get_event_loop()
task = asyncio.ensure_future(c)
print(task)
loop.run_until_complete(task)
print(task)
#结果
<Task pending coro=<do_something() running at C:/Users/86155/PycharmProjects/chapter_7/mybs4.py:48>>
doing eating
done
<Task finished coro=<do_something() done, defined at C:/Users/86155/PycharmProjects/chapter_7/mybs4.py:48> result=None>

 

测试5(回调)

import asyncio
async def do_something(sth):
print(‘doing %s‘%sth) ##1
print(‘done‘) ##2
return sth #回调函数中的 result()
def call_bask(task):
print(task.result())
c = do_something(‘running‘)
loop = asyncio.get_event_loop()
task = loop.create_task(c)
#回调函数绑定任务对象
task.add_done_callback(call_bask)
loop.run_until_complete(task)

#结果

doing running
done
running



 

 

  

高性能异步爬虫02

标签:调用   obj   需要   创建   cal   线程   none   eve   time   

原文地址:https://www.cnblogs.com/Jnhnsnow/p/11616547.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!