线程,协程对比和Python爬虫实战说明

2018/07/30 Python coroutine

本文最后更新于2018-7-30,可能会因为没有更新而失效。如已失效或需要修正,请联系我!

这篇文章写的是我对线程和协程的理解,有错误之处欢迎指出。

举一个餐馆的例子。我们把一个餐厅当做一个进程,如果这个餐厅只有1个服务员,那么这个餐厅是 单线程的;如果这个餐厅有2个服务员,那么这个餐厅是双线程的。 如果这个餐厅的服务员像海底捞的服务员一样,一次只服务一桌的客人,在这桌的客人离开前不会服务 下一桌的客人,那么我们称这个线程是阻塞的。如果一个服务员同时服务多桌客人,那么我们称这个线程 是非阻塞的。
实现了非阻塞的线程我们称之为协程,也就是说协程是依赖线程的存在
下面就是Python的爬虫实战对比
先是单线程爬虫: 图片
当total为100时,花费了38秒的时间。
然后是单线程协程爬虫:
图片 当total为100时,花费了38秒的时间。
然后是多线程爬虫:
图片
当total为100,线程数为4时,只花费了9秒的时间,刚好是单线程时间的四分之一。 最后是多线程协程爬虫:
图片

参考资料:

Search

    Table of Contents