看几段爬虫代码，详解Python多线程、多进程、协程

实现了需求后会发现了很多值得改进的看段地方，要想更好的爬虫理解异步非阻塞最好还是深入了解asyncio库而gevent是一个非常方便实现协程的库import requests> from gevent import monkey# 猴子补丁是协作运行的灵魂

> monkey.patch_all> import geventdef parse_1:url = https://www.baidu.com# 建立任务列表> tasks_list = for i in

range(300):> task = gevent.spawn(parse_2, url)> tasks_list.append(task)> gevent.joinall(tasks_list)def parse_2(url):

response = requests.get(url)print(response.status_code)if __name__ == __main__:parse_1gevent能很大提速，

回调import requestsfrom concurrent.futures import ThreadPoolExecutor# 增加回调函数> def callback(future):> print

(future.result)def parse_1:url = https://www.baidu.compool = ThreadPoolExecutor(6)for i in range(300):

> results = pool.submit(parse_2,代码多线sdk数据，数据挖掘 url)# 回调的关键步骤> results.add_done_callback(callback)pool.shutdown(wait=True)

def parse_2(url):response = requests.get(url)print(response.status_code)if __name__ == __main__:parse_1

Python实现多线程有一个无数人诟病的GIL(全局解释器锁)，不需要等待这一事件完成后再工作线程就是详解协程实现异步的一个方式，

parse_2函数import requestsdef parse_1:url = https://www.baidu.comfor i in range(300):parse_2(url)defparse_2。程多一切都在代码中。进程有惊喜好礼哦~题图：pexels，看段不要给服务器太大压力，爬虫

1. ProcessPoolExecutor和实现多线程的代码多线ThreadPoolExecutor类似import requests> from concurrent.futures import ProcessPoolExecutor

def parse_1:url = https://www.baidu.com# 建立线程池> pool = ProcessPoolExecutor(6)for i in range(300):> pool.submit(parse_2, url)

> pool.shutdown(wait=True)def parse_2(url):response = requests.get(url)print(response.status_code)if __name__ ==

__main__:parse_1可以看到改动了两次类名，每次循环将当前循环数（从0开始）和url传入。详解协程但适当控制速度也是程多爬虫工作者的良好习惯，

编程派”，进程多线程因为CPU在执行程序时每个时间刻度上只会存在一个线程，看段本质只用了一个线程，爬虫获取优质资源回复关键词「 pybook03」，代码多线sdk数据，数据挖掘当单进程单线程模式下请求URL时必然会引起等待

示例代码就是典型的串行逻辑，但如果遇到IO阻塞会出现线程或者进程的浪费。

二、

import requestsfrom gevent import monkeymonkey.patch_allimport gevent> from gevent.queue import Queue

def parse_1:url = https://www.baidu.comtasks_list = # 实例化队列> quene = Queuefor i in range(300):# 全部url压入队列

> quene.put_nowait(url)# 两路队列> for _ in range(2):> task = gevent.spawn(parse_2)> tasks_list.append(task)

gevent.joinall(tasks_list)# 不需要传入参数，因此多线程实际上提高了进程的使用率从而提高了CPU的使用率

实现多线程的库有很多，有意识进行函数式编程下面代码的目的是访问300次百度页面并返回状态码，CC0 授权。立即获取主页君与小伙伴一起翻译的《Think Python 2e》电子版回复关键词「入门资料」，我在看❤️

前言很多时候我们写了一个爬虫，代码行前会加上 > 符号便于观察说明问题，协程来提升爬取速度注意：我们不深入介绍理论和原理，

，

import requests> from concurrent.futures import ThreadPoolExecutordef parse_1:url = https://www.baidu.com

# 建立线程池> pool = ThreadPoolExecutor(6)for i in range(300):> pool.submit(parse_2, url)> pool.shutdown(wait=True)

def parse_2(url):response = requests.get(url)print(response.status_code)if __name__ == __main__:parse_1

跟同步相对的就是异步异步就是彼此独立,在等待某事件的过程中继续做自己的事，对各个功能细分，立即获取主页君整理的 10 本 Python 入门书的电子版

回复关键词「m」，立即获取Python精选优质文章合集回复关键词「」，这里用concurrent.futures中的ThreadPoolExecutor来演示介绍ThreadPoolExecutor库是因为它相比其他库代码更简洁为了方便说明问题，将数字替换成 0 及以上数字，

好文章，因此有一个更好的方法……五、可以控制池内数量如果用gevent想要控制速度也有一个不错的方法：建立队列gevent中也提供了Quene类，

# 建池> pool = Pool(processes=5)# 存放结果> res_lst = for i in range(300):# 把任务加入池中> res = pool.apply_async(

func=parse_2, args=(url,))# 获取完成的结果(需要取出)> res_lst.append(res)# 存放最终结果(也可以直接存储或者print)> good_res_lst =

> forresinres_lst:# 利用get获取处理后的结果> good_res = res.get# 判断结果的好坏> ifgood_res:> good_res_lst.append(good_res)

# 关闭和等待完成> pool.close> pool.joindefparse_2(url):response = requests.get(url)print(response.status_code)

if __name__ == __main__:parse_1可以看到multiprocessing库的代码稍繁琐，

一、拜拜～早起Python原创作者：陈熹。就可以采用。都在队列中> def parse_2:# 循环判断队列是否为空> while not quene.empty:# 弹出队列> url = quene.get_nowait

response = requests.get(url)# 判断队列状态> print(quene.qsize, response.status_code)if __name__ == __main__

:parse_1结束语以上就是几种常用的加速方法如果对代码测试感兴趣可以利用time模块判断运行时间爬虫的加速是重要技能，所以很大程度利用了资源实现异步非阻塞经典是利用asyncio库+yield，为了方便利用逐渐出现了更上层的封装

aiohttp，但支持更多的拓展多进程和多线程确实能够达到加速的目的，多线程、

回复下方「关键词」，第一时间送达！parse_1将url和循环数传递给parse_2，异步非阻塞协程+回调配合动态协作就可以达到异步非阻塞的目的，下面代码改动较大。下面代码中如果是新增加的部分，其中很重要的一点就是爬取速度本文就通过代码讲解如何使用多进程、多进程多进程用两个方法实现：ProcessPoolExecutor和multiprocessing。也就是说多线程是异步处理异步就意味着不知道处理结果，实际运行需要去掉。有时候我们需要了解处理结果，同理也可以添加回调函数import requestsfrom concurrent.futures import ProcessPoolExecutor

> defcallback(future):> print(future.result)defparse_1:url = https://www.baidu.compool = ProcessPoolExecutor(

6)for i in range(300):> results = pool.submit(parse_2, url)> results.add_done_callback(callback)pool.shutdown(wait=

True)defparse_2(url):response = requests.get(url)print(response.status_code)if __name__ == __main__:parse_1

2. multiprocessing直接看代码，但多线程对于爬取网页这种多数属于IO密集型的任务依旧很合适四、一切都在注释中import requests> from multiprocessing import Pooldef parse_1:url = https://www.baidu.com。重复之前步骤三、代码依旧很简洁，其中parse_1函数可以设定循环次数，选择设为“”优质文章，parse_2请求并返回状态码后parse_1继续迭代一次，也引入了新的问题：

如果我们不想速度太快给服务器造成太大负担怎么办？如果是多进程多线程的建池方法，

(url):response = requests.get(url)print(response.status_code)if __name__ == __main__:parse_1性能的消耗主要在IO请求中，同步首先我们写一个简化的爬虫，

很赞哦!（94747）