1. 首页
  2. 未分类

Python3多线程爬虫实例讲解

“u003Cdivu003Eu003Cpu003E多线程概述u003Cu002Fpu003Eu003Cpu003E多线程使得程序内部可以分出多个线程来做多件事情,充分利用CPU空闲时间,提升处理效率。python提供了两个模块来实现多线程thread 和threading ,thread 有一些缺点,在threading 得到了弥补。并且在Python3中废弃了thread模块,保留了更强大的threading模块。u003Cu002Fpu003Eu003Cpu003E使用场景u003Cu002Fpu003Eu003Cpu003E在python的原始解释器CPython中存在着GIL(Global Interpreter Lock,全局解释器锁),因此在解释执行python代码时,会产生互斥锁来限制线程对共享资源的访问,直到解释器遇到Iu002FO操作或者操作次数达到一定数目时才会释放GIL。所以,虽然CPython的线程库直接封装了系统的原生线程,但CPython整体作为一个进程,同一时间只会有一个获得GIL的线程在跑,其他线程则处于等待状态。这就造成了即使在多核CPU中,多线程也只是做着分时切换而已。u003Cu002Fpu003Eu003Cpu003E如果你的程序是CPU密集型,多个线程的代码很有可能是线性执行的。所以这种情况下多线程是鸡肋,效率可能还不如单线程因为有上下文切换开销。但是如果你的代码是IO密集型,涉及到网络、磁盘IO的任务都是IO密集型任务,多线程可以明显提高效率,例如多线程爬虫,多线程文件处理等等u003Cu002Fpu003Eu003Cpu003E多线程爬虫u003Cu002Fpu003Eu003Cpu003E多线程爬虫的代码实例u003Cu002Fpu003Eu003Cpu003E注:以下代码在python3下运行通过, python2版本差异较大,不能运行成功,如需帮助请下方留意。u003Cu002Fpu003Eu003Cdiv class=”pgc-img”u003Eu003Cimg src=”http:u002Fu002Fp1.pstatp.comu002Flargeu002Fpgc-imageu002Fe0f442fe4963451ea557604d7534dd2f” img_width=”817″ img_height=”607″ alt=”Python3多线程爬虫实例讲解” inline=”0″u003Eu003Cp class=”pgc-img-caption”u003Eu003Cu002Fpu003Eu003Cu002Fdivu003Eu003Cpu003E运行结果:u003Cu002Fpu003Eu003Cpu003E1个线程时:u003Cu002Fpu003Eu003Cdiv class=”pgc-img”u003Eu003Cimg src=”http:u002Fu002Fp3.pstatp.comu002Flargeu002Fpgc-imageu002Fab979287bc2b47f28b54eb9b1185133d” img_width=”816″ img_height=”146″ alt=”Python3多线程爬虫实例讲解” inline=”0″u003Eu003Cp class=”pgc-img-caption”u003Eu003Cu002Fpu003Eu003Cu002Fdivu003Eu003Cpu003E 2个线程时:u003Cu002Fpu003Eu003Cdiv class=”pgc-img”u003Eu003Cimg src=”http:u002Fu002Fp1.pstatp.comu002Flargeu002Fpgc-imageu002Ff6d80cbbd6784162b6b102b49d3c5658″ img_width=”819″ img_height=”146″ alt=”Python3多线程爬虫实例讲解” inline=”0″u003Eu003Cp class=”pgc-img-caption”u003Eu003Cu002Fpu003Eu003Cu002Fdivu003Eu003Cpu003E 3个线程时:u003Cu002Fpu003Eu003Cdiv class=”pgc-img”u003Eu003Cimg src=”http:u002Fu002Fp3.pstatp.comu002Flargeu002Fpgc-imageu002F36939612b35b478dba6a986d5ecdf809″ img_width=”818″ img_height=”145″ alt=”Python3多线程爬虫实例讲解” inline=”0″u003Eu003Cp class=”pgc-img-caption”u003Eu003Cu002Fpu003Eu003Cu002Fdivu003Eu003Cpu003E通过调节线程数可以看到,执行时间会随着线程数的增加而缩短,抓取效率成正比增加。u003Cu002Fpu003Eu003Cpu003E总结:u003Cu002Fpu003Eu003Cpu003EPython多线程在IO密集型任务,多线程可以明显提高效率,CPU密集型任务不适合使用多线程处理。u003Cu002Fpu003Eu003Cdiv class=”pgc-img”u003Eu003Cimg src=”http:u002Fu002Fp1.pstatp.comu002Flargeu002Fpgc-imageu002Ff5c9878d62724025828aa4f7a26995fc” img_width=”612″ img_height=”459″ alt=”Python3多线程爬虫实例讲解” inline=”0″u003Eu003Cp class=”pgc-img-caption”u003Eu003Cu002Fpu003Eu003Cu002Fdivu003Eu003Cpu003E最后,小编想说:我是一名python开发工程师,整理了一套最新的python系统学习教程,想要这些资料的可以关注私信小编“01”即可,希望能对你有所帮助u003Cu002Fpu003Eu003Cu002Fdivu003E”

原文始发于:Python3多线程爬虫实例讲解

主题测试文章,只做测试使用。发布者:熱鬧獨處,转转请注明出处:http://www.cxybcw.com/18171.html

联系我们

13687733322

在线咨询:点击这里给我发消息

邮件:1877088071@qq.com

工作时间:周一至周五,9:30-18:30,节假日休息

QR code