首页 / 知识
Python3多线程爬虫讲解
2023-11-12 13:46:00
多线程概述
多线程使得程序内部可以分出多个线程来做多件事情，充分利用CPU空闲时间，提升处理效率。python提供了两个模块来实现多线程thread和threading，thread有一些缺点，在threading得到了弥补。并且在Python3中废弃了thread模块，保留了更强大的threading模块。
使用场景
在python的原始解释器CPython中存在着GIL(GlobalInterpreterLock，全局解释器锁)，因此在解释执行python代码时，会产生互斥锁来限制线程对共享资源的访问，直到解释器遇到I/O操作或者操作次数达到一定数目时才会释放GIL。所以，虽然CPython的线程库直接封装了系统的原生线程，但CPython整体作为一个进程，同一时间只会有一个获得GIL的线程在跑，其他线程则处于等待状态。这就造成了即使在多核CPU中，多线程也只是做着分时切换而已。
如果你的程序是CPU密集型，多个线程的代码很有可能是线性执行的。所以这种情况下多线程是鸡肋，效率可能还不如单线程因为有上下文切换开销。但是如果你的代码是IO密集型，涉及到网络、磁盘IO的任务都是IO密集型任务，多线程可以明显提高效率，例如多线程爬虫，多线程文件处理等等
以上内容为大家介绍了Python3多线程爬虫讲解，希望对大家有所帮助，如果想要了解更多Python相关知识，请关注我们http://www.mobiletrain.org/
最新内容
相关内容
linux网络服务命令？
linux网络服务命令？，系统，地址，网络，基础，设备，信息，服务，工作，名称，标准，配置LINUX的IP命令通过配置文件配置LINUX的IP命令：vim /etc/sysconfi
linux程序的状态命令？
linux程序的状态命令？，系统，状态，服务，情况，软件，进程，数据，基础，命令，信息，Linux系统中用于查看系统进程状态的命令是什么?1、命令是［ps－aux］。
比较好用的Python代码编辑器
比较好用的Python代码编辑器，代码，平台，环境，培训，教育，设计，数据，办公，人员，分析，Python是一款非常简单的编程语言，其功能使用起来都十分方便
快速构建Python爬虫IP代理池服务
快速构建Python爬虫IP代理池服务，代理，代码，网站，服务，检测，最新，公司，爬虫，质量，时间，在公司做分布式深网爬虫，搭建了一套稳定的代理池服务，为
python网络编程三要素有哪些？
python网络编程三要素有哪些？，地址，通信，服务，网络，数据，软件，位置，教育，概念，全球，什么是网络编程?网络编程指使用编程语言实现多台计算机的
报名Python培训选择哪种方式比较好
报名Python培训选择哪种方式比较好？，培训，工作，基础，时间，情况，在线，最划算，环境，系统，方式，Python不仅是一种高级的编程语言，而且还是一种应用
深圳python培训课程哪家靠谱？
深圳python培训课程哪家靠谱？，深圳，人工智能，培训，检测，分析，实战，行业，转型，时间，体系，Python语言简单、易学、易读、易维护，学习成本和时间相
十行Python代码替换证件照背景颜色
十行Python代码替换证件照背景颜色，照片，代码，培训，背景，颜色，思路，路径，步骤，红色，格式，本文教大家通过Python程序替换证件照背景颜色，以后更
Python网络编程调用接收数据的三种
Python网络编程调用接收数据的三种方法，数据，代码，基础，通用，通讯，服务，网络，培训，方法，报文，最近在使用python进行网络编程开发一个通用的tc
如何杀死一个Python线程
如何杀死一个Python线程，状态，线程，代码，标准，意外，工作，控制权，培训，事件，结束，我经常被问到如何杀死一个后台线程，这个问题的答案让很多人不
Python 3.6 中针对文件系统的神奇
Python 3.6 中针对文件系统的神奇方法，数字，代码，数据，标准，信息，培训，首次，工作，文件名，常数，Python3.6首次发布于2016年，尽管它已经发布了很
为何你的Python代码应是扁平与稀疏
为何你的Python代码应是扁平与稀疏的，代码，培训，信息，观察，设计，工具，嵌套，闻闻，程序员，沉思，Python之禅之所以得名，正是由于它那简明扼要的规