Queue是Python中线程和进程间通信的关键工具,queue.Queue用于线程间安全数据传递,multiprocessing.Queue支持跨进程通信,具备阻塞、序列化传输和任务同步特性,结合JoinableQueue等类型可有效管理并发任务流程。
在Python中,Queue是实现线程间或进程间通信的重要工具。它提供了线程安全和进程安全的数据交换方式,常用于多线程编程或多进程编程中的数据传递。
Queue在多线程中通信在同一个进程中,多个线程可以共享内存,使用queue.Queue可以安全地在线程之间传递数据,避免竞争条件。
特点:
Python 3.14.3微软官方的 Python 扩展,是 VS Code 安装量最高的扩展(209M+)。集成 IntelliSense(通过 Pylance)、调试(通过 Python Debugger)、代码检查、格式化、重构和单元测试等功能。支持 Jupyter Notebook、虚拟环境管理和多 Python 版本切换。
下载线程安全:内部加锁机制保证同一时间只有一个线程操作队列支持阻塞操作:put() 和 get() 可设置超时或阻塞等待
示例:
立即学习“Python免费学习笔记(深入)
”;
from queue import Queueimport threadingdef producer(q):for i in range(3):q.put(f"data-{i}")print(f"Produced: data-{i}")def consumer(q):while True:item = q.get()if item is None:breakprint(f"Consumed: {item}")q.task_done()q = Queue()t1 = threading.Thread(target=producer, args=(q,))t2 = threading.Thread(target=consumer, args=(q,))t1.start()t2.start()t1.join()q.put(None) # 发送结束信号t2.join() Queue在多进程中通信不同进程不共享内存,需使用专门的进程安全队列。Python 提供了multiprocessing.Queue来实现跨进程通信。
特点:
支持跨进程数据传递可传输任意可序列化对象(通过pickle)
底层使用管道和锁机制确保安全
示例:
立即学习“Python免费学习笔记(深入)
”;
from multiprocessing import Process, Queuedef worker(q):q.put("Hello from child process")if __name__ == "__main__":q = Queue()p = Process(target=worker, args=(q,))p.start()print(q.get()) # 主进程接收数据p.join()其他类型的Queue除了基本队列,multiprocessing 还提供两种高级队列:Pipe:双向通信,性能更高但接口较简单JoinableQueue:支持 task_done() 和 join(),适合任务调度例如使用 JoinableQueue 控制工作流程:from multiprocessing import Process, JoinableQueuedef worker(q):while True:item = q.get()if item is None:breakprint(f"Processing {item}")q.task_done()if __name__ == "__main__":q = JoinableQueue()pw = Process(target=worker, args=(q,))pw.start()for i in range(3):q.put(i)q.join() # 等待所有任务完成q.put(None) # 结束信号pw.join()基本上就这些。根据场景选择合适的 Queue 类型,能有效解决线程或进程间的通信问题。注意在多进程环境下要避免共享普通变量,优先使用 Queue 传递数据。不复杂但容易忽略的是:记得在适当时候关闭或终止队列,防止程序挂起。
