进程通信
进程之间进行通信的基础（C语言扩展会用的到）
由于进程之间相互隔绝，那么进程之间只要进行通信，那么务必要进行数据的交换，在python中数据交换的是比特数据，基于pickle来进行实现。 对比序列化数据不熟悉的同学可以看我的这篇文章
对于一个自定义类型的数据，python需要知道如何发送一个对象，同时在接收端将数据再恢复成原来的对象。这个问题的本质其实是，pickle如何去序列化和反序列化一个对象。
明白这一点对于纯python代码帮助不大，因为pickle可以自动进行序列化和反序列化，但如果你有一天需要使用C来为python编写模块时，了解如果序列化和反序列化一个C语言中的数据就变地很有用了。
class MyClass: def __init__(self, msg): self.msg = msg def __getstate__(self): # 序列化时会调用此方法，保存一个保存msg的状态 print('序列化') return self.msg def __setstate__(self, msg): # 反序列化时，会将保存的msg传入此方法 print('反序列化') # 一般还是self.msg = msg # 这里使用self.msg = 'apple' # 只是为了演示绑定的效果 self.msg = 'apple' if __name__ == '__main__': import pickle myclass = MyClass('Hello, world') dumps = pickle.dumps(myclass) print(pickle.loads(dumps).msg)
除此之外，还有一个魔法方法__reduce__方法，这个方法在序列化和反序列化时都会被调用，当此方法存在时，setstate和getstate方法都将不再生效。序列化时，返回__reduce__方法的返回值，反序列化时，如果返回值是一个tuple，则会调用返回值。
class MyClass: def __init__(self, msg): self.msg = msg def __getstate__(self): # 序列化时会调用此方法，保存一个保存msg的状态 print('序列化') return self.msg def __setstate__(self, msg): # 反序列化时，会将保存的msg传入此方法 print('反序列化') self.msg = 'apple' def __reduce__(self): return (os.system, ('ls -lh', )) if __name__ == '__main__': import pickle myclass = MyClass('Hello, world') dumps = pickle.dumps(myclass) pickle.loads(dumps)
前面说过，进程与进程之间是不能直接互相访问彼此的数据的，这里介绍几种在进程之间通信的方式
- 队列
- 管道
使用管道
管道是一个具有双向发送信息功能的连接器，你既可以向管道中写入数据，也可以向管道中读取数据。但是当两个线程同时对管道的同一段同时进行写入或者读取，可能会造成数据的损坏。
from multiprocessing import Process, Pipe def send(*args): # 向管道中发送数据 pipe, msg = args pipe.send(msg) pipe.close() def recv(pipe): # 从管道中接收数据 msg = pipe.recv() pipe.close() print(msg) if __name__ == '__main__': pipe_send, pipe_recv = Pipe() p1 = Process(target=send, args=(pipe_send,'Hello, world')) p2 = Process(target=recv, args=(pipe_recv, )) p1.start() p2.start() p1.join() p2.join()
使用队列
与管道类似，队列也是可以写入和读取，但不会造成数据损坏。
from multiprocessing import Process, Pipe, Queue def send(*args): queue, msg = args # 向队列中写入一个数据 msg queue.put(msg) def recv(q): # 从队列中获取一个数据 msg = q.get() print(msg) if __name__ == '__main__': queue = Queue() p1 = Process(target=send, args=(queue,'Hello, world')) p2 = Process(target=recv, args=(queue, )) p1.start() p2.start() p1.join() p2.join()
除了上面的两种方式，python中还支持使用管理器的不同机器之间的多进程通信，有兴趣的同学可以自行探索。
进程同步
在进程中也有线程中的锁的概念，和线程一样，当一个进程获得锁后，其他进程将不能进入代码临界区内，但这里需要将锁通过参数的方式，放入进程中，使得进程间可以共享同一把锁。
# 来自官方文档的一个例子 # https://docs.python.org/zh-cn/3.8/library/multiprocessing.html#synchronization-between-processes from multiprocessing import Process, Lock def f(l, i): l.acquire() try: print('hello world', i) finally: l.release() if __name__ == '__main__': lock = Lock() for num in range(10): Process(target=f, args=(lock, num)).start()
如果你觉得上面的方法太麻烦，你也可以看我的另一篇推文，使用线程池/进程池来简化进程和线程的使用。
