初步解析python下的多进程编程

要让python程序实现多进程(multiprocessing),我们先了解操作系统的相关知识。

unix/linux操作系统提供了一个fork()系统调用,它非常特殊。普通的函数调用,调用一次,返回一次,但是fork()调用一次,返回两次,因为操作系统自动把当前进程(称为父进程)复制了一份(称为子进程),然后,分别在父进程和子进程内返回。

子进程永远返回0,而父进程返回子进程的id。这样做的理由是,一个父进程可以fork出很多子进程,所以,父进程要记下每个子进程的id,而子进程只需要调用getppid()就可以拿到父进程的id。

python的os模块封装了常见的系统调用,其中就包括fork,可以在python程序中轻松创建子进程:

# multiprocessing.py
import os
print ‘process (%s) start…’ % os.getpid()
pid = os.fork()
if pid==0:
print ‘i am child process (%s) and my parent is %s.’ % (os.getpid(), os.getppid())
else:
print ‘i (%s) just created a child process (%s).’ % (os.getpid(), pid)

运行结果如下:

process (876) start…
i (876) just created a child process (877).
i am child process (877) and my parent is 876.

由于windows没有fork调用,上面的代码在windows上无法运行。由于mac系统是基于bsd(unix的一种)内核,所以,在mac下运行是没有问题的,推荐大家用mac学python!

有了fork调用,一个进程在接到新任务时就可以复制出一个子进程来处理新任务,常见的apache服务器就是由父进程监听端口,每当有新的http请求时,就fork出子进程来处理新的http请求。
multiprocessing

如果你打算编写多进程的服务程序,unix/linux无疑是正确的选择。由于windows没有fork调用,难道在windows上无法用python编写多进程的程序?

由于python是跨平台的,自然也应该提供一个跨平台的多进程支持。multiprocessing模块就是跨平台版本的多进程模块。

multiprocessing模块提供了一个process类来代表一个进程对象,下面的例子演示了启动一个子进程并等待其结束:

from multiprocessing import process
import os
# 子进程要执行的代码
def run_proc(name):
print ‘run child process %s (%s)…’ % (name, os.getpid())
if __name__==’__main__’:
print ‘parent process %s.’ % os.getpid()
p = process(target=run_proc, args=(‘test’,))
print ‘process will start.’
p.start()
p.join()
print ‘process end.’

执行结果如下:

parent process 928.
process will start.
run child process test (929)…
process end.

创建子进程时,只需要传入一个执行函数和函数的参数,创建一个process实例,用start()方法启动,这样创建进程比fork()还要简单。

join()方法可以等待子进程结束后再继续往下运行,通常用于进程间的同步。
pool

如果要启动大量的子进程,可以用进程池的方式批量创建子进程:

from multiprocessing import pool
import os, time, random
def long_time_task(name):
print ‘run task %s (%s)…’ % (name, os.getpid())
start = time.time()
time.sleep(random.random() * 3)
end = time.time()
print ‘task %s runs %0.2f seconds.’ % (name, (end – start))
if __name__==’__main__’:
print ‘parent process %s.’ % os.getpid()
p = pool()
for i in range(5):
p.apply_async(long_time_task, args=(i,))
print ‘waiting for all subprocesses done…’
p.close()
p.join()
print ‘all subprocesses done.’

执行结果如下:

parent process 669.
waiting for all subprocesses done…
run task 0 (671)…
run task 1 (672)…
run task 2 (673)…
run task 3 (674)…
task 2 runs 0.14 seconds.
run task 4 (673)…
task 1 runs 0.27 seconds.
task 3 runs 0.86 seconds.
task 0 runs 1.41 seconds.
task 4 runs 1.91 seconds.
all subprocesses done.

代码解读:

对pool对象调用join()方法会等待所有子进程执行完毕,调用join()之前必须先调用close(),调用close()之后就不能继续添加新的process了。

请注意输出的结果,task 0,1,2,3是立刻执行的,而task 4要等待前面某个task完成后才执行,这是因为pool的默认大小在我的电脑上是4,因此,最多同时执行4个进程。这是pool有意设计的限制,并不是操作系统的限制。如果改成:

p = pool(5)

就可以同时跑5个进程。

由于pool的默认大小是cpu的核数,如果你不幸拥有8核cpu,你要提交至少9个子进程才能看到上面的等待效果。
进程间通信

process之间肯定是需要通信的,操作系统提供了很多机制来实现进程间的通信。python的multiprocessing模块包装了底层的机制,提供了queue、pipes等多种方式来交换数据。

我们以queue为例,在父进程中创建两个子进程,一个往queue里写数据,一个从queue里读数据:

from multiprocessing import process, queue
import os, time, random
# 写数据进程执行的代码:
def write(q):
for value in [‘a’, ‘b’, ‘c’]:
print ‘put %s to queue…’ % value
q.put(value)
time.sleep(random.random())
# 读数据进程执行的代码:
def read(q):
while true:
value = q.get(true)
print ‘get %s from queue.’ % value
if __name__==’__main__’:
# 父进程创建queue,并传给各个子进程:
q = queue()
pw = process(target=write, args=(q,))
pr = process(target=read, args=(q,))
# 启动子进程pw,写入:
pw.start()
# 启动子进程pr,读取:
pr.start()
# 等待pw结束:
pw.join()
# pr进程里是死循环,无法等待其结束,只能强行终止:
pr.terminate()

运行结果如下:

put a to queue…
get a from queue.
put b to queue…
get b from queue.
put c to queue…
get c from queue.

在unix/linux下,multiprocessing模块封装了fork()调用,使我们不需要关注fork()的细节。由于windows没有fork调用,因此,multiprocessing需要“模拟”出fork的效果,父进程所有python对象都必须通过pickle序列化再传到子进程去,所有,如果multiprocessing在windows下调用失败了,要先考虑是不是pickle失败了。
小结

在unix/linux下,可以使用fork()调用实现多进程。

要实现跨平台的多进程,可以使用multiprocessing模块。

进程间通信是通过queue、pipes等实现的。

Posted in 未分类