Santi

  • 5

    获得赞
  • 2

    发布的文章
  • 0

    答辩的项目

Python子进程subprocess调用二三事

Python3

最后更新 2020-04-16 14:38 阅读 313

最后更新 2020-04-16 14:38

阅读 313

Python3

为何写这篇?

  1. Python是目前机器学习、深度学习与AI竞赛的主流语言。
  2. 在使用Python能加比赛时,时常需要调用子进程进行并行数据处理,subprocess其中的一些坑不容易爬起来,这里为大家填坑,欢迎留言交流。

image.png

一般调用

我们使用subprocess.Popen进行如下的子进程调用:

import subprocess

cmd = ['ls']
process = subprocess.Popen(cmd, stdout=subprocess.PIPE)
for stdout_line in iter(process.stdout.readline, b''):
    print(stdout_line)
process.stdout.close()
return_code = process.wait()
if return_code:
    raise subprocess.CalledProcessError(return_code, cmd)

shell=True

但当在Windows平台下运行dir命令,报错:FileNotFoundError: [WinError 2] The system cannot find the file specified。 

解决方法:添加shell=True参数。 

原因是:dir不是单独的命令,其是CMD(Windows 的shell)的内置程序,所以加shell=True参数。 注意:仅在绝对必要时才应使用shell=True。

import subprocess

cmd = ['dir']
process = subprocess.Popen(cmd, stdout=subprocess.PIPE, shell=True)
for stdout_line in iter(process.stdout.readline, b''):
    print(stdout_line)

实时读取子进程输出

有时,发现运行的子进程,上述代码不会即时打印输出,而是要等个几秒钟。 

原因:子进程所运行的程序没有对stdout进行flush,比如C语言的printf没有即时flush时,其打印的输出其实是在缓冲区中的,得等缓冲区满了才集体输出一次。 

解决方法: 子进程如何运行的是Python,比较简单,添加os.environ["PYTHONUNBUFFERED"] = "1"即可。如果是在Linux平台运行一般程序,添加cmd = ["stdbuf", "-oL"] + cmd即可。

如何为子进程添加环境变量

通过env=参数。 

注意:只传我们想添加的那个环境变量(比如LD_LIBRARY_PATH)是不行,子进程默认是使用很多父进程的环境变量,因此先copy父进程的环境变量,再添加我们需要的。

my_env = os.environ.copy()
my_env['LD_LIBRARY_PATH'] = '../libs/x64/'

cmd = ['command']
popen = subprocess.Popen(cmd,
                        stdout=subprocess.PIPE,
                        env=my_env)

子进程切换工作目录

有时,我们的子进程需要在特定的目录里运行。 

解决:使用cwd=环境变量。

pwd = os.path.dirname(__file__)

cmd = ['command']
popen = subprocess.Popen(cmd,
                        stdout=subprocess.PIPE,
                        cwd=os.path.join(pwd, '..', 'bin'))


本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可,转载请附上原文出处链接和本声明。
本文链接地址:https://www.flyai.com/article/385
讨论
500字
表情
每日优质讨论奖励 20FAI
发送
每日优质讨论奖励 20FAI
删除确认
是否删除该条评论?
取消 删除