Python 标准模块-os

2023-10-18

字数统计: 3.6k字 | 阅读时长≈ 15分

os 模块是 Python 标准库中的一个用于访问操作系统相关功能的模块，os 提供了一种可移植的使用操作系统功能的方法。使用 os 模块中提供的接口，可以实现跨平台访问，但是，并不是所有的 os 模块中的接口在全平台都通用，有些接口的实现是依赖特定平台的，比如 Linux 相关的文件权限管理和进程管理。

os 模块的主要功能有:

系统相关
目录及文件操作
执行命令
管理进程

在使用 os 模块的时候，如果出现了问题，会抛出 OSError 异常，表明无效的路径名或文件名，或者路径名(文件名)无法访问，或当前操作系统不支持该操作。

In [1]: import os

In [2]: os.chdir("d:\11")
---------------------------------------------------------------------------
FileNotFoundError                         Traceback (most recent call last)
<ipython-input-2-6ad6c8403f1b> in <module>
----> 1 os.chdir("d:\11")

FileNotFoundError: [Errno 2] No such file or directory: 'd:\t'

系统相关的功能

os 模块提供了一些操作系统相关的变量，可以在跨平台的时候提供支持，便于编写移植性高，可用性好的代码。所以在涉及操作系统相关的操作时，请尽量使用本模块提供的方法，而不要使用当前平台特定的用法或格式，否则一旦移植到其它平台，可能会造成难以解决的困扰。

下面以表格的形式，列举 os 模块中常用的方法和变量，及其用途解释，个别较重要的内容会单独举例说明，以后类同。

方法和变量	用途
os.name	查看当前操作系统的名称。windows平台下返回‘nt’，Linux则返回‘posix’。
os.environ	获取系统环境变量
os.sep	当前平台的路径分隔符。在windows下，为‘\’，在POSIX系统中，为‘/’。
os.altsep	可替代的路径分隔符，在Windows中为‘/’。
os.extsep	文件名和文件扩展名之间分隔的符号，在Windows下为‘.’。
os.pathsep	PATH环境变量中的分隔符，在POSIX系统中为‘:’，在Windows中为‘;’。
os.linesep	行结束符。在不同的系统中行尾的结束符是不同的，例如在Windows下为‘\r\n’。
os.devnull	在不同的系统上null设备的路径，在Windows下为‘nul’，在POSIX下为‘/dev/null’。
os.defpath	当使用exec函数族的时候，如果没有指定PATH环境变量，则默认会查找os.defpath中的值作为子进程PATH的值。

使用示例

>>> import os
>>> os.name
'posix'
>>> os.environ
environ({'PYENV_ROOT': '/Users/wanwu/.pyenv', 'SHELL': '/bin/bash', 'TERM': 'xterm-256color', 'CLICOLOR': '1', 'TMPDIR': '/var/folders/jx/nfb2d5455l16d210x_2fwl8m0000gn/T/', 'Apple_PubSub_Socket_Render': '/private/tmp/com.apple.launchd.B0bhe8ybPx/Render', 'PYENV_VERSION': '3.6.6', 'USER': 'wanwu', 'SSH_AUTH_SOCK': '/private/tmp/com.apple.launchd.DIbnlLcGqD/Listeners', 'PYENV_DIR': '/Users/wanwu/PycharmProjects/Python_study/Python 复习/Python-模块与包', '__CF_USER_TEXT_ENCODING': '0x1F5:0x19:0x34', 'LSCOLORS': 'Exfxcxdxbxegedab', 'PATH': '/Users/wanwu/.pyenv/versions/3.6.6/bin:/Users/wanwu/.pyenv/libexec:/Users/wanwu/.pyenv/plugins/python-build/bin:/Users/wanwu/.pyenv/shims:/Users/wanwu/.pyenv/bin:/usr/local/bin:/usr/bin:/bin:/usr/sbin:/sbin:/Applications/VMware Fusion.app/Contents/Public', 'PWD': '/Users/wanwu/PycharmProjects/Python_study/Python 复习/Python-模块与包', 'PYENV_HOOK_PATH': '/Users/wanwu/.pyenv/pyenv.d:/ual/etc/pyenv.d:/etc/pyenv.d:/usr/lib/pyenv/hooks', 'XPC_FLAGS': '0x0', 'XPC_SERVICE_NAME': '0', 'HOME': '/Users/wanwu', 'SHLVL': '1', 'PYENV_SHELL': 'bash', 'GREP_OPTIONS': '--color=auto', 'LOGNAME': 'wanwu', 'LC_CTYPE': 'zh_CN.UTF-8', 'BASH_FUNC_generate_command_executed_sequence%%': "() {  printf '\\e\\7'\n}"})
>>> os.sep
'/'
>>> os.altsep
>>> os.pathsep
':'
>>> os.extsep
'.'
>>> os.linesep
'\n'
>>> os.devnull
'/dev/null'
>>> os.defpath
':/bin:/usr/bin'

文件和目录操作

os模块中包含了一系列文件操作相关的函数，其中有一部分是Linux平台专用方法。Linux是用C写的，底层的libc库和系统调用的接口都是C API，Python的os模块中包括了对这些接口的Python实现，通过Python的os模块，可以调用Linux系统的一些底层功能，进行系统编程。关于Linux的相关方法，内容较为复杂，可根据需要自行查阅官方文档，这里只介绍一些常用的，各平台通用的方法。

方法	描述
os.getcwd()	获取当前工作目录，即当前python脚本工作的目录路径
os.chdir(“dirname”)	改变当前脚本工作目录；相当于shell下cd
os.curdir	返回当前目录: (‘.’)
os.pardir	获取当前目录的父目录字符串名：(‘..’)
os.makedirs(‘dir1/dir2’)	可生成多层递归目录
os.removedirs(‘dirname1’)	递归删除空目录（要小心）
os.mkdir(‘dirname’)	生成单级目录
os.rmdir(‘dirname’)	删除单级空目录，若目录不为空则无法删除并报错
os.listdir(‘dirname’)	列出指定目录下的所有文件和子目录，包括隐藏文件
os.remove(‘filename’)	删除一个文件
os.rename(“oldname”,”new”)	重命名文件/目录
os.stat(‘path/filename’)	获取文件/目录信息
os.path.abspath(path)	返回path规范化的绝对路径
os.path.split(path)	将path分割成目录和文件名二元组返回
os.path.dirname(path)	返回path的目录。其实就是os.path.split(path)的第一个元素
os.path.basename(path)	返回path最后的文件名。如果path以／或\结尾，那么就会返回空值。
os.path.exists(path或者file)	如果path存在，返回True；如果path不存在，返回False
os.path.isabs(path)	如果path是绝对路径，返回True
os.path.isfile(path)	如果path是一个存在的文件，返回True。否则返回False
os.path.isdir(path)	如果path是一个存在的目录，则返回True。否则返回False
os.path.join(path1[, path2[, …]])	将多个路径组合后返回，第一个绝对路径之前的参数将被忽略
os.path.getatime(path)	返回path所指向的文件或者目录的最后存取时间
os.path.getmtime(path)	返回path所指向的文件或者目录的最后修改时间
os.path.getsize(filename)	返回文件包含的字符数量

使用示例

>>> import os    # 导入 os 模块

>>> os.getcwd()    # 获取当前工作目录
'/Users/wanwu/PycharmProjects/Python_study'

>>> os.chdir('../')    # 切换工作目录
>>> os.getcwd()
'/Users/wanwu/PycharmProjects'

>>> os.curdir    # 返回当前目录
'.'

>>> os.pardir    # 返回当前目录的父目录字符串名
'..'

>>> os.listdir()    # 列出指定目录下的所有文件和子目录，包括隐藏文件。返回一个列表数据类型
['test', 'dir12', 'Python 复习', 'Old_Boys', 'dir1', 'network_spider', '.idea']

>>> os.makedirs('dir1/dir2/dir3')    # 创建多层递归目录
>>> os.removedirs('dir1/dir2/dir3')    # 地柜删除空目录，若目录不为空，则无法删除
>>> os.mkdir('dir12')    # 创建单层目录
>>> os.rmdir('dir1/dir2/')    # 只删除单层空目录，若目录不为空则无法删除并报错
>>> os.remove('dir1/dir2/dir3/1111')    # 删除文件
>>> os.rename('test', 'Python 复习/test.txt')    # 重命名文件（也可以当做移动文件使用）

>>> os.stat('Python 复习')    # 获取文件/目录信息
os.stat_result(st_mode=16877, st_ino=1845042, st_dev=16777228, st_nlink=16, st_uid=501, st_gid=20, st_size=512, st_atime=1541304275, st_mtime=1541304182, st_ctime=1541304182)

>>> os.path.abspath('Python 复习')    # 返回 'Python 复习' 的绝对路径
'/Users/wanwu/PycharmProjects/Python_study/Python 复习'

>>> os.path.split('Python 复习/test.txt')    # 将 'Python 复习/test.txt' 分割成目录和文件名，返回的是一个元组
('Python 复习', 'test.txt')

>>> os.path.dirname('Python 复习/test.txt')    # 将 'Python 复习/test.txt' 分割成目录和文件名，返回目录名
'Python 复习'

>>> os.path.basename('Python 复习/test.txt')    # 将 'Python 复习/test.txt' 分割成目录和文件名，返回文件名
'test.txt'

>>> os.path.exists('Python 复习/test.txt')    # 判断 'Python 复习/test.txt' 是否存在
True

>>> os.path.isabs('Python 复习/test.txt')    # 判断传入的 路径是否是绝对路径
False

>>> os.path.isfile('Python 复习/test.txt')    # 判断传入的是一个存在的文件
True

>>> os.path.isdir('Python 复习/test.txt')    # 判断传入的是一个存在的目录
False

>>> os.path.join(os.getcwd(), 'Python 复习', 'test')    # 将多个路径组合拼接返回
'/Users/wanwu/PycharmProjects/Python_study/Python 复习/test'

>>> os.path.getatime('Python 复习/test.txt')    # 返回文件或目录的最后访问时间
1541304185.7123857
>>> os.path.getmtime('Python 复习/test.txt')    # 返回文件或目录最后的修改时间
1540913960.0
>>> os.path.getctime('Python 复习/test.txt')    # 返回文件或目录的创建时间
1541304182.2250564
>>> os.path.getsize('Python 复习/test.txt')    # 返回文件包含的字符数量
120

os.walk()

walk 方法是 os 模块中非常重要和强大的一个方法。可以帮助我们非常便捷的以递归的方式自顶向下或者自底向上的方式遍历目录树，对每一个目录都返回一个三元元组(dirpath, dirnames, filenames)。

三元元组 (dirpath, dirnames, filenames)

dirpath: 遍历所在目录树的位置，是一个字符串对象;
dirnames: 目录树中的子目录组成的列表，不包括（”.” 和 “..”）;
filenames: 目录树中的文件组成的列表;

如果可选参数 topdown=True 或者没有指定，则采用自顶向下的方式进行目录遍历，也就是从父目录像子目录逐步深入遍历;
如果 topdown=False，则采用自底向上的方式遍历目录，也就是先打印子目录再打印父目录的方式;

如果可选参数 onerror 被指定，则 onerror 必须是一个函数，该函数有一个 OSError 实例的参数，这样可以允许在运行的时候即使出现错误也不会打断 os.walk() 的执行，或者抛出一个异常并终止 os.walk() 的运行。通俗的讲，就是定义这个参数用于指定当发生了错误时的处理方法。

默认情况下，os.walk() 遍历的时候不会进入符号链接，如果设置了可选参数，followlinks=True，则会进入符号链接。注意，这可能会出现遍历死循环，因为符号链接可能会出现自己链接自己的情况，而 os.walk() 没有那么高的智商，无法发现这一点。

示例

下面的例子会将当前工作目录下的所有文件和子目录打印出来：

import os


try:
    for root, dirs, files in os.walk(os.getcwd()):
        print("\033[1;31m-"* 8, "directory", "<%s>" % root, "-" * 8, "\033[0m")
        for directory in dirs:
            print("\033[1;34m<DIR>     %s\033[0m" % directory)
        for file in files:
            print("\t\t%s" % file)
except OSError as ex:
    print(ex)

下面的例子会统计当前工作目录下所有子目录的大小，但是 dir12 目录除外

import os

from os.path import join, getsize


for root, dirs, files in os.walk(os.getcwd()):
    print(root, "consums", end=" ")
    print(sum(getsize(join(root, name)) for name in files), end=" ")
    print("bytes in", len(files), "non-directory files")
    if "dir12" in dirs:
        dirs.remove("dir12")

下面的例子会递归删除目录的所有内容，危险，请勿随意尝试！

import os

for root, dirs, files in os.walk(top, topdown=False):
    for name in files:
        os.remove(os.path.join(root, name))
    for name in dirs:
        os.rmdir(os.path.join(root, name))

执行系统命令

os.system(command)

在早期的Python 版本中，通常使用 os 模块的 system 或者 popen 等方法执行操作系统的命令。但是，最近Python官方逐渐弃用了这些命令，而是改用内置的 subprocess 模块执行操作系统相关的命令。

运行操作系统命令，直接显示结果，但返回值是 0 或 -1，不能获得显示屏上的数据。command 是要执行的命令字符串。

我们尝试在 Linux 下使用 ipython 交互界面运行一下：

In [1]: import os                                                                                                                    
In [2]: ret = os.system("ifconfig")                                                                                                  
lo0: flags=8049<UP,LOOPBACK,RUNNING,MULTICAST> mtu 16384
        options=1203<RXCSUM,TXCSUM,TXSTATUS,SW_TIMESTAMP>
        inet 127.0.0.1 netmask 0xff000000 
        inet6 ::1 prefixlen 128 
        inet6 fe80::1%lo0 prefixlen 64 scopeid 0x1 
        nd6 options=201<PERFORMNUD,DAD>
gif0: flags=8010<POINTOPOINT,MULTICAST> mtu 1280
stf0: flags=0<> mtu 1280
XHC20: flags=0<> mtu 0
en0: flags=8863<UP,BROADCAST,SMART,RUNNING,SIMPLEX,MULTICAST> mtu 1500
        options=6b<RXCSUM,TXCSUM,VLAN_HWTAGGING,TSO4,TSO6>
        ether 2c:4d:54:d0:f5:e7 
        inet6 fe80::c26:3fef:e9a7:2d49%en0 prefixlen 64 secured scopeid 0x5 
        inet 192.168.7.2 netmask 0xffffff00 broadcast 192.168.7.255
        nd6 options=201<PERFORMNUD,DAD>
        media: autoselect (1000baseT <full-duplex>)
        status: active
utun0: flags=8051<UP,POINTOPOINT,RUNNING,MULTICAST> mtu 2000
        inet6 fe80::96ed:9511:207b:71e3%utun0 prefixlen 64 scopeid 0x6 
        nd6 options=201<PERFORMNUD,DAD>
In [3]: ret                                                                                                                          
Out[3]: 0

可以看到，运行的返回值是 0，而不是我们期望的输出信息。

os.popen(command, [mode, [bufsize]])

开启一个子进程执行 command 参数指定的命令，在父进程和子进程之间建立一个管道 pipe，用于父子进程间通信，该方法返回一个文件对象，可以对这个文件对象进行读或写，取决于参数 mode，如果 mode 指定了只读，那么只能对文件对象进行读，如果 mode 指定了只写，那么只能对文件对象进行写操作。

简而言之，popen 也可以运行操作系统命令，并通过 read() 方法将命令的结果返回，不像 system 只能看不能存，这个能存！

示例如下:

In [4]: os.popen('ifconfig')                                                                                                         
Out[4]: <os._wrap_close at 0x10ed42fd0>

In [5]: ret = os.popen('ifconfig')                                                                                                   
In [6]: ret.read()                                                                                                                   
Out[6]: 'lo0: flags=8049<UP,LOOPBACK,RUNNING,MULTICAST> mtu 16384\n\toptions=1203<RXCSUM,TXCSUM,TXSTATUS,SW_TIMESTAMP>\n\tinet 127.0.0.1 netmask 0xff000000 \n\tinet6 :