Python：如何快速复制文件[重复]

StackOverflow https://stackoverflow.com//questions/22078621

  •  24-12-2019
  •  | 
  •  

题

复制文件至少需要 3 倍的时间 shutil.copyfile() 与使用 Windows 文件资源管理器或 Mac 的 Finder 的常规右键单击复制 > 右键单击​​粘贴相比。有没有更快的替代方案 shutil.copyfile() 在Python中？可以采取什么措施来加快文件复制过程？（文件目标位于网络驱动器上...如果有什么区别的话......）。

稍后编辑：

这是我最终得到的结果：

def copyWithSubprocess(cmd):        
    proc = subprocess.Popen(cmd, stdout=subprocess.PIPE, stderr=subprocess.PIPE)

win=mac=False
if sys.platform.startswith("darwin"):mac=True
elif sys.platform.startswith("win"):win=True

cmd=None
if mac: cmd=['cp', source, dest]
elif win: cmd=['xcopy', source, dest, '/K/O/X']

if cmd: copyWithSubprocess(cmd)
有帮助吗？

解决方案

最快的版本没有过度优化我使用以下代码获得的代码：

class CTError(Exception):
    def __init__(self, errors):
        self.errors = errors

try:
    O_BINARY = os.O_BINARY
except:
    O_BINARY = 0
READ_FLAGS = os.O_RDONLY | O_BINARY
WRITE_FLAGS = os.O_WRONLY | os.O_CREAT | os.O_TRUNC | O_BINARY
BUFFER_SIZE = 128*1024

def copyfile(src, dst):
    try:
        fin = os.open(src, READ_FLAGS)
        stat = os.fstat(fin)
        fout = os.open(dst, WRITE_FLAGS, stat.st_mode)
        for x in iter(lambda: os.read(fin, BUFFER_SIZE), ""):
            os.write(fout, x)
    finally:
        try: os.close(fin)
        except: pass
        try: os.close(fout)
        except: pass

def copytree(src, dst, symlinks=False, ignore=[]):
    names = os.listdir(src)

    if not os.path.exists(dst):
        os.makedirs(dst)
    errors = []
    for name in names:
        if name in ignore:
            continue
        srcname = os.path.join(src, name)
        dstname = os.path.join(dst, name)
        try:
            if symlinks and os.path.islink(srcname):
                linkto = os.readlink(srcname)
                os.symlink(linkto, dstname)
            elif os.path.isdir(srcname):
                copytree(srcname, dstname, symlinks, ignore)
            else:
                copyfile(srcname, dstname)
            # XXX What about devices, sockets etc.?
        except (IOError, os.error), why:
            errors.append((srcname, dstname, str(why)))
        except CTError, err:
            errors.extend(err.errors)
    if errors:
        raise CTError(errors)

这段代码的运行速度比原生linux“cp -rf”慢一点。

与 Shutil 相比，本地存储到 tmfps 的增益约为 2 倍至 3 倍，NFS 到本地存储的增益约为 6 倍。

经过分析后，我注意到 Shutil.copy 做了很多 fstat 系统，这些都是相当重量级的。如果想进一步优化，我建议对 src 执行一个 fstat 并重用这些值。老实说，我没有走得更远，因为我得到了与原生 Linux 复制工具几乎相同的数字，并且优化数百毫秒并不是我的目标。

其他提示

对于 Windows，您可以简单地使用正在执行复制操作的操作系统：

from subprocess import call
call(["xcopy", "c:\\file.txt", "n:\\folder\\", "/K/O/X"])

/K - 复制属性。通常，Xcopy 会重置只读属性
/O - 复制文件所有权和 ACL 信息。
/X - 复制文件审核设置（暗示 /O）。

import sys
import subprocess

def copyWithSubprocess(cmd):        
    proc = subprocess.Popen(cmd, stdout=subprocess.PIPE, stderr=subprocess.PIPE)

cmd=None
if sys.platform.startswith("darwin"): cmd=['cp', source, dest]
elif sys.platform.startswith("win"): cmd=['xcopy', source, dest, '/K/O/X']

if cmd: copyWithSubprocess(cmd)

这只是一个猜测，但是...... 你的时机不对 ...也就是说，当您复制文件时，它会打开该文件并将其全部读取到内存中，以便在您粘贴时仅创建一个文件并转储内存内容

在Python中

copied_file = open("some_file").read()

相当于 控制键 + C 复制

然后

with open("new_file","wb") as f:
     f.write(copied_file)

相当于 控制键 + v 粘贴（所以时间是等价的......）

如果您希望它能够更好地扩展到更大的数据（但它不会像 ctrl+v /ctrl+c 那么快）

with open(infile,"rb") as fin,open(outfile,"wb") as fout:
     fout.writelines(iter(fin.readline,''))
许可以下： CC-BY-SA 和 归因
不隶属于 StackOverflow
scroll top