python 下载大文件，断点续传 ｜ Python工具类 |
您所在的位置：网站首页 › switch断网后要重新下载 › python 下载大文件，断点续传 ｜ Python工具类 |
python 下载大文件，断点续传 ｜ Python工具类
|
目录 前言 依赖 工具代码 总结 前言实用python进行大文件下载的时候，一旦出现网络波动问题，导致文件下载到一半。如果将下载不完全的文件删掉，那么又需要从头开始，如果连续网络波动，是不是要头秃了。本文提供断点续传下载工具方法，希望可以帮助到你。 依赖os、sys、requests 工具代码废话不多说，上代码。 #!/usr/bin/env python3 # -*- coding: utf-8 -*- """ Created on Sat Oct 23 13:54:39 2021 @author: huyi """ import os import sys import requests def download(url, file_path): # 重试计数 count = 0 # 第一次请求是为了得到文件总大小 r1 = requests.get(url, stream=True, verify=False) total_size = int(r1.headers['Content-Length']) # 判断本地文件是否存在，存在则读取文件数据大小 if os.path.exists(file_path): temp_size = os.path.getsize(file_path) # 本地已经下载的文件大小 else: temp_size = 0 # 对比一下，是不是还没下完 print(temp_size) print(total_size) # 开始下载 while count < 10: if count != 0: temp_size = os.path.getsize(file_path) # 文件大小一致，跳出循环 if temp_size >= total_size: break count += 1 print( "第[{}]次下载文件,已经下载数据大小:[{}],应下载数据大小:[{}]".format( count, temp_size, total_size)) # 重新请求网址，加入新的请求头的 # 核心部分，这个是请求下载时，从本地文件已经下载过的后面下载 headers = {"Range": f"bytes={temp_size}-{total_size}"} # r = requests.get(url, stream=True, verify=False) r = requests.get(url, stream=True, verify=False, headers=headers) # "ab"表示追加形式写入文件 with open(file_path, "ab") as f: if count != 1: f.seek(temp_size) for chunk in r.iter_content(chunk_size=1024 * 64): if chunk: temp_size += len(chunk) f.write(chunk) f.flush() ###这是下载实现进度显示#### done = int(50 * temp_size / total_size) sys.stdout.write("\r[%s%s] %d%%" % ( '█' * done, ' ' * (50 - done), 100 * temp_size / total_size)) sys.stdout.flush() print("\n") return file_path代码说明： 1、重试次数可以自己修改，按照需求来，我这边是10次。 2、增加了进度条的打印，别问，好看就完了。 验证一下，我们准备个文件下载服务。上文件服务代码。代码对flask、gevent有依赖。 #!/usr/bin/env python3 # -*- coding: utf-8 -*- """ Created on Sat Oct 23 19:53:18 2021 @author: huyi """ from flask import Flask, request, make_response, send_from_directory from gevent.pywsgi import WSGIServer from gevent import monkey # 将python标准的io方法，都替换成gevent中的同名方法，遇到io阻塞gevent自动进行协程切换 monkey.patch_all() app = Flask(__name__) @app.route("/download", methods=['GET']) def download_file(): get_data = request.args.to_dict() file_path = get_data.get('fileName') response = make_response( send_from_directory('/Users/huyi/Movies/Videos',file_path,as_attachment=True)) response.headers["Content-Disposition"] = "attachment; filename={}".format( file_path.encode().decode('latin-1')) return response if __name__ == '__main__': WSGIServer(('0.0.0.0', 8080), app).serve_forever()启动文件下载服务，测试下载代码 download('http://localhost:8080/download?fileName=test.mp4', '/Users/huyi/Downloads/test.mp4')首先我们下载一部分，然后关闭，模拟下载一半的情况。
重新执行一下，把剩下的执行
OK，验证通过。 总结断点续传的这部分代码，你可以好好理解一下原理，其实不复杂。还是不明白可以私信我。 如果本文对你有帮助，请点个赞支持一下吧。
|
【本文地址】
今日新闻 |
推荐新闻 |