首页 / 知识

关于python：在Django中提供动态生成的ZIP存档

2023-04-15 15:16:00

Serving dynamically generated ZIP archives in Django

如何在Django中为用户提供动态生成的ZIP存档？

我正在建立一个站点，用户可以在其中选择可用书籍的任意组合，并将其下载为ZIP存档。我担心为每个请求生成这样的存档会降低我的服务器的爬网速度。我还听说Django当前尚没有很好的解决方案来提供动态生成的文件。

解决方法如下。

使用Python模块zipfile创建zip存档，但是在文件中指定StringIO对象(ZipFile构造函数需要类似文件的对象)。添加您要压缩的文件。然后在Django应用程序中，将HttpResponse中的StringIO对象的内容返回，且mimetype设置为application/x-zip-compressed(或至少为application/octet-stream)。如果需要，可以设置content-disposition标头，但这并不是真正需要的。

但是请注意，在每个请求上创建zip存档都是一个坏主意，这可能会杀死您的服务器(如果存档很大，则不计算超时)。基于性能的方法是将生成的输出缓存在文件系统中的某个位置，并仅在源文件已更改时才重新生成它。更好的主意是预先准备存档(例如，按cron作业)，并让您的Web服务器将其作为常规静态变量来提供。

这是执行此操作的Django视图：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41

import os
import zipfile
import StringIO

from django.http import HttpResponse

def getfiles(request):
# Files (local path) to put in the .zip
# FIXME: Change this (get paths from DB etc)
filenames = ["/tmp/file1.txt","/tmp/file2.txt"]

# Folder name in ZIP archive which contains the above files
# E.g [thearchive.zip]/somefiles/file2.txt
# FIXME: Set this to something better
zip_subdir ="somefiles"
zip_filename ="%s.zip" % zip_subdir

# Open StringIO to grab in-memory ZIP contents
s = StringIO.StringIO()

# The zip compressor
zf = zipfile.ZipFile(s,"w")

for fpath in filenames:
# Calculate path for file in zip
fdir, fname = os.path.split(fpath)
zip_path = os.path.join(zip_subdir, fname)

# Add file, at correct path
zf.write(fpath, zip_path)

# Must close zip for all contents to be written
zf.close()

# Grab ZIP file from in-memory, make response with correct MIME-type
resp = HttpResponse(s.getvalue(), mimetype ="application/x-zip-compressed")
# ..and correct content-disposition
resp['Content-Disposition'] = 'attachment; filename=%s' % zip_filename

return resp

这里有许多答案建议使用StringIO或BytesIO缓冲区。但是，这不是必需的，因为HttpResponse已经是一个类似于文件的对象：

1
2
3
4
5
6

response = HttpResponse(content_type='application/zip')
zip_file = zipfile.ZipFile(response, 'w')
for filename in filenames:
zip_file.write(filename)
response['Content-Disposition'] = 'attachment; filename={}'.format(zipfile_name)
return response

对于python3，我不推荐使用io.ByteIO，因为不推荐使用StringIO来实现此目的。希望能帮助到你。

1
2
3
4
5
6
7
8
9
10
11

import io

def my_downloadable_zip(request):
zip_io = io.BytesIO()
with zipfile.ZipFile(zip_io, mode='w', compression=zipfile.ZIP_DEFLATED) as backup_zip:
backup_zip.write('file_name_loc_to_zip') # u can also make use of list of filename location
# and do some iteration over it
response = HttpResponse(zip_io.getvalue(), content_type='application/x-zip-compressed')
response['Content-Disposition'] = 'attachment; filename=%s' % 'your_zipfilename' +".zip"
response['Content-Length'] = zip_io.tell()
return response

Django不会直接处理动态内容(特别是Zip文件)的生成。这项工作将由Python的标准库完成。您可以在此处了解如何在Python中动态创建Zip文件。

如果您担心它会降低服务器的速度，那么如果您希望有许多相同的请求，则可以缓存这些请求。您可以使用Django的缓存框架来帮助您。

总体而言，压缩文件可能会占用大量CPU资源，但Django不应比其他Python网络框架慢。

我使用了Django 2.0和Python 3.6。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22

import zipfile
import os
from io import BytesIO

def download_zip_file(request):
filelist = ["path/to/file-11.txt","path/to/file-22.txt"]

byte_data = BytesIO()
zip_file = zipfile.ZipFile(byte_data,"w")

for file in filelist:
filename = os.path.basename(os.path.normpath(file))
zip_file.write(file, filename)
zip_file.close()

response = HttpResponse(byte_data.getvalue(), content_type='application/zip')
response['Content-Disposition'] = 'attachment; filename=files.zip'

# Print list files in zip_file
zip_file.printdir()

return response

无耻的插件：您可以将django-zipview用于相同的目的。

在pip install django-zipview之后：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

from zipview.views import BaseZipView

from reviews import Review

class CommentsArchiveView(BaseZipView):
"""Download at once all comments for a review."""

def get_files(self):
document_key = self.kwargs.get('document_key')
reviews = Review.objects \
.filter(document__document_key=document_key) \
.exclude(comments__isnull=True)

return [review.comments.file for review in reviews if review.comments.name]

该模块生成并流式传输存档：https://github.com/allanlei/python-zipstream

(我没有与开发联系。只是考虑使用它。)

我建议使用单独的模型来存储这些临时zip文件。您可以即时创建zip，使用filefield保存到模型，最后将url发送给用户。

好处：