springboot X-Accel-Redirect 大文件下载实现
作者：Mr-Wanter
前言
文件下载的方式：
- nginx代理附件路径，直接访问。无法控制用户的权限。
- 服务端流式读取文件内容。这个过程需要后端进程将文件读取到内存中然后再发给用户，会造成很大的资源开销。如果你文件较大，可能会超时，并且会占用比较大的内存，当用户下载量很大时有可能造成程序的崩溃。
- 服务端权限控制后通过X-Accel-Redirect 重定向到nginx代理地址。传输快、服务器IO低，但是无法跟踪下载进度。
一、什么是 X-Sendfile？
X-Sendfile是一种将文件下载请求由后端应用转交给前端web服务器处理的机制，它可以消除后端程序既要读文件又要处理发送的压力，从而显著提高服务器效率，特别是处理大文件下载的情形下。
X-Sendfile 通过一个特定的 header 来实现：在 X-Sendfile 头中指定一个文件的地址来通告前端 web 服务器。当 web 服务器检测到后端发送的这个 header 后，它将忽略后端的其他输出，而使用自身的组件（包括 缓存头 和 断点重连 等优化）机制将文件发送给用户。
不过，在使用 X-Sendfile 之前，我们必须明白这并不是一个标准特性，在默认情况下它是被大多数 web 服务器禁用的。而不同的 web 服务器的实现也不一样，包括规定了不同的 X-Sendfile 头格式。如果配置失当，用户可能下载到 0 字节的文件。
nginx: X-Accel-Redirect
squid: X-Accelerator-Vary
apache: X-Sendfile
lighttpd: X-Sendfile/X-LIGHTTPD-send-file
使用X-Sendfile的缺点是你失去对文件传输机制的控制，后台不知道文件是否下载成功。
Nginx 默认支持该特性 ，不需要加载额外的模块。只是实现有些不同， 需要发送的 HTTP 头为 X-Accel-Redirect。
X-Accel-Redirect：
这个功能允许你在后端处理权限，日志或任何你想干的，Nginx提供内容服务给终端用户从重定向后的路径，因此可以释放后端去处理其他请求（直接由Nginx提供IO，而不是后端服务）。这个功能类似X-Sendfile 。
二、相关请求头说明
X-Accel-Limit-Rate
限制下载速度，单位字节。默认不限速度。
X-Accel-Buffering
设置此连接的代理缓存，将此设置为no将允许适用于Comet和HTTP流式应用程序的无缓冲响应。将>此设置为yes将允许响应被缓存。默认yes。
X-Accel-Expires
如果已传输过的文件被缓存下载，设置Nginx文件缓存过期时间，单位秒。默认不过期。
X-Accel-Charset
设置文件字符集，默认UTF-8
三、实现步骤
前置条件：
需要前端请求的Referer 和 nginx 在同一台机器，或者nginx代理到最终附件服务器的nginx地址nginx代理附件地址和附件下载服务（保证代理和服务在同一个ip 端口下）
location /protected_files {
internal; # internal 表示这个路径只能在 Nginx 内部访问，不能用浏览器直接访问防止未授权的下载
alias /mnt/files;
}
location /gsdss-api/ {
#OPTIONS请求处理
if ($request_method = 'OPTIONS') {
add_header 'Access-Control-Max-Age' 1728000;
add_header Access-Control-Allow-Origin *;
add_header Access-Control-Allow-Credentials true;
add_header Access-Control-Allow-Methods 'GET, POST, OPTIONS';
add_header 'Access-Control-Allow-Headers' 'DNT,X-Mx-ReqToken,Keep-Alive,User-Agent,X-Requested-With,If-Modified-Since,Cache-Control,Content-Type,token,orgcode';
return 200;
}
proxy_pass 网关地址;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
client_max_body_size 100m;
proxy_next_upstream error timeout invalid_header http_500 http_502 http_503 http_504;
}java处理鉴权后直接重定向到nginx代理地址
public void downloadByLink(HttpServletResponse response, String fileId) {
//查询附件信息
AttachmentResp resp = attachmentService.findByAttachId(fileId);
//鉴权实际已经通过gateway完成
try {
String fileName = URLEncoder.encode(resp.getFileName(), "UTF-8");
response.addHeader("Content-Disposition", "attachment;filename=" + fileName);
response.setHeader("X-Accel-Redirect", "/upload" + resp.getPath()); //设置URI给nginx进行内部的跳转
response.setHeader("X-Accel-Limit-Rat", "202400"); //限速
} catch (UnsupportedEncodingException e) {
log.error("文件下载失败 ", e);
throw new BusinessException("文件下载失败");
}
}总结
常规请求路径
前端nginx：前端访问nginx代理网关路径
后端nginx：
- 代理网关路径转发到实际网关地址
- 网关分发到附件服务
- 附件服务处理请求
为了保证nginx代理的下载路径和附件下载服务在同一ip和端口那么这个nginx代理需要2层实现
到此这篇关于springboot X-Accel-Redirect 大文件下载实现的文章就介绍到这了,更多相关springboot X-Accel-Redirect 大文件下载内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！