实现超大文件上传逻辑
引言
文件上传功能是我们开发中经常会遇到的功能点,当日常开发中遇到小文件（比如：头像），可以直接将文件转为字节流直接上传到服务器上即可。但是当遇到大文件这种（比如：一部电影至少1个G）该怎么上传？怎么快速上传？传到一半断了，如何规避从头再次上传？
接下来，我们看看怎么解决这些问题！
分片上传
我相信大家肯定都听过分片上传，下面我们具体看一下
什么是分片上传
分片上传，顾名思义就是将我们需要上传的文件，按照一定的规则（比如大小），将文件分割成不同的数据块（俗称的part）来进行分批量的上传，上传完成后，再交给服务端对所有上传完成的文件进行汇总，整合为我们原来的的初始文件。
使用场景
- 较大文件上传
- 网络环境不太稳定，可能会有断网，重新上传的风险存在的情况下
断电续传
断点续传我们相信大家肯定不陌生，我们之前经常用的迅雷、电驴这些都会有断点续传的功能
什么是断电续传
断点续传，顾名思义就是在上传或者下载的时候，将上传或下载任务（一个压缩包或者文件），通过程序划分为几个部分，每一个部分采用一个线程进行下载或者上传，如果遇到了网络故障的情况，可以从已经上传或者下载的部分开始继续接着上传或下载没有完成的内容，从而避免从头开始上传或者下载。
使用场景
短短续传起始就是分片上传你的一个分支，所以他和分片上传使用的场景是一致的
实现步骤
- 将需要上传的文件按照事先约定的规则分割，分割成大小相同的数据库
- 初始化一个上传任务，返回上传分片的唯一标识
- 按照一定的策略发送各个分片数据块
- 发送完成后，服务端程序根据判断数据上传的完成状态，进行数据合并。
好了，今天关于实现超大文件上传逻辑就讲解到这里，欢迎大家留言交流
也欢迎大家关注我的公众号《coder练习生》
相关文章：
实现超大文件上传逻辑
引言 文件上传功能是我们开发中经常会遇到的功能点,当日常开发中遇到小文件（比如：头像），可以直接将文件转为字节流直接上传到服务器上即可。但是当遇到大文件这种（比如：一部电影至少1个G）该怎么…...
JavaScript HTML DOM EventListener
JavaScript HTML DOM EventListener 是一个非常重要的概念，在前端开发中被广泛使用。它是用来监听 HTML DOM 上的事件，并执行特定的代码块。 EventListener 的语法非常简单，下面是一个示例代码： element.addEventListener("…...
构建RFID系统的重要组成部分
RFID读写设备，通常被用来扫描读取安装了RFID电子标签的目标物品，能实现快速批量无接触读写，是构建RFID系统的重要组成部分。RFID读写设备，通常有固定式读写设备和可移动读写设备两种。下面来了解一下RFID的特点，RFID系…...
PID控制算法简介
目录 1 简介 2 比例Proportional 3 积分Integral 4 微分Differential 5 公式 6 积分限幅 7 积分限行 8 相关代码 1 简介 PID控制中有P、I、D三个参数，PID即：Proportional（比例）、Integral（积分&#…...
【王道数据结构】第八章 | 排序
目录 8.1. 排序的基本概念 8.2. 插入排序 8.2.1. 直接插入排序 8.2.2. 折半插入排序 8.2.3. 希尔排序 8.3. 交换排序 8.3.1. 冒泡排序 8.3.2. 快速排序 8.4. 选择排序 8.4.1. 简单选择排序 8.4.2. 堆排序 8.5. 归并排序和基数排序 8.5.2. 基数排序 8.1. 排序的基本概念 排…...
95后外贸SOHO，年入7位数，他究竟是怎么做的？
外贸SOHO，一年到底能挣多少钱？有人说：“勤勤恳恳，年薪也就十来万吧”；也有人说：“100万而已我早就已经挣到了”；还有人说：“谁说新手难出头？我做跨境半年赚200万…...
2023年全国最新消防设施操作员精选真题及答案
百分百题库提供消防设施操作员考试试题、消防设施操作员考试预测题、消防设施操作员考试真题、消防设施操作员证考试题库等,提供在线做题刷题，在线模拟考试，助你考试轻松过关。 一、多选题 15、以下符合电气火灾监控系统监控设备的安装要求的有:( ) A、…...
mysql 无需修改配置文件，即可改变表数据存储位置
由于Linux系统的mysql 默认数据存储在/var/lib/mysql路径下，而该路径装系统时默认大小仅50G，当我们的数据稍微大一点时就会把该空间占满，无法再插入数据。 针对该问题有两种解决办法： 1、修改/etc/my.cnf配置文件，重启…...
轻松解决Session-Cookie 鉴权（含坑）附代码
Session-Cookie 鉴权 cookie介绍 Cookie 存储在客户端，可随意篡改，不安全有大小限制，最大为 4kb有数量限制，一般一个浏览器对于一个网站只能存不超过 20 个 Cookie，浏览器一般只允许存放 300个 CookieCookie 是不可跨…...
pyinstaller使用详细
目录常用命令spec文件配置报错常用命令 pyinstaller -D xxx.py //打包生成目录（director）pyinstaller -F xxx.py//打包生成单个exe文件pyinstaller xxx.spec //根据现有的spec文件进行打包运行以上命令之一后会生成build、dist文件夹以及xxx.spec文件&a…...
java -数据结构，List相关基础知识，ArrayList的基本使用，泛型的简单、包装类介绍
一、 预备知识-泛型(Generic) 1.1、泛型的引入 比如：我们实现一个简单的顺序表 class MyArrayList{public int[] elem;public int usedSize;public MyArrayList(){this.elem new int[10];}public void add(int key){this.elem[usedSize] key;usedSize;}public …...
RabbitMQ学习总结（10）—— RabbitMQ如何保证消息的可靠性
一、丢失场景 RabbitMQ丢失的以下3种情况： （1）生产者：生产者发送消息至MQ的数据丢失...
购物车案例【版本为vue3】
前言： 首先我们要明白整个购物车的组成。它是由一个主页面加两个组件组合成的。本章主要运用父子之间的通讯： 父传子 子传父 首先新建一个vue3项目，这里有俩种创建方式： vue-cli ： ● 输入安装指令 npm init vuelates…...
Multisim14 安装包及安装教程
Multisim14 安装教程 Multisim14下载地址：Kevin的学习站–安装包下载地址 Multisim14 简介： Multisim 14 是美国国家仪器有限公司（National Instrument，NI）推出的以 Windows 为基础、符合工业标准的、具有 SPICE 最佳仿…...
Java实现简单的图书管理系统源码+论文
简单图书管理系统设计（文末附带源码论文） 为图书管理人员编写一个图书管理系统，图书管理系统的设计主要是实现对图书的管理和相关操作，包括3个表： 图书信息表——存储图书的基本信息，包括书号、书名、作者…...
前端调试2
一、用chrome调试(node.js)例：const fs require(fs/promises);(async function() {const fileContent await fs.readFile(./package.json, {encoding: utf-8});await fs.writeFile(./package2.json, fileContent); })();1.先 node index.js 跑一下：2.然…...
AlphaFold 2 处理蛋白质折叠问题
蛋白质是一个较长的氨基酸序列，比如100个氨基酸的规模，如此长的氨基酸序列连在一起是不稳定的，它们会卷在一起，形成一个独特的3D结构，这个3D结构的形状决定了蛋白质的功能。 蛋白质结构预测（蛋白质折叠问题…...
问卷调查会遇到哪些问题？怎么解决？
提到问卷调查我们并不陌生，它经常被用作调查市场、观察某类群体的行为特征等多种调查中。通过问卷调查得出的数据能够非常真实反映出是市场的现状和变化趋势，所以大家经常使用这个方法进行调查研究。不过，很多人在进行问卷调查的时候也会遇到…...
量化选股——基于动量因子的行业风格轮动策略（第1部分—因子测算）
文章目录动量因子与行业轮动概述动量因子的理解投资视角下的行业轮动现象投资者视角与奈特不确定性动量因子在行业风格上的效果测算动量因子效果测算流程概述1. 行业选择：申万一级行业2. 动量因子选择：阿隆指标（Aroon）3. 测算方法…...
工作常用git命令
修改hard：git reset --hard md5git push -f合并多次commitsgit rebase -i HEAD~4git push -f冲突文件被覆盖冲突文件被覆盖了，可以用git checkout commitId /path来快速把一个或一些文件还原会之前的提交，重新commit ,merge一次删除分支git b…...
C++初阶-list的底层
目录 1.std::list实现的所有代码 2.list的简单介绍 2.1实现list的类 2.2_list_iterator的实现 2.2.1_list_iterator实现的原因和好处 2.2.2_list_iterator实现 2.3_list_node的实现 2.3.1. 避免递归的模板依赖 2.3.2. 内存布局一致性 2.3.3. 类型安全的替代方案 2.3.…...
进程地址空间（比特课总结）
一、进程地址空间 1. 环境变量 1 ）⽤户级环境变量与系统级环境变量 全局属性：环境变量具有全局属性，会被⼦进程继承。例如当bash启动⼦进程时，环 境变量会⾃动传递给⼦进程。 本地变量限制：本地变量只在当前进程(ba…...
【WiFi帧结构】
文章目录 帧结构MAC头部管理帧 帧结构 Wi-Fi的帧分为三部分组成：MAC头部frame bodyFCS，其中MAC是固定格式的，frame body是可变长度。 MAC头部有frame control，duration，address1，address2，addre…...
转转集团旗下首家二手多品类循环仓店“超级转转”开业
6月9日，国内领先的循环经济企业转转集团旗下首家二手多品类循环仓店“超级转转”正式开业。 转转集团创始人兼CEO黄炜、转转循环时尚发起人朱珠、转转集团COO兼红布林CEO胡伟琨、王府井集团副总裁祝捷等出席了开业剪彩仪式。 据「TMT星球」了解，“超级…...
2021-03-15 iview一些问题
1.iview 在使用tree组件时，发现没有set类的方法，只有get，那么要改变tree值，只能遍历treeData，递归修改treeData的checked，发现无法更改，原因在于check模式下，子元素的勾选状态跟父节…...
docker 部署发现spring.profiles.active 问题
报错： org.springframework.boot.context.config.InvalidConfigDataPropertyException: Property spring.profiles.active imported from location class path resource [application-test.yml] is invalid in a profile specific resource [origin: class path re…...
RSS 2025｜从说明书学习复杂机器人操作任务：NUS邵林团队提出全新机器人装配技能学习框架Manual2Skill
视觉语言模型（Vision-Language Models, VLMs），为真实环境中的机器人操作任务提供了极具潜力的解决方案。 尽管 VLMs 取得了显著进展，机器人仍难以胜任复杂的长时程任务（如家具装配），主要受限于人…...
Python 训练营打卡 Day 47
注意力热力图可视化 在day 46代码的基础上，对比不同卷积层热力图可视化的结果 import torch import torch.nn as nn import torch.optim as optim from torchvision import datasets, transforms from torch.utils.data import DataLoader import matplotlib.pypl…...
命令行关闭Windows防火墙
命令行关闭Windows防火墙 引言一、防火墙：被低估的"智能安检员"二、优先尝试！90%问题无需关闭防火墙方案1：程序白名单（解决软件误拦截）方案2：开放特定端口（解决网游/开发端口不通）三、命令行极速关闭方案方法一：PowerShell（推荐Win10/11）方法二：CMD命令…...
云原生安全实战：API网关Envoy的鉴权与限流详解
🔥「炎码工坊」技术弹药已装填！ 点击关注 → 解锁工业级干货【工具实测|项目避坑|源码燃烧指南】 一、基础概念 1. API网关 作为微服务架构的统一入口，负责路由转发、安全控制、流量管理等核心功能。 2. Envoy 由Lyft开源的高性能云原生…...