Spring Boot 与 Amazon S3:快速上传与下载文件的完整指南
概要
在将 Spring Boot 更新到 3 系列时,由于 javax 需要被替换为 jakarta,因此原先依赖于 javax 的 spring-cloud-starter-aws1 将无法使用(虽然在我本地环境中仍然可以正常工作)。为了确保兼容性,我将依赖关系更改为 jakarta 的 io.awspring.cloud.spring-cloud-aws-starter,但由于信息较少,特此发布一个示例。
环境
- Java 17
- Spring Boot
spring-boot-starter-parent:3.2.6spring-cloud-aws-dependencies:3.1.1spring-cloud-aws-starterspring-cloud-aws-starter-s3
示例
以下示例展示了如何将文件(对象)上传到 Amazon S3,并指定存储类为 Intelligent-Tiering。假设从本地环境上传时使用 Intelligent-Tiering,而在 EC2(服务器)环境中上传时使用 Standard(即不指定存储类时的默认值)。
※ 直接相关的部分将被省略。
pom.xml
虽然直接使用 AWS SDK For Java 也是一种选择,但本示例中我们将使用 spring-cloud-aws-starter。
<dependencyManagement><dependencies><dependency><groupId>io.awspring.cloud</groupId><artifactId>spring-cloud-aws-dependencies</artifactId><version>3.1.1</version><type>pom</type><scope>import</scope></dependency></dependencies>
</dependencyManagement>
<dependencies><dependency><groupId>io.awspring.cloud</groupId><artifactId>spring-cloud-aws-starter</artifactId></dependency><dependency><groupId>io.awspring.cloud</groupId><artifactId>spring-cloud-aws-starter-s3</artifactId></dependency>
</dependencies>
在 dependencyManagement 中指定 spring-cloud-aws-dependencies 可以统一管理版本。
AwsStorageConfig.java
为了在 Service 类中通过 Autowired 使用 S3Client,需要创建一个配置类并将其注册为 Bean。在 EC2 上可以通过 IAM Role 获取认证信息,但在本地环境中无法获取,因此需要显式指定认证信息。
package com.tamorieeeen.sample.config;import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.context.annotation.Profile;import software.amazon.awssdk.auth.credentials.AwsBasicCredentials;
import software.amazon.awssdk.auth.credentials.StaticCredentialsProvider;
import software.amazon.awssdk.regions.Region;
import software.amazon.awssdk.services.s3.S3Client;
/**** @author rralucard**/
@Configuration
public class AwsStorageConfig {@Value("${spring.cloud.aws.credentials.access-key:unknown}")private String accessKey;@Value("${spring.cloud.aws.credentials.secret-key:unknown}")private String secretKey;@Value("${spring.cloud.aws.region.static:unknown}")private String region;/*** local用*/@Bean("s3Client")@Profile("local")public S3Client s3ClientLocal() {StaticCredentialsProvider credentialsProvider = StaticCredentialsProvider.create(AwsBasicCredentials.create(accessKey, secretKey));return S3Client.builder().region(Region.of(region)).credentialsProvider(credentialsProvider).build();}/*** EC2(server)用*/@Bean("s3Client")@Profile("server")public S3Client s3Client() {return S3Client.create();}
}
application.yml
本地使用的 application-local.yml 和 EC2(服务器)使用的 application-server.yml 的配置示例。
本地环境:
spring:cloud:aws:credentials:instance-profile: falseaccess-key: SUMPLEACCESSKEY1234secret-key: SumpleSecretKey123456789stack.auto: falseregion:instance-profile: falsestatic: ap-northeast-1s3:bucket: your-bucket-namestorage-class: INTELLIGENT_TIERING
EC2(Server)用
spring:cloud:aws:credentials:instance-profile: trueuseDefaultAwsCredentialsChain: truestack.auto: falseregion:instance-profile: trues3:bucket: your-bucket-namestorage-class: STANDARD
AwsStorageService.java
上传文件使用 MultipartFile 接收,下载时最终会将文件打包成 ResponseEntity<byte[]> 进行返回。
package com.tamorieeeen.sample.service;import java.io.ByteArrayInputStream;
import java.io.IOException;import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;
import org.springframework.web.multipart.MultipartFile;import software.amazon.awssdk.core.ResponseInputStream;
import software.amazon.awssdk.core.exception.SdkClientException;
import software.amazon.awssdk.core.sync.RequestBody;
import software.amazon.awssdk.services.s3.S3Client;
import software.amazon.awssdk.services.s3.model.GetObjectRequest;
import software.amazon.awssdk.services.s3.model.GetObjectResponse;
import software.amazon.awssdk.services.s3.model.PutObjectRequest;/**** @author rralucard**/
@Service
public class AwsStorageService {@Value("${spring.cloud.aws.s3.bucket}")private String bucket;@Value("${spring.cloud.aws.s3.storage-class}")private String storageClass;@Autowiredprivate S3Client s3Client;/*** 向s3上传文件* @throws IOException* @throws SdkClientException*/public void uploadFile(String s3Path, MultipartFile file) throws SdkClientException, IOException {PutObjectRequest putObjRequest = PutObjectRequest.builder().bucket(bucket).key(s3Path).storageClass(storageClass).contentType(file.getContentType()).contentLength(file.getSize()).build();byte[] bytes = file.getBytes();try (ByteArrayInputStream inputStream = new ByteArrayInputStream(bytes);) {s3Client.putObject(putObjRequest, RequestBody.fromInputStream(inputStream, bytes.length));}}/*** 从S3下载文件* @throws IOException*/public byte[] download(String s3Path) throws IOException {GetObjectRequest getObjRequest = GetObjectRequest.builder().bucket(bucket).key(s3Path).build();try (ResponseInputStream<GetObjectResponse> resInputStream = s3Client.getObject(getObjRequest);) {return resInputStream.readAllBytes();}}
}
官方示例
在解决问题后,我发现了AWS官方提供的示例代码。虽然资料很少,但这份官方样例实际上是AWS SDK for Java的代码示例。
AWS事例
相关文章:
Spring Boot 与 Amazon S3:快速上传与下载文件的完整指南
概要 在将 Spring Boot 更新到 3 系列时,由于 javax 需要被替换为 jakarta,因此原先依赖于 javax 的 spring-cloud-starter-aws1 将无法使用(虽然在我本地环境中仍然可以正常工作)。为了确保兼容性,我将依赖关系更改为…...
细节剖析:HTTP与HTTPS在安全性、性能等方面的不同!
HTTPS是现代互联网通信的重要基石,通过加密通信、身份验证和数据完整性保护,为数十亿用户提供了安全可靠的互联网体验。 小编整理了2GB程序员相关资料,关注微信公众号“程序员Style”回复“程序员”免费领取! 1、介绍 随着 HTT…...
MySQL面试篇章——MySQL索引
文章目录 MySQL 索引索引分类索引创建和删除索引的执行过程explain 查看执行计划explain 结果字段分析 索引的底层实现原理B-树B树哈希索引 聚集和非聚集索引MyISAM(\*.MYD,*.MYI)主键索引辅助索引(二级索引) InnoDB&a…...
WSL 2 Oracle Linux 9.1 安装配置
文章目录 环境使用体验安装 Oracle Linux 9.1修改默认存储路径默认 root 用户登录启用 systemd启用 SSH 连接WSL 无法 ping 通宿主机和域名WSL 使用主机代理(测试通过)WSL 常用命令 环境 OS:Win11 24H2 (OS 内部版本26120.1252) wsl --versio…...
MySQL日志文件详解
MySQL中的日志文件是MySQL数据库系统的重要组成部分,它们记录了数据库的运行情况、用户操作、错误信息等,对于数据库的维护、优化、故障排查和恢复都具有重要意义。以下是MySQL中几种主要日志文件的详解: 1. 二进制日志(Binary L…...
MySQL零散拾遗(三)
在mysql中,JOIN ON 和 WHERE 的作用和用法是怎么样的? 在MySQL中,JOIN语句用于将两个或多个表根据指定的关联条件合并成一个新的结果集。JOIN ON和WHERE子句在JOIN语句中扮演着不同的角色,它们的用法和作用如下: JOI…...
鸿蒙 使用 Refresh 实现下拉刷新
import promptAction from ohos.promptActionEntry Component struct Index {Staterefreshing: boolean falseStatelist: number[] Array(20).fill(Date.now())Buildercontent(){Stack(){Row(){LoadingProgress().height(32)Text(正在刷新...).fontSize(16).margin({left:20}…...
【JavaScript 算法】图的遍历:理解图的结构
🔥 个人主页:空白诗 文章目录 一、深度优先搜索(DFS)深度优先搜索的步骤深度优先搜索的JavaScript实现 二、广度优先搜索(BFS)广度优先搜索的步骤 三、应用场景四、总结 图的遍历是图论中的基本操作之一&am…...
Ubuntu 中默认的 root 用户密码
场景:想要切换root用户,发现得输入密码,以为是以前设置过然后一直尝试都是错误【认证失败】最后发现根本没设置过root用户,默认会随机生成root用户的密码😅 Ubuntu 中默认的 root 密码是随机的,即每次开机都…...
Rust编程-高级特性
unsafe:内存不安全 内存安全问题,例如空指针解引用 关键字unsafe来切换到不安全模式,并在被标记后的代码块中使用不安全代码 使用unsafe告诉编译器后面代码安全性自行负责 因为电脑硬件安全问题,必须编写可能不安全的代码 可以将…...
JavaRegexImprove练习(1) (2024.7.22)
ImproveExercise1 package RegexImprove20240722; import java.util.Scanner; public class ImproveExercise {public static void main(String[] args) {Scanner sc new Scanner(System.in);System.out.println("请输入一个字符串");String str sc.nextLine();//…...
基于YOLO模型的鸟类识别系统
鸟类识别在生物研究和保护中具有重要意义。本文将详细介绍如何使用YOLO(You Only Look Once)模型构建一个鸟类识别系统,包括UI界面、YOLOv8/v7/v6/v5代码以及训练数据集。 目录 2. 环境配置 2.1 安装Python和相关库 2.2 安装YOLO模型库 …...
WebRTC通话原理(SDP、STUN、 TURN、 信令服务器)
文章目录 1.媒体协商SDP简介 2.网络协商STUN的工作原理TURN工作原理 3.信令服务器信令服务器的主要功能信令服务器的实现方式 1.媒体协商 比如下面这个例子 A端与B端要想通信 A端视频采用VP8做解码,然后发送给B端,B端怎么解码? B端视频采用…...
面试场景题系列--(1)如果系统的 QPS 突然提升 10 倍该怎么设计?--xunznux
1. 如果系统的 QPS 突然提升 10 倍该怎么设计? 1.1 硬件的扩展微服务的拆分 如果所有的业务包括交易系统、会员信息、库存、商品等等都夹杂在一起,当流量一旦起来之后,单体架构的问题就暴露出来了,机器挂了所有的业务就全部无法…...
【数学建模】——前沿图与网络模型:新时代算法解析与应用
目录 1.图与网络的基本概念 1. 无向图和有向图 2. 简单图、完全图、赋权图 3. 顶点的度 4. 子图与图的连通性 2.图的矩阵表示 1. 关联矩阵 2. 邻接矩阵 3.最短路问题 1.Dijkstra 算法 2.Floyd 算法 4.最小生成树问题 1.Kruskal 算法 2.Prim 算法 5.着色问题 6.…...
视频分帧【截取图片】(YOLO目标检测【生成数据集】)
高效率制作数据集【按这个流程走,速度很顶】 本次制作,1059张图片【马路上流动车辆】 几乎就是全自动了,只要视频拍得好,YOLO辅助制作数据集就效率极高 视频中的图片抽取: 【由于视频内存过大,遇到报错执行…...
Redis7(二)Redis持久化双雄
持久化之RDB RDB的持久化方式是在指定时间间隔,执行数据集的时间点快照。也就是在指定的时间间隔将内存中的数据集快照写入磁盘,也就是Snapshot内存快照,它恢复时再将硬盘快照文件直接读回到内存里面。 RDB保存的是dump.rdb文件。 自动触发…...
发布支持TS的npm包
你现在有这么一个包,已经将他发布在npm上了,周下载量也还比较可观。美中不足的就是,这个包之前使用js写的,现在你想增加TS类型,提升用户使用体验,那么你现在可以做以下几个步骤 1.在你的包的根目录下创建一…...
计算机视觉9 全卷积网络
全卷积网络(Fully Convolutional Network,简称 FCN)在计算机视觉领域具有重要地位。 传统的卷积神经网络(CNN)在最后的输出层通常使用全连接层来进行分类任务。然而,全连接层会丢失空间信息,使得…...
02.C++入门基础(下)
1.函数重载 C支持在同一作用域中出现同名函数,但是要求这些同名函数的形参不同,可以是参数个数不同或者类型不同。这样C函数调用就表现出了多态行为,使用更灵活。C语言是不支持同一作用域中出现同名函数的。 1、参数类型不同 2、参数个数不同…...
自动驾驶之心实习生招募|上海线下,一起做点真东西
点击下方卡片,关注“自动驾驶之心”公众号 戳我-> 领取自动驾驶近30个方向学习路线 自动驾驶之心是业内头部的垂类自媒体平台,过去一年,我们梳理了端到端、VLA、世界模型、强化学习等前沿方向的最新进展,也分享了行业概况、融资…...
企业级Java SMB客户端:jcifs-ng深度架构解析与实战指南
企业级Java SMB客户端:jcifs-ng深度架构解析与实战指南 【免费下载链接】jcifs-ng A cleaned-up and improved version of the jCIFS library 项目地址: https://gitcode.com/gh_mirrors/jc/jcifs-ng jcifs-ng是一个经过彻底重构和优化的Java SMB客户端库&am…...
从课程设计到实际应用:聊聊51单片机倒车雷达项目的那些优化点
从课程设计到实际应用:51单片机倒车雷达项目的工业级优化指南 当你完成了一个能测距、能报警的51单片机倒车雷达课程设计后,是否思考过这个"玩具级"项目与真正车载产品的差距?本文将带你跨越这道鸿沟,从精度、可靠性、功…...
3步突破设备壁垒:让VR内容在普通显示器上重生的开源方案
3步突破设备壁垒:让VR内容在普通显示器上重生的开源方案 【免费下载链接】VR-reversal VR-Reversal - Player for conversion of 3D video to 2D with optional saving of head tracking data and rendering out of 2D copies. 项目地址: https://gitcode.com/gh_…...
OpenClaw可视化监控:百川2-13B-4bits任务执行状态的实时仪表盘搭建
OpenClaw可视化监控:百川2-13B-4bits任务执行状态的实时仪表盘搭建 1. 为什么需要可视化监控? 去年冬天,我部署了一个基于OpenClaw的自动化写作助手,对接本地运行的百川2-13B-4bits模型。最初几周运行良好,直到某天早…...
LabelMe企业级部署方案:多用户权限管理与审计
LabelMe企业级部署方案:多用户权限管理与审计 LabelMe是一款强大的图像标注工具,支持多边形、矩形、圆形等多种标注形式,广泛应用于计算机视觉领域的数据准备工作。在企业环境中部署LabelMe时,多用户权限管理与操作审计是确保数据…...
Qwen3-VL多模态检索系统:跨模态搜索部署实战案例
Qwen3-VL多模态检索系统:跨模态搜索部署实战案例 用图文对话技术构建智能搜索系统,让AI看懂图片内容并精准回答你的问题 1. 项目介绍与环境准备 Qwen3-VL是阿里最新开源的视觉-语言模型,可以说是目前最强大的多模态AI系统之一。这个模型不仅…...
新手别怕!用Vivado仿真Verilog的8个经典电路,从JK触发器到频率计保姆级复盘
Vivado实战:从JK触发器到频率计的Verilog仿真全指南 刚接触FPGA开发的同学们,是否经常遇到这样的困境:明明理解了Verilog语法,却在Vivado仿真时频频报错?或是仿真波形与预期完全不符,却找不到问题所在&…...
Qwen3-0.6B-FP8企业级部署教程:基于Dify打造AI应用平台
Qwen3-0.6B-FP8企业级部署教程:基于Dify打造AI应用平台 想快速搭建一个属于自己或团队的AI应用,但又觉得从零开发太复杂?今天,我们就来聊聊如何用Qwen3-0.6B-FP8这个轻量高效的模型,结合Dify这个强大的AI应用开发平台…...
Dinky 1.2.3实战:手把手教你构建带多数据源Connector的Flink 1.20镜像并推上K8s
Dinky 1.2.3实战:构建多数据源Flink镜像与K8s集成全指南 1. 为什么需要定制Flink基础镜像? 在实时数据处理领域,Flink已成为事实上的标准计算引擎。但官方镜像往往只包含基础组件,当我们需要连接MySQL、Kafka、Paimon等不同数据源…...
