【实战解决方案】Spring Boot+Redisson构建高并发Excel导出服务，彻底解决系统阻塞难题

【实战解决方案】Spring Boot+Redisson构建高并发Excel导出服务，彻底解决系统阻塞难题

一、问题背景：痛苦的系统卡顿经历

作为电商后台开发者，我们经常遇到这样的场景：运营人员在后台点击"导出订单数据"后，整个系统变得异常卡顿，其他操作全部陷入漫长的等待。特别是在促销活动后，当需要导出10万+条订单数据时，系统几乎瘫痪。

问题症状：

• 导出期间CPU占用率飙升至90%+
• 前端界面无响应
• 数据库查询延迟飙升
• 频繁Full GC导致服务暂停

现有技术栈：

• 后端：Spring Boot 2.7 + Redisson 3.17 + MyBatis
• 存储：MySQL 8.0 + 阿里云OSS
• 前端：Vue 3 + Element Plus

二、问题根源分析

通过Arthas和SkyWalking分析，我们发现核心问题在于：

1. 同步阻塞：导出操作与业务接口共用线程池
2. 内存爆炸：一次性加载全部数据到内存
3. IO瓶颈：大文件生成时磁盘IO饱和
4. 无流控机制：可无限制触发导出

三、解决方案：四步构建高性能导出服务

3.1 整体架构设计

基于现有技术栈的优化方案：

3.2 关键技术选型

组件	职责	技术实现
任务调度	分布式协调	Redisson Queue
数据处理	流式导出	MyBatis游标 + SXSSFWorkbook
文件存储	海量存储	阿里云OSS分片上传
状态管理	任务跟踪	MySQL + Redisson Topic

四、核心代码实现

4.1 任务提交接口

@RestController
@RequestMapping("/api/export")
@RequiredArgsConstructor
public class ExportController {private final RedissonClient redisson;private final ExportTaskMapper taskMapper;@PostMappingpublic Result<String> submitExport(@Valid @RequestBody ExportRequest request) {// 1. 创建任务记录ExportTask task = new ExportTask();task.setTaskId(UUID.randomUUID().toString());task.setStatus(0); // 0-待处理task.setCreateTime(LocalDateTime.now());taskMapper.insert(task);// 2. 发布到Redis队列RBlockingDeque<String> queue = redisson.getBlockingDeque("export:tasks");queue.offer(task.getTaskId());return Result.success(task.getTaskId());}@GetMapping("/progress/{taskId}")public Result<ExportProgress> getProgress(@PathVariable String taskId) {ExportTask task = taskMapper.selectById(taskId);return Result.success(new ExportProgress(task.getStatus(),task.getProgress(),task.getOssUrl()));}
}

4.2 MyBatis游标查询

@Mapper
public interface OrderMapper {@Select("SELECT * FROM orders WHERE #{criteria}")@Options(resultSetType = ResultSetType.FORWARD_ONLY, fetchSize = 1000)Cursor<Order> selectByCursor(@Param("criteria") String criteria);
}// 使用示例
try (Cursor<Order> cursor = orderMapper.selectByCursor(criteria)) {cursor.forEach(order -> {// 处理每条数据});
}

4.3 分布式Worker实现

@Component
@RequiredArgsConstructor
public class ExportWorker {private final RedissonClient redisson;private final OrderMapper orderMapper;private final ExportTaskMapper taskMapper;private final OSS ossClient;@PostConstructpublic void startWorkers() {// 启动3个Worker线程IntStream.range(0, 3).forEach(i -> {new Thread(this::processTask, "export-worker-" + i).start();});}private void processTask() {RBlockingDeque<String> queue = redisson.getBlockingDeque("export:tasks");while (true) {String taskId = null;try {// 1. 获取任务taskId = queue.takeFirst();ExportTask task = taskMapper.selectById(taskId);// 2. 更新状态task.setStatus(1); // 处理中taskMapper.updateById(task);// 3. 创建OSS分片上传String objectName = "export/" + taskId + ".xlsx";InitiateMultipartUploadResult uploadResult = ossClient.initiateMultipartUpload(new InitiateMultipartUploadRequest(bucketName, objectName));// 4. 流式处理processData(taskId, objectName, uploadResult.getUploadId());} catch (Exception e) {if (taskId != null) {markTaskFailed(taskId, e);}log.error("Export failed", e);}}}private void processData(String taskId, String objectName, String uploadId) throws Exception {List<PartETag> partETags = new ArrayList<>();int partNumber = 1;int rowCount = 0;// 使用SXSSF实现流式Excel生成try (SXSSFWorkbook workbook = new SXSSFWorkbook(100)) {Sheet sheet = workbook.createSheet("订单数据");// 游标查询数据try (Cursor<Order> cursor = orderMapper.selectByCursor(buildCriteria())) {for (Order order : cursor) {// 写入行数据Row row = sheet.createRow(rowCount++);// ...填充单元格数据// 每1000行上传一个分片if (rowCount % 1000 == 0) {partETags.add(uploadPart(workbook, partNumber++, uploadId, objectName));workbook.dispose(); // 清理临时文件}}}// 上传最后的分片if (rowCount % 1000 != 0) {partETags.add(uploadPart(workbook, partNumber, uploadId, objectName));}}// 完成分片上传CompleteMultipartUploadRequest completeRequest = new CompleteMultipartUploadRequest(bucketName, objectName, uploadId, partETags);ossClient.completeMultipartUpload(completeRequest);// 更新任务状态updateTaskSuccess(taskId, objectName, rowCount);}
}

五、Redisson关键配置

application.yml配置

spring:redis:host: redis-hostport: 6379password: ${REDIS_PASSWORD}redisson:config: |singleServerConfig:idleConnectionTimeout: 10000connectTimeout: 10000timeout: 3000retryAttempts: 3retryInterval: 1500connectionPoolSize: 16connectionMinimumIdleSize: 4database: 0

六、性能优化成果

指标	优化前	优化后
10万数据导出时间	180秒	45秒
内存占用峰值	2GB+	200MB
系统影响	整个系统卡顿	零影响
最大并发导出	1个	10+个
CPU占用峰值	90%+	<30%

七、部署建议

1. 容器化部署示例

FROM openjdk:11-jre
WORKDIR /app
COPY target/export-service.jar .
CMD ["java", "-Xmx512m", "-Xms128m", "-jar", "export-service.jar"]

2. 健康检查配置

# Spring Boot Actuator配置
management:endpoint:health:show-details: alwaysendpoints:web:exposure:include: health,metrics

八、总结与展望

通过本方案我们实现了：

1. 系统解耦：导出与业务分离
2. 资源隔离：专用Worker处理
3. 弹性扩展：基于Redisson的分布式能力
4. 内存优化：流式处理+分片上传

未来优化方向：

1. 增加导出任务优先级机制
2. 实现动态Worker扩缩容
3. 添加导出失败自动重试
4. 完善导出监控告警体系

希望这篇实战经验能帮助遇到类似问题的开发者！如果对实现细节有疑问，欢迎在评论区交流讨论。