当前位置: 首页 > article >正文

使用 Python 将 Excel 数据批量导入到数据库中(SQLite)

一、应用场景与方案优势适用场景企业 Excel 报表数据迁移至数据库持久化存储自动化办公定期将 Excel 导出数据同步到数据库轻量级数据中台多 Excel 文件整合入库方便后续查询分析4.测试数据构造快速将 Excel 测试数据导入数据库。方案核心优势无环境依赖无需安装 Microsoft Office/WPS纯 Python 库解析 Excel多工作表适配自动遍历 Excel 所有 sheet无需手动指定动态建表根据 Excel 表头自动生成数据库表结构安全稳定参数化 SQL 防注入事务管理保证数据一致性轻量免费适用于中小型 Excel 文件处理无额外成本。二、环境准备仅需安装 Excel 解析库Free Spire.XLS for PythonSQLite 为 Python 内置库无需额外安装pip install FreeSpire.XLS三、核心执行流程整个程序分为 5 个核心步骤数据流转清晰无冗余加载Excel文件 → 连接数据库 → 遍历工作表 → 读取表头动态建表 → 逐行数据插入 → 提交事务释放资源3.1 完整代码from spire.xls import Workbook import sqlite3 def excel_to_sqlite(excel_path, db_path): # 1. 加载 Excel 文件 workbook Workbook() workbook.LoadFromFile(excel_path) # 2. 连接数据库 conn sqlite3.connect(db_path) cursor conn.cursor() # 3. 遍历每个工作表 for sheet_index in range(workbook.Worksheets.Count): sheet workbook.Worksheets.get_Item(sheet_index) sheet_name sheet.Name.replace( , ) # 表名中去掉空格 # 4. 读取表头第一行 header [] for col in range(sheet.AllocatedRange.ColumnCount): raw_value sheet.Range[1, col 1].Value # 字段名中去掉空格并避免空字段 field_name raw_value.replace( , ) if raw_value else fcol_{col} header.append(field_name) # 5. 创建数据库表所有字段暂定为 TEXT 类型 create_sql f CREATE TABLE IF NOT EXISTS {sheet_name} ( {, .join([f[{h}] TEXT for h in header])} ) cursor.execute(create_sql) # 6. 逐行插入数据跳过表头行 for row in range(1, sheet.AllocatedRange.RowCount): # row1 对应 Excel 第二行 row_data [] for col in range(sheet.AllocatedRange.ColumnCount): cell_value sheet.Range[row 1, col 1].Value row_data.append(cell_value) # 使用参数化查询防止 SQL 注入 placeholders ,.join([? for _ in row_data]) insert_sql fINSERT INTO {sheet_name} ({,.join(header)}) VALUES ({placeholders}) cursor.execute(insert_sql, row_data) # 7. 提交并清理 conn.commit() conn.close() workbook.Dispose() if __name__ __main__: excel_to_sqlite(Sample.xlsx, output/Report.db)3.2 关键点解析1. 工作表遍历与表名清洗workbook.Worksheets.Count获取工作表总数get_Item(s)按索引获取。工作表名称可能包含空格、特殊字符直接用作 SQLite 表名会导致语法错误因此使用.replace( , )去除空格。更严谨的做法可增加正则过滤只保留字母数字和下划线。2. 动态建表与字段类型示例将所有字段定义为TEXT类型适配 Excel 中字符串、数字、日期等通用格式可根据业务修改数据类型。3. 数据读取的范围sheet.AllocatedRange返回已使用的单元格区域包含数据的最大矩形比直接遍历全部行列更高效。注意RowCount和ColumnCount是基于 1 的计数。4. 参数化插入使用?占位符配合cursor.execute(insert_sql, row_data)能自动处理字符串转义避免因 Excel 单元格内容包含单引号导致的 SQL 错误同时防范注入风险。四、扩展适配其他数据库只需修改数据库连接部分即可迁移到 MySQL、PostgreSQL 等。注意不同数据库的标识符引用符不同MySQL 用反引号PostgreSQL 用双引号以及字段类型映射的差异。例如连接 MySQLimport pymysql conn pymysql.connect(hostlocalhost, userroot, password123456, dbtest) cursor conn.cursor() # 建表时将 [field] 改为 field

相关文章:

使用 Python 将 Excel 数据批量导入到数据库中(SQLite)

一、应用场景与方案优势适用场景企业 Excel 报表数据迁移至数据库持久化存储;自动化办公:定期将 Excel 导出数据同步到数据库;轻量级数据中台:多 Excel 文件整合入库,方便后续查询分析;4.测试数据构造&…...

点点库存管理小程序使用小技巧:两种采购方式搭配批量入库更省心

在库存管理系统的采购模块中,通常需要处理两种业务场景:常规采购(需上级审批)和紧急采购(免审批即时入库)。点点库存管理小程序同时支持这两种方式——生成待审核采购单与直接入库,并且均可搭配…...

2026年国内AI大厂薪资大揭秘:80万年薪不是梦?揭秘高薪背后的真相!

今天给大家盘一盘2026年国内几家主流AI大厂的薪资情况,数据主要来自招聘平台、社交媒体上的员工爆料,以及身边朋友的真实反馈。 最近两年,国内AI行业的人才争夺已经到了白热化的阶段,月之暗面、智谱AI、百川智能、MiniMax、DeepSe…...

IAR开发实战:如何用#pragma指令把C语言全局变量精准“钉”到指定RAM段(附完整icf配置)

IAR开发实战:全局变量精准定位到指定RAM段的高级技巧 在嵌入式开发中,内存管理一直是工程师们需要面对的挑战之一。当项目复杂度增加,性能要求提高时,如何高效地利用有限的RAM资源,将关键变量放置在最优位置&#xff0…...

告别Excel!用QT的QTableWidget打造你的第一个桌面端数据管理工具(附完整源码)

从Excel到专业桌面应用:基于QT的QTableWidget数据管理系统实战 在数据处理领域,Excel长期占据主导地位,但当数据量增长到数千行、需要复杂业务逻辑或多人协作时,电子表格的局限性就暴露无遗。许多开发者都面临过这样的困境&#x…...

小团队福音:用两台服务器搞定Redis高可用(Keepalived+互为主从配置)

小团队福音:用两台服务器构建轻量级Redis高可用架构 在初创公司和小型技术团队中,服务器资源往往捉襟见肘。当业务需要Redis作为缓存或数据库时,传统的高可用方案如哨兵模式需要至少三台服务器,这对资源有限的团队来说可能过于奢侈…...

合宙ESP32-C3用PlatformIO调试,别再为USB CDC和DIO配置头疼了

合宙ESP32-C3 PlatformIO调试实战:USB CDC与DIO配置全解析 第一次接触合宙ESP32-C3的开发板时,我被它简洁的设计和亲民的价格所吸引。但当我兴冲冲地打开PlatformIO准备大展拳脚时,却接连遇到了串口无法识别、程序下载失败等一系列问题。经过…...

汇川AM402 PLC控制IS620N伺服:手把手教你封装自己的轴控功能块(附完整工程)

汇川AM402 PLC控制IS620N伺服:从零封装轴控功能块的工程实践 在工业自动化项目中,伺服控制是最基础也最频繁使用的功能之一。想象一下,你正在开发一个包装产线控制系统,需要同时管理十几台伺服电机——每台电机都需要重复编写使能…...

Beyond Compare 5 许可证书生成与应用完全指南

Beyond Compare 5 许可证书生成与应用完全指南 【免费下载链接】BCompare_Keygen Keygen for BCompare 5 项目地址: https://gitcode.com/gh_mirrors/bc/BCompare_Keygen 一、问题剖析:许可管理核心挑战 1.1 评估期限制的实际影响 Beyond Compare 5作为专业…...

Binder使用方式及常见组成及案例分析

Binder 是 Android 核心的跨进程通信(IPC) 机制,以一次内存拷贝、内置安全校验、面向对象接口为核心优势,是系统服务与应用通信的基石。下面从核心组成、使用方式、实战案例、原理与常见问题四方面完整解析。一、Binder 核心组成&…...

Redis:延迟双删的适用边界与落地细节诒

pagehelper整合 引入依赖com.github.pagehelperpagehelper-spring-boot-starter2.1.0compile编写代码 GetMapping("/list/{pageNo}") public PageInfo findAll(PathVariable int pageNo) {// 设置当前页码和每页显示的条数PageHelper.startPage(pageNo, 10);// 查询数…...

TMS320F28335实战:IQmath库在实时控制系统中的高效应用

1. TMS320F28335与IQmath库的黄金组合 第一次接触TMS320F28335这款DSP芯片时,我就被它的实时处理能力震撼到了。作为TI C2000系列的明星产品,28335凭借150MHz主频和硬件浮点运算单元(FPU),在电机控制、数字电源这些对实时性要求苛刻的领域简直…...

死细胞去除磁珠如何优化细胞实验质量?

一、死细胞为何影响实验结果可靠性?在细胞培养及组织样本制备过程中,不可避免地存在一定比例的死细胞。这些死亡细胞不仅占用培养空间和营养资源,更重要的是会释放胞内内容物,包括蛋白酶、核酸酶及活性氧等,对活细胞造…...

别再手动画甘特图了!3分钟学会用Excel条件格式自动生成(含节假日设置技巧)

别再手动画甘特图了!3分钟学会用Excel条件格式自动生成(含节假日设置技巧) 项目管理中,甘特图是展示任务进度和时间安排的重要工具。传统手动绘制甘特图不仅耗时耗力,而且难以应对频繁的日期调整。今天,我将…...

MySQL 重复数据删除语句

方案 1:有自增主键 id(推荐,最安全)假设你的表有主键:id(没有就用方案 2)DELETE a FROM leave_sdxw a JOIN (-- 找出每组重复数据中 最小的id之外的所有记录SELECT tenant_id, sddm, fill_vpdm,…...

LinuxServer.io LibreOffice 容器化部署:从基础搭建到生产级运维实战

1. 为什么选择容器化部署LibreOffice? 在团队协作场景中,文档处理工具就像空气一样不可或缺。但传统办公软件安装包动辄几百MB,跨平台兼容性差,版本升级更是让人头疼。三年前我负责为50人团队部署办公环境时,光是处理不…...

Kali渗透测试环境搭建:一站式部署Docker与ARL资产侦察灯塔

1. Kali渗透测试环境搭建的必要性 渗透测试是网络安全工作中不可或缺的一环,而Kali Linux作为最流行的渗透测试操作系统,内置了数百种安全工具。但原生Kali在实际使用中往往面临工具版本老旧、环境依赖冲突等问题。这时候Docker就派上了大用场 - 它能将每…...

LangChain4j 的 AI Services

LangChain4j 的 AI Services 是一个强大的工具,它旨在简化 Java 应用与大语言模型(LLM)的交互过程,将复杂的 AI 能力封装成清晰、易用的 Java API💡 什么是 AI Services? AI Services 可以被理解为一个“AI…...

归并排序力扣题(leetcode)萍

1.概述在人工智能快速发展的今天,AI不再仅仅是回答问题的聊天机器人,而是正在演变为能够主动完成复杂任务的智能代理。OpenAI的Codex CLI就是这一趋势的典型代表——一个跨平台的本地软件代理,能够在用户的机器上安全高效地生成高质量的软件变…...

突破网盘限速壁垒:本地化直链解析工具的全方位解决方案

突破网盘限速壁垒:本地化直链解析工具的全方位解决方案 【免费下载链接】Online-disk-direct-link-download-assistant 一个基于 JavaScript 的网盘文件下载地址获取工具。基于【网盘直链下载助手】修改 ,支持 百度网盘 / 阿里云盘 / 中国移动云盘 / 天翼…...

基于NModbus4的ModbusRTU通信实战:从模拟到开发

1. 环境准备:搭建ModbusRTU开发测试环境 第一次接触ModbusRTU通信时,我花了两天时间才把开发环境搭好。现在回想起来,其实只需要三个关键工具就能快速搭建完整的测试环境:虚拟串口工具、ModbusSlave模拟软件和Visual Studio开发环…...

终极指南:Everything Claude Code JPA模式的AI驱动最佳实践 [特殊字符]

终极指南:Everything Claude Code JPA模式的AI驱动最佳实践 🚀 【免费下载链接】everything-claude-code The agent harness performance optimization system. Skills, instincts, memory, security, and research-first development for Claude Code, …...

ZYNQ PS端FFT加速实战:在Xilinx SDK中集成CMSIS-DSP库

1. 为什么要在ZYNQ PS端实现FFT加速? 在嵌入式信号处理领域,快速傅里叶变换(FFT)是最基础也是最关键的算法之一。很多工程师第一次接触ZYNQ平台时,往往会优先考虑使用PL端的FFT IP核来实现加速。但实际项目中&#xff…...

我不是在用 AI 助手,我在把自己的能力沉淀成组织资产婆

1. 什么是 Apache SeaTunnel? Apache SeaTunnel 是一个非常易于使用、高性能、支持实时流式和离线批处理的海量数据集成平台。它的目标是解决常见的数据集成问题,如数据源多样性、同步场景复杂性以及资源消耗高的问题。 核心特性 丰富的数据源支持&#…...

MCP与CLI之争:AI Agent的协议之辩

MCP vs CLI:AI Agent 的协议之辩 2026年2月底到3月,AI 开发者社区爆发了一场关于 AI Agent 工具调用方式的激烈争论。一方说"MCP 已死,CLI 万岁",另一方说"MCP 没死,我们只是太早了"。而飞书、钉钉…...

10.4测试原则-阶段-测试用例设计-调试

一、测试基础知识 00:02 1. 测试原则和方法 01:03 定义:系统测试是为了发现错误而执行程序的过程,成功的测试是发现了至今尚未发现的错误的测试。目的:测试不能保证软件100%无错误,但能降低软件存在问题的…...

GPLT L3-042 ‘污染大亨’暴力DFS只拿1分?聊聊竞赛中‘优化剪枝’的思维起点与常见误区

从暴力DFS到优化剪枝:竞赛选手的算法思维跃迁指南 在程序设计竞赛中,我们常常会遇到这样的困境:面对一道看似只能暴力解决的题目,提交后却只得到可怜的1分。这就像原文作者在GPLT L3-042"污染大亨"题中的遭遇——一个简…...

介绍一下多 Agent 如何实现工作?多个 Agent 之间如何协调和分工?

1. 题目分析 一个 Agent 能做的事情终归有限。当你试图让单个 Agent 去完成一个真正复杂的任务——比如从零开始做一次完整的市场调研并输出 PPT 报告——你会发现它要么因为上下文窗口塞满而"失忆",要么因为角色定位太泛而每一步都做得半吊子。这就像让…...

别再数据线了!用FastAPI 分钟搭个局域网文件+剪贴板神器颂

为 HagiCode 添加 GitHub Pages 自动部署支持 本项目早期代号为 PCode,现已正式更名为 HagiCode。本文记录了如何为项目引入自动化静态站点部署能力,让内容发布像喝水一样简单。 背景/引言 在 HagiCode 的开发过程中,我们遇到了一个很现实的问…...

运维进阶!Zabbix 高可用集群部署实战指南,从零搭建企业级监控系统

1. 为什么需要Zabbix高可用集群? 在企业生产环境中,监控系统的稳定性直接关系到整个IT基础设施的可观测性。想象一下,当你的监控系统突然宕机,所有服务器、网络设备、应用程序的运行状态瞬间"失明",这种场景…...