excel大表导入数据库

前文介绍了数据量较小的excel表导入数据库的方法，在数据量较大的情况下就不太适合了，一个是因为mysql命令的执行串长度有限制，二是node-xlsx这个模块加载excel文件是整个文件全部加载到内存，在excel文件较大和可用内存受限的场景就不适合了。我们可以考虑流式读取excel数据，分批次导入数据到数据库。以下是以每批500条记录的示例：

const XLSX = require('xlsx-extract').XLSX;const mysql = require("mysql2/promise"); const localpool= mysql.createPool({host:"127.0.0.1",port:3306,user:"demouser",password:"XXXXXX",database:"demodb",jsonStrings: true,waitForConnections: true,connectionLimit: 4,enableKeepAlive: true, keepAliveInitialDelay: 5000,});const batchsize=500;let count=0;
let frist=true;
let batarr=[];
let fieldnames="";
let fieldcounts=0;new XLSX().extract(process.argv.slice(2)[0], {sheet_id:1}).on('row', function (row) {if (frist) { frist=false; fieldcounts=row.length; fieldnames=row.join(); }else {for (let j=row.length;j<fieldcounts;j++) row.push("");batarr.push(row);if (batarr.length==batchsize) { let addrecs = "insert into demodb.demotable("+fieldnames+") values ?"; localpool.query(addrecs,[batarr]).then(([results])=>{ console.log(results); batarr=[];}).catch(err=>{console.log(err);});}}}).on('error', function (err) {console.error('error', err);}).on('end', function (err) {if (batarr.length>0) { let addrecs = "insert into demodb.demotable("+fieldnames+") values ?"; localpool.query(addrecs,[batarr]).then(([results])=>{ console.log(results); }).catch(err=>{console.log(err);});}});

xlsx-extract这个模块读取行数据时，中间的空白单元会解析成undefined，但是最后一个有值的单元后就截止了，为了和数据库里的字段数保持一致，要将剩余的字段赋值下，示例中赋值为空字符串。
这样可以导入excel大文件进数据库。
其实这样导入数据效率比直接将csv或json文件直接导入mysql效率要低很多，不过有时候转的csv文件或者json文件导入mysql会出现报错情况，需要检查字段值，数据量较大时检查会很麻烦，所以这样导入数据也是不得已的办法。