【C#】读取csv文件数据返回DataTable

CSVComma-Separated Values是数据交换中最常用的格式之一。在.NET开发中将CSV数据加载到DataTable对象中可以方便地进行数据绑定、查询和操作。本文将介绍几种主流实现方案及其适用场景。一、方案对比概览方案优点缺点适用场景OleDb Microsoft.Jet/ACE无需第三方库SQL式操作需要安装驱动大数据量性能差简单查询、快速原型Microsoft.VisualBasic.FileIO内置支持代码简洁功能较基础灵活性有限标准格式CSV、无需复杂处理CsvHelper (第三方库)功能强大性能优异支持映射需要NuGet引用复杂业务对象、大数据量手动解析 (StreamReader)零依赖完全可控代码量大需处理各种边界情况特殊格式、学习目的二、代码实现本文主要是使用手动解析方式实现CSV文件数据读取。harppublicstaticDataTableReadDataTable(stringfilePath){DataTabledtnewDataTable();try{System.Text.EncodingencodingEncoding.Default;//GetType(filePath); //// DataTable dt new DataTable();System.IO.FileStreamfsnewSystem.IO.FileStream(filePath,System.IO.FileMode.Open,System.IO.FileAccess.Read);System.IO.StreamReadersrnewSystem.IO.StreamReader(fs,encoding);//记录每次读取的一行记录stringstrLine;//记录每行记录中的各字段内容string[]aryLinenull;string[]tableHeadnull;//标示列数intcolumnCount0;//标示是否是读取的第一行boolIsFirsttrue;//逐行读取CSV中的数据while((strLinesr.ReadLine())!null){if(IsFirsttrue){tableHeadstrLine.Split(,);IsFirstfalse;columnCounttableHead.Length;//创建列for(inti0;icolumnCount;i){DataColumndcnewDataColumn(tableHead[i]);dt.Columns.Add(dc);}}else{aryLinestrLine.Split(,);DataRowdrdt.NewRow();for(intj0;jcolumnCount;j){dr[j]aryLine[j];}dt.Rows.Add(dr);}}if(aryLine!nullaryLine.Length0){dt.DefaultView.SorttableHead[0] asc;}sr.Close();fs.Close();}catch(Exceptionex){}returndt;}三、DataTable 性能优化建议当处理大文件100MB时直接加载到DataTable可能导致内存溢出优化策略实现方式分页加载使用CsvReader的SkipRecords配合Take只读模式dataTable.DefaultView.ReadOnly true列类型指定显式设置DataColumn.DataType避免装箱拆箱批量插入使用SqlBulkCopy直接入库不经过DataTable四、常见问题与解决方案Q1: 中文乱码问题原因CSV文件保存编码与读取编码不一致。解决统一使用UTF-8 with BOM或明确指定编码// CsvHelper 配置varconfignewCsvConfiguration(CultureInfo.InvariantCulture){EncodingEncoding.UTF8,// 关键设置HasHeaderRecordtrue};Q2: 日期格式解析失败解决使用TypeConverter或指定格式// 全局配置config.TypeConverterCache.AddConverterDateTime(newDateTimeConverter(yyyy-MM-dd HH:mm:ss));Q3: 数据类型转换异常解决先创建带类型的DataTable列而非默认stringdataTable.Columns.Add(Id,typeof(int));dataTable.Columns.Add(Price,typeof(decimal));dataTable.Columns.Add(IsActive,typeof(bool));// 读取时使用 SetField 而非 Add(string)