Oracle SQL Loader概念及用法

Oracle SQLLoader是Oracle数据库提供的一个高效的数据加载工具，它能够将外部数据（如CSV、DAT、Text等文件格式）快速加载到Oracle数据库中。以下是对Oracle SQLLoader的详细介绍：

一、主要功能

1. 数据迁移：SQL*Loader常用于将操作系统文件中的数据迁移到Oracle数据库中，适用于不同类型数据库之间的数据迁移。
2. 高效加载：它提供了最快速的途径（如DIRECT、PARALLEL等选项）来加载大量数据，是大型数据仓库选择使用的加载方法。
3. 灵活配置：通过创建控制文件（.ctl文件），用户可以灵活定义数据的加载方式、字段映射、错误处理等。

二、使用方式

1. 启动命令：在NT系统下，SQL*Loader的启动命令为SQLLDR；在UNIX系统下，一般为sqlldr或sqlload。
2. 参数设置：可以通过命令行参数或参数文件（.par文件）来设置SQL*Loader的各种选项，如用户名/密码、控制文件名、日志文件名、坏文件名等。
3. 控制文件：控制文件是SQL*Loader加载数据的核心，它指定了数据源文件、目标表、字段映射、分隔符等信息。

三、关键特性

1. 直接路径加载：直接路径加载可以绕过db_buffer，不检查约束，加快插入速度。此外，它还可以关闭redo，并支持并行操作。
2. 错误处理：SQL*Loader能够自动处理加载过程中的错误，将不符合规则的记录分离出来，存放在一个独立的文件中，而符合规则的数据则可以被正常导入。
3. 多文件合并：可以将多个数据文件合并成一个文件后加载到Oracle数据库中。
4. 灵活的数据格式：支持从逗号分隔符文件、固定宽度的文件等格式的外部文件中导入数据。

四、应用场景

1. 数据仓库加载：在数据仓库建设中，SQL*Loader常被用于将大量业务数据加载到数据仓库中。
2. 数据迁移：在数据库迁移过程中，SQL*Loader可以用于将原数据库中的数据导出并加载到新的Oracle数据库中。
3. 数据备份与恢复：在某些情况下，可以使用SQL*Loader将数据从备份文件中恢复到Oracle数据库中。

五、注意事项

1. 网络稳定性：数据传输过程极大地依赖网络的稳定，网络中断可能会导致记录丢失。
2. 错误调试：在加载数据过程中，如果遇到错误，需要仔细查看日志文件（.log文件）和坏文件（.bad文件），以便定位并解决问题。
3. 版本兼容性：不同版本的Oracle数据库可能支持不同版本的SQL*Loader，因此在使用前需要确认版本兼容性。

综上所述，Oracle SQL*Loader是一个功能强大且灵活的数据加载工具，它能够帮助用户高效地将外部数据加载到Oracle数据库中。在使用过程中，需要注意网络稳定性、错误调试以及版本兼容性等问题。

六、示例

6.1、创建测试表

TESTUSER@FREEPDB1> create table t_testload(id number(10),uname varchar2(20), phone varchar2(20));  Table created.

6.2、创建控制文件

[oracle@orcl23c ~]$ vi /home/oracle/loader.ctl 
load data
infile '/home/oracle/datafile.txt'       
append into table t_testload 
fields terminated by "," optionally enclosed by '"' 
( id, uname, phone )

6.3、创建数据文件

[oracle@orcl23c ~]$ vi /home/oracle/datafile.txt 
001,"david",0551-1234567
002,"dave",0551-7654311
003,"superdb",0755-66931389
004,"costmoney",0755-13896657

6.4、执行导入

TESTUSER@FREEPDB1> host sqlldr testuser/oracle@FREEPDB1 control=/home/oracle/loader.ctl log=/home/oracle/sqlldr_control_20241104.logSQL*Loader: Release 23.0.0.0.0 - Production on Mon Nov 4 11:01:12 2024
Version 23.4.0.24.05Copyright (c) 1982, 2024, Oracle and/or its affiliates.  All rights reserved.Path used:      Conventional
Commit point reached - logical record count 4Table T_TESTLOAD:4 Rows successfully loaded.Check the log file:/home/oracle/sqlldr_control_20241104.log
for more information about the load.

6.5、查询数据

TESTUSER@FREEPDB1> select * from T_TESTLOAD;ID UNAME                          PHONE
---------- ------------------------------ ------------------------------1 david                          0551-12345672 dave                           0551-76543113 superdb                        0755-669313894 costmoney                      0755-13896657