Windows下安装Sqoop

一、Sqoop简介

1.1、Sqoop是什么
Sqoop是一个用于Hadoop和结构化数据存储（如关系型数据库）之间进行高效传输大批量数据的工具。
它包括以下两个方面：
1.1.1、​可以使用Sqoop将数据从关系型数据库管理系统(如MySql)导入到Hadoop系统(如HDFS、Hive、HBase)中。
1.1.2、将数据从Hadoop系统中抽取并导出到关系型数据库(如MySql)。
1.2、底层实现原理
​ Sqoop的核心设计思想是利用MapReduce加快数据传输速度。也就是说Sqoop的导入和导出功能是通过基于Map Task（只有map）的MapReduce作业实现的。所以它是一种批处理方式进行数据传输，难以实现实时的数据进行导入和导出。
1.3、特点
优点：它可以将跨平台的数据进行整合。
缺点：它不是很灵活。
1.4、Sqoop的重要的几个关键词
import ：从关系型数据库到Hadoop
export ：从Hadoop到关系型数据库。
1.5、主要执行操作

Mysql-->HDFS:import
Mysql-->Hive:import
Mysql-->HBase:import
HDFS-->Mysql:export
Hive-->Mysql:export

二、Sqoop安装

本篇以 version：1.4.7 为例来演示Sqoop的安装步骤。

2.1、Sqoop官网下载

官网下载地址：http://archive.apache.org/dist/sqoop/
下载：sqoop-1.4.7.tar.gz 这个文件

2.2、Sqoop网盘下载

或者网盘下载：https://pan.baidu.com/s/1hL9ZuBxCxynRt-WCs6m6lQ?pwd=yyds
下载：sqoop-1.4.7.tar.gz 这个文件

2.3、Sqoop安装（以version：1.4.7为例）

2.3.1、解压安装包到 D:\bigdata\sqoop\1.4.7 目录

解压 sqoop-1.4.7.tar.gz 到 D:\bigdata\sqoop\1.4.7

2.3.2、新增环境变量 SQOOP_HOME

2.3.3、环境变量 Path 添加 %SQOOP_HOME%\bin

2.3.4、验证 Sqoop 是否安装成功：sqoop version

管理员权限打开cmd命令窗口。输入：

sqoop version

发现报错：找不到或无法加载主类 org.apache.sqoop.Sqoop

2.3.5、问题处理（找不到或无法加载主类 org.apache.sqoop.Sqoop）

2.3.5.1、找不到或无法加载主类 org.apache.sqoop.Sqoop 问题处理

解决办法：下载 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz

2.3.5.1.1、下载 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz

2.3.5.1.1.1、官网下载

sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 下载地址：http://archive.apache.org/dist/sqoop/1.4.6/sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz

2.3.5.1.1.2、网盘下载

sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 网盘下载：https://pan.baidu.com/s/1Pb-esaxv2Rj9CwfqOwm9tA?pwd=yyds

2.3.5.1.2、解压 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz

解压 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz：

可以看到解压目录中有：sqoop-1.4.6.jar ， 这个文件

2.3.5.1.3、把 sqoop-1.4.6.jar 文件拷贝到 D:\bigdata\sqoop\1.4.7\lib 目录中

将解压后的 sqoop-1.4.6.jar 文件拷贝到 D:\bigdata\sqoop\1.4.7\lib

2.3.6、重新验证 Sqoop 是否安装成功：sqoop version

至此，Windows下安装Sqoop，安装成功！