blog/BigData-Notes
2
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity

优化阅读格式

Browse Source
This commit is contained in:
heibaiying
2019-07-31 17:18:07 +08:00
parent ceb868fe13
commit ca7c99802b
91 changed files with 4059 additions and 4058 deletions
Download Patch File Download Diff File Expand all files Collapse all files

18
notes/Sqoop简介与安装.md
View File

@ -13,9 +13,9 @@
## 一、Sqoop 简介
Sqoop是一个常用的数据迁移工具，主要用于在不同存储系统之间实现数据的导入与导出：
Sqoop 是一个常用的数据迁移工具，主要用于在不同存储系统之间实现数据的导入与导出：
+ 导入数据：从MySQL，Oracle等关系型数据库中导入数据到HDFS、Hive、HBase等分布式文件存储系统中；
+ 导入数据：从 MySQL，Oracle 等关系型数据库中导入数据到 HDFS、Hive、HBase 等分布式文件存储系统中；
+ 导出数据：从 分布式文件系统中导出数据到关系数据库中。
@ -25,7 +25,7 @@ Sqoop是一个常用的数据迁移工具，主要用于在不同存储系统之
## 二、安装
版本选择：目前Sqoop有Sqoop 1和Sqoop 2两个版本，但是截至到目前，官方并不推荐使用Sqoop 2，因为其与Sqoop 1并不兼容，且功能还没有完善，所以这里优先推荐使用Sqoop 1。
版本选择：目前 Sqoop 有 Sqoop 1 和 Sqoop 2 两个版本，但是截至到目前，官方并不推荐使用 Sqoop 2，因为其与 Sqoop 1 并不兼容，且功能还没有完善，所以这里优先推荐使用 Sqoop 1。
<div align="center"> <img src="https://github.com/heibaiying/BigData-Notes/blob/master/pictures/sqoop-version-selected.png"/> </div>
@ -33,7 +33,7 @@ Sqoop是一个常用的数据迁移工具，主要用于在不同存储系统之
### 2.1 下载并解压
下载所需版本的Sqoop ，这里我下载的是`CDH`版本的Sqoop 。下载地址为：http://archive.cloudera.com/cdh5/cdh/5/
下载所需版本的 Sqoop ，这里我下载的是 `CDH` 版本的 Sqoop 。下载地址为：http://archive.cloudera.com/cdh5/cdh/5/
```shell
# 下载后进行解压
@ -61,13 +61,13 @@ export PATH=$SQOOP_HOME/bin:$PATH
### 2.3 修改配置
进入安装目录下的`conf/`目录，拷贝Sqoop的环境配置模板`sqoop-env.sh.template`
进入安装目录下的 `conf/` 目录，拷贝 Sqoop 的环境配置模板 `sqoop-env.sh.template`
```shell
# cp sqoop-env-template.sh sqoop-env.sh
```
修改`sqoop-env.sh`，内容如下(以下配置中`HADOOP_COMMON_HOME`和`HADOOP_MAPRED_HOME`是必选的，其他的是可选的)：
修改 `sqoop-env.sh`，内容如下 (以下配置中 `HADOOP_COMMON_HOME` 和 `HADOOP_MAPRED_HOME` 是必选的，其他的是可选的)：
```shell
# Set Hadoop-specific environment variables here.
@ -90,7 +90,7 @@ export ZOOCFGDIR=/usr/app/zookeeper-3.4.13/conf
### 2.4 拷贝数据库驱动
将MySQL驱动包拷贝到Sqoop安装目录的`lib`目录下, 驱动包的下载地址为https://dev.mysql.com/downloads/connector/j/ 。在本仓库的[resources](https://github.com/heibaiying/BigData-Notes/tree/master/resources)目录下我也上传了一份，有需要的话可以自行下载。
将 MySQL 驱动包拷贝到 Sqoop 安装目录的 `lib` 目录下, 驱动包的下载地址为 https://dev.mysql.com/downloads/connector/j/ 。在本仓库的[resources](https://github.com/heibaiying/BigData-Notes/tree/master/resources) 目录下我也上传了一份，有需要的话可以自行下载。
<div align="center"> <img src="https://github.com/heibaiying/BigData-Notes/blob/master/pictures/sqoop-mysql-jar.png"/> </div>
@ -98,7 +98,7 @@ export ZOOCFGDIR=/usr/app/zookeeper-3.4.13/conf
### 2.5 验证
由于已经将sqoop的`bin`目录配置到环境变量，直接使用以下命令验证是否配置成功：
由于已经将 sqoop 的 `bin` 目录配置到环境变量，直接使用以下命令验证是否配置成功：
```shell
# sqoop version
@ -108,7 +108,7 @@ export ZOOCFGDIR=/usr/app/zookeeper-3.4.13/conf
<div align="center"> <img src="https://github.com/heibaiying/BigData-Notes/blob/master/pictures/sqoop-version.png"/> </div>
这里出现的两个`Warning`警告是因为我们本身就没有用到`HCatalog`和`Accumulo`，忽略即可。Sqoop在启动时会去检查环境变量中是否有配置这些软件，如果想去除这些警告，可以修改`bin/configure-sqoop`，注释掉不必要的检查。
这里出现的两个 `Warning` 警告是因为我们本身就没有用到 `HCatalog` 和 `Accumulo`，忽略即可。Sqoop 在启动时会去检查环境变量中是否有配置这些软件，如果想去除这些警告，可以修改 `bin/configure-sqoop`，注释掉不必要的检查。
```shell
# Check: If we can't find our dependencies, give up here.