Sqoop
前言
最近专业 NoSQL 的课程作业涉及到关系型数据库数据导入到非关系型数据库，其实我们也可以通过Java代码，通过JDBC将关系型数据库中的数据读取出来，然后写出到我们的非关系型数据库中（比如HBase）中。
原本 Sqoop 的学习计划还在后面阶段，现在既然用上了，今天就争取一下午学完，毕竟学校是不会教的。能学会并马上用到，这样的学习效果往往最好。Sqoop 只是一个工具，重点是学会使用。
Sqoop 介绍
Sqoop 的全称就是 SQL To Hadoop ，它可以把关系型数据库（MySQL、Orcale...）中的数据导入到 Hadoop 的 HDFS 中，也可以将 HDFS 中的数据导入到关系型数据库中。
Sqoop 原理
将导入或导出命令翻译成 MapReduce 程序来实现，主要是对 InputFormat 和 OutputFormat 进行定制。
Sqoop 导入数据
在Sqoop中，“导入”概念指：从非大数据集群（RDBMS）向大数据集群（HDFS，Hive，HBase）中传输数据，叫做：导入，即使用import关键字。
1、RDBMS 到 HDFS
1.1、全部导入
其中的斜杠的作用是 因为 linux 下回车命令就会执行，用斜杠可以防止命令直接执行。
bin/sqoop import
--connect jdbc:mysql://hadoop102:3306/test
--username root
--password 123456
--table staff
--target-dir /user/test
--delete-target-dir
--num-mappers 1
--fields-terminated-by "t"参数解释：
- target-dir：目标目录（导入到 HDFS 后的存储目录）
- delete-target-dir：如果目标目录已存在，直接删除
- num-mappers 1：开启一个 MapTask
- fields-terminated-by "t"：以制表符分割开来，
运行结果：
1.2、查询导入
bin/sqoop import
--connect jdbc:mysql://hadoop102:3306/test
--username root
--password 123456
--target-dir /user/test
--delete-target-dir
--num-mappers 1
--fields-terminated-by "t"
--query 'select name,sex from staff where id <=1 and $CONDITIONS;'
注意：
- 如果你要通过查询结果来导入，那 SQL 语句后必须加 $CONDITIONS ，这个参数可以保证最终导入数据的顺序和原本的数据顺序一致。
- 如果 SQL 语句是双引号，那么必须在 $CONDITIONS 之前加反斜杠代表转义。
比如：
--query "select name,sex from staff where name = 'mike' and $CONDITIONS;"1.3、导入指定列
bin/sqoop import
--connect jdbc:mysql://hadoop102:3306/test
--username root
--password 123456
--table staff
--columns id,sex
--target-dir /user/test
--delete-target-dir
--num-mappers 1
--fields-terminated-by "t"
运行结果：
文件中只有 id 和 sex 字段，没有 name。
1.4、使用sqoop关键字筛选查询导入数据
bin/sqoop import
--connect jdbc:mysql://hadoop102:3306/test
--username root
--password 123456
--target-dir /user/test
--delete-target-dir
--num-mappers 1
--fields-terminated-by "t"
--table staff
--where "id=1"
注意：
- where 可以搭配 columns 使用
2、RDBMS 导入到 Hive
先会将 MySQL 的数据导入到 HDFS 的 /user/lyh/staff/ 目录下，再把数据迁移到 Hive（/user/hive/warehouse/staff_hive/）目录下，迁移后 /user/lyh/staff/ 下的数据被删除。
bin/sqoop import
--connect jdbc:mysql://hadoop102:3306/test
--username root
--password 123456
--table staff
--num-mappers 1
--hive-import
--fields-terminated-by "t"
--hive-overwrite
--hive-table staff_hive
参数解释：
- hive-import：导入到 Hive
- hive-overwrite：覆盖的方式
- hive-table：导入到 hive 哪张表
3、RDBMS 导入到 Hbase
直接通过 MapReduce 写入到 HBase 的表中，不需要向写入 Hive 一样需要中间结果写入到 /user/用户名/表名/ 下。
bin/sqoop import
--connect jdbc:mysql://hadoop102:3306/test
--username root
--password 123456
--table staff
--columns "id,name,sex"
--column-family "info"
--hbase-create-table
--hbase-row-key "id"
--hbase-table "hbase_staff"
--num-mappers 1
--split-by id
参数说明：
- hbase-create-table：如果创建表格
- hbase-row-key：行键
- hbase-table：迁移过来后的表名
- column-family：列族名
- split-by：当使用Sqoop将数据从关系型数据库导入HBase时，可以使用--split-by参数来提高导入过程的效率。Sqoop会根据指定的列将数据分割成多个部分，并并行处理这些部分，从而加速数据导入的速度。
注意：sqoop1.4.6只支持对 HBase1.0.1之前的版本的自动创建HBase表的功能，不能帮我们在 HBase 中创建表，需要我们自己手动创建一下。
create 'hbase_staff'
scan 'hbase_staff'如果遇到缺少 NoSuchMethodError: org.apache.hadoop.hbase.client.HBaseAdmin.<init>... 这种报错，建议下载一个低版本的 HBase ，把里面 lib 目录下的所有 jar 包都复制到 sqoop 的 lib 目录下，如果遇到重名的建议不要替换。
运行结果：
Sqoop 导出数据
在Sqoop中，“导出”概念指：从大数据集群（HDFS，HIVE，HBASE）向非大数据集群（RDBMS）中传输数据，叫做：导出，即使用export关键字。
1、Hive/HDFS 到 RDBMS
bin/sqoop export
--connect jdbc:mysql://hadoop102:3306/test
--username root
--password 123456
--table staff
--num-mappers 1
--export-dir /user/hive/warehouse/staff_hive
--input-fields-terminated-by "t"
参数说明：
- export-dir：要导出的数据所在目录。
注意：如果不加切割符号（input-fields-terminated-by），整个数据将会被当做一个字符串存到 RDBMS 表中的第一个字段。
清空 MySQL 表数据，防止主键冲突
truncate table staff;执行 sqoop 命令，运行结果：
Sqoop 脚本打包
使用opt格式的文件打包sqoop命令，然后执行。写入到脚本后，我们把它交给任务调度框架 Oozie、Azkaban等这些工具来替我们定时执行。
1、创建一个 opt 文件
vim sqp.opt
export
--connect
jdbc:mysql://hadoop102:3306/test
--username
root
--password
123456
--table
staff
--num-mappers
1
--export-dir
/user/hive/warehouse/staff_hive
--input-fields-terminated-by
"t"
2、执行脚本
我们一般把下面的命令放到一个脚本中定时去执行。
bin/sqoop --options-file job/sqp.opt3、测试
清空 MySQL 表格：
truncate table staff;运行结果：