[Sqoop 安装配置]

目录

🍗前言:

🍗 下载地址:

🍗首先需要有Java环境,确定是否安装Java和Hadoop

🍗压缩包解压指令:

#重命名sqoop目录[root@hadoop01 local]#mv sqoop-1.4.7 sqoop  修改文件名称

🍗配置环境变量: 

🍗刷新生效文件 

🍗配置Sqoop 

🍗修改sqoop-env.sh配置文件中的参数:

🍗在命令行中输入Sqoop命令进行测试,如:

🍗 Sqoop命令进行测试

🍗查看Sqoop作业状态

🍗Sqoop相关经常使用到的指令:


🍗前言:

   端午节要来了,以文化传递知识

🍗 下载地址:

可以从Apache Sqoop的官方网站(http://sqoop.apache.org/)下载最新版本的Sqoop。

🍗首先需要有Java环境,确定是否安装Java和Hadoop

java -version

hadoop version

🍗压缩包解压指令:

tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /usr/local/

#重命名sqoop目录
[root@hadoop01 local]#mv sqoop-1.4.7 sqoop  修改文件名称

🍗配置环境变量: 

将Sqoop的bin目录添加到系统的PATH环境变量中,以便在命令行中可以直接使用Sqoop命令。在/etc/profile文件中添加以下命令:

export SQOOP_HOME=/usr/local/sqoop
export PATH=$PATH:$SQOOP_HOME/bin

🍗刷新生效文件 

source /etc/profile

🍗配置Sqoop 

#将用于连接mysql的JDBC驱动包添加到sqoop目录下的lib目录中,以下命令从hive中复制而来
[root@hadoop01 local]#cp hive/lib/mysql-connector-java-5.1.49-bin.jar sqoop/lib/

Sqoop的配置文件为conf/sqoop-env.sh,需要修改其中的相关参数,以便Sqoop能够正常连接到Hadoop集群和数据库。可以使用以下命令备份一份配置文件:

在 Sqoop 安装目录的 conf 子目录下,系统已经提供了一个环境变量文件模板sqoop-env-template.sh,使用 cp 操作复制一个副本,并改名为 sqoop-env.sh,修改sqoop-env.sh (可选,一般安装了Hadoop、HBase、Hive后可不配置此文件)

cp /usr/local/sqoop/conf/sqoop-env-template.sh /usr/local/sqoop/conf/sqoop-env.sh

🍗修改sqoop-env.sh配置文件中的参数:

其中,HADOOP_COMMON_HOME、HADOOP_MAPRED_HOME和HIVE_HOME需要设置为Hadoop和Hive的安装目录,以便Sqoop能够连接到它们。

export HADOOP_COMMON_HOME=/usr/local/hadoop
export HADOOP_MAPRED_HOME=/usr/local/hadoop
export HIVE_HOME=/usr/local/hive
export HADOOP_OPTS=-Djava.net.preferIPv4Stack=true
export SQOOP_HOME=/usr/local/sqoop
export PATH=$PATH:$SQOOP_HOME/bin

 

🍗在命令行中输入Sqoop命令进行测试,如:

  • 启动的时候,有相关的警告信息,我们可以配置bin/configure-sqoop 文件,先注销对应的相关语句.
  • 建议:使用notpad++进行编辑,使用其列模式:按住Alt键,垂直拖动鼠标即可以列模式编辑。
  • 命令将查询连接到MySQL数据库,并列出其中的所有数据库。

#注释掉对应行号 75~107 行的内容

#注释掉对应行号 129~147 行的内容

#注释掉对应行号 227~228 行的内容

#注释掉对应行号 230~231 行的内容

🍗 Sqoop命令进行测试

sqoop list-databases --connect jdbc:mysql://localhost/test --username root --password 123456

 命令将导入MySQL数据库中的users表到Hadoop中的/tmp/users目录中。

sqoop import --connect jdbc:mysql://localhost/test --username root --password 123456 --table users --target-dir /tmp/users

🍗查看Sqoop作业状态

sqoop job --list

🍗Sqoop相关经常使用到的指令:

  • 下载并解压缩sqoop安装包:tar -xzvf sqoop-x.x.x.bin__hadoop-x.x.x.tar.gz
  • 配置环境变量:export SQOOP_HOME=/path/to/sqoop
  • 配置sqoop的配置文件:cp $SQOOP_HOME/conf/sqoop-env-template.sh $SQOOP_HOME/conf/sqoop-env.sh
  • 修改sqoop-env.sh文件中的配置参数,如HADOOP_COMMON_HOME、HADOOP_MAPRED_HOME、HIVE_HOME等
  • 配置MySQL的JDBC驱动:将mysql-connector-java-x.x.x.jar复制到$SQOOP_HOME/lib目录下
  • 启动sqoop服务:$SQOOP_HOME/bin/sqoop server start
  • 停止sqoop服务:$SQOOP_HOME/bin/sqoop server stop
  • 导入数据到HDFS:$SQOOP_HOME/bin/sqoop import --connect jdbc:mysql://localhost:3306/test --username root --password password --table table_name --target-dir /path/to/hdfs/directory
  • 导出数据到MySQL:$SQOOP_HOME/bin/sqoop export --connect jdbc:mysql://localhost:3306/test --username root --password password --table table_name --export-dir /path/to/hdfs/directory

 

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
THE END
分享
二维码
< <上一篇
下一篇>>