Hive中MySQL数据库的安装及绑定
Hive中MySQL的安装及绑定
- Hive 默认使用的元数据库为 derby,开启 Hive 之后就会占用元数据库
- derby数据库只支持单用户访问且不与其他客户端共享数据
- MySQL数据库可支持多用户访问且可与其他客户端共享数据
- 将 Hive 的元数据地址改为 MySQL数据库
[mnlg@XJ202 ~]$ my_hadoop.sh start //启动hadoop
[mnlg@XJ202 ~]$ cd /opt/module/hive-3.1.2 //进入hive目录
[mnlg@XJ202 hive-3.1.2]$ bin/hive //进入hive运行界面
hive> show databases;
hive> show tables; //查看有哪些表格
hive> select * from test; //查看test表中数据
hive> insert into test values (2); //往test表中插入数据
hive> select * from test; //查看是否插入成功(也可在网页上用端口访问查看是否插入成功)
一、MySQL安装
1、Hive中MySQL的安装
//检查当前系统是否安装过MySQL
[mnlg@XJ202 hive-3.1.2]$ rpm -qa|grep mariadb
mariadb-libs-5.5.56-2.el7.x86_64 //出现说明存在,没有生成任何东西就是不存在MySQL
//如果存在通过如下命令卸载
[mnlg@XJ202 hive-3.1.2]$ sudo rpm -e --nodeps mariadb-libs
[mnlg@XJ202 hive-3.1.2]$ rpm -qa|grep mariadb //查看是否卸载成功
2、将MySQL两个安装包拷贝到/opt/software目录下
- mysql-connector-java-5.1.27-bin.jar——数据库连接时候的jar包(放在hive里面)
- mysql-5.7.28-1.el7.x86_64.rpm-bundle.tar——安装包
//解压MySQL安装包
[mnlg@XJ202 software]$ tar -xf mysql-5.7.28-1.el7.x86_64.rpm-bundle.tar
//在安装目录下执行rpm安装
[mnlg@XJ202 software]$
sudo rpm -ivh mysql-community-common-5.7.28-1.el7.x86_64.rpm
sudo rpm -ivh mysql-community-libs-5.7.28-1.el7.x86_64.rpm
sudo rpm -ivh mysql-community-libs-compat-5.7.28-1.el7.x86_64.rpm
sudo rpm -ivh mysql-community-client-5.7.28-1.el7.x86_64.rpm
sudo rpm -ivh mysql-community-server-5.7.28-1.el7.x86_64.rpm
//在安装最后一个mysql-community-server-5.7.28-1.el7.x86_64.rpm 时记得按下回车
3、MySQL的使用
//删除/etc/my.cnf文件中 datadir 指向的目录下的所有内容(无内容就不需要操作此步)
[mnlg@XJ202 software]$ vim /etc/my.cnf
[mnlg@XJ202 software]$ cd /var/lib/mysql //进入MySQL目录
//初始化数据库
[mnlg@XJ202 mysql]$ sudo mysqld --initialize --user=mysql
//查看临时生成的root用户的密码
[mnlg@XJ202 mysql]$ sudo cat /var/log/mysqld.log //在[email protected]:后面的即为密码
//启动MySQL服务
[mnlg@XJ202 mysql]$ sudo systemctl start mysqld
//登录MySQL数据库
[mnlg@XJ202 mysql]$ mysql -uroot -p
Enter password: 输入上方mysqld.log中临时生成的密码,登陆成功
//必须先修改root用户的密码,否则执行其他的操作会报错
mysql> set password = password('新密码'); //这里设置的新密码是000000
//修改MySQL库下的user表中的root用户允许任意ip连接
mysql> update mysql.user set host='%' where user='root';
//注意要刷新数据,否则可能不成功
mysql> flush privileges;
//打开MySQL软件,新建数据库表,插入3行记录分别为1,1、2,2、3,3
mysql> use my_db;
//查看到MySQL手动输入的记录已经进来了
mysql> select * from test;
+----+------+
| id | name |
+----+------+
| 1 | 1 |
| 2 | 2 |
| 3 | 3 |
+----+------+
3 rows in set (0.04 sec)
二、Hive元数据配置到MySQL
1、Hive与MySQL进行绑定
//hive与mysql进行绑定
[mnlg@XJ202 mysql]$ cd /opt/software/ //进入software目录下
[mnlg@XJ202 software]$ ll
//将MySQL的JDBC驱动移动到Hive的lib目录下
[mnlg@XJ202 software]$ mv mysql-connector-java-5.1.27-bin.jar /opt/module/hive-3.1.2/lib
[mnlg@XJ202 software]$ cd /opt/module/hive-3.1.2/lib/
2、配置Metastore到MySQL
[mnlg@XJ202 lib]$ ll
[mnlg@XJ202 lib]$ cd ..
[mnlg@XJ202 hive-3.1.2]$ cd conf/
[mnlg@XJ202 conf]$ vim hive-site.xml //在conf目录下新建hive-site.xml文件
//hive-site.xml中添加如下内容(13行中'XJ202'、23行中'root'、28行中'000000'根据需要进行更改)
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- jdbc 连接的 URL -->
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://XJ202:3306/metastore?useSSL=false</value>
</property>
<!-- jdbc 连接的 Driver-->
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<!-- jdbc 连接的 username-->
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<!-- jdbc 连接的 password -->
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>000000</value>
</property>
<!-- Hive 元数据存储版本的验证 -->
<property>
<name>hive.metastore.schema.verification</name>
<value>false</value>
</property>
<!--元数据存储授权-->
<property>
<name>hive.metastore.event.db.notification.api.auth</name>
<value>false</value>
</property>
<!-- Hive 默认在 HDFS 的工作目录 -->
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive/warehouse</value>
</property>
</configuration>
3、登录MySQL、新建Hive元数据库
[mnlg@XJ202 software]$ mysql -uroot -p000000
mysql> create database metastore; //新建Hive元数据库
mysql> quit;
//初始化Hive元数据库
[mnlg@XJ202 software]$ schematool -initSchema -dbType mysql -verbose
//生成代码如下即元数据库初始化成功
beeline> Initialization script completed
schemaTool completed
4、再次启动Hive
- 可新开一个XJ202窗口,查看是否实现多用户功能
[mnlg@XJ202 software]$ cd /opt/module/hive-3.1.2/
[mnlg@XJ202 hive-3.1.2]$ bin/hive
hive> show databases;
hive> create table t1(id int); //新建t1表
hive> insert into t1 values (1); //往t1表插入数据
hive> select * from t1;
hive> quit;
[mnlg@XJ202 hive-3.1.2]$ vim test.txt
//test.txt中添加如下内容
songsong,bingbing_lili,xiao song:18_xiaoxiao song:19,hui long
guan_beijing
yangyang,caicai_susu,xiao yang:18_xiaoxiao yang:19,chao yang_beijing
[mnlg@XJ202 hive-3.1.2]$ hive
hive> show databases;
//此时在XShell中打开一个新的XJ202窗口:
//进入hive,输入hive> show databases;
//无报错,即已经实现多用户功能
//【以下内容在最开始的窗口继续操作】
//创建新表t2,并且定义各个字段的数据类型(map,array,struct)
hive> create table t2 (
> name string,
> friends array<String>,
> children map<String,int>,
> address struct<Street:string,city:string>
> )
> row format delimited fields terminated by ','
> collection items terminated by '_'
> map keys terminated by ':'
> lines terminated by 'n';
//导入数据
hive> load data local inpath '/opt/module/hive-3.1.2/test.txt' into table t2;
//查看t2表数据(发现数据导入成功)
hive> select * from t2;
OK
songsong ["bingbing","lili"] {"xiao song":18,"xiaoxiao song":19} {"street":"hui long ","city":null}
guan_beijing NULL NULL NULL
yangyang ["caicai","susu"] {"xiao yang":18,"xiaoxiao yang":19} {"street":"chao yang","city":"beijing"}
Time taken: 2.309 seconds, Fetched: 3 row(s)
本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
THE END
二维码