HUE+OOZIE调度shell(hive sql)

 目录

需求背景

解决方案

实施方法

1.编写shell文件

2.将sh文件放到hdfs上

3.创建workflow

 4.执行测试

 5.创建coordinate调度

6.执行coord


需求背景

根据业务情况,需要调度ETL数据清洗的hql语句

解决方案

通过大数据组件HUE+OOZIE调度shell脚本执行hive sql命令,方便管理,方便排错。

实施方法

1.编写shell文件

wf-etl-user.sh

#!/bin/bash
# hive目录
hive=/usr/local/service/hive/bin/hive
# 如果是输入的日期按照取输入日期;如果没输入日期取当前时间的前一天
if [ -n "$1" ]; then
  do_date=$1
else
  do_date=$(date -d "-1 day" +%F)
fi

sql="use dd_database_bigdata;
INSERT OVERWRITE TABLE dwd_content_view_log
	PARTITION(dt='$do_date')
	SELECT
	date_format('$do_date','yyyyMMdd') date_id,
	date_time data_time,
	biz_id,
	biz_type,
	behavior_type,
	get_json_object(behavior_value,'$.seconds') behavior_value,
	user_id,
	longitude,
	latitude,
	ip,
	request_ip,
	app_version,
	app_id,
	device_id,
	device_type,
	network,
	mobile_type,
	os,
	session_id,
	trace_id,
	parent_trace_id,
	page_id,
	sign,
	token
	 FROM dwd_base_event_log_b 
	WHERE dt='$do_date' AND behavior_type in ('content_view','content_stop');"

echo "===开始清洗事件日期为 $do_date 的数据==="
$hive -e "$sql"
echo "===事件日期为 $do_date 的数据清洗完成==="

语句解释:

shell文件中定义一个变量,直接定义比如:jdbc_username=root,使用此参数:$jdbc_username

shell中前一天`date -d "-1 day" +%F`,当日`date +%F`

shell action需要传参时,HUE上规定是使用$1,$2,$3这种方式,后面创建Schedule时会讲到。

shell中定义的hive的bin路径,是为了执行hive时调用hive程序:$hive -e 是在此目录下执行hive语句。

2.将sh文件放到hdfs上

/warehouse/dd/oozie/workspace/workspace-sqoop-hive2mysql-now/shell/sqoop-hive2mysql-now-shell.sh

3.创建workflow

 4.执行测试

 程序执行可在job中查看执行情况

 5.创建coordinate调度

from开始时间如果选择了之前的时间,任务创建执行后,会先执行多个job弥补选择的时间差。

比如:我们每时10分的任务,当前时间是12点15分,from选择了12点0分,执行这个coordinate时,会立即执行一个job workflow,是执行的12点10分的任务。所以这个from我们只需要创建时默认当时的时间即可。 

6.执行coord

 

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
THE END
分享
二维码
< <上一篇
)">
下一篇>>