包含标签：hive 的文章
-
SparkStreaming读取Kafka数据源
SparkStreaming读取Kafka数据源 一、前提工作 二、实验内容 一、前提工作 安装了zookeeper 安装了Kafka 实验环境：kafka_2.11-2.3.1.tgz + zookee……admin 2021-11-19
-
【Linux】Hive无法插入数据
[2021-11-08 11:30:08.454]Container [pid=6936,containerID=container_1636331971860_0002_01_000007] is running 2320286728 beyond the 'VIRTUAL' memory …… -
hive moving data报错，unable to move source…，yarn显示任务执行成功
1.报错情况 有个小伙伴hive任务报错，moving data时，报错如下 Failded with exception:unable to move source hdfs://........... 2.问题排查 这种情况一…… -
Hive中定义分割符会使用八进制的ASCII码
问题描述： 今天在用Azkaban跑job的时候发现出了如下问题: 14-11-2021 15:50:00 CST analysis INFO - MismatchedTokenException(24!=347) 14-11-2021 15:50:0…… -
Hive的split,explode和lateral view（保姆级教程）
split函数： split函数：分割字符串，返回值是array 使用desc function split命令查看hive中的split的使用的基本语法。 split函数根据regex来截取字符串，r…… -
Hive：分区原因、创建分区、静态分区 、动态分区
文章目录 1、为什么要分区？ 2、如何分区以及细节 3、创建分区 4、静态分区 5、动态分区 ① Hive 数据管理、内外表、安装模式操作 ② Hive：用SQL对数…… -
Hive：用SQL对数据进行操作，导入数据、清洗脏数据、统计数据订单等等
文章目录 1、准备数据 2、了解数据 3、将数据导入hive 4、如何清洗第一行的脏数据？ 4.1 方式一：shell命令 4.2 方式二：HQL (hive sql) 4.3 方式三：…… -
Hive分桶操作（Bucket）一图掌握核心内容
什么是分桶？： Hive基于hash值对数据进行分桶，按照分桶字段的hash值除以分桶的个数进行取余(bucket_id = column.hashcode % bucket.num)。 分桶的作用： …… -
08-hive中的函数
hive内置函数 在Hive中，函数主要分两大类型，一种是内置函数，一种是用户自定义函数。 函数查看 show functions; desc function functionName; 日期函数 …… -
SparkSQL编程方式纯SQL读写Hive数据源
SparkSQL编程读写Hive数据源 一、准备工作 二、任务分析 三、编码实现 五、运行测试 一、准备工作 实验环境：IDEA + CentOS7 + Spark2.4.8+Hive2.……