包含标签:hadoop 的文章
-
【Hive SQL】统计同名路径下目录数量(基于reverse、split和substr函数)
首先,Hive事务表所产生的的路径信息如下: PS:其中路径信息格式为 /user/hive/warehouse/${database_name}.db/${table_name}/* /user/hive/warehouse/test…… -
【hive】列转行—collect_set()/collect_list()/concat_ws()函数的使用场景
文章目录 一、collect_set()/collect_list() 二、实际运用 把同一分组的不同行的数据聚合成一个行 用下标可以随机取某一个 聚合后的中的值用‘|’分隔开 使…… -
Hadoop的第二个核心组件:MapReduce框架第四节
Hadoop的第二个核心组件:MapReduce框架 十、MapReduce的特殊应用场景 1、使用MapReduce进行join操作 2、使用MapReduce的计数器 3、MapReduce做数据清洗 …… -
从零开始的Hadoop学习(四)| SSH无密登录配置、集群配置
1. SSH 无密登录配置 1.1 配置 ssh (1)基本语法 ssh 另一台电脑的IP地址 (2)ssh 连接时出现 Host key verification failed 的解决方法 [atguigu@hadoop…… -
-
HDFS原理剖析
一、概述 HDFS是Hadoop的分布式文件系统(Hadoop Distributed File System),实现大规模数据可靠的分布式读写。HDFS针对的使用场景是数据读写具有“一次写,…… -
Hive on Spark (1)
spark中executor和driver分别有什么作用? Spark中Executor 在 Apache Spark 中,Executor 是分布式计算框架中的一个关键组件,用于在集群中执行具体的计算…… -
hive锁的管理器的介绍
各个管理器的使用: org.apache.hadoop.hive.gl.lockmgr.DbTxnManager 在 Hive 中被用于实现事务和锁的管理机制。它的使用场景通常涉及以下情况: ACID事务支…… -
大数据课程D4——hadoop的YARN
文章作者邮箱:[email protected] 地址:广东惠州 ▲ 本章节目的 ⚪ 了解YARN的概念和结构; ⚪ 掌握YARN的资源调度流程; ⚪ 了解Hadoop支持…… -
MySQL按天分组统计一定时间内的数据,没有数据补0
文章目录 简介 思路分析 SQL实现 按天统计数据 1.没数据的一天过滤 2.没数据的一天有日期总数为null 3.没数据的一天有日期总数为0 4.加入其它分组字段……