包含标签:hdfs 的文章
-
hive moving data报错,unable to move source…,yarn显示任务执行成功
1.报错情况 有个小伙伴hive任务报错,moving data时,报错如下 Failded with exception:unable to move source hdfs://........... 2.问题排查 这种情况一…… -
-
HBase 在集群中对表(ddl)和数据(dml)的相应操作
HBase 在集群中对表(ddl)和数据(dml)的相应操作 HBase特点 要开启hbase之前必须先开启hdfs和zookeeper(关闭将start改为stop即可) 启动hdfs:my_hadoop.…… -
Flink运行架构及相关命令
Flink运行架构及相关命令 最近学习了Flink,整理了一些关于flink函数框架运行和相关算子的运算方法。 flink阿里17年开始开源blink,里面融合的部分flink功能…… -
Hadoop完全分布式搭建
hadoop完全分布式搭建 1. 准备工作 1.1. 软件版本 1.2. 集群规划 2. 环境搭建 1.修改主机名 2. 关闭防火墙 3.修改hosts文件 4.配置ssh,无密码登录 5…… -
Hadoop集群的搭建(三)——JDK和Hadoop的安装和环境配置
往期文章 Hadoop集群的搭建(一)——Liunx系统的网络配置,主机配置,多台虚拟机间的相互连通和远程操作 Hadoop集群的搭建(二)——Linux系统ssh远程双向免密…… -
(超详细)MapReduce工作原理及基础编程
MapReduce工作原理及基础编程(代码见文章后半部分) JunLeon——go big or go home 目录 MapReduce工作原理及基础编程(代码见文章后半部分) 一、MapRedu…… -
2021SC@SDUSC hadoop源码分析(七)
2021SC@SDUSC 本篇我将对hadoop-tools中的Gridmix进行分析 GridMix 概念 GridMix是Hadoop集群的基准。它提交多种合成作业,对从生产负载中挖掘的概要进行建模…… -
Hadoop新增节点后HDFS数据均衡操作
前置设置: 数据均衡带宽优化 #参数说明:设置balance工具在运行中所能占用的带宽,需反复调试设置为合理值, 过大反而会造成MapReduce流程运行缓慢 #CDH集…… -
【大数据笔记】- Hadoop Java kerberos认证
一.将kerberos相关认证文件放到项目目录下: xxxx.keytab,krb5.conf 二.pom.xml引入包: <dependency> <groupId>org.apa……