云计算
-
大数据之 Flume 对 接 Kafka 完整使用 (第六章)
大数据之 Flume 对 接 Kafka 完整使用 一、Flume 对 接 Kafka 1)配置 flume(flume-kafka.conf) 2) 启动 kafkaIDEA 消费者 3) 进入 flume 根目录下,启…… -
Hadoop集群的搭建(三)——JDK和Hadoop的安装和环境配置
往期文章 Hadoop集群的搭建(一)——Liunx系统的网络配置,主机配置,多台虚拟机间的相互连通和远程操作 Hadoop集群的搭建(二)——Linux系统ssh远程双向免密…… -
(超详细)MapReduce工作原理及基础编程
MapReduce工作原理及基础编程(代码见文章后半部分) JunLeon——go big or go home 目录 MapReduce工作原理及基础编程(代码见文章后半部分) 一、MapRedu…… -
西北工业大学软件学院大数据技术实验(二)
安装分布式的Hadoop集群的环境 准备工作:在安装分布式的Hadoop集群之前需要我们准备好若干台能够连接到网络的虚拟机,采用ifconfig命令可以查看该虚拟机的IP…… -
HUE+OOZIE调度shell(hive sql)
目录 需求背景 解决方案 实施方法 1.编写shell文件 2.将sh文件放到hdfs上 3.创建workflow 4.执行测试 5.创建coordinate调度 6.执行coord 需求背景 根据业…… -
java中的lambda可以序列化吗?
java中的lambda可以序列化吗? 这个问题之前一直也没想过,其实主要也是之前从来没有遇到过需要序列化它的情景,直到。。。 我在开发flink作业的时候,因为…… -
Spark(一):基础
Spark 概述 什么是Spark Spark是一种基于内存的快速,通用,可扩展的大数据分析计算引擎 Spark 是一种由 Scala 语言开发的快速、通用、可扩展的大数据分析…… -
搭建Hadoop集群
搭建Hadoop集群 安装两个虚拟机(用户名尽量统一为hadoop) VMWare Ubuntu18.04.2 jdk1.8.0_202 hadoop-2.10.1 master ip 192.168.80.138 slave ip 192.1…… -
“泰迪杯”数据分析职业技能大赛 B 题 新冠疫情数据分析
参考:python数据分析案例简单实战项目(二)–新冠疫情数据分析 任务一:数据的基本处理 任务 1.1 根据附件 1“城市疫情”中的数据统计各城市自首次通报确…… -
Hadoop——MapReduce实现单词统计和排序(图文超详细版)(内含遇到错误的解决方法)
一、前情提要 上一篇文章介绍了MapReduce的Api调用方法以及eclipse的配置,这次我们就利用MapReduce对英语文章文件进行单词统计! 有需要的欢迎看看我的前……