包含标签:hdfs 的文章
-
hadoop上搭建hive成功后,连接mysql
一、进入“/conf” 输入“cd /opt/hive/conf”,修改“hive-site-xml” 下图为hive-site-xml中的内容,上节“搭建hive”中有说明,注意注释。 白色区域为“存放数据的…… -
大数据离线处理数据项目(一) 网站日志文件数据采集 日志拆分 数据采集到HDFS并进行预处理
简介: 这篇写的是大数据离线处理数据项目的第一个流程:数据采集 主要内容: 1)利用flume采集网站日志文件数据到access.log 2)编写shell脚本:把采集到的…… -
MapReduce编程入门及HDFS-JAVA接口(一)
文章目录 使用Eclipse创建MapReduce工程 配置环境 新建MapReduce工程 分布式文件系统HDFS HDFS-JAVA接口之读取文件 HDFS-JAVA接口之上传文件 HDFS-JA…… -
大数据的中流砥柱——HDFS hdfs及其特点 hdfs的重要功能 hdfs机制
没有hdfs,大数据就是空话 ——me (开个玩笑哈哈哈) 1、hdfs入门、hdfs介绍 HDFS(Hadoop Distributed File System),也叫分布式文件系统。是一个Apache So…… -
Hadoop实战——MapReduce实现主播的播放量等数据的统计及TopN排序(第二篇)
本次实战项目一共分三篇教学(第三篇下周更新) 第一篇:对主播文本数据的清洗,从大量数据中获取我们所需要的数据(如播放量,时长等) 第二篇:对清洗后的…… -
hadoop单节点搭建
一、修改“localhost”为“node1” 输入“vim /etc/sysconfig/network” —— 改为 HOSTNAME =node1 二、重启 —— reboot 三、关闭封火墙 ——service iptables…… -
大数据高级开发工程师——Hadoop学习笔记(1)
文章目录 Hadoop基础篇 Hadoop集群安装 环境准备 服务器准备 设置时钟同步 三台虚拟机添加普通用户 三台虚拟机定义统一目录 三台虚拟机hadoop用户设…… -
GBase 8a MPP分析型数据库集群并行加载
GBase 8a MPP Cluster 中,集群加载功能直接集成在 GBase 8a MPP Cluster 内部,提供了面向用户的 SQL 接口,集群和单机加载方式统一,支持如下功能: 支持从…… -
HDFS_01_Hadoop简介
HDFS_01_Hadoop简介 持续更新大数据文章 … 本篇文章学的是 Hadoop 生态圈里面的 HDFS,HDFS 是解决大数据海量数据存储的技术。 1. Hadoop 1.1 为什么要…… -
SparkStreaming读取kafka生产的数据,进行累计词频统计后将最新结果存入MySQL数据库
SparkStreaming读取kafka生产的数据,进行累计词频统计后将最新结果存入MySQL数据库 一、环境准备 二、环境启动 三、编写程序 四、进行测试 读取kafka数……