包含标签：hadoop 的文章
-
Java大数据文件处理方法
前言 Java大数据文件处理是一种使用Java编写的大型数据处理技术，特别适用于处理大型数据文件。在这篇文章中，我们将了解什么是Java大数据文件处理，为什么……admin 2023-05-29
-
JuiceFS 在数据湖存储架构上的探索
大家好，我是来自 Juicedata 的高昌健，今天想跟大家分享的主题是《JuiceFS 在数据湖存储架构上的探索》，以下是今天分享的提纲： 首先我会简单的介绍一下大…… -
Educoder 分布式文件系统HDFS 实验总结 答案
目录 一、HDFS的基本操作 1.HDFS的设计 2.HDFS的常用命令 二、HDFS-JAVA接口之读取文件 1.FileSystem对象 三、HDFS-JAVA接口之上传文件 四、HDFS-JAVA接口之…… -
Hadoop常见端口号及配置文件
1 Hadoop 2.x版本端口号 1.1 访问HDFS端口号：50070 1.2 NN内部通信端口：9000 1.3 访问MR执行任务情况端口：8088 1.4 Yarn内部通信端口：8032 1.5 访问历史…… -
HBase架构篇 – Hadoop家族的天之骄子HBase
HBase的基本组成结构 表（table） HBase 的数据存储在表中。表名是一个字符串。表由行和列组成。 行（row） HBase 的行由行键（rowkey）和 n 个列（colum…… -
终于有人把HDFS架构和读写流程讲明白了
一、HDFS基础 以下是HDFS设计时的目标。 1. 硬件故障 硬件故障对于HDFS来说应该是常态而非例外。HDFS包含数百或数千台服务器（计算机），每台都存储文件系统…… -
大数据周会-本周学习内容总结07
目录 01【hadoop】 1.1【编写集群分发脚本xsync】 1.2【集群部署规划】 1.3【Hadoop集群启停脚本】 02【HDFS】 2.1【HDFS的API操作】 03【MapReduce】 3.1【P…… -
【大数据技术】Spark MLlib机器学习库、数据类型详解（图文解释）
机器学习的定义 机器学习是一种通过利用数据，训练出模型，然后使用模型预测的一种方法。机器学习的构建过程是利用数据通过算法构建出模型并对模型进行评估，…… -
基于机器学习的笑脸检测
摘 要 目前已经有很多的基于机器学习的方法用来进行人脸面部表情分析，然而，它们中的大部分都是在公开人脸库上进行测试。这些公开库里面仅有为数不多的几个…… -
我眼中的大数据（一）
前言 在正式落地谈技术之前，先花一些篇幅说说大数据技术的发展史。我们常说的大数据技术，其实起源于Google在2004年前后发表的三篇论文，分别是分布式文件系……