day06Hadoop环境搭建之克隆两个从节点node
在分布式存储系统中,分散在不同节点中的数据可能属于同一个文件。为了组织众多的文件,把文件可以放到不同的文件夹中,文件夹可以一级一级的包含。我们把这种组织形式称为命名空间(namespace)。命名空间管理着整个服务器集群中的所有文件。
集群中不同的节点承担不同的职责:
- 负责命名空间职责的节点称为主节点(master node)
- 负责存储真实数据职责的节点称为从节点(slave node)。
- 主节点负责管理文件系统的文件结构,从节点负责存储真实的数据,称为主从式结构(master-slaves)。
- 用户操作时,应该先和主节点打交道,查询数据在哪些从节点上存储,然后再到从节点读取。
- 在主节点上,为了加快用户访问的速度,会把整个命名空间信息都放在内存中,当存储的文件越多时,那么主节点就需要越多的内存空间。
- 在从节点存储数据时,有的原始数据文件可能很大,有的可能很小,大小不一的文件不容易管理,那么可以抽象出一个独立的存储文件单位,称为块(block)。
- 数据存放在集群中,可能因为网络原因或者节点硬件原因造成访问失败,最好采用副本(replication)机制,把数据同时备份到多台节点中,这样数据就安全了,数据丢失或者访问失败的概率就小了。
hadoop特点:
- 扩容能力(Scalable):能可靠(reliably)地存储和处理PB级别的数据。如果数据量更大,存储不下了,再增加节点就可以了。
- 成本低(Economical):可以通过普通机器组成的服务器集群来分发以及处理数据.这些服务器集群可达数千个节点。
- 高效率(Efficient):通过分发计算程序,hadoop可以在数据所在节点上(本地)并行地(parallel)处理他们,这使得处理非常的迅速
- 可靠性(Reliable):hadoop能够自动地维护数据的多份副本,并且在任务失败后能够自动地重新部署(redeploy)计算任务.
所以我们需要克隆两个子节点node1和node2
将master虚拟机先关机,下面开始我们的克隆操作:
1、在电脑的固态里创建node1和node2两个文件夹,用来存放两个从节点的克隆。
在这里提一下为什么一定要是C 盘,因为博主笔记本的固态在C盘里,固态硬盘比机械硬盘读写数据快,以后固态几秒钟完成的读数据,机械可能要几分钟,那如果是海量数据呢?可想而知。
在之前的master,我们已经进行了网络的配置,关闭防火墙,JDK的安装,man帮助文档的汉化,所以我们直接克隆即可,node1和node2和master一样并不用重复以上操作。
2、克隆master节点
右键单击master--->管理--->克隆
2、 按以下步骤操作
至此我们克隆完成了。
?到底啦!给靓仔一个关注吧!?
本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
THE END
二维码