day06Hadoop环境搭建之克隆两个从节点node

  在分布式存储系统中,分散在不同节点中的数据可能属于同一个文件。为了组织众多的文件,把文件可以放到不同的文件夹中,文件夹可以一级一级的包含。我们把这种组织形式称为命名空间(namespace)。命名空间管理着整个服务器集群中的所有文件。

集群中不同的节点承担不同的职责:

  • 负责命名空间职责的节点称为主节点(master node)
  • 负责存储真实数据职责的节点称为从节点(slave node)。
  • 主节点负责管理文件系统的文件结构,从节点负责存储真实的数据,称为主从式结构(master-slaves)。
  • 用户操作时,应该先和主节点打交道,查询数据在哪些从节点上存储,然后再到从节点读取。
  • 在主节点上,为了加快用户访问的速度,会把整个命名空间信息都放在内存中,当存储的文件越多时,那么主节点就需要越多的内存空间。
  • 在从节点存储数据时,有的原始数据文件可能很大,有的可能很小,大小不一的文件不容易管理,那么可以抽象出一个独立的存储文件单位,称为块(block)。
  • 数据存放在集群中,可能因为网络原因或者节点硬件原因造成访问失败,最好采用副本(replication)机制,把数据同时备份到多台节点中,这样数据就安全了,数据丢失或者访问失败的概率就小了。

hadoop特点:

  • 扩容能力(Scalable):能可靠(reliably)地存储和处理PB级别的数据。如果数据量更大,存储不下了,再增加节点就可以了。
  • 成本低(Economical):可以通过普通机器组成的服务器集群来分发以及处理数据.这些服务器集群可达数千个节点。
  • 高效率(Efficient):通过分发计算程序,hadoop可以在数据所在节点上(本地)并行地(parallel)处理他们,这使得处理非常的迅速
  • 可靠性(Reliable):hadoop能够自动地维护数据的多份副本,并且在任务失败后能够自动地重新部署(redeploy)计算任务.

所以我们需要克隆两个子节点node1和node2

将master虚拟机先关机,下面开始我们的克隆操作:

1、在电脑的固态里创建node1和node2两个文件夹,用来存放两个从节点的克隆。

  在这里提一下为什么一定要是C 盘,因为博主笔记本的固态在C盘里,固态硬盘比机械硬盘读写数据快,以后固态几秒钟完成的读数据,机械可能要几分钟,那如果是海量数据呢?可想而知。

  在之前的master,我们已经进行了网络的配置,关闭防火墙,JDK的安装,man帮助文档的汉化,所以我们直接克隆即可,node1和node2和master一样并不用重复以上操作。

2、克隆master节点

右键单击master--->管理--->克隆

2、 按以下步骤操作

至此我们克隆完成了。


?到底啦!给靓仔一个关注吧!?

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
THE END
分享
二维码
< <上一篇
下一篇>>