HDFS存储架构和YARN

HDFS存储架构和YARN

HDFS

HDFS是hadoop的存储单元。在分布式环境中将数据存储为块,遵循主从拓扑。

NameNode

分布式环境的主节点,维护存储在HDFS中的数据块的元数据信息。

DateNode

从节点,负责在HDFS中存储数据。NameNode管理所有的DataNode

YARN

Hadoop中的处理框架,管理资源,并为进程提供运行环境

ResourceManager

接受处理请求,将相应的请求传递给相应的NodeManager,在那里执行实际的处理,根据应用程序分配资源

NodeManager

安装在每个DataNode上,负责在每个DataNode上执行任务。

存储架构

NameNode内部以元数据的形式,维护两个文件:FsImage镜像文件和EditLog日志文件。

FsImage镜像文件用于存储整个文件系统命名空间的信息,就是在NameNode启动时对整个文件系统的快照

EditLog日志文件用于持久化记录系统元数据发生的变化,存放了客户端最近一段时间的操作日志

NameNode启动时,FsImage镜像文件会被加载到内存,执行edit文件中的各项操作,使内存中的元数据和实际的数据同步。随着edit的增大,就需要在一定时间点和fsImage进行合并。

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
THE END
分享
二维码
< <上一篇
下一篇>>