HDFS存储架构和YARN
HDFS存储架构和YARN
HDFS
HDFS是hadoop的存储单元。在分布式环境中将数据存储为块,遵循主从拓扑。
NameNode
分布式环境的主节点,维护存储在HDFS中的数据块的元数据信息。
DateNode
从节点,负责在HDFS中存储数据。NameNode管理所有的DataNode
YARN
Hadoop中的处理框架,管理资源,并为进程提供运行环境
ResourceManager
接受处理请求,将相应的请求传递给相应的NodeManager,在那里执行实际的处理,根据应用程序分配资源
NodeManager
安装在每个DataNode上,负责在每个DataNode上执行任务。
存储架构
NameNode内部以元数据的形式,维护两个文件:FsImage镜像文件和EditLog日志文件。
FsImage镜像文件用于存储整个文件系统命名空间的信息,就是在NameNode启动时对整个文件系统的快照
EditLog日志文件用于持久化记录系统元数据发生的变化,存放了客户端最近一段时间的操作日志
NameNode启动时,FsImage镜像文件会被加载到内存,执行edit文件中的各项操作,使内存中的元数据和实际的数据同步。随着edit的增大,就需要在一定时间点和fsImage进行合并。
本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
THE END
二维码