Spark on Yarn 架构是怎么样的(画图)

 1、客户端提交一个Application,在客户端启动一个Driver进程。
2、Driver进程会向RS(ResourceManager)发送请求,启动AM(ApplicationMaster)的资源。
3、RS收到请求,随机选择一台NM(NodeManager)启动AM。这里的NM相当于Standalone中的Worker节点。
4、AM启动后,会向RS请求一批container资源,用于启动Executor.RS会找到一批NM返回给AM,用于启动Executor。
5、AM会向NM发送命令启动Executor。
6、Executor启动后,会反向注册给Driver,Driver发送task到Executor,执行情况和结果返回给Driver端。

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
THE END
分享
二维码
< <上一篇
下一篇>>