Spark 术语与宽窄依赖
- 术语解释
- 窄依赖和宽依赖
RDD 之间有一系列的依赖关系，依赖关系又分为窄依赖和宽依赖。
1 .窄依赖:父 RDD 和子 RDD partition 之间的关系是一对一的。或者父 RDD 一个 partition 只 对应一个子 RDD 的 partition 情况下的父 RDD 和子 RDD partition 关系是多对一的。不 会有 shuffle 的产生。
2 .宽依赖:父 RDD 与子 RDD partition 之间的关系是一对多。会有 shuffle 的产生。 宽窄依赖图理解：
本图文内容来源于网友网络收集整理提供，作为学习参考使用，版权属于原作者。
THE END
二维码