针对不同函数,Spark 分为宽依赖和窄依赖,
窄依赖是一个父RDD 分区对应一个子RDD 分区,或者说是多个父RDD分区对应一个子RDD分区,比如map,flapmap,filter
宽依赖是一个父RDD分区对应多个子RDD分区,groupByKey,reduceByKey,sortByKey。
总体来说,如果父RDD 对应一个 子RDD ,那么它就是窄依赖,否则就是宽依赖。
上一篇 谈谈tdengine的超级表设计
下一篇 剧本杀开连锁店,有戏吗?
版权所有 ©2023-2025 051e.com
ICP备案号:京ICP备12030808号