栏目分类:
子分类:
返回
终身学习网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
终身学习网 > IT > 前沿技术 > 大数据 > 大数据系统

SparkCore

大数据系统 更新时间:发布时间: 百科书网 趣学号
1.RDD

1.1 什么是RDD

RDD(Resilient Distributed Dataset)叫做弹性分布式数据集,是Spark中最基本的数据(计算)抽象。代码中是一个抽象类,它代表一个不可变、可分区、里面的元素可并行计算(分区同时计算)的集合。

1.2 RDD的属性
  1. 一组分区(Partition),即数据集的基本组成单位;

当读取文件很大时,文件需要切片,对应每个切片就对应一个Rdd的一个分区。

  1. 一个计算每个分区的函数;(每个分区都有一个计算函数)
  2. RDD之间的依赖关系;(例如wordCount, 后一个Rdd依赖前一个Rdd的值)
  3. 一个Partitioner,即RDD的分片函数;(针对kv类型的rdd,我们可以给他指定分区函数,默认hash分区)
  4. 一个列表,存储存取每个Partition的优先位置(preferred location)。(处理Rdd每个分片计算时,原本数据在哪里,我们尽量在哪里计算,移动计算)

1.3 RDD特点

RDD表示只读的分区的数据集,对RDD进行改动,只能通过RDD的转换操作,由一个RDD得到一个新的RDD,新的RDD包含了从其他RDD衍生所必需的信息。RDDs之间存在依赖,RDD的执行是按照血缘关系延时计算的。如果血缘关系较长,可以通过持久化RDD来切断血缘关系。

2. RDD编程 2.1 RDD创建

转载请注明:文章转载自 www.051e.com
本文地址:http://www.051e.com/it/601139.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 ©2023-2025 051e.com

ICP备案号:京ICP备12030808号