栏目分类:
子分类:
返回
终身学习网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
终身学习网 > IT > 软件开发 > 后端开发 > Java

【Hadoop】掌握HDFS的部分知识

Java 更新时间:发布时间: 百科书网 趣学号
前言

知道HDFS是什么,掌握其基本原理即可,不需要深挖源代码(个人而言)。
当然对于大数据工程师来说还是要的!

1 主从结构

HDFS集群是标准的主从架构集群,一般一个HDFS集群是由一个NameNode(主节点)和一定数目的DataNode(从节点)组成,两种Node各司其职,协调完成分布式的文件存储服务

2 分块存储

3 副本机制

默认3副本存储策略

4 元数据管理

(1)主要由NameNode负责,核心记住一句话:外部想要访问HDFS,NameNode是唯一入口
(2)此外,还有个secondaryNameNode,它是NameNode的Backup

5 NameSpace

工作中通常直接使用命令操作HDFS,这个UI界面不经常用,知道有这个概念就行

6 PipLine管道

转载请注明:文章转载自 www.051e.com
本文地址:http://www.051e.com/it/1076724.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 ©2023-2025 051e.com

ICP备案号:京ICP备12030808号