栏目分类:
子分类:
返回
终身学习网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
终身学习网 > IT > 前沿技术 > 大数据 > 大数据系统

HDFS

大数据系统 更新时间:发布时间: 百科书网 趣学号
HDFS_01_Hadoop简介

持续更新大数据文章 …

本篇文章学的是 Hadoop 生态圈里面的 HDFS,HDFS 是解决大数据海量数据存储的技术。

1. Hadoop 1.1 为什么要学习Hadoop?

大数据是时代发展和技术进步的产物,Hadoop 只是一种处理大数据的技术手段。所以想要学习大数据就必须先学习 Hadoop !广义上来说,hadoop 指代大数据的一个生态圈,包括很多其他的软件。

大数据是一系列技术的统称,经过多年的发展,大数据已经形成了从数据采集、整理、传输、存储、安全、分析、呈现和应用等一系列环节,这些环节涉及到诸多大数据工作岗位,这些工作岗位与物联网、云计算也都有密切的联系。

Hadoop是一个由 Apache 基金会所开发的分布式系统基础架构,是用 Java 语言开发的一个开源分布式计算平台,适合大数据的分布式存储和计算平台。

Hadoop 平台提供了分布式存储(HDFS)、分布式计算(MapReduce)、任务调度(YARN)、对象存储(Ozone)、组件支撑服务(Common)等技术。

随着 Hadoop 的不断发展,基于 Hadoop 的大数据生态越发完善,目前包括 Ambari、Avro、Cassandra、Chukwa、Hbase、Hive、Mahout、Pig、Spark、Tez、Zookeeper 等组件陆续被开发出来,这些组件极大的丰富了 Hadoop 自身的应用。

学习大数据肯定需要学习Hadoop技术,Hadoop在大数据技术体系中的地位至关重要,Hadoop是大数据技术的基础,对Hadoop基础知识的掌握的扎实程度,会决定在大数据技术道路上走多远。

Hadoop 学习之后,还得学习 Spark,它是一种与 Hadoop 相似的开源集群计算环境,拥有 Hadoop MapReduce 所具有的优点,Spark 是 MapReduce 的替代方案,而且兼容 HDFS、Hive,可融入Hadoop 的生态系统,以弥补 MapReduce 的不足。这是大数据技术学习的两大重点。

1.2 Hadoop历史

Hadoop最早起源于Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎,包括网页抓取、索引、查询等功能但随着抓取网页数量的增加,遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题。

在2003~2004年谷歌发表的两篇论文为该问题提供了可行的解决方案。这两篇论文是GFS(Google File System)、MapReduce数据计算的方法。

Doug cutting 花费了自己的两年业余时间,将论文实现了出来,2008年1月,HADOOP成为Apache顶级项目。

1.3 Hadoop官网

​ 网址:http://hadoop.apache.org/

1.4 Hadoop Model

  • Hadoop Common:基础型功能
  • Hadoop Distributed File System:负责存放数据
  • Hadoop YARN:负责资源的调配
  • Hadoop MapReduce:大数据的计算框架
  • Hadoop Ozone:数据存放到仓库
  • Hadoop Submarine:机器学习引擎


下期讲解 HDFS_02_文件系统(DFS)......

转载请注明:文章转载自 www.051e.com
本文地址:http://www.051e.com/it/600911.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 ©2023-2025 051e.com

ICP备案号:京ICP备12030808号