加入收藏 | 设为首页 | 会员中心 | 我要投稿 江门站长网 (https://www.0750zz.com/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 站长资讯 > 外闻 > 正文

Hadoop体系结构的一部分

发布时间:2021-02-24 16:51:40 所属栏目:外闻 来源:互联网
导读:为HBase提供了高可靠性的低级存储支持。 MapReduce为HBase提供了高性能的批处理功能。 ZooKeeper为HBase提供稳定的服务和故障转移机制。 Pig和Hive为数据统计处理的高级语言支持提供了HBase,Sqoop为HDB提供了可用的RDBMS数据导入功能,这使得从传统数据库到

为HBase提供了高可靠性的低级存储支持。

MapReduce为HBase提供了高性能的批处理功能。 ZooKeeper为HBase提供稳定的服务和故障转移机制。 Pig和Hive为数据统计处理的高级语言支持提供了HBase,Sqoop为HDB提供了可用的RDBMS数据导入功能,这使得从传统数据库到HBase的业务数据迁移非常方便。

2. HBase架构

2.1设计Idea

HBase是一个分布式数据库,使用ZooKeeper来管理群集和HDFS作为基础存储。

在体系结构级别,它由HMaster(由Zookeeper选择的领导者)和多个HRegionServers组成。

下图显示了基础架构:

 

egion,一个HRegion代表表数据的一部分。

在HBase中,一个表可能需要很多HRegion来存储数据,并且每个HRegion中的数据都不会杂乱无章。

当HBase管理HRegion时,它将为每个HRegion定义一定范围的Rowkey。 属于定义范围的数据将被移交给特定区域,从而将负载分配给多个节点,从而利用分布和特性的优势。

同样,HBase将自动调整区域的位置。 如果HRegionServer过热,即大量请求落在HRegionServer管理的HRegion上,则HBase会将HRegion移动到相对空闲的其他节点,以确保充分利用群集环境。

2.2基本架构

HBase由HMaster和HRegionServer组成,并且遵循主从服务器体系结构。 HBase将逻辑表分为多个数据块HRegion,并将它们存储在HRegionServer中。

HMaster负责管理所有HRegionServer。 它本身不存储任何数据,而仅存储数据到HRegionServer的映射(元数据)。

群集中的所有节点均由Zookeeper协调,并处理HBase操作期间可能遇到的各种问题。 HBase的基本架构如下所示:


(编辑:江门站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    热点阅读