当前位置: 首页 > news >正文

微信小程序怎么做网站上海网站推广系统

微信小程序怎么做网站,上海网站推广系统,中央经济工作会议2022,德州网站建设HBase属于Hadoop生态系统,采用Master/Slave架构搭建集群,由一下类型节点组成:HMaster节点、HRegionServer节点、ZooKeeper集群,而在底层,它将数据存储于HDFS中,因而涉及到HDFS的NameNode、DataNode等&#…

HBase属于Hadoop生态系统,采用Master/Slave架构搭建集群,由一下类型节点组成:HMaster节点、HRegionServer节点、ZooKeeper集群,而在底层,它将数据存储于HDFS中,因而涉及到HDFS的NameNode、DataNode等,总体结构如下:

  从HBase的架构图上可以看出,HBase中的组件包括Client、Zookeeper、HMaster、HRegionServer、HRegion、Store、MemStore、StoreFile、HFile、HLog等,理解这些组件的作用有助于我们更好地学习和应用Hbase。

1.Client的作用

1.1 包含访问HBase的接口,并维护cache来加快对HBase的访问,比如region的位置信息1.2 HBase Client通过RPC方式和HMaster、HRegionServer通信

2.Zookeeper的作用

2.1 实现HMaster主从节点的failover,集群高可用;2.2 存储所有Region的寻址入口;2.3 实时监控Region server的上线和下线信息。并实时通知给master;2.4 存储HBase的schema和table元数据;2.5 通过选举,保证任何时候,集群中只有一个master,Master与RegionServers 启动时会向ZooKeeper注册。

3.HMaster的作用

3.1 为HRegionServer分配region;3.2 管理HRegionServer实现其负载均衡;3.3 发现失效的Region server并重新分配其上的region;3.4 HDFS上的垃圾文件回收;3.5 实现DDL操作,处理schema更新请求。

4.HRegionServer的作用

4.1 存放和管理本地HRegion,并负责切分正在运行过程中变的过大的region;4.2 维护master分配给他的region,处理对这些region的io请求。(ps:client访问hbase上的数据时不需要master的参与,因为数据寻址访问zookeeper和region server,
而数据读写访问region server。master仅仅维护table和region的元数据信息,而table的元数据信息
保存在zookeeper上,因此master负载很低。)

5.HRegion的作用

5.1 Region是HBase中分布式存储和负载均衡的最小单元;5.2 不同的region可以分别在不同的Region Server上;5.3 Region按大小分隔,每个表一般是只有一个region,当region的某个列族达到一个阈值(默认256M)
时就会分成两个新的region;5.4 Region被分配给哪个Region Server是完全动态透明的。

6.Store的作用

6.1 每一个region由一个或多个store组成,至少是一个store;6.2 hbase会把一起访问的数据放在一个store里面,即为每个 ColumnFamily建一个store,
如果有几个ColumnFamily,也就有几个Store;6.3 一个Store由一个memStore和0或者多个StoreFile组成,HBase以store的大小来判断是否需要切分region。

7.MemStore的作用

7.1 memStore 是放在内存里的,其保存修改的数据即keyValues;7.2 当memStore的大小达到一个阀值(默认64MB)时,memStore会被flush到文 件,即生成一个快照。

8.StoreFile的作用

8.1 memStore内存中的数据写到文件后就是StoreFile;8.2 StoreFile底层是以HFile的格式保存,即数据保存在hdfs上。

9.HLog的作用

9.1 HLog(WAL log):WAL意为write ahead log,用来做灾难恢复使用,HLog记录数据的所有变更,
一旦region server 宕机,就可以从log中进行恢复;9.2 HLog文件就是一个普通的Hadoop Sequence File,Sequence File的value是key时HLogKey对象,
其中记录了写入数据的归属信息,除了table和region名字外,还同时包括sequence number和timestamp,
timestamp是写入时间,sequence number的起始值为0,或者是最近一次存入文件系统中的sequence number。
Sequence File的value是HBase的KeyValue对象,即对应HFile中的KeyValue。

rscala.com版权所有,本文Hbase架构与核心组件转载请注明出处:http://rscala.com/index.php/387.html

http://www.lbrq.cn/news/2715679.html

相关文章:

  • 企业起名网站怎么做制作网站的全过程
  • 北京做网站浩森宇特网店运营推广
  • 科技公司网站版面设计培训心得体会800字
  • 怎么做bbs网站cba赛程
  • 卡盟网站模板希爱力双效片用后感受
  • 中英文网站栏目修改台州专业关键词优化
  • 一般网站用什么技术做的百度app下载安装
  • 上海模板网站长沙网络推广只选智投未来
  • 3gb2c.com是什么网站个人网站设计内容
  • 网站关键字太多营销型网站建设的步骤流程是什么
  • 网站建设公司未来发展方向衡阳网站优化公司
  • 网站浏览历史能恢复吗怎么设置seo免费培训
  • 网站友情链接模块介绍服务营销包括哪些内容
  • 天津模板建站代理河源新闻最新消息
  • kingcms 暂未创建网站首页专业seo培训学校
  • 八年级信息网站怎么做线上营销推广公司
  • 美工需要的网站互联网营销方案
  • 东莞做网站电话免费职业技能培训网
  • 百度云服务器做php网站百度推广获客成本大概多少
  • 山东郓城住房和城乡建设厅网站中国seo高手排行榜
  • 学网站建设的专业叫什么互联网广告销售
  • 公司网站怎么做能被别人搜索到企业网站推广的一般策略
  • 门户网站建设模式包括网站群和目前在哪个平台做推广好
  • 专业做网站的深圳企业网站制作公司
  • 西安营销型网站建设seo外包优化
  • 在线视频网站 一级做爰片安卓优化清理大师
  • php网站开发技术题目河南做网站的公司
  • 做网站怎么赚钱seo的定义
  • 哈尔滨网站建设nsstd.com免费网站制作成品
  • 做网站怎么兼容所有浏览器淘宝搜索关键词排名
  • [激光原理与应用-267]:理论 - 几何光学 - 胶卷相机的组成和工作原理
  • DAY 42 Grad-CAM与Hook函数
  • GoLand 项目从 0 到 1:第八天 ——GORM 命名策略陷阱与 Go 项目启动慢问题攻坚
  • [系统架构]系统架构基础知识(一)
  • 音视频处理新纪元:12款AI模型的语音转录和视频理解能力横评
  • 【后端】Spring @Resource和@Autowired的用法和区别