当前位置: 首页 > news >正文

网站建网站建设专业/北京seo代理计费

网站建网站建设专业,北京seo代理计费,织梦网站防黑怎么做,wordpress分类发布文章14年在烽火做过Hbase的相关项目。 时隔4年,接触的项目都没有用到Hbase。今天,简单回顾一下hbase的基本概念。 既然是随笔,想到什么就写什么。 【1】首先Hbase是列式的分布式存储系统。把需要经常同时访问的数据,定义在一个列族里。…

  14年在烽火做过Hbase的相关项目。

  时隔4年,接触的项目都没有用到Hbase。今天,简单回顾一下hbase的基本概念。

  既然是随笔,想到什么就写什么。

  【1】首先Hbase是列式的分布式存储系统。把需要经常同时访问的数据,定义在一个列族里。
    Hbase Table=Rowkey + Family + Column + Timestamp + Value

  【2】数据存储原型:
  先按照rowkey字典排序,再按照column字典排序

  【3】压缩方式:
  snappy压缩率低,但是压缩速度和解压速度很快。hbase默认压缩方式。压缩是以CPU资源换取磁盘资源。

  【4】hbase元信息表:Meta Table
  是Hbase的第一级索引。
  存储了Region的信息。rowkey是table+startkey+time 0.96版本以前,是由Root表来维护,之后版本Meta表直接存储在Zookeeper
  上,用户查数据时,先要去zookeeper上查Meta表。

  【5】LSM树:
  1.第一层,写入内存
  2.第二层,超过阈值内存到磁盘
  3.第三层,异步线程多路归并数据
  RegionServer = Region + Store(一个列族对应一个) + MemStore + StoreFile + Hfile + HLog

  Hbase中的LSM存储思想:
  用户数据会最先写入HLog,防止当机造成数据丢失,实现高可用,第二步才会写入MemStore。(快速写入,第一层)
  MemStore达到阈值,flush到磁盘形成storeFile,最终形成HFile(第二层)
  Hbase Compaction(第三层)
  Minor Compaction(小合并):相邻Hfile小文件
  Major Compaction(大合并):一个store中的所有Hfile文件,会删除3类数据,默认7天
  (1)keytype是delete的数据,
  (2)TTL过期数据
  (3)版本过期数据,version
  一般线上业务会关闭自动大合并,采取手动大合并,因为大合并,比较消耗性能,会对业务造成影响。

  Region是Hbase负载均衡的最小单元,但是存储的最小单元是HFile

  Hbase的rowkey设计需要主要尽可能的把数据分散到各个Region块上,避免出现RegionServer热点问题,压力过大。达不到负载均
  衡。

  【6】HFile墓碑标记:
  Hfile的data block是keyValue结构,由于hfile一旦写入,就不会再被修改,所以删除数据的时候,不会立马被删除,而是会有
  一个keytype(4种状态,put,delete,deleteColumn,deleteFamily)的字段来标时。

  【7】WAL(预写日志):
  用来做灾难恢复。通过回放日志来恢复到hbase崩溃之前的状态。

  【8】BloomFilter:
  多哈希,多位置。
  在hbase中的应用:是列族级别,提升hbase的随机读性能。分为row和rowcol。

转载于:https://www.cnblogs.com/superzzh/p/9862465.html

http://www.lbrq.cn/news/3007.html

相关文章:

  • wordpress文章在哪个文件夹/搜索引擎优化seo名词解释
  • 织梦可以做论坛网站吗/购买域名的网站
  • 想做个网站报价蔬菜价格怎么做/sem竞价托管公司
  • 自己做网站升seo/免费发广告的网站
  • 南宁网站建设 传导/腾讯云域名
  • 商业授权书/西安seo技术培训班
  • 免费做快闪网站/公司网站建设全包
  • 网站后台编辑器不能正常显示/营销策划方案怎么写?
  • wordpress做社交网站/荆门今日头条新闻发布
  • 做网站花多钱/廊坊百度关键词优化怎么做
  • 宁波网站建设方案联系方式/如何在手机上开自己的网站
  • 视频网站如何推广/惠州seo全网营销
  • 政府门户网站建设管理工作/长春百度网站快速排名
  • 17网站一起做网店潮汕档口/今日新闻最新10条
  • 微网站建设报价/重庆百度小额贷款有限公司
  • wordpress 获取二级栏目/seo优化服务是什么
  • 做网站时间/百度竞价怎么做效果好
  • 网站建设购物车/郑州竞价托管
  • 婚纱摄影网站设计案例/写文章免费的软件
  • wordpress 5.1.1漏洞/网站为什么要seo?
  • 本溪市网站建设/seo搜索引擎优化推广
  • e福州客服人工电话/宁波seo如何做推广平台
  • 空间站建造阶段/百度指数代表什么意思
  • 政府网站集约化建设/整站优化要多少钱
  • 怎么制作视频网站/考研培训
  • 哪有做网站的/关键词排名优化品牌
  • 英文网站建设大概多少钱/百度开户返点
  • 网站设计建设案例/个人怎么注册自己的网站
  • 滨州哪里有做网站的/女教师网课入侵录屏
  • 做后期的网站有哪些/seo怎么优化效果更好
  • resources为什么是类的根目录
  • 网络--OSPF实验
  • C++类模版与友元
  • Docker 搭建本地Harbor私有镜像仓库
  • DBeaver连接MySQL8.0报错Public Key Retrieval is not allowed
  • hot100链表(1)