当前位置：首页 > news >正文

信阳做网站的公司/搜狗搜索引擎入口

news 2025/7/28 7:37:54

信阳做网站的公司,搜狗搜索引擎入口,店面设计ppt,wordpress个性用户本篇博客小菌为大家带来关于HBase的预分区的内容分享! 在正式开始介绍之前,我们先联系一下之前所学的内容 , 想想原本数据分区（分region）的过程是怎样的? 一个数据表原本只有一个region(分区)，随着数据量的增加，region慢慢变大&a…

本篇博客小菌为大家带来关于HBase的预分区的内容分享!

在正式开始介绍之前,我们先联系一下之前所学的内容 , 想想原本数据分区（分region）的过程是怎样的?

一个数据表原本只有一个region(分区)，随着数据量的增加，region慢慢变大，达到10G ，一个region变成两个region。当数据量还没有达到10G ，所有的数据全部写入一个region。一个region只能属于一个regionserver.

现在我们需要进行优化,那如何优化呢,这里有一个方案: 将一个10G的数据打散，尽量多的，尽量均匀的分散到不同的regionserver上。

那到底如何实现上述方案呢？这里我们就需要用到预分区（region）预先设置每个region 的startkey和endkey。

        好了接下来正式进入到正文!

1、为何要预分区？

增加数据读写效率
负载均衡，防止数据倾斜
方便集群容灾调度region
优化Map数量

2、如何预分区？

每一个region维护着startRow与endRowKey，如果加入的数据符合某个region维护的rowKey范围，则该数据交给这个region维护。

3.如何设定预分区？

<1>手动指定预分区

hbase(main):001:0> create 'staff','info','partition1',SPLITS => ['1000','2000','3000','4000']

完成后我们可以通过HBase的UI界面进行查看
如图：
在这里插入图片描述

<2>使用16进制算法生成预分区

hbase(main):003:0> create 'staff2','info','partition2',{NUMREGIONS => 15, SPLITALGO => 'HexStringSplit'}

完成后如图：

在这里插入图片描述
<3>分区规则创建于文件中

创建splits.txt文件内容如下：

cd /export/servers/
vim splits.txt

aaaa
bbbb
cccc
dddd

然后执行

hbase(main):004:0> create 'staff3','partition2',SPLITS_FILE => '/export/servers/splits.txt'

成功后如图：
在这里插入图片描述
<4>使用JavaAPI创建预分区

Java代码如下：

/*** 通过javaAPI进行HBase的表的创建以及预分区操作*/@Testpublic void hbaseSplit() throws IOException {//获取连接Configuration configuration = HBaseConfiguration.create();configuration.set("hbase.zookeeper.quorum", "node01:2181,node02:2181,node03:2181");Connection connection = ConnectionFactory.createConnection(configuration);Admin admin = connection.getAdmin();//自定义算法，产生一系列Hash散列值存储在二维数组中byte[][] splitKeys = {{1,2,3,4,5},{'a','b','c','d','e'}};//通过HTableDescriptor来实现我们表的参数设置，包括表名，列族等等HTableDescriptor hTableDescriptor = new HTableDescriptor(TableName.valueOf("stuff4"));//添加列族hTableDescriptor.addFamily(new HColumnDescriptor("f1"));//添加列族hTableDescriptor.addFamily(new HColumnDescriptor("f2"));admin.createTable(hTableDescriptor,splitKeys);admin.close();}