选择集群规格

最近更新时间:2020-07-28 11:50:13

机型的选择

云盘型:适合存储容量要求高,兼顾性能,高可用要求较高业务。同时,云盘可以满足灵活高可靠,自由扩容。
本地SSD型:存储要求小,延迟敏感,容量受机型限制,不能单独扩容。价格比本地SSD盘便宜。

存储介质的选择

SSD盘(SSD云盘和本地SSD盘):延迟敏感的业务。如广告、推荐、feed流、人物画像等业务。
高效云盘:延迟要求一般的业务,毛刺率比SSD盘大一些。

Core节点规格选择

机型规格

测试或者小规模生产(历史数据量小,QPS小)推荐4C8G
中大规模生产,通用业务场景,推荐CPU内存比为1:4规格
重读场景,可以用内存缓存,解决重复查询问题,推荐CPU内存比为1:8规格

Core节点大小

Core节点部署的HBase的RegionServer。 Core节点规格主要受业务的请求量和数据量影响。以下给出一些简单的建议,但是评估core节点的规格需要综合实际业务情况综合考虑。

业务请求量

TPS+QPS core的个数及规格 建议
0 ~ 1000 2台 4c16g 推荐的最低规格,适合低负载访问。同时每台Core节点上的region不宜超过600个。 KHBase中能够买到的最低core节点为4c8g,但不推荐4c8g规格,8GB的内存过小,在面对高峰和大KV时容易出现OOM等不稳定现象
1000 ~ 2w 2~3台 8c32g 8c32g是我们推荐的适合中低负载的规格,价格相比8c16g贵的不多,但内存翻倍,稳定性更好
2w 以上 8c32g/16c64g/32c128g 或者以上 按照实际请求量选择Core节点的数量,如果是在线型业务,适当选择大内存机型来增加cache命中率来提高性能。如果有MR/Spark等离线大负载任务要运行或者TPS/QPS非常高,需要适当选择大CPU机器

业务数据量

在一个较为均衡,能够适应大部分常见的业务场景的HBase集群状态
HBase单个Region默认承载数据量大小为10GB,据此可以估算出业务所需region数; 通常单列族场景下,单个Region写缓存为128MB;RegionServer内存40%为读缓存,40%为写缓存; 单core节点中约60%内存分配给RegionServer; 根据以上,可根据业务数据量估算 core节点数 = 数据量 / 10GB / 8 / 0.4 / 0.6 / 单core memory
实际规格,请依据实际业务场景计算。

Master节点规格选择

Master节点默认两个节点,主备保障单点容灾。Master节点上会部署HBase的Master,HDFS的NameNode等,不需要大的存储空间。如果master节点的CPU或者内存不够,会严重制约集群的性,master规格和历史数据量,节点数有关系。推荐和Core节点规格保持一致。

金山云,开启您的云计算之旅

免费注册