全部文档
当前文档

暂无内容

如果没有找到您期望的内容,请尝试其他搜索词

文档中心

存算分离实践

最近更新时间:2024-06-17 19:17:39

1 创建存算分离实例

1.1基础配置

默认存算分离,存算分离的前提是设置对象存储,StarRocks内表数据将会存储在金山云对象存储(KS3)中。请确认填写AK、SK有KS3:listbukcets策略权限,否则将影响Bucket正常展示,在对象存储KS3控制台上创建Bucket,具体操作请参见控制台创建存储空间

1.2节点配置

高可用默认开启,开启高可用后,FE节点数量为3,CN规格与节点数量请根据业务需求选择合适的实例规格。

1.3网络配置

选择对应地域下的专有网络。如果没有,单击创建进行创建,若需要访问实例的节点,需要与选择的VPC和子网网络相通。

1.4 确认配置后点击购买

2连接StarRocks实例

2.1使用Manager UI连接StarRocks

进入实例详情,在Manager访问安全配置中单击Manager UI,输入用户名和密码连接StarRocks实例。

2.2设置白名单

所在客户端需与实例所在子网网络相通。如不通可在Manager访问安全配置->Manager白名单中添加相应白名单,允许对应网络访问实例。

3 数据导入与分析

3.1创建数据库与数据表

连接实例后,在Hue-editor界面的代码区可以进行创建数据库和数据表的操作。

/**创建数据库**/
CREATE DATABASE IF NOT EXISTS load_test;

/**使用数据库**/
USE load_test;

/**创建表**/
CREATE TABLE insert_wiki_edit
(
    event_time DATETIME,
    channel VARCHAR(32) DEFAULT '',
    user VARCHAR(128) DEFAULT '',
    is_anonymous TINYINT DEFAULT '0',
    is_minor TINYINT DEFAULT '0',
    is_new TINYINT DEFAULT '0',
    is_robot TINYINT DEFAULT '0',
    is_unpatrolled TINYINT DEFAULT '0',
    delta INT SUM DEFAULT '0',
    added INT SUM DEFAULT '0',
    deleted INT SUM DEFAULT '0'
)
AGGREGATE KEY(event_time, channel, user, is_anonymous, is_minor, is_new, is_robot, is_unpatrolled)
PARTITION BY RANGE(event_time)
(
    PARTITION p06 VALUES LESS THAN ('2015-09-12 06:00:00'),
    PARTITION p12 VALUES LESS THAN ('2015-09-12 12:00:00'),
    PARTITION p18 VALUES LESS THAN ('2015-09-12 18:00:00'),
    PARTITION p24 VALUES LESS THAN ('2015-09-13 00:00:00')
)
DISTRIBUTED BY HASH(user) BUCKETS 10
PROPERTIES("replication_num" = "1");

/**插入数据**/
INSERT INTO insert_wiki_edit VALUES("2015-09-12 00:00:00","#en.wikipedia","GELongstreet",0,0,0,0,0,36,36,0),("2015-09-12 00:00:00","#ca.wikipedia","PereBot",0,1,0,1,0,17,17,0);

/**查询数据**/
select * from load_test.insert_wiki_edit;

返回的结果信息如下所示:

3.2查看KS3上的数据

KS3控制台查询刚刚创建实例时填写的KS3路径,可以看出数据成功存储到KS3中。将数据存储在对象存储中是存算分离架构的一个重要特征,即通过分离数据存储和处理的组件来提升系统的灵活性、可扩展性和运维效率。

文档导读
纯净模式常规模式

纯净模式

点击可全屏预览文档内容
文档反馈