全部文档
当前文档
最近更新时间：2024-06-21 10:46:59
创建KEC实例：用于数据生成、向StarRocks导入数据和客户端测试，建议确保KES和StarRocks实例在相同地域，并使用相同的VPC网络进行连接。
创建StarRocks实例：此次测试使用Starrocks的配置是3FE，1CN，节点的CU都是2CU。
下载 tpch-poc工具包，建议先将测试工具下载到本地，然后上传至与Starrocks实例同一VPC下，网络互通的金山云服务器KEC中的工作目录下。
wget https://starrocks-public.ks3-cn-beijing.ksyuncs.com/tpch-poc-1.0.zip
unzip tpch-poc-1.0
cd tpch-poc-1.0进入/tpch-poc-1.0/conf目录下，更改配置文件starrocks.conf。
[starrocks]
# for mysql cmd
mysql_host: 172.31.252.137
mysql_port: 9030
mysql_user: admin
mysql_password: xxxx
database: tpch_100
# cluster ports
http_port: 8030
be_heartbeat_port: 9050
broker_port: 8000
parallel_num: 8
concurrency_num: 1
num_of_queries: 1
sleep_ms: 500
[broker_load]
broker: starrocks
broker_username: hdfs_broker
broker_password:
hadoop_home: /tools/hadoop-2.7.7
# data size per broker load job: 500M
max_bytes_per_job: 524288000
# format and column separator
file_format: orc
column_separator:
# job properties
# The maximum tolerance rate of job. 0 ~ 1
max_filter_ratio: 0
timeout: 14400生成数据，这里选择生成 1 G的数据
[root@vm172 tpch-poc-1.0]# sh bin/gen_data/gen-tpch.sh 1 data_1 在Starrocks的mysql中创建表结构
[root@vm172 tpch-poc-1.0]# sh bin/create_db_table.sh ddl_100创建完成表结构后可以通过mysql -h 172.31.252.137 -P 9030 -u admin -pxxxx连接Starrocks，观察表结构已创建完成：
MySQL [tpch_100]> show tables;
+--------------------+
| Tables_in_tpch_100 |
+--------------------+
| customer |
| lineitem |
| nation |
| orders |
| part |
| partsupp |
| region |
| revenue0 |
| supplier |
+--------------------+
9 rows in set (0.00 sec)向Starrocks的tpch_100表中导入数据
[root@vm172 tpch-poc-1.0]# sh bin/stream_load.sh data_1 查询数据
[root@vm172 tpch-poc-1.0]# sh bin/benchmark.sh
SQL Time(ms)
Q1 323
Q2 60
Q3 126
Q4 120
Q5 180
Q6 26
Q7 1253
Q8 190
Q9 266
Q10 160
Q11 50
Q12 120
Q13 346
Q14 30
Q15 30
Q16 73
Q17 66
Q18 356
Q19 90
Q20 56
Q21 390
Q22 50
Total 4361 下载 tpcds-poc 工具包，建议先将测试工具下载到本地，然后上传至与Starrocks实例同一VPC下，网络互通的金山云服务器KEC中的工作目录下
sudo wget https://starrocks-public.ks3-cn-beijing.ksyuncs.com/starrocks-tpcds-benchmark-for-serverless.zip
unzip starrocks-tpcds-benchmark-for-serverless.zip
cd tpcds-poc-1.0/进入/tpcds-poc-1.0/conf目录下修改starrocks.conf配置文件的starrocks连接信息以及数据大小scale_factor
[starrocks]
# for mysql cmd
mysql_host: 172.31.252.137
mysql_port: 9030
mysql_user: admin
mysql_password:xxxx
database: tpcds
# cluster ports
http_port: 8030
be_heartbeat_port: 9050
broker_port: 8000
# 0 means the pipeline engine automatically adjusts the parallelism
parallel_num: 0
concurrency_num: 1
num_of_queries: 1
sleep_ms: 500
# benchmark config
scale_factor: 3执行以下命令，进行自动化TPC-DS数据加载，此过程会创建数据库、表、数据集并加载数据，同时也包括执行查询操作。
[root@vm172 tpcds-poc-1.0]# cd bin
[root@vm172 bin]# sh run_tpcds.sh创建完成表结构后可以通过mysql -h 172.31.252.137 -P 9030 -u admin -p123456连接Starrocks，观察表结构已创建完成：
MySQL [tpcds3]> show tables;
+------------------------+
| Tables_in_tpcds3 |
+------------------------+
| call_center |
| catalog_page |
| catalog_returns |
| catalog_sales |
| customer |
| customer_address |
| customer_demographics |
| date_dim |
| household_demographics |
| income_band |
| inventory |
| item |
| promotion |
| reason |
| ship_mode |
| store |
| store_returns |
| store_sales |
| time_dim |
| warehouse |
| web_page |
| web_returns |
| web_sales |
| web_site |
+------------------------+
24 rows in set (0.00 sec)查询数据结果
查询的数据库名称：tpcds3
SQL Time(ms)
Query01 266
Query02 1159
Query03 206
Query04 6034
Query05 499
Query06 189
Query07 604
Query08 198
Query09 1490
Query10 299
Query11 3803
Query12 94
Query13 490
Query14 3772
Query15 188
Query16 391
Query17 512
Query18 385
Query19 214
Query20 98
Query21 112
Query22 1821
Query23 6189
Query24 597
Query25 485
Query26 291
Query27 515
Query28 1398
Query29 503
Query30 97
Query31 495
Query32 108
Query33 388
Query34 388
Query35 492
Query36 686
Query37 47
Query38 933
Query39 498
Query40 193
Query41 36
Query42 113
Query43 196
Query44 498
Query45 100
Query46 691
Query47 1325
Query48 382
Query49 398
Query50 296
Query51 1523
Query52 113
Query53 194
Query54 109
Query55 113
Query56 399
Query57 589
Query58 295
Query59 603
Query60 402
Query61 590
Query62 289
Query63 194
Query64 1621
Query65 1108
Query66 403
Query67 3191
Query68 485
Query69 488
Query70 797
Query71 399
Query72 910
Query73 302
Query74 2138
Query75 1107
Query76 301
Query77 394
Query78 2061
Query79 508
Query80 827
Query81 96
Query82 107
Query83 61
Query84 62
Query85 294
Query86 206
Query87 975
Query88 1193
Query89 205
Query90 120
Query91 67
Query92 113
Query93 219
Query94 296
Query95 405
Query96 191
Query97 706
Query98 167
Query99 318
All time(ms): 69416下载ssb-poc工具包并编译，建议先将测试工具下载到本地，然后上传至与Starrocks实例同一VPC下，网络互通的金山云服务器KEC中的工作目录下
wget https://starrocks-public.ks3-cn-beijing.ksyuncs.com/starrocks-ssb-benchmark-for-serverless.tar.gz
tar xzvf starrocks-ssb-benchmark-for-serverless.tar.gz
cd starrocks-ssb-benchmark-for-serverless/首先在/conf目录下更改配置文件starrocks.conf，主要修改starrocks的连接信息以及生成数据的大小scale_factor
[starrocks]
# for mysql cmd
mysql_host: 172.31.252.137
mysql_port: 9030
mysql_user: admin
mysql_password: xxxx
database: ssb_sf
# benchmark config
scale_factor: 1
dataset_generate_root_path: /mnt/disk1/starrocks-benchmark/datasets
# cluster ports
http_port: 8030
be_heartbeat_port: 9050
broker_port: 8000
# 是否开启bitmap_index
bitmap_index: false生成SSB标准测试集的数据，ssb_dataload.sh包含了数据表结构的创建，数据生成，以及数据加载过程。
[root@vm172 starrocks-ssb-benchmark-for-serverless]#sh ssb_dataload.sh
ssb_flat_insert_p03 start
ssb_flat_insert_p03 success
ssb_flat_insert_p02 start
ssb_flat_insert_p02 success
ssb_flat_insert_p01 start
ssb_flat_insert_p01 success
ssb_flat_insert_p04 start
ssb_flat_insert_p04 success创建完成表结构后可以通过mysql -h 172.31.252.137 -P 9030 -u admin -p********连接Starrocks，观察到表结构创建完成：
MySQL [ssb]> show tables;
+----------------+
| Tables_in_ssb |
+----------------+
| customer |
| dates |
| lineorder |
| lineorder_flat |
| part |
| supplier |
+----------------+
6 rows in set (0.00 sec)查询数据
SSB标准表查询
[root@vm172 starrocks-ssb-benchmark-for-serverless]# sh ssb_query.sh ssb
SQL Time(ms)
Q1.1 86
Q1.2 30
Q1.3 33
Q2.1 256
Q2.2 256
Q2.3 186
Q3.1 206
Q3.2 130
Q3.3 156
Q3.4 40
Q4.1 363
Q4.2 220
Q4.3 150
Total 2112纯净模式