准备工作

在您开始使用日志服务进行数据采集、查询分析等操作时，需先完成本文中的以下几个准备工作。

开通KLog服务

新用户在使用KLog前，请先进入金山云KLog控制台自行开通服务。开通服务，代表同意日志服务KLog的服务协议。

创建工程

1. 登录金山云日志服务Klog控制台。

2. 点击导航工程列表，进入到工程列表页。

3. 点击创建工程，填写工程相关信息。

• 工程名称：参照页面中的名称格式要求，定义工程名称，名称保存后不支持修改。以”project_demo“为例。

• 地域：目前KLog仅支持华北1（北京）。

创建日志池

1. 登录金山云日志服务Klog控制台。

2. 点击导航工程列表，进入到工程列表页。

3. 在工程列表页中，点击工程名称，进入到工程>概览页。

4. 点击创建日志池，填写日志池相关信息。

基础配置：

• 日志池名称：参照页面中的名称格式要求，定义日志池名称，名称保存后不支持修改。以”logpool_demo“为例。

• 保存时间：指日志数据存储时长，KLog会自动删除超出存储时长的数据，时长范围支持1-3000天

• 分区数：分区数越多，代表数据读写吞吐量越大，单分区写入能力5MB/s，500次/s。请根据业务数据情况合理设置分区数。

• 标签：（可选）如现有标签/标签值不符合您的要求，可前往标签管理控制台新建。通过标签可以对日志池进行分类管理，便于资源的查找和统计。支持添加多个标签键值对。

• 备注：（可选）为日志池添加描述信息，便于识别和管理。

  

日志池类型

日志服务提供搜索型和分析型两种日志池类型，以满足不同的业务场景需求。两种类型在底层架构、查询方式、数据结构等方面存在差异，您可以根据实际业务需求选择合适的类型。

搜索型日志池

搜索型日志池基于Elasticsearch（ES）架构构建，提供强大的全文检索和模糊搜索能力。它对Lucene查询语法提供了完整支持，特别适合需要快速定位问题日志的运维场景。

核心特性：

• 底层架构：基于Elasticsearch，对全文检索的支持更好

• 查询方式：支持Lucene语法和SQL语法，适合关键词检索和模糊搜索

• 数据结构：字段可以动态增加，schema灵活可变，无需预先定义固定结构

适用场景：

• 日志全文检索和模糊搜索，需要快速定位特定日志内容

• 日志字段结构不固定或经常变化的业务系统

• 运维场景中的问题排查和日志定位

• 需要从前端或移动端直接上报数据的应用监控场景

• 支持动态字段扩展的业务日志采集

分析型日志池

分析型日志池基于StarRocks架构构建，专为海量数据的实时统计分析而设计。它对SQL语句提供了更强大的支持，能够执行复杂的多维度数据查询和聚合操作，具备高性能的数据分析能力。

核心优势：

• 底层架构：基于StarRocks，对SQL语句的支持更好

• 查询方式：支持MySQL语法，适合复杂的统计分析和数据聚合

• 数据结构：采用结构化字段管理，需要日志结构相对固定

字段管理：

分析型日志池支持开启字段设置功能，系统会自动初始化数据结构并提供以下预置字段：

• __id__：预置字段，text类型

• __source__：预置字段，记录日志来源，text类型

• __path__：预置字段，记录日志采集路径，text类型

• __timestamp__：预置字段，记录日志写入klog的时间，text类型

• timestamp：预置字段，text类型

• __extra__：预置字段，保存没有被预先定义的字段数据，text类型

• __errors__：预置字段，保存因字段类型不匹配而无法正确解析的数据，text类型

  

适用场景：

• 需要进行复杂的数据统计分析和业务报表生成

• 使用SQL语句进行多维度数据查询和聚合计算

• 日志结构相对固定且字段定义明确的业务系统

• 处理海量数据的实时分析场景

• 业务指标统计和数据监控

如何选择日志池类型？

下表对比了搜索型日志池和分析型日志池的核心差异，帮助您根据业务需求选择合适的类型：

选择建议：

• 如果您的主要需求是快速检索定位日志、进行全文搜索，或者日志字段结构经常变化，建议选择搜索型日志池。

• 如果您的主要需求是进行数据统计分析、报表生成，且日志结构相对固定，建议选择分析型日志池。

• 两种类型的日志池可以在同一个工程中共存，您可以针对不同的业务场景创建不同类型的日志池，充分发挥各自的优势。