全部文档
当前文档

暂无内容

如果没有找到您期望的内容,请尝试其他搜索词

文档中心

投递到ks3

最近更新时间:2023-08-31 15:33:20

投递到ks3

前提条件:
1、开通日志服务,创建工程与日志池,并成功采集到日志数据。
2、需开通对象存储KS3服务,并在同region下,已创建KS3存储桶。默认是KS3的标准存储,如需其它存储类型,请在KS3控制台操作,参考存储类型转换
3、子账号已有主账号授权,授权步骤参考权限管理
4、已授权日志服务角色访问KS3的权限。如果未授权,如图,系统会引导用户完成授权,同意即可。
image.png

新建投递任务

步骤:
1、登录日志服务控制台。
2、在左侧导航栏中,单击工程列表。
3、单击工程名称,进入工程详情页面。
4、在左侧导航栏中,点击投递管理,新建投递任务,投递类型选择ks3,填写配置信息参考下表。

配置项 说明 规则 是否必填
任务名称 投递任务名称 以数字或小写字母开头或结尾,支持小写字母、数字、连字符(-)和下划线(_),长度3~63 必填
日志池 选择待投递的日志池 列表选择 必填
ks3存储桶 仅支持同区域的存储桶作为投递目标 列表选择 必填
目录前缀 支持自定义目录前缀,日志文件会投递至对象存储 Bucket 的该目录下。最终投递目录的格式{ks3存储桶}{目录前缀}{分区格式}{random}{index}.{type},其中{random}_{index}是一个随机数。 非/开头,默认为根目录 可选
分区格式 根据strftime时间格式化自动生成目录 strftime格式,如/%Y/%m/%d/%H/ 必填
压缩投递 是否对日志文件进行压缩后投递,目前支持的压缩方式有 gzip、lz4 开/关 必填
投递文件大小 指定在该投递时间间隔中,投递文件大小上限(未压缩),超过该上限,将被分成多个日志文件 100MB - 256MB 必填
投递时间间隔 大小和时间满足一个即会触发一次投递 5~15分钟 必填
存储格式 支持CSV、JSON 列表选择 必填

选择投递格式为 CSV,依次填写相关配置参数,配置项说明如下:

配置项 说明 规则 是否必填
csv字段 指定写入 CSV 文件的键值(key)字段 多个字段用逗号分隔 必填
分隔符 CSV文件中各字段间的分隔符 列表选择,可选逗号、竖线、空格、制表符 必填
转义符 出现与分隔符一样的内容,需要使用转义符转义 列表选择,可选单引号、双引号 必填
无效字段填充 如果字段不存在,需要填写自定义数据 自定义,默认空 可选
首行key 在CSV 文件的首行增加字段名的描述,即将键值(key)写入 CSV 文件的首行,默认不写入 开/关 必填

查看投递任务

在投递管理列表页,点击任务ID/任务名称,即可查看该任务监控信息。
image.png

文档导读
纯净模式常规模式

纯净模式

点击可全屏预览文档内容
文档反馈