全部文档
当前文档

暂无内容

如果没有找到您期望的内容,请尝试其他搜索词

文档中心

加工函数总览

最近更新时间:2023-05-19 10:41:16

流程控制函数

函数名称 说明
if 对符合条件的日志,进行相应的函数处理,否则不进行任何处理
if_else 基于条件判断,分别进行不同的函数处理
switch 基于多分支条件,分别进行不同的函数处理,如果存在不符合所有条件的数据,将被丢弃
compose 组合操作函数,类似于分支代码块的组合能力,可以组合多个操作函数,并按顺序执行,可以结合分支、输出函数使用

行处理函数

函数名称 说明
drop 丢弃符合条件的日志
keep 保留符合条件的日志
split 基于日志字段的值分裂出多条日志,并且支持通过JMES提取字段后再进行分裂
output 输出日志到指定日志池

字段处理函数

函数名称 说明
v 获取字段值,返回对应字符串
set 添加新字段或为现有字段设置新的字段值
drop_fields 根据字段名进行匹配,丢弃匹配到的字段
keep_fields 根据字段名进行匹配,保留匹配到的字段
pack_fields 根据正则表达式来匹配字段名,并将匹配到的字段打包到新的字段
rename 字段重命名
not_has_field 字段不存在时,返回 True,否则返回 False
has_field 字段存在时,返回 True,否则返回 False

字段值提取函数

函数名称 说明
kv_delimit 基于分隔符提取字段值内容
json 提取 JSON 字符串格式的字段值,(JSON展开、JMES提取或者JMES提取后再展开)
kv 基于两级分割符提取字段值
regex 基于正则表达式提取字段值

值结构化处理函数

函数名称 说明
json_select 通过jmes表达式,提取 JSON 字段值,并返回 jmes 提取结果的 JSON 字符串
xml_to_json 解析 xml 值并转换为 JSON 字符串,输入值必须为 xml 字符串结构,否则会导致转换异常
json_parse 将值解析为json对象

正则表达式函数

函数名称 说明
regex_select 基于正则对数据进行匹配,返回相应的部分匹配结果,可以指定匹配结果的第几个表达式,以及第几个分组(部分匹配+指定捕获组序号),如果最终没有匹配结果,则返回空字符串
regex_match 基于正则对数据进行匹配
regex_split 将一个字符串分割成字符串数组
regex_replace 基于正则匹配并替换(部分匹配)
regex_findall 根据正则表达式获得符合条件的所有值的一个列表

日期时间函数

函数名称 说明
dt_str 将时间类的字段值(特定格式的日期字符串或者时间戳),转换为指定时区、格式的目标日期字符串
dt_to_timestamp 将日期时间对象转换为Unix时间戳
dt_from_timestamp 将Unix时间戳转换为日期时间对象
dt_now 获取当前日期时间

字符串处理函数

函数名称 说明
str_count 在值中指定范围内查找子串,返回子串出现的次数
str_uppercase 将字符串中所有小写字符转换为大写字符
str_lowercase 将字符串中所有大写字符转换为小写字符
str_join 使用拼接字符串,拼接多值
str_replace 替换字符串,返回替换结果字符串
str_format 格式化字符串,返回格式化结果
str_strip 删除字符串中指定的字符
str_lstrip 删除字符串开头的指定字符
str_rstrip 删除字符串结尾的指定字符
str_find 在值中查找子串,并返回子串出现的位置
str_start_with 判断字符串是否以指定字符串开头
str_end_with 判断字符串是否以指定字符串结尾

逻辑表达式

函数名称 说明
op_if 根据条件判断,返回相应的值
op_and 对值进行 and 运算,均为 True 时,返回 True,否则返回 False
op_or 对值进行 or 运算,若存在参数值为 False 则返回 False,否则返回 True
op_not 对值进行 not 运算
op_eq 对值进行比较,相等则返回 True
op_ne 比较两个指定参数的值,不相等时返回true,当两个参数类型不同,返回true
op_ge 对值进行比较,值1大于或等于值2时返回 True
op_gt 对值进行比较,值1大于值2时返回 True
op_le 对值进行比较,值1小于或等于值2时返回 True
op_lt 对值进行比较,值1小于值2时返回 True
op_add 对值进行求和运算
op_sub 对值进行求差运算
op_mul 对值进行乘积运算
op_div 对值进行除法运算
op_sum 对多值累加求和
op_mod 对值进行模计算

类型转换函数

函数名称 说明
ct_int 将字段或表达式的值转换为整数
ct_float 将值转换为浮点型数值
ct_str 将值转换为字符串
ct_bool 将值转换为布尔值

IP解析函数

函数名称 说明
geo_parse 解析出函数的地理位置

编码解码函数

函数名称 说明
url_decoding 对URL类型数据进行URL解码
文档导读
纯净模式常规模式

纯净模式

点击可全屏预览文档内容
文档反馈