数据接入KES

最近更新时间:2020-05-14 20:17:47

金山云 Elasticsearch 服务提供在用户 VPC 内通过私有网络和外网两种方式访问集群,您可以通过 Elasticsearch REST client 编写代码访问集群并将自己的数据导入到集群中,也可以通过官方提供的组件(如 logstash 和 beats)接入自己的数据。 本文以官方的 logstash 和 beats 为例,介绍数据接入KES 的方式。

准备工作

如果您在VPC内通过私有网络访问集群,需要创建一台和KES集群相同VPC下的云服务器KEC实例。

使用 logstash 接入 KES 集群

1、安装部署 logstash 与 java8。请注意 logstash 版本,建议与 Elasticsearch 版本保持一致。

wget https://artifacts.elastic.co/downloads/logstash/logstash-5.6.16.tar.gz
tar xvf logstash-5.6.16.tar.gz
yum install java-1.8.0-openjdk  java-1.8.0-openjdk-devel -y

2、根据数据源类型自定义配置文件 *.conf

1)File 数据源

input {
    file {
        path => "/var/log/nginx/access.log" # 文件路径
        }
}
filter {
}
output {
  elasticsearch {
    hosts => ["http://IP地址:9200"] # KES集群的内网VPC地址和端口
    index => "nginx_access-%{+YYYY.MM.dd}" # 自定义索引名称,以日期为后缀,每天生成一个索引
 }
}

更多有关 File 数据源的接入,请参见官方文档file input plugin

2)Kafka 数据源

input{
      kafka{
        bootstrap_servers => ["IP地址:6667"] #如果是金山云托管kafka,端口为6667
        client_id => "test"
        group_id => "test"
        auto_offset_reset => "latest" #从最新的偏移量开始消费
        consumer_threads => 5
        decorate_events => true #此属性会将当前 topic、offset、group、partition 等信息也带到 message 中
        topics => ["test1","test2"] #数组类型,可配置多个 topic
        type => "test" #数据源标记字段
      }
}

output {
  elasticsearch {
    hosts => ["http://IP地址:9200"] # KES集群的内网VPC地址和端口
    index => "test_kafka"
 }
}

更多有关 kafka 数据源的接入,请参见官方文档kafka input plugin

使用Beats接入KES集群

Beats 包含多种单一用途的采集器,这些采集器比较轻量,可以部署并运行在服务器中收集日志、监控等数据,相对 logstashBeats 占用系统资源较少。 Beats 包含用于收集文件类型数据的 FileBeat、收集监控指标数据的 MetricBeat、收集网络包数据的 PacketBeat 等,用户也可以基于官方的 libbeat 库根据自己的需求开发自己的 Beat 组件。

KEC中访问KES集群

1、安装部署 filebeat

wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-5.6.16-linux-x86_64.tar.gz
tar xvf filebeat-5.6.16.tar.gz

2、配置 filebeat.yml

// 输入源配置
filebeat.prospectors:
- input_type: log
    paths:
    - /usr/local/services/testlogs/*.log

// 输出到 KES
output.elasticsearch:
  # Array of hosts to connect to.
  hosts: ["IP地址:9200"]

3、执行 filebeat

nohup ./filebeat 2>&1 >/dev/null &

金山云,开启您的云计算之旅

免费注册