filebeat自定义索引名,filebeat索引模板 |
您所在的位置：网站首页 › filebeat源码修改 › filebeat自定义索引名,filebeat索引模板 |
|
【1】filebeat 默认生成到 es 的索引
如果我们不配置则默认会生成 ，如下类格式的索引，且如果检测到有的话，会默认一直使用这个日期 filebeat-7.14.1-2021.09.24-000001 【2】自定义索引 （2.1）filedsvim filebeat.yml # ============================== Filebeat inputs =============================== filebeat.inputs: - type: log enabled: true paths: - /var/log/*.log fields: source: sys - type: log enabled: true paths: - /data/dba/q1.txt fields: source: q1 - type: log enabled: true paths: - /data/dba/t1.txt fields: source: t1 # ============================== Filebeat modules ============================== filebeat.config.modules: path: ${path.config}/modules.d/*.yml reload.enabled: true setup.template.settings: index.number_of_shards: 1 setup.template.name: "system" setup.template.pattern: "system-*" setup.template.enabled: true setup.template.overwrite: true setup.ilm.enabled: false # =================================== Kibana =================================== setup.kibana: host: "192.168.175.132:5601" # ---------------------------- Elasticsearch Output ---------------------------- output.elasticsearch: hosts: ["192.168.175.132:9200"] index: "system-%{[fields.source]}-*" indices: - index: "system-sys-%{+yyyy.MM.dd}" when.equals: fields: source: "sys" - index: "system-q1-%{+yyyy.MM.dd}" when.equals: fields: source: "q1" - index: "system-t1-%{+yyyy.MM.dd}" when.equals: fields: source: "t1" # ------------------------- Processors ---------------------------------- processors: - add_host_metadata: when.not.contains.tags: forwarded - add_cloud_metadata: ~ - add_docker_metadata: ~ - add_kubernetes_metadata: ~ when.contains: 包含 when.equals: 等于相关模板字段意义： setup.template.name: “nginx” //设置一个新的模板，模板的名称setup.template.pattern: “nginx-*” //模板匹配那些索引，这里表示以nginx开头的所有的索引setup.template.enabled: false //关掉默认的模板配置setup.template.overwrite: true //开启新设置的模板 # ======================= Elasticsearch template setting ======================= setup.template.settings: index.number_of_shards: 1 #index.codec: best_compression #_source.enabled: false # 允许自动生成index模板 setup.template.enabled: true # # 生成index模板时字段配置文件 setup.template.fields: fields.yml # # 如果存在模块则覆盖 setup.template.overwrite: true # # 生成index模板的名称 setup.template.name: "zheng_log" # # 生成index模板匹配的index格式 setup.template.pattern: "zheng-*" setup.ilm.enabled: auto # 这里一定要注意 会在alias后面自动添加-* setup.ilm.rollover_alias: "park-ssm" setup.ilm.pattern: "{now/d}" # # 生成kibana中的index pattern，便于检索日志 #setup.dashboards.index: myfilebeat-7.0.0-* #filebeat默认值为auto，创建的elasticsearch索引生命周期为50GB+30天。如果不改，可以不用设置 setup.ilm.enabled: false生成的索引： （2.2）同理 tags 你也可以加入一些tags： 这里只简单写一个 tags的相关用法方便分组 具体用它来构造不同索引 参考： elk7.7.1【系列四】filebeat多输入，自定义不同输出索引 #=========================== Filebeat inputs ============================= filebeat.inputs: - type: log enabled: true paths: - /root/apache-tomcat-8.5.16/logs/*.txt tags: ["tomcat1"] - type: log enabled: true paths: - /root/apache-tomcat-7.0.92/logs/*.txt # ============== output ========== output.elasticsearch: hosts: ["192.168.81.129:9200"] indices: - index: "tomcat1-%{[agent.version]}-%{+yyyy.MM.dd}" when.contains: tags: "tomcat1" - index: "tomcat2-%{[agent.version]}-%{+yyyy.MM.dd}" when.contains: tags: "tomcat2" when.contains: 包含多个可如下面： 这样可以多个tags，在匹配 when.contains 时，可以用包含其中一个 tag 值即可匹配到 filebeat.inputs: - type: log enabled: true fields: apache: true tags: ["my-service", "hardware", "test"] paths: - /Users/liuxg/data/apache-daily-access.log output.elasticsearch: hosts: ["localhost:9200"]（如果失败）关注点 （1）setup.template 等字样是否顶格 （2）setup.template.enabled: true 一定要为 true 否则可能不生效 （3）setup.ilm.enabled: false 该参数也要有 【3】配置filebeat 引用模板后模板数据使用自定义索引名（mysql为例） （3.1）关键查询区分字段假设我们已经用默认配置，启动，采集了mysql日志数据；查看实际内容 （3.2）在 filebeat.yml中，output 到 es 的配置里 output.elasticsearch: hosts: ["192.168.175.132:9200"] index: "system-%{[fields.source]}-*" indices: - index: "system-sys-%{+yyyy.MM.dd}" when.equals: fields: source: "sys" - index: "system-q1-%{+yyyy.MM.dd}" when.equals: fields: source: "q1" - index: "system-t1-%{+yyyy.MM.dd}" when.equals: fields: source: "t1" - index: "system-mysqlerrorlog-%{+yyyy.MM.dd}" when.equals: fileset.name: "error" - index: "system-mysqlslowlog-%{+yyyy.MM.dd}" when.equals: fileset.name: "slowlog" # 也可以用下面这种方式 # - index: "mysql-error-%{+yyyy.MM.dd}" # when.contains: # fileset.name: "error" # - index: "mysql-slowlog-%{+yyyy.MM.dd}" # when.contains: # fileset.name: "slowlog"
然后启动filebeat， ./filebeat -e run，如下图，没有error 字样就OK了 （3.3）结果核验
成功 【参考文档】 elk7.7.1【系列四】filebeat多输入，自定义不同输出索引 与本文相同的办法：https://blog.csdn.net/junxuezheng/article/details/108351039 【3】中给模板中的数据自动以索引：https://blog.csdn.net/weixin_44953658/article/details/118539743 参考：Filebeat自定义索引 && 多output过滤 官网：https://www.elastic.co/guide/en/beats/winlogbeat/current/elasticsearch-output.html |
今日新闻 |
推荐新闻 |
| CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |