博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
filter-mutate过滤插件
阅读量:4310 次
发布时间:2019-06-06

本文共 1593 字,大约阅读时间需要 5 分钟。

之前的nginx日志使用grok匹配,但是后来发现nginx的日志中每个值之间都使用了分隔符"|",这下就可以使用mutate来分隔出每个字段的含义,同时还减少了运算。

描述

mutate过滤器允许您对字段执行常规突变。您可以重命名,删除,替换和修改事件中的字段。

长用配置选项:

  • rename:重命令字段
  • update:更新字段值,如果字段不存在,则不执行操作
  • convert:将字段转换成 其它类型
  • copy:将字段复制到另一字段
  • join:使用分隔符加入数组
  • lowercase:将字符串转换为小写
  • replace:用新值替换字段的值
  • split:使用分隔符将字段拆分为数组。仅适用于字符串字段
  • uppercase:将字符串转换为大写的等效字符串

官方文档:

如下使用了分隔符进行处理,分隔出来的字段的数组下标是从0开始的。

input {  file {    path => "/tmp/nginx.log"    start_position => "beginning"  }}filter {  mutate {    split => ["message", "|"]      add_field => {        "timestamp" => "%{[message][0]}"        "remote_addr" => "%{[message][1]}"        "request_all" => "%{[message][2]}"        "status" => "%{[message][3]}"        "body_bytes_sent" => "%{[message][4]}"        "request_time" => "%{[message][5]}"        "request_body" => "%{[message][6]}"        "http_referer" => "%{[message][7]}"        "http_user_agent" => "%{[message][8]}"        "http_x_forwarded_for" => "%{[message][9]}"        "upstream_addr" => "%{[message][10]}"        "upstream_response_time" => "%{[message][11]}"        "upstream_cache_status" => "%{[message][12]}"        "scheme" => "%{[message][13]}"    }  }  grok {    match => {      "request_all" => "%{WORD:verb} %{URIPATHPARAM:request} HTTP/%{NUMBER:httpversion}"    }    remove_field => [ "request_all" ]    remove_field => [ "message" ]  }    convert => {      "body_bytes_sent" => "integer"      "request_time" => "integer"    }}output {    elasticsearch {      hosts => ["http://192.168.20.6:9200"]      index => "logstash-nginx_local"    }}

转载于:https://www.cnblogs.com/dance-walter/p/10196157.html

你可能感兴趣的文章
期货市场技术分析06_长期图表和商品指数
查看>>
期货市场技术分析07_摆动指数和相反意见理论
查看>>
满屏的指标?删了吧,手把手教你裸 K 交易!
查看>>
不吹不黑 | 聊聊为什么要用99%精度的数据回测
查看>>
高频交易的几种策略
查看>>
量化策略回测TRIXKDJ
查看>>
量化策略回测唐安奇通道
查看>>
CTA策略如何过滤部分震荡行情?
查看>>
量化策略回测DualThrust
查看>>
量化策略回测BoolC
查看>>
量化策略回测DCCV2
查看>>
mongodb查询优化
查看>>
五步git操作搞定Github中fork的项目与原作者同步
查看>>
git 删除远程分支
查看>>
删远端分支报错remote refs do not exist或git: refusing to delete the current branch解决方法
查看>>
python multiprocessing遇到Can’t pickle instancemethod问题
查看>>
APP真机测试及发布
查看>>
通知机制 (Notifications)
查看>>
10 Things You Need To Know About Cocoa Auto Layout
查看>>
一个异步网络请求的坑:关于NSURLConnection和NSRunLoopCommonModes
查看>>