• 欢迎访问蜷缩的蜗牛博客 蜷缩的蜗牛
  • 微信搜索: 蜷缩的蜗牛 | 联系站长 kbsonlong@qq.com
  • 如果您觉得本站非常有看点,那么赶紧使用Ctrl+D 收藏吧

ELK logstash 处理mongodb日志(27th)

ELK 蜷缩的蜗牛 8个月前 (01-16) 18次浏览 已收录

上一篇是处理 MySQL 的慢查询日志的,其实,ELK 内容就这么多,很有规律的说,一通百通,通一反万。下面说说对mongodb日志处理。 不同 mongodb 版本的日志格式不同,这个需要看 mongodb 官方对日志格式的定义,在处理前自己去做好这方面的功课。还有就是,要抓取自己感兴趣的内容,这个根据各自的需求来做,没有千篇一律的,全凭各自喜好。

grok 预定义的正则匹配规则可以参考 https://github.com/logstash-plugins/logstash-patterns-core/tree/master/patterns  可以把这些文件全部下载下来放到 patterns 目录下,随时调用。同时,你如果安装了 logstash 会在这个目录下有一系列自带的正则/opt/logstash/vendor/bundle/jruby/1.9/gems/logstash-patterns-core-2.0.2/patterns,不同安装方式可能目录有别。

我这里使用版本信息如下:

  • elasticsearch 2.2.0
  • logstash 2.2.2
  • kibana 4.4.0
  • mongodb 3.2.0
  • filebeat 1.1.1

mongodb 日志格式

详细请参考 https://docs.mongodb.org/manual/reference/log-messages/#log-message-components

从 3.0 版本开始,mongodb 日志内容包含 severity level 和 component。

如:

timestamp

时间戳默认使用 iso8601-local

severity level

Level Description
F Fatal
E Error
W Warning
I Informational, for Verbosity Level of 0
D Debug, for All Verbosity Levels > 0

compoent

Item Description
ACCESS 消息涉及到访问控制相关的,如验证。
COMMAND 消息涉及到数据库命令相关的,如 count。
CONTROL 消息涉及到活动控制相关的,如 initialization。
GEO 消息涉及到空间地理解析相关的,如 verifying the GeoJSON shapes。
INDEX 消息涉及到索引操作相关的,如创建索引。
NETWORK 消息涉及到网络活动相关的,如接收连接。
QUERY 消息涉及到查询相关的,包含查询规划活动状况。
REPL 消息涉及到复制集相关的,如 initial sync and heartbeats。
SHARDING 消息涉及到分片活动相关的,如 the startup of the mongos。
STORAGE 消息涉及到存储活动相关的,如 processes involved in the fsync command。
JOURNAL 消息涉及到具体 journaling 活动相关的。
WRITE 消息涉及到写操作,如 update 命令。
消息不与命名组件相关的。

filebeat 配置

logstash 配置

1. input 配置

参见上一篇。

2. filter 配置

3. output 配置

logstash 标准输出结果

check_mongodb

logstash-mongodb-log

kibana

check_mongodb

logstash-mongodb-log-kibana

本文转载自 ELK logstash 处理 mongodb 日志(27th)


蜷缩的蜗牛 , 版权所有丨如未注明 , 均为原创丨 转载请注明ELK logstash 处理 mongodb 日志(27th)
喜欢 (0)
[]
分享 (0)