标签：logstash

B站的日志系统

上一篇是处理MySQL的慢查询日志的，其实，ELK内容就这么多，很有规律的说，一通百通，通一反万。下面说说对mongodb日志处理。 不同mongodb版本的日志格式不同，这个需要看mongodb官方对日志格式的定义，在处理前自己去做好这方面的功课。还有就是，要抓取自己感兴趣的内容，这个根据各自的需求来做，没有千篇一律的，全凭各自喜好。

在生产环境下，logstash 经常会遇到处理多种格式的日志，不同的日志格式，解析方法不同。下面来说说logstash处理多行日志的例子，对MySQL慢查询日志进行分析，这个经常遇到过，网络上疑问也很多。MySQL慢查询日志格式如下：

有些日志是分多行输出的，为了能正确的处理这些多行的事件，logstash必须哪些行是单一事件的一部分。多行事件处理是比较复杂的，需依赖正确的事件顺序。最佳方法是尽早的在管道中处理以保证日志有序。这就是本文要说到的logstash管道multiline codec，专门来处理合并多行事件的。

elk logstash配置语法 数据类型logstash支持的数据类型有：

logstash处理事件有三个阶段：input ---> filter ---> output。input产生事件，filter 对事件进行修改，output输出到其它地方。input和output支持解码，可以对进入的或者退出管道的数据进行编码或解码而无需单独经过过滤器处理。

将从logstash1.5版本升级到2.1版本，以及将《ELK部署指南》中使用的logstash-forwarder转移到Filebeat上。升级步骤停止logstash以及发送到logstash的所有管道。更新apt或yum源或者下载新版包。安装新版的logstash。测试logstash配置文件是否正确。启动logstash以及第一步停止的管道。升级logstash和elasticsearch

logstash会给事件添加一些额外的信息，如@timestamp，标注事件发生的时间。host标注事件发生的主机。此外，还可能有下面几个信息：type：标记事件的唯一类型tags：标记事件某方面属性，可以有多个标签。每个事件就是一个ruby对象，可以随意的给事件添加或者删除字段。每个logstash过滤插件，都会有四个方法add_tag，remove_tag，add_field， remove_field，它们在过滤匹配成功时生效。logstash管道必须要有input和output元素，filter元素是可选的。input插件定义数据来源，filter插件用来修改用户指定的数据，output插件定义数据写入何地。

logstash是ELK重要组成部分，日志进一步的处理差不多都需要经过logstash来完成的，除非自己开发beats将数据处理好直接写入到elasticsearch中。

beats是一个代理，将不同类型的数据发送到elasticsearch。beats可以直接将数据发送到elasticsearch，也可以通过logstash将数据发送elasticsearch。beats有三个典型的例子：Filebeat、Topbeat、Packetbeat。Filebeat用来收集日志，Topbeat用来收集系统基础设置数据如cpu、内存、每个进程的统计信息，Packetbeat是一个网络包分析工具，统计收集网络信息。这三个是官方提供的。后续会慢慢介绍这三个beat。ELK的目标是建立一个平台，可以很容易的创建新的beats。为了这个目录，开发了libbeat，该Go库包含了所有beats公共部分来处理任务，如批量插入到elasticsearch，安全的发送事件到logstash，logstash和elasticsearch多节点的负载均衡，异步或同步的发送事件模式。该libbeat平台还提供了检测机制，当下游服务器负载高或者网络拥堵，自动的降低发送速率。