[TOC] # 运行参数  # 配置语法 * 处理输入的input * 处理过滤的filter * 处理输出的output 完整的配置语句  **语法格式** * 区域 * 数据类型(布尔值,字符串,数值,数组,哈希) * 条件判断 * 字段引用 **区域** * logstash中,是用{}来定义区域的 * 区域内,我们可以定义插件 * 一个区域内是定义多个插件 **数据类型**  **条件判断**   **字段引用** logstash还支持变量内插,在字符串里使用字段引用的方法是这样的  # logstash插件 * inputs 就是输入 * codecs就是解码 * filters就是过滤 * outputs输出 插件获取地址 https://github.com/logstash-plugins 在线安装 `./plugin install logstash-input-jdbc` 升级插件 `./plugin update logstash-input-jdbc` 卸载插件 `./plugin uninstall logstash-input-jdbc` 淘宝源地址 https://ruby.taobao.org 替换源: 安装gem包,`yum install -y gem` 然后`gem sources --remove http://ruby.taobao.org/` 最好运行下`gem sources -l` 看下源地址 先切换下源在安装插件 列出插件列表 ~~~ ./plugin list ~~~ # inputs输入配置 * Stdin标准输入 * File文件输入 * TCP/UDP输入 * Rsyslog输入 ## File文件输入  路径要写绝对路径,不要写相对路径 例子,读取elasticsearch.log  可以读取多个日志用`*`做通配符  也可以定义多个file   这个参数是,比如你测试日志,他读到100行,你把日志删了,他不会从头读,加上这个可以从头读取 ## TCP输入  例子  我们来测试下 在bin下写个文件tcp.conf ~~~ input { tcp { port => 9999 mode => "server" ssl_enable=>false } } output { stdout {} } ~~~ 然后我们运行 ~~~ ./logstash -f tcp.conf ~~~ 再开个窗口运行 ~~~ # 后面是个文件 nc 127.0.0.1 9999 < original-ks.cfg ~~~ ## UDP输入  例子  ## syslog输入 rsyslog是一个syslog的多线程加强版 从centos6开始,syslog由rsyslog替代 ~~~ /etc/rsyslog.conf service rsyslog restart ~~~  # codec编码配置 codec:解码编码 json,msgpack,edn... logstash处理流程 ~~~ input-->decode-->filter-->encode-->output ~~~ ## plain编码 plain是一个空的解析器,他可以让用户自己指定格式 例子  把这个写到文件中然后运行 ~~~ ./logstash -f plain.conf ~~~ 然后你输出什么他就显示什么 ## json编码 如果事件格式是json的话,直接 `codec=>json` 例子1: ~~~ input{ stdin{ } } output{ stdout{ codec=>json } } ~~~ 例子2: 如果你的json文件比较长,需要换行那么就用到json_lines的编码方式 ~~~ input{ tcp{ port=>12388 host=>"127.0.0.1" codec=>json_lines{ } } } output{ stdout{} } ~~~ 不用json_line他会有反斜杠转义 ## rubydebug 将采用RubyAwsonePrint库来解析日志 输出格式  例子: ~~~ input{ stdin{ codec=>json } } output{ stdout{ codec=>rubydebug } } ~~~ ## multiline多行事件编码 有时候有的日志会用很多行去展现,这么多行其实都是一个事件 比如java的异常日志  例子 一段日志    # filter过滤配置 * Json filter * Grok filter * KV filter ## Json filter 数据格式是json,那么可以通过它把数据解析成你想要的数据结构 **设置参数**  source就是来源数据,target表示解析目标字段 例子:   如果多了target就会把结果放到target指定的下面 ## Grok filter grok是目前logstash里面最好的一种解析各种非结构化的日志数据的工具 原因是里面有很多定义好的patterns  **设置参数**  例子 日志  -- 配置  -- **patterns_dir** 路径要写绝对路径不能写相对路径  **多匹配规则定义** 如果日志  可以在这个网址上测试`https://grokdebug.herokuapp.com` 可以检验你的pattern写的是不是正确 ## KV filter 解析处理key-value这种键值对数据  例子  # output 如何让数据经过logstash的解析和处理后,把结果输出出来 * 输出到file * 以tcp/udp方式输出 * 输出到elasticsearch ## 输出到file 把解析过滤的结果,输出到file文件里 比如放到一个txt文件里 例子1  还可以定义输出的文件是被压缩的,message指定输出的字段  ## tcp/udp方式输出 tcp  udp  ## 输出到elasticsearch elasticsearch就是数据库 把logstash解析过滤的结果输入到elasticsearch里 方可存储以及检索  这边host一般写主节点,你也可以把集群名字写进去 index是索引名称,type是在input里面定义的,引用这个字段 也可以让logstash的结果输出到redis中