Logstash处理json格式日志文件的三种方法_数据库_很多时候,你缺少的不是知识而是热情-CSDN博客

标签: | 发表时间:2020-03-26 17:19 | 作者:
出处:https://blog.csdn.net

假设日志文件中的每一行记录格式为json的,如:

      {"Method":"JSAPI.JSTicket","Message":"JSTicket:kgt8ON7yVITDhtdwci0qeZg4L-Dj1O5WF42Nog47n_0aGF4WPJDIF2UA9MeS8GzLe6MPjyp2WlzvsL0nlvkohw","CreateTime":"2015/10/13 9:39:59","AppGUID":"cb54ba2d-1d38-45f2-9ed1-abff0bf7dd3d","_PartitionKey":"cb54ba2d-1d38-45f2-9ed1-abff0bf7dd3d","_RowKey":"1444700398710_ad4d33ce-a9d9-4d11-932e-e2ccebdb726c","_UnixTS":1444700398710}

默认配置下,logstash处理插入进elasticsearch后,查到的结果是这样的:

      {
    "_index":"logstash-2015.10.16",
    "_type":"voip_feedback",
    "_id":"sheE9eXiQASMDVtRJ0EYcg",
    "_version":1,
    "found":true,
    "_source":{
        "message":"{\"Method\":\"JSAPI.JSTicket\",\"Message\":\"JSTicket:kgt8ON7yVITDhtdwci0qeZg4L-Dj1O5WF42Nog47n_0aGF4WPJDIF2UA9MeS8GzLe6MPjyp2WlzvsL0nlvkohw\",\"CreateTime\":\"2015/10/13 9:39:59\",\"AppGUID\":\"cb54ba2d-1d38-45f2-9ed1-abff0bf7dd3d\",\"_PartitionKey\":\"cb54ba2d-1d38-45f2-9ed1-abff0bf7dd3d\",\"_RowKey\":\"1444700398710_ad4d33ce-a9d9-4d11-932e-e2ccebdb726c\",\"_UnixTS\":1444700398710}",
        "@version":"1",
        "@timestamp":"2015-10-16T00:39:51.252Z",
        "type":"voip_feedback",
        "host":"ipphone",
        "path":"/usr1/data/voip_feedback.txt"}}

即会将json记录做为一个字符串放到”message”下,但是我是想让logstash自动解析json记录,将各字段放入elasticsearch中。有三种配置方式可以实现。

第一种,直接设置format => json

      file {
        type => "voip_feedback"
        path => ["/usr1/data/voip_feedback.txt"]  
        format => json
        sincedb_path => "/home/jfy/soft/logstash-1.4.2/voip_feedback.access"     
    }

这种方式查询出的结果是:

      {
    "_index":"logstash-2015.10.16",
    "_type":"voip_feedback",
    "_id":"NrNX8HrxSzCvLl4ilKeyCQ",
    "_version":1,
    "found":true,
    "_source":{
        "Method":"JSAPI.JSTicket",
        "Message":"JSTicket:kgt8ON7yVITDhtdwci0qeZg4L-Dj1O5WF42Nog47n_0aGF4WPJDIF2UA9MeS8GzLe6MPjyp2WlzvsL0nlvkohw",
        "CreateTime":"2015/10/13 9:39:59",
        "AppGUID":"cb54ba2d-1d38-45f2-9ed1-abff0bf7dd3d",
        "_PartitionKey":"cb54ba2d-1d38-45f2-9ed1-abff0bf7dd3d",
        "_RowKey":"1444700398710_ad4d33ce-a9d9-4d11-932e-e2ccebdb726c",
        "_UnixTS":1444700398710,
        "@version":"1",
        "@timestamp":"2015-10-16T00:16:11.455Z",
        "type":"voip_feedback",
        "host":"ipphone",
        "path":"/usr1/data/voip_feedback.txt"}}

可以看到,json记录已经被直接解析成各字段放入到了_source中,但是原始记录内容没有被保存

第二种,使用codec => json

      file {
        type => "voip_feedback"
        path => ["/usr1/data/voip_feedback.txt"]  
        sincedb_path => "/home/jfy/soft/logstash-1.4.2/voip_feedback.access"
        codec => json {
            charset => "UTF-8"
        }       
    }

这种方式查询出的结果与第一种一样,字段被解析,原始记录内容也没有保存

第三种,使用filter json

      filter {
    if [type] == "voip_feedback" {
        json {
            source => "message"
            #target => "doc"
            #remove_field => ["message"]
        }        
    }
}

这种方式查询出的结果是这样的:

      {
    "_index":"logstash-2015.10.16",
    "_type":"voip_feedback",
    "_id":"CUtesLCETAqhX73NKXZfug",
    "_version":1,
    "found":true,
    "_source":{
        "message":"{\"Method222\":\"JSAPI.JSTicket\",\"Message\":\"JSTicket:kgt8ON7yVITDhtdwci0qeZg4L-Dj1O5WF42Nog47n_0aGF4WPJDIF2UA9MeS8GzLe6MPjyp2WlzvsL0nlvkohw\",\"CreateTime\":\"2015/10/13 9:39:59\",\"AppGUID\":\"cb54ba2d-1d38-45f2-9ed1-abff0bf7dd3d\",\"_PartitionKey\":\"cb54ba2d-1d38-45f2-9ed1-abff0bf7dd3d\",\"_RowKey\":\"1444700398710_ad4d33ce-a9d9-4d11-932e-e2ccebdb726c\",\"_UnixTS\":1444700398710}",
        "@version":"1",
        "@timestamp":"2015-10-16T00:28:20.018Z",
        "type":"voip_feedback",
        "host":"ipphone",
        "path":"/usr1/data/voip_feedback.txt",
        "Method222":"JSAPI.JSTicket",
        "Message":"JSTicket:kgt8ON7yVITDhtdwci0qeZg4L-Dj1O5WF42Nog47n_0aGF4WPJDIF2UA9MeS8GzLe6MPjyp2WlzvsL0nlvkohw",
        "CreateTime":"2015/10/13 9:39:59",
        "AppGUID":"cb54ba2d-1d38-45f2-9ed1-abff0bf7dd3d",
        "_PartitionKey":"cb54ba2d-1d38-45f2-9ed1-abff0bf7dd3d",
        "_RowKey":"1444700398710_ad4d33ce-a9d9-4d11-932e-e2ccebdb726c",
        "_UnixTS":1444700398710,
        "tags":["111","222"]}}

可以看到,原始记录被保存,同时字段也被解析保存。如果确认不需要保存原始记录内容,可以加设置:remove_field => [“message”]

比较以上三种方法,最方便直接的就是在file中设置format => json

另外需要注意的是,logstash会在向es插入数据时默认会在_source下增加type,host,path三个字段,如果json内容中本身也含有type,host,path字段,那么解析后将覆盖掉logstash默认的这三个字段,尤其是type字段,这个同时也是做为index/type用的,覆盖掉后,插入进es中的index/type就是json数据记录中的内容,将不再是logstash config中配置的type值。

这时需要设置filter.json.target,设置该字段后json原始内容将不会放在_source下,而是放到设置的”doc”下:

      {
    "_index":"logstash-2015.10.20",
    "_type":"3alogic_log",
    "_id":"xfj3ngd5S3iH2YABjyU6EA",
    "_version":1,
    "found":true,
    "_source":{
        "@version":"1",
        "@timestamp":"2015-10-20T11:36:24.503Z",
        "type":"3alogic_log",
        "host":"server114",
        "path":"/usr1/app/log/mysql_3alogic_log.log",
        "doc":{
            "id":633796,
            "identity":"13413602120",
            "type":"EAP_TYPE_PEAP",
            "apmac":"88-25-93-4E-1F-96",
            "usermac":"00-65-E0-31-62-5D",
            "time":"20151020-193624",
            "apmaccompany":"TP-LINK TECHNOLOGIES CO.,LTD",
            "usermaccompany":""}}}

这样就不会覆盖掉_source下的type,host,path值
而且在kibana中显示时字段名称为doc.type,doc.id…

相关 [logstash json 格式] 推荐:

Logstash处理json格式日志文件的三种方法_数据库_很多时候,你缺少的不是知识而是热情-CSDN博客

- -
假设日志文件中的每一行记录格式为json的,如:. 默认配置下,logstash处理插入进elasticsearch后,查到的结果是这样的:. 即会将json记录做为一个字符串放到”message”下,但是我是想让logstash自动解析json记录,将各字段放入elasticsearch中. 第一种,直接设置format => json.

数据交换格式protobuf/json/xml/binary/Thrift

- - 互联网旁观者
一条消息数据,用 protobuf序列化后的大小是 json的10分之一, xml格式的20分之一,是 二进制序列化的10分之一,总体看来ProtoBuf的优势还是很明显的. protobuf是google提供的一个开源序列化框架,类似于XML,JSON这样的数据表示语言,详情访问 protobuf的google官方网站.

Spring MVC 学习笔记 json格式的输入和输出

- - Java - 编程语言 - ITeye博客
Spring mvc处理json需要使用jackson的类库,因此为支持json格式的输入输出需要先修改pom.xml增加jackson包的引用. 先修改之前的helloworld.jsp,增加客户端json格式的数据输入. 根据前面的分析,在spring mvc中解析输入为json格式的数据有两种方式 1:使用@RequestBody来设置输入.

Docker安装ELK并实现JSON格式日志分析

- - SegmentFault 最新的文章
ELK是elastic公司提供的一套完整的日志收集以及前端展示的解决方案,是三个产品的首字母缩写,分别是ElasticSearch、Logstash和Kibana. 其中Logstash负责对日志进行处理,如日志的过滤、日志的格式化等;ElasticSearch具有强大的文本搜索能力,因此作为日志的存储容器;而Kibana负责前端的展示.

JAVA序列化与反序列化三种格式存取(默认格式、XML格式、JSON格式)

- - CSDN博客推荐文章
java中的序列化(serialization)机制能够将一个实例对象的状态信息写入到一个字节流中,使其可以通过socket进行传输、或者持久化存储到数据库或文件系统中;然后在需要的时候,可以根据字节流中的信息来重构一个相同的对象. 序列化机制在java中有着广泛的应用,EJB、RMI等技术都是以此为基础的.

json简介

- - ITeye博客
    JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式,易于阅读和编写,同时也易于机器解析和生成. 它基于ECMA262语言规范(1999-12第三版)中JavaScript编程语言的一个子集. JSON采用与编程语言无关的文本格式,但是也使用了类C语言(包括C, C++, C#, Java, JavaScript, Perl, Python等)的习惯,这些特性使JSON成为理想的数据交换格式.

【Json扫盲篇】

- $n0wd0wn - 博客园-首页原创精华区
Json是数据交换的一种格式,与XML类似,但也有不同. 由于Json的轻便性,跨平台性和易于阅读,项目中经常用到. 所以说:Json是一种轻量级的数据交换格式. Json最简单的表现形式就键值对(key/value pairs),比如:. Json数组可以用来表示一个键key对应多个值value的情况,把这个value用{}包起来.

JSON与XML

- - CSDN博客推荐文章
   目前,在web开发领域,主要的数据交换格式有XML和JSON,对于XML相信大家都很熟悉. XML不仅能处理数字和文字等经典的数据,还可以管理文件,格式化,图像,音频,视频,以及更多.  JSON是一种轻量级的数据交换格式,易于人阅读和编写,同时也易于机器解析和生成. 如今,我们经常会面临创建数据文件时,JSON和XML之间的选择.

Android——JSON使用

- - CSDN博客推荐文章
        JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式.  Name:Value  格式:. 一个object可以由一个或多个无序的这种组合 组成:. 2.有序的(array):. array 是 值(value) 的有序集合,格式:. array的值(alue) 可以是是双引号括起来的字符串(string)、数值(number)、 true、 false、  null、 对象(object)或者 数组(array).

XML和JSON

- - 四火的唠叨
不久前看到一个讨论帖,说的是XML和JSON的比较,说着说着后来就变成了JSON到底比XML牛逼在哪里. 不吹不黑,客观地来比较一下二者的异同. 有的情况下是的,但也不一定,比较这样的片段:. 二者信息量几乎均等,XML看起来并不显得多么冗余. 有恰当的编辑器,二者都可以有比较美观的缩进表达. 当然,也有很多情况我们可以看到XML要比JSON啰嗦(有人说JSON是fat-free alternative to XML),比如XML写这样的东西:.