es的mapping设置 - 一只自由自在的鱼 - 博客园

标签： | 发表时间：2020-04-02 23:07 | 作者：
出处：https://www.cnblogs.com

 自定义mapping的api

PUT test_index
{
  "mappings": {           #mappings关键字
    "doc": {               #type
      "properties": {           #字段名称和类型的定义
        "name":{                 #字段名
          "type": "keyword"        #字段类型
        },
        "message":{
          "type": "text"
        },
        "age":{
          "type": "integer"
        }
      }}}}
  • mapping中字段类型一旦设定后 禁止直接修改。因为lucene实现的倒排索引生成后不允许修改
  • 除非重建索引映射，然后做reindex操作。 
    1，POST _reindex
{
  "source": {"index":"旧索引"},
  "dest": {"index":"备份索引"}
}
2，删除旧索引
3，新索引建立mapping
4，POST _reindex
{
  "source": {"index":"备份索引"},
  "dest": {"index":"新索引"}
}

 

Field datatypes  字段的数据类型

  • 核心数据类型
    • 字符串类型： text（分词），keyword（不分词）一个用于全文检索，一个用于聚合和排序。
    • 数值型： long，integer，short，byte，double，float，half_float，scaled_float
    • 日期：date
    • 布尔：boolean
    • 二进制：binary
    • 范围类型：integer_range,float_range,long_range,double_range,date_range
  • 复杂数据类型
    • 数组  array
    • 对象  object 
      PUT test_index
{
  "mappings": {
    "doc": {
      "properties": {
        "obj":{              #obect类型字段
          "properties": {
            "age":{
              "type":"integer"
             },
            "name":{
              "type":"text"
            }
          }
        }
      }
    }
  }
}
PUT test_index/doc/1
{
  "obj":[
    {
      "name":"alice white",
      "age":34
    },
    {
      "name":"peter brown",
      "age":26
    }
    ]
}
GET test_index/_search
{
  "query": {
    "match": {
      "obj.name": "peter"
      }
  }
}
    • 嵌套类型  nested object 
      PUT test_index
{
  "mappings": {
    "doc": {
      "properties": {
        "man":{            #设置man字段为nested类型
          "type": "nested",  
          "properties": {
            "age":{
              "type":"integer"
             },
            "name":{
              "type":"text"
            }
          }}}}}}}
PUT test_index/doc/1
{
  "man":[
    {
      "name":"alice white",
      "age":34
    },
    {
      "name":"peter brown",
      "age":26
    }
    ]
}
# 嵌套类型的字段的查询和聚合：
GET test_index/_search
{
  "query": {       #查询
    "nested": {         #关键字
      "path": "man", 
      "query": {
        "match": {
          "man.name": "peter"  
        }
      }
    }
  },
  "size": 0, 
  "aggs": {
    "man": {   
      "nested": {    #聚合关键字
        "path": "man"
      },
      "aggs": {
        "avg_age": {
          "avg": {
            "field": "man.age"
          }
        }
      }}}}
  • 地理类型
    • geo_point
    • geo_shape
  • 专用类型
    • 记录ip地址 ip
    • 实现自动补全 completion
    • 记录分词数 token_count
    • 记录字符串hash值 murmur3
    • percolator
    • join

mapping参数：

  • dynamic 参数动态添加新字段
    • -true  允许自动将检测到的新字段加到映射中（默认的）
    • -false 不允许自动新增字段，文档可以写入，但无法对字段进行搜索等操作。不会添加在映射中。且在kibana上面看到的新字段上会显示一个黄色感叹号，刷新index pattern也无效。
    • -strict 文档不能写入，写入会报错
  • analyzer   指定分词器
  • ignore_above  超过ignore_above的字符串将不会被索引或存储 
    PUT test_index
{
  "mappings": {
    "doc":{
      "properties": {
        "message":{
          "type": "keyword",
          "ignore_above": 20  #字段值超过20个字符的字符串不会被索引或者存储
        }
      }
    }
  }
}
POST test_index/doc/_bulk
{"index":{"_id":1}}
{"message":"test message"}
{"index":{"_id":2}}
{"message":"test message  with some long stacktrace messages test test"}

GET test_index/_search
{
  "size": 0, 
  "aggs": {
    "message": {
      "terms": {
        "field": "message",
        "size": 10
      }
    }
  }
}----------------------->只能得到第一个桶
      "buckets": [
        {
          "key": "test message",
          "doc_count": 1
        }
      ]

GET test_index/_search    
{
  "query": {
    "query_string": {
      "default_field": "message",
      "query": "*message*"
    }
  }
}
------------->只能搜索到id为1的文档
  "hits": {
    "total": 1,
    "max_score": 1,
    "hits": [
      {
        "_index": "test_index",
        "_type": "doc",
        "_id": "1",
        "_score": 1,
        "_source": {
          "message": "test message"
        }
      }
    ]
  • index    true | false  控制字段是否被索引，默认为true。
  • doc_values   本质是一个序列化的列式存储 。列式存储适用于聚合，排序，脚本操作。
    • true   默认对除了analyzed strings以外的所有字段开启。
    • false  不能用于聚合、排序和脚本操作
  • fields  对同一字段采用不同类型配置。比如string字段映射为text做全文搜索，映射为keyword做聚合和排序 
    PUT test_index
{
  "mappings": {
    "doc":{
      "properties": {
        "name":{
          "type": "text",     #text类型，用于全文检索
          "fields": {
            "keyword":{    #name.keyword
              "type": "keyword"   #keyword类型，用于排序和聚合
            }
          }
        }
      }
    }
  }
}
PUT test_index/doc/1
{
  "name":"Jack smis"
}
PUT test_index/doc/2
{
  "name":"Jack"
}
GET test_index/_search
{
  "query": {
    "match": {
      "name": "jack"      #text类型字段
    }
  },
  "sort": [
    {
      "name.keyword": {    #keyword类型字段
        "order": "desc"
      }
    }
  ],
  "aggs": {
    "name_count": {
      "value_count": {
        "field": "name.keyword"   #keyword类型字段
      }
    }
  }
}
  • properties  object字段或nested字段包含子字段，称为properties。properties可以是任何数据类型 
    PUT test_index
{
  "mappings": {
    "doc": {
      "properties": {
        "dev":{                #object类型字段
          "properties": {
            "name":{
              "type":"text"
            },
            "age":{
              "type":"integer"
            }
          }
        },
        "rel":{
          "type": "nested",    #nested类型字段
          "properties": {
            "age":{
              "type":"integer"
            },
            "name":{
              "type":"text"
            }
          }
        }
      }
    }
  }
}
PUT test_index/doc/1
{
  "dev":{
    "name":"john smith",
    "age":23
  },
  "rel":[
    {
      "name":"alice white",
      "age":34
    },
    {
      "name":"peter brown",
      "age":26
    }
    ]
}
  •   norms   时间评分因子，如果不关心评分可以禁用

Dynamic mapping

es可以自动识别字段类型，依靠json文档的字段类型来实现自动识别。支持的类型如下：

json      es

null： 忽略

boolean： boolean

浮点数： float

整数： long

object： object

string：日期设为 date类型(默认开启)。

            数字设为 float或者 long类型(默认关闭)。

            设为 text类型，并附带 keyword的子字段。

 

dynamic field mapping 动态字段映射

  •  date detection   日期检测   默认开启 
    #当创建一个日期格式的文档时dynamic_date_formats为
# ["strict_date_optional_time","yyyy/MM/dd HH:mm:ss Z||yyyy/MM/dd Z"]
PUT t-index/doc/1
{
  "create_date":"2018/07/03"
}
--------------》
{
  "t-index": {
    "mappings": {
      "doc": {
        "properties": {
          "create_date": {
            "type": "date",   #自动识别日期为date类型
            "format": "yyyy/MM/dd HH:mm:ss||yyyy/MM/dd||epoch_millis"
          }}}}}}

#禁用日期检测 设置date_detection为false的情况
PUT t-index
{
  "mappings": {
    "doc":{
      "date_detection": false
    }
  }
}
PUT t-index/doc/2
{
  "new_date":"2018/05/20"
}
GET t-index/_mapping
--------------------------》
{
  "t-index": {
    "mappings": {
      "doc": {
        "date_detection": false,
        "properties": {
          "new_date": {
            "type": "text",  #日期为text类型
            "fields": {
              "keyword": {
                "type": "keyword",
                "ignore_above": 256
              }}}}}}}}}
     
  •  dynamic_date_formats  自定义日期格式 
    PUT t2-index
{
  "mappings": {
    "doc": {
      "dynamic_date_formats": ["yyyy-MM-dd"]
    }
  }
}
PUT t2-index/doc/1
{
  "create_time":"2018-07-03"
}
GET t2-index/_mapping
--------------------》
{
  "t2-index": {
    "mappings": {
      "doc": {
        "dynamic_date_formats": [
          "yyyy-MM-dd"
        ],
        "properties": {
          "create_time": {
            "type": "text",
            "fields": {
              "keyword": {
                "type": "keyword",
                "ignore_above": 256
              }}}}}}}}
     
  • numeric_detection  默认不会自动识别字符串里面的数字。可以开启 
    PUT t-index
{
  "mappings": {
    "doc": {
      "numeric_detection": true   #打开数字检测
    }
  }
}
PUT t-index/doc/1
{
  "my_float":"1.2",
  "my_integer":"1"
}
GET t-index/_mapping 

--------------------》
{
  "t-index": {
    "mappings": {
      "doc": {
        "numeric_detection": true,
        "properties": {
          "my_float": {
            "type": "float"  #自动检测1.2为float
          },
          "my_integer": {
            "type": "long"  #自动检测1为long
          }}}}}}
     

dyamic-templates  动态模板

 格式为：

"dynamic_templates": [  #数组，可以指定多个匹配规则
    {
      "my_template_name": {     #template名称
        "match_mapping_type":"string",   #匹配规则 
        "mapping":{    
          ...     #设置mapping信息
        }   
      }
    },
    ...
  ]
#举个栗子 以message开头的字段设为text类型，其他string设置成keyword
PUT test_index
{
  "mappings": {  
    "doc": {     # type
      "dynamic_templates":[  # 关键字
      {
        "message_as_text":{   #模板名称
          "match_mapping_type":"string",  #匹配条件
          "match":"message*",    #匹配message开头的字段
          "mapping":{      #设置mapping
            "type":"text" 
          }
        }
      },
      {
        "string_as_keyword":{      # 模板名称
          "match_mapping_type":"string",  #匹配条件
          "mapping":{          #设置mapping
            "type":"keyword"，   
　　　　　　　"ignore_above":256
          }
        }
      }]}}}

 

匹配条件有：match_mapping_type, match, match_pattern, unmatch, path_match, path_unmatch.

  • match_mapping_type

            自动检测类型有 ：boolean, date, double, long, object, string

  • PUT my_index
{
  "mappings": {
    "doc":{
      "dynamic_templates":[
        {
          "my_string":{
            "match_mapping_type":"string",
            "mapping":{
              "type":"text",
              "fields":{
                "keyword":{
                  "type":"keyword",
                  "ignore_above":265
                }
              }
            }
          }
        }
      ]
    }
  }
}

PUT my_index/doc/1
{
  "name":"Jahn smis"
}
GET my_index/_mapping

------------------->

{
  "my_index": {
    "mappings": {
      "doc": {
        "dynamic_templates": [
          {
            "my_string": {
              "match_mapping_type": "string",
              "mapping": {
                "fields": {
                  "keyword": {
                    "ignore_above": 265,
                    "type": "keyword"
                  }
                },
                "type": "text"
              }
            }
          }
        ],
        "properties": {
          "name": {
            "type": "text",
            "fields": {
              "keyword": {
                "type": "keyword",
                "ignore_above": 265
              }
            }
          }
        }
      }
    }
  }
}
  • match，unmatch 匹配字段名称   
    PUT my_index
{
  "mappings": {
    "_doc": {
      "dynamic_templates": [
        {
          "longs_as_strings": {
            "match_mapping_type": "string",
            "match":   "long_*",
            "unmatch": "*_text",
            "mapping": {
              "type": "long"
            }
          }
        }
      ]
    }
  }
}
  • path_match ，path_umatch 
    PUT my_index
{
  "mappings": {
    "_doc": {
      "dynamic_templates": [
        {
          "full_name": {
            "path_match":   "name.*",
            "path_unmatch": "*.middle",
            "mapping": {
              "type":       "text",
              "copy_to":    "full_name"
            }
          }
        }
      ]
    }
  }
}

 

Index Templates 索引模板

定义在创建新索引时自动应用的模板。模板包括setting和mapping和index_patterns

api:    

　GET _cat/templates
　PUT|GET|DELETE  _template/test_template

PUT _template/nginx-access
{
    "order": 0,   # order 设置优先级
    "index_patterns": [  # 匹配索引名称 
      "nginx-access*"   #以nginx-access开头的索引会应用该模板
    ], 
    "settings": {      # 索引setting配置
      "index": {
        "number_of_shards": "6",
        "refresh_interval": "5s"
      }
    },
    "mappings": {     #mapping配置 
      "doc": {
        "date_detection": false,
        "dynamic_templates": [
          {
            "string_fields": {
              "match": "*",
              "match_mapping_type": "string",
              "mapping": {
                "type": "keyword",
                "norms": false,
                "ignore_above": 256
              }
            }
          }
        ],
        "properties": {
          "@timestamp": {
            "type": "date"
          },
          "@version": {
            "type": "keyword"
          },
          "url_args": {
            "type": "nested",
            "properties": {
              "key": {
                "type": "keyword"
              },
              "value": {
                "type": "keyword"
              }
            }
          }
      }
    }
  }
}

 

相关 [es mapping 自由] 推荐：

es的mapping设置 - 一只自由自在的鱼 - 博客园

- -
 自定义mapping的api. #mappings关键字. mapping中字段类型一旦设定后 禁止直接修改. 因为lucene实现的倒排索引生成后不允许修改. 除非重建索引映射，然后做reindex操作. 1，POST _reindex { "source": {"index":"旧索引"}, "dest": {"index":"备份索引"} } 2，删除旧索引 3，新索引建立mapping 4，POST _reindex { "source": {"index":"备份索引"}, "dest": {"index":"新索引"} }.

[译]elasticsearch mapping

- - an74520的专栏
es的mapping设置很关键，mapping设置不到位可能导致索引重建. 请看下面各个类型介绍^_^. 每一个JSON字段可以被映射到一个特定的核心类型. JSON本身已经为我们提供了一些输入,支持 string,  integer/ long,  float/ double,  boolean, and  null..

elasticsearch文档-字段的mapping

- - 开源软件 - ITeye博客
elasticsearch文档-字段的mapping. Mapping是指定义如何将document映射到搜索引擎的过程，比如一个字段是否可以查询以及如何分词等，一个索引可以存储含有不同"mapping types"的documents，ES允许每个mapping type关联多个mapping定义.

ES优化总结

- - 非技术 - ITeye博客
最近一直在研究ＥＳ集群，也看了很多篇前辈们总结的博客，同事借鉴了官方给出的一些建议，做了一下几点总结，希望对后来者有用：. 为了防止ES进程的内存被置换到磁盘上（会导致在检索的时候发生内存交换导致检索速度迟缓）引起性能急速下降. 候可以把config/elasticsearch.yml中的bootstrap.mlockall设置为true就可以了.

用户体系搭建之ID-Mapping

- - 标点符
在推进用户画像和风险控制时，遇到的最大的问题是用户身份信息的混乱：. 相同用户，不同渠道下账号不相同，如微信小程序和APP. 同个用户，在不同的设备商登录. ID-Mapping是大数据分析中非常基本但又关键的环节，ID-Mapping通俗的说就是把几份不同来源的数据，通过各种技术手段识别为同一个对象或主题，例如同一台设备（直接），同一个用户（间接），同一家企业（间接）等等，可以形象地理解为用户画像的“拼图”过程.

es的连接查询

- - 行业应用 - ITeye博客
在一般的关系型数据库中，都支持连接操作. 在ES这种分布式方案中进行连接操作，代价是十分昂贵的. 不过ES也提供了相类似的操作，支持水平任意扩展，实现连接的效果. 其他内容， 参考Elasticsearch官方指南整理. 在ES中支持两种连接方式：嵌套查询 和 has_child、has_parent父子查询.

ES性能优化总结

- - 互联网 - ITeye博客
    Elasticsearch是目前大数据领域最热门的技术栈之一，经过近8年的发展，已从0.0.X版升级至6.X版本，虽然增加了很多的特性和功能，但是在主体架构上，还是没有太多的变化. 下面就把我对于ES使用实践的一些经验总结一下，供大家参考；也请大家拍砖. 如果有条件，尽可能使用SSD硬盘， 不错的CPU.

ElasticSearch —修改ES数据

- -
ElasticSearch能够以接近实时的速度提供数据操作和搜索功能. 在默认情况下，从索引/更新/删除数据到出现在搜索结果之间，你可能会感受到有1秒的延迟时间（刷新间隔）. 这是与SQL等其他平台的一个重要区别，这些平台在完成事务之后，它们的数据立即可用. 先前，我们已经知道如何索引一个单个的文档.

elasticsearch更改mapping(不停服务重建索引)

- - zzm
Elasticsearch的mapping一旦创建，只能增加字段，而不能修改已经mapping的字段. 但现实往往并非如此啊，有时增加一个字段，就好像打了一个补丁，一个可以，但是越补越多，最后自己都觉得惨不忍睹了. 这里有一个方法修改mapping，那就是重新建立一个index，然后创建一个新的mapping.

数仓建模—ID Mapping - 大数据技术派 - 博客园

- -
早晨起床的时候，发现自己尿分叉，我没有多想，简单洗洗就匆忙出门. 路过早餐店，我看到师傅熟练的拉扯一小块面团，拉至细长条，然后放入油锅中，不一会功夫，一根屎黄色的油条便出锅了，卖相不错. 我在想，小到炸屎黄色的油条，大到学习，其实都是一个熟能生巧的过程. 数据仓库系列文章(持续更新). 数仓—ID Mapping.