Elasticsearch自定义文档得分并排序

标签： Elasticsearch | 发表时间：2020-08-16 19:21 | 作者：
出处：https://jenkinwang.github.io/

大多数情况下，我们需要对查询结果排序，比方说按最新时间降序、按金额降序等。我们只需要对相应的字段 sort 即可。但有时候也会出现一些复杂的情况，比方说有A、B、C、D、E类数据，他想让你给这类数据重新定义优先级，按照B、E、D、A、C的顺序展示，并且每类数据内部按时间降序。然而最近我们也提出了一个类似这样的需求，查阅相关文档后，发现Elasticsearch里的 function_socre函数可以实现这一功能， 遂将此学习内容做一个记录。

先来看看 function_score是什么，它能做什么？根据官网的原话：

The function_score allows you to modify the score of documents that are retrieved by a query.

function_score允许你修改通过查询检索出来的文档的得分。

下面我们通过一些简单的例子来看看 function_score怎么使用。

function_score可以为所有文档生成一个随机分数：

1     
2     
3     
4     
5     
6     
7     
8     
9     
10     
11     
12     
13     
GET us_police_shooting_index/_search     
{     
  "query": {     
    "function_score": {     
      "query": {     
        "match_all": {}     
      },     
      "random_score": {},     
      "boost": 5,     
      "boost_mode": "min"     
    }     
  }     
}

还可以组合不同的过滤条件，设置权重：

1     
2     
3     
4     
5     
6     
7     
8     
9     
10     
11     
12     
13     
14     
15     
16     
17     
18     
19     
20     
21     
22     
23     
24     
25     
26     
27     
28     
29     
30     
31     
32     
GET us_police_shooting_index/_search     
{     
  "query": {     
    "function_score": {     
      "query": {     
        "match_all": {}     
      },     
      "functions": [     
        {     
          "filter": {     
            "match": {     
              "race": "Asian"     
            }     
          },     
          "weight": 8     
        },     
        {     
          "filter": {     
            "match": {     
              "race": "White"     
            }     
          },     
          "weight": 2     
        }     
      ],     
      "max_boost": 20,     
      "score_mode": "max",     
      "boost_mode": "sum",     
      "min_score": 3     
    }     
  }     
}

如果 functions里的 filter未给出，那么将会匹配所有文档，相当于 "match_all":{}。

我们看看 function_score为我们提供了哪些参数：

  • score_mode指定了该如何去合并每个文档生成的评分：
score_mode 定义
multiply 函数结果相乘（默认）
sum 函数结果相加
avg 函数结果的平均值
first 使用首个函数的结果做为最终结果
max 函数结果的最大值
min 函数结果的最小值
  • boost_mode可以用来控制函数与查询评分 _score合并后的结果：
boost_mode 定义
multiply 评分_score与函数值的乘积(默认)
replace 评分_score会被忽略，仅使用函数值
sum 评分_score与函数值之和
avg 评分_score与函数值的平均值
max 评分_score与函数值间的最大值
min 评分_score与函数值间的最小值
  • min_score可以设置为期望分数的阈值，能够排出不符合特定分数阈值的文档。
  • max_boost可以限制函数的最大效果，但是不会对最终的评分 _score产生直接的影响。

function_score还提供几种类型的评分函数：

  • script_score：脚本评分函数允许计算自定义查询的评分，脚本表达式需使用文档中的数值字段。查询的分数将与脚本评分的结果相乘，如果不想使用这种方式，可通过设置 "boost_mode":"replace"来禁止。

    1       
    2       
    3       
    4       
    5       
    6       
    7       
    8       
    9       
    10       
    11       
    12       
    13       
    14       
    15       
    GET /_search       
    {       
      "query": {       
        "function_score": {       
          "query": {       
            "match": { "message": "elasticsearch" }       
          },       
          "script_score": {       
            "script": {       
              "source": "Math.log(2 + doc['likes'].value)"       
            }       
          }       
        }       
      }       
    }       
    1       
    2       
    3       
    4       
    5       
    6       
    7       
    8       
    9       
    10       
    11       
    12       
    13       
    14       
    15       
    16       
    17       
    18       
    19       
    GET /_search       
    {       
      "query": {       
        "function_score": {       
          "query": {       
            "match": { "message": "elasticsearch" }       
          },       
          "script_score": {       
            "script": {       
              "params": {       
                "a": 5,       
                "b": 1.2       
              },       
              "source": "params.a / Math.pow(params.b, doc['likes'].value)"       
            }       
          }       
        }       
      }       
    }

  • weight：权重函数可以将评分与 weight值相乘， weight的值是 float类型。

  • random_score：随机评分函数会产生一个0到1之间的分数，当种子 feed值相同时，生成的随机结果是一致的。

    1       
    2       
    3       
    4       
    5       
    6       
    7       
    8       
    9       
    10       
    11       
    GET /_search       
    {       
      "query": {       
        "function_score": {       
          "random_score": {       
            "seed": 10,       
            "field": "_seq_no"       
          }       
        }       
      }       
    }

  • field_value_factor：通过使用文档中的某个字段来影响评分。如果这个字段有多个值，那么只有第一个值才被用来计算评分。

    1       
    2       
    3       
    4       
    5       
    6       
    7       
    8       
    9       
    10       
    11       
    12       
    13       
    14       
    GET /_search       
    {       
      "query": {       
        "function_score": {       
          "field_value_factor": {       
            "field": "likes",       
            "factor": 1.2,       
            "modifier": "sqrt",       
            "missing": 1       
          }       
        }       
      }       
    }       
    # 上面评分的计算相当于 sqrt(1.2 * doc['likes'].value)
    • filed：文档中提取的字段。
    • factor：字段值乘以的可选因子，默认是 1。
    • modifier： none, log, log1p, log2p, ln, ln1p, ln2p, square, sqrt, reciprocal。默认值是 none.

  • decay_functions：衰减函数的功能与范围查询类似，但它具有更平滑的边缘。衰减函数支持 gauss、 linear、 exp中任意一种函数，并且都能接收以下参数：

    • origin：中心点或字段可能的最佳值，落在原点 origin上的文档评分 _score为满分 1.0。字段必须是数值、日期或地理坐标类型。
    • scale：衰减率，一个文档从原点 origin下落时，评分 _score改变的速度。
    • offset：以原点 origin为中心点，为其设置一个非零的 offset覆盖一个范围，而不只是单个原点。在范围 -offset <= origin <= +offset内的所有评分 _score都是 1.0。
    • decay：从原点 origin衰减到 scale所得的评分 _score，默认是 0.5。
    1       
    2       
    3       
    4       
    5       
    6       
    7       
    8       
    9       
    10       
    11       
    12       
    13       
    14       
    15       
    16       
    17       
    18       
    19       
    20       
    21       
    22       
    23       
    24       
    25       
    26       
    27       
    28       
    29       
    30       
    31       
    GET /_search       
    {       
      "query": {       
        "function_score": {       
          "functions": [       
            {       
              "gauss": {       
                "price": {       
                  "origin": "0",       
                  "scale": "20"       
                }       
              }       
            },       
            {       
              "gauss": {       
                "location": {       
                  "origin": "11, 12",       
                  "scale": "2km"       
                }       
              }       
            }       
          ],       
          "query": {       
            "match": {       
              "properties": "balcony"       
            }       
          },       
          "score_mode": "multiply"       
        }       
      }       
    }

官方文档有这么一张图片说明了三个函数的衰减曲线形状：

以上就是 function_score函数的大部分内容。现在我们来具体实现文章开头提到的一个需求。我准备了一份不同歌手的歌曲发行时间的测试数据，主要字段有歌手名name、歌曲名song、发行时间publishDate。

首先我们先按歌手名降序，发行时间升序，很容易能写出下面的DSL语句：

1     
2     
3     
4     
5     
6     
7     
8     
9     
10     
11     
12     
13     
14     
15     
16     
GET music_index/_search     
{     
  "query": {     
    "match_all": {}     
  },     
  "sort": [     
    {     
      "name.keyword": {     
        "order": "desc"     
      },     
      "publishDate.keyword": {     
        "order": "asc"     
      }     
    }     
  ]     
}

现在我想按许冠杰、邓丽君、陈百强的顺序进行展示，并且各自的歌曲按发行时间升序， function_score就体现出它的作用了：

1     
2     
3     
4     
5     
6     
7     
8     
9     
10     
11     
12     
13     
14     
15     
16     
17     
18     
19     
20     
21     
22     
23     
24     
25     
26     
27     
28     
29     
30     
31     
32     
33     
34     
35     
36     
37     
38     
39     
40     
41     
42     
43     
44     
45     
46     
GET music_index/_search     
{     
  "query": {     
    "function_score": {     
      "query": {     
        "match_all": {}     
      },     
      "functions": [     
        {     
          "filter": {     
            "term": {     
              "name.keyword": "许冠杰"     
            }     
          },     
          "weight": 5     
        },     
        {     
          "filter": {     
            "term": {     
              "name.keyword": "邓丽君"     
            }     
          },     
          "weight": 4     
        },     
        {     
          "filter": {     
            "term": {     
              "name.keyword": "陈百强"     
            }     
          },     
          "weight": 3     
        }     
      ]     
    }     
  },     
  "sort": [     
    {     
      "_score": {     
        "order": "desc"     
      },     
      "publishDate.keyword": {     
        "order": "asc"     
      }     
    }     
  ]     
}

由于查询文档太长，我就不粘贴查询结果了。感兴趣的可以自己动手尝试尝试，如果需要测试数据，公众号回复 0816即可获取相关文件。

相关链接：

https://www.elastic.co/guide/en/elasticsearch/reference/current/query-dsl-function-score-query.html

https://www.elastic.co/guide/cn/elasticsearch/guide/current/function-score-query.html

相关 [elasticsearch 定义 文档] 推荐：

Elasticsearch自定义文档得分并排序

- - JenkinWang's Blog
大多数情况下，我们需要对查询结果排序，比方说按最新时间降序、按金额降序等. 我们只需要对相应的字段 sort 即可. 但有时候也会出现一些复杂的情况，比方说有A、B、C、D、E类数据，他想让你给这类数据重新定义优先级，按照B、E、D、A、C的顺序展示，并且每类数据内部按时间降序. 然而最近我们也提出了一个类似这样的需求，查阅相关文档后，发现Elasticsearch里的 function_socre函数可以实现这一功能， 遂将此学习内容做一个记录.

elasticsearch文档-字段的mapping

- - 开源软件 - ITeye博客
elasticsearch文档-字段的mapping. Mapping是指定义如何将document映射到搜索引擎的过程，比如一个字段是否可以查询以及如何分词等，一个索引可以存储含有不同"mapping types"的documents，ES允许每个mapping type关联多个mapping定义.

elasticsearch 文档 - 轩脉刃

- - 博客园_首页
elasticsearch 文档. 索引中最基本的单元叫做文档 document. "content": "汽车常见故障的解决办法有哪些. } 文档中下划线开头的是es自带的字段. _id 代表文档id，如果插入文档的时候没有设置id的话，那么es会自动生成一个唯一id. _score 这个不是文档自带的，而是进行搜索的时候返回的，代表这个文档和搜索的相关匹配分值.

如何在 Elasticsearch 中查找并移除重复文档 | Elastic Blog

- -
将数据导入 Elasticsearch 的很多系统都将利用. Elasticsearch 为新插入的文档自动生成 ID 值. 但是，如果数据源将同一文档多次意外发送到 Elasticsearch，并且对于 Elasticsearch 插入的每个文档都使用了这种自动生成的. _id值，那么这个文档就会使用不同的.

熬夜爆肝整理的一份elasticsearch中文文档手册

- - SegmentFault 最新的文章
由于本文篇幅较长，想要获取PDF，请关注‘公众号-菜鸟成长学习笔记’回复"es手册"即可领取文件. Elaticsearch，简称为 ES， ES 是一个开源的高扩展的分布式全文搜索引擎，Elasticsearch 是面向文档型数据库，一条数据在这里就是一个文档. ES是一个文档型数据库，在与传统的关系型数据库上，存在着一定的差异.

[译]elasticsearch mapping

- - an74520的专栏
es的mapping设置很关键，mapping设置不到位可能导致索引重建. 请看下面各个类型介绍^_^. 每一个JSON字段可以被映射到一个特定的核心类型. JSON本身已经为我们提供了一些输入,支持 string,  integer/ long,  float/ double,  boolean, and  null..

Elasticsearch as Database - taowen - SegmentFault

- -
【北京上地】滴滴出行基础平台部招聘 Elasticsearch 与 Mysql binlog databus 开发工程师. 内推简历投递给： [email protected]. 推销Elasticsearch. 时间序列数据库的秘密（1）—— 介绍. 时间序列数据库的秘密（2）——索引.

ElasticSearch 2 的节点调优（ElasticSearch性能）

- - 行业应用 - ITeye博客
一个ElasticSearch集群需要多少个节点很难用一种明确的方式回答，但是，我们可以将问题细化成一下几个，以便帮助我们更好的了解，如何去设计ElasticSearch节点的数目：. 打算建立多少索引，支持多少应用. elasticsearch版本: elasticsearch-2.x. 需要回答的问题远不止以上这些，但是第五个问题往往是容易被我们忽视的，因为单个ElasticSearch集群有能力支持多索引，也就能支持多个不同应用的使用.

Elasticsearch：使用 Elasticsearch 进行语义搜索

- - 掘金 后端
在数字时代，搜索引擎在通过浏览互联网上的大量可用信息来检索数据方面发挥着重要作用. 此方法涉及用户在搜索栏中输入特定术语或短语，期望搜索引擎返回与这些确切关键字匹配的结果. 虽然关键字搜索对于简化信息检索非常有价值，但它也有其局限性. 主要缺点之一在于它对词汇匹配的依赖. 关键字搜索将查询中的每个单词视为独立的实体，通常会导致结果可能与用户的意图不完全一致.

elasticsearch的javaAPI之query

- - CSDN博客云计算推荐文章
elasticsearch的javaAPI之query API. the Search API允许执行一个搜索查询,返回一个与查询匹配的结果（hits）. 它可以在跨一个或多个index上执行， 或者一个或多个types. 查询可以使用提供的 query Java API 或filter Java API.