Elasticsearch 5.x 字段折叠的使用实现去重分页 - Elastic 中文社区

标签： | 发表时间：2020-03-31 21:44 | 作者：
出处：https://elasticsearch.cn

 在 Elasticsearch 5.x 有一个字段折叠（Field Collapsing， #22337）的功能非常有意思，在这里分享一下，
 
字段折叠是一个很有历史的需求了，可以看这个 issue，编号 #256，最初是2010年7月提的issue，也是讨论最多的帖子之一（240+评论），熬了6年才支持的特性，你说牛不牛，哈哈。
 
目测该特性将于5.3发布，尝鲜地址： Elasticsearch-5.3.0-SNAPSHOT，文档地址： search-request-collapse。
 
So，什么是字段折叠，可以理解就是按特定字段进行合并去重，比如我们有一个菜谱搜索，我希望按菜谱的“菜系”字段进行折叠，即返回结果每个菜系都返回一个结果，也就是按菜系去重，我搜索关键字“鱼”，要去返回的结果里面各种菜系都有，有湘菜，有粤菜，有中餐，有西餐，别全是湘菜，就是这个意思，通过按特定字段折叠之后，来丰富搜索结果的多样性。
 
说到这里，有人肯定会想到，使用 term agg+ top hits agg 来实现啊，这种组合两种聚和的方式可以实现上面的功能，不过也有一些局限性，比如，不能分页， #4915；结果不够精确（top term+top hits，es 的聚合实现选择了牺牲精度来提高速度）；数据量大的情况下，聚合比较慢，影响搜索体验。
 
而新的的字段折叠的方式是怎么实现的的呢，有这些要点：
  1. 折叠+取 inner_hits 分两阶段执行（组合聚合的方式只有一个阶段），所以 top hits 永远是精确的。
  2. 字段折叠只在 top hits 层执行，不需要每次都在完整的结果集上对为每个折叠主键计算实际的 doc values 值，只对 top hits 这小部分数据操作就可以，和 term agg 相比要节省很多内存。
  3. 因为只在 top hits 上进行折叠，所以相比组合聚合的方式，速度要快很多。
  4. 折叠 top docs 不需要使用全局序列（global ordinals）来转换 string，相比 agg 这也节省了很多内存。
  5. 分页成为可能，和常规搜索一样，具有相同的局限，先获取 from+size 的内容，再合并。
  6. search_after 和 scroll 暂未实现，不过具备可行性。
  7.  折叠只影响搜索结果，不影响聚合，搜索结果的 total 是所有的命中纪录数，去重的结果数未知（无法计算）。

 
下面来看看具体的例子，就知道怎么回事了，使用起来很简单。
  • 先准备索引和数据，这里以菜谱为例，name：菜谱名，type 为菜系，rating 为用户的累积平均评分

      DELETE recipes        
PUT recipes        
POST recipes/type/_mapping        
{        
"properties": {        
"name":{        
"type": "text"        
},        
"rating":{        
"type": "float"        
},"type":{        
"type": "keyword"        
}        
}        
}        
POST recipes/type/        
{        
"name":"清蒸鱼头","rating":1,"type":"湘菜"        
}        
        
POST recipes/type/        
{        
"name":"剁椒鱼头","rating":2,"type":"湘菜"        
}        
        
POST recipes/type/        
{        
"name":"红烧鲫鱼","rating":3,"type":"湘菜"        
}        
        
POST recipes/type/        
{        
"name":"鲫鱼汤（辣）","rating":3,"type":"湘菜"        
}        
        
POST recipes/type/        
{        
"name":"鲫鱼汤（微辣）","rating":4,"type":"湘菜"        
}        
        
POST recipes/type/        
{        
"name":"鲫鱼汤（变态辣）","rating":5,"type":"湘菜"        
}        
        
POST recipes/type/        
{        
"name":"广式鲫鱼汤","rating":5,"type":"粤菜"        
}        
        
POST recipes/type/        
{        
"name":"鱼香肉丝","rating":2,"type":"川菜"        
}        
        
POST recipes/type/        
{        
"name":"奶油鲍鱼汤","rating":2,"type":"西菜"        
} 

  • 现在我们看看普通的查询效果是怎么样的，搜索关键字带“鱼”的菜，返回3条数据

      POST recipes/type/_search        
{        
"query": {"match": {        
"name": "鱼"        
}},"size": 3        
} 
全是湘菜，我的天，最近上火不想吃辣，这个第一页的结果对我来说就是垃圾，如下： 
      {        
  "took": 2,        
  "timed_out": false,        
  "_shards": {        
    "total": 5,        
    "successful": 5,        
    "failed": 0        
  },        
  "hits": {        
    "total": 9,        
    "max_score": 0.26742277,        
    "hits":[        
      {        
        "_index": "recipes",        
        "_type": "type",        
        "_id": "AVoESHYF_OA-dG63Txsd",        
        "_score": 0.26742277,        
        "_source": {        
          "name": "鲫鱼汤（变态辣）",        
          "rating": 5,        
          "type": "湘菜"        
        }        
      },        
      {        
        "_index": "recipes",        
        "_type": "type",        
        "_id": "AVoESHXO_OA-dG63Txsa",        
        "_score": 0.19100356,        
        "_source": {        
          "name": "红烧鲫鱼",        
          "rating": 3,        
          "type": "湘菜"        
        }        
      },        
      {        
        "_index": "recipes",        
        "_type": "type",        
        "_id": "AVoESHWy_OA-dG63TxsZ",        
        "_score": 0.19100356,        
        "_source": {        
          "name": "剁椒鱼头",        
          "rating": 2,        
          "type": "湘菜"        
        }        
      }        
    ]        
  }        
}
我们再看看，这次我想加个评分排序，大家都喜欢的是那些，看看有没有喜欢吃的，执行查询： 
      POST recipes/type/_search        
{        
"query": {"match": {        
"name": "鱼"        
}},"sort":[        
{        
"rating": {        
"order": "desc"        
}        
}        
],"size": 3        
} 
结果稍微好点了，不过3个里面2个是湘菜，还是有点不合适，结果如下： 
      {        
  "took": 1,        
  "timed_out": false,        
  "_shards": {        
    "total": 5,        
    "successful": 5,        
    "failed": 0        
  },        
  "hits": {        
    "total": 9,        
    "max_score": null,        
    "hits":[        
      {        
        "_index": "recipes",        
        "_type": "type",        
        "_id": "AVoESHYF_OA-dG63Txsd",        
        "_score": null,        
        "_source": {        
          "name": "鲫鱼汤（变态辣）",        
          "rating": 5,        
          "type": "湘菜"        
        },        
        "sort":[        
          5        
        ]        
      },        
      {        
        "_index": "recipes",        
        "_type": "type",        
        "_id": "AVoESHYW_OA-dG63Txse",        
        "_score": null,        
        "_source": {        
          "name": "广式鲫鱼汤",        
          "rating": 5,        
          "type": "粤菜"        
        },        
        "sort":[        
          5        
        ]        
      },        
      {        
        "_index": "recipes",        
        "_type": "type",        
        "_id": "AVoESHX7_OA-dG63Txsc",        
        "_score": null,        
        "_source": {        
          "name": "鲫鱼汤（微辣）",        
          "rating": 4,        
          "type": "湘菜"        
        },        
        "sort":[        
          4        
        ]        
      }        
    ]        
  }        
}
现在我知道了，我要看看其他菜系，这家不是还有西餐、广东菜等各种菜系的么，来来，帮我每个菜系来一个菜看看，换 terms agg 先得到唯一的 term 的 bucket，再组合 top_hits agg，返回按评分排序的第一个 top hits，有点复杂，没关系，看下面的查询就知道了： 
      GET recipes/type/_search        
{        
"query": {        
"match": {        
"name": "鱼"        
}        
},        
"sort":[        
{        
"rating": {        
"order": "desc"        
}        
}        
],"aggs": {        
"type": {        
"terms": {        
"field": "type",        
"size": 10        
},"aggs": {        
"rated": {        
"top_hits": {        
"sort":[{        
"rating": {"order": "desc"}        
}],        
"size": 1        
}        
}        
}        
}        
},        
"size": 0,        
"from": 0        
} 
看下面的结果，虽然 json 结构有点复杂，不过总算是我们想要的结果了，湘菜、粤菜、川菜、西菜都出来了，每样一个，不重样： 
      {        
  "took": 4,        
  "timed_out": false,        
  "_shards": {        
    "total": 5,        
    "successful": 5,        
    "failed": 0        
  },        
  "hits": {        
    "total": 9,        
    "max_score": 0,        
    "hits":[]        
  },        
  "aggregations": {        
    "type": {        
      "doc_count_error_upper_bound": 0,        
      "sum_other_doc_count": 0,        
      "buckets":[        
        {        
          "key": "湘菜",        
          "doc_count": 6,        
          "rated": {        
            "hits": {        
              "total": 6,        
              "max_score": null,        
              "hits":[        
                {        
                  "_index": "recipes",        
                  "_type": "type",        
                  "_id": "AVoESHYF_OA-dG63Txsd",        
                  "_score": null,        
                  "_source": {        
                    "name": "鲫鱼汤（变态辣）",        
                    "rating": 5,        
                    "type": "湘菜"        
                  },        
                  "sort":[        
                    5        
                  ]        
                }        
              ]        
            }        
          }        
        },        
        {        
          "key": "川菜",        
          "doc_count": 1,        
          "rated": {        
            "hits": {        
              "total": 1,        
              "max_score": null,        
              "hits":[        
                {        
                  "_index": "recipes",        
                  "_type": "type",        
                  "_id": "AVoESHYr_OA-dG63Txsf",        
                  "_score": null,        
                  "_source": {        
                    "name": "鱼香肉丝",        
                    "rating": 2,        
                    "type": "川菜"        
                  },        
                  "sort":[        
                    2        
                  ]        
                }        
              ]        
            }        
          }        
        },        
        {        
          "key": "粤菜",        
          "doc_count": 1,        
          "rated": {        
            "hits": {        
              "total": 1,        
              "max_score": null,        
              "hits":[        
                {        
                  "_index": "recipes",        
                  "_type": "type",        
                  "_id": "AVoESHYW_OA-dG63Txse",        
                  "_score": null,        
                  "_source": {        
                    "name": "广式鲫鱼汤",        
                    "rating": 5,        
                    "type": "粤菜"        
                  },        
                  "sort":[        
                    5        
                  ]        
                }        
              ]        
            }        
          }        
        },        
        {        
          "key": "西菜",        
          "doc_count": 1,        
          "rated": {        
            "hits": {        
              "total": 1,        
              "max_score": null,        
              "hits":[        
                {        
                  "_index": "recipes",        
                  "_type": "type",        
                  "_id": "AVoESHY3_OA-dG63Txsg",        
                  "_score": null,        
                  "_source": {        
                    "name": "奶油鲍鱼汤",        
                    "rating": 2,        
                    "type": "西菜"        
                  },        
                  "sort":[        
                    2        
                  ]        
                }        
              ]        
            }        
          }        
        }        
      ]        
    }        
  }        
}
上面的实现方法，前面已经说了，可以做，有局限性，那看看新的字段折叠法如何做到呢，查询如下，加一个 collapse 参数，指定对那个字段去重就行了，这里当然对菜系“type”字段进行去重了： 
      GET recipes/type/_search        
{        
"query": {        
"match": {        
"name": "鱼"        
}        
},        
"collapse": {        
"field": "type"        
},        
"size": 3,        
"from": 0        
}
结果很理想嘛，命中结果还是熟悉的那个味道（和查询结果长的一样嘛），如下： 
      {        
"took": 1,        
"timed_out": false,        
"_shards": {        
"total": 5,        
"successful": 5,        
"failed": 0        
},        
"hits": {        
"total": 9,        
"max_score": null,        
"hits":[        
{        
"_index": "recipes",        
"_type": "type",        
"_id": "AVoDNlRJ_OA-dG63TxpW",        
"_score": 0.018980097,        
"_source": {        
"name": "鲫鱼汤（微辣）",        
"rating": 4,        
"type": "湘菜"        
},        
"fields": {        
"type":[        
"湘菜"        
]        
}        
},        
{        
"_index": "recipes",        
"_type": "type",        
"_id": "AVoDNlRk_OA-dG63TxpZ",        
"_score": 0.013813315,        
"_source": {        
"name": "鱼香肉丝",        
"rating": 2,        
"type": "川菜"        
},        
"fields": {        
"type":[        
"川菜"        
]        
}        
},        
{        
"_index": "recipes",        
"_type": "type",        
"_id": "AVoDNlRb_OA-dG63TxpY",        
"_score": 0.0125863515,        
"_source": {        
"name": "广式鲫鱼汤",        
"rating": 5,        
"type": "粤菜"        
},        
"fields": {        
"type":[        
"粤菜"        
]        
}        
}        
]        
}        
}
我再试试翻页，把 from 改一下，现在返回了3条数据，from 改成3，新的查询如下： 
      {        
"took": 1,        
"timed_out": false,        
"_shards": {        
"total": 5,        
"successful": 5,        
"failed": 0        
},        
"hits": {        
"total": 9,        
"max_score": null,        
"hits":[        
{        
"_index": "recipes",        
"_type": "type",        
"_id": "AVoDNlRw_OA-dG63Txpa",        
"_score": 0.012546891,        
"_source": {        
"name": "奶油鲍鱼汤",        
"rating": 2,        
"type": "西菜"        
},        
"fields": {        
"type":[        
"西菜"        
]        
}        
}        
]        
}        
}
上面的结果只有一条了，去重之后本来就只有4条数据，上面的工作正常，每个菜系只有一个菜啊，那我不乐意了，帮我每个菜系里面多返回几条，我好选菜啊，加上参数 inner_hits 来控制返回的条数，这里返回2条，按 rating 也排个序，新的查询构造如下： 
      GET recipes/type/_search        
{        
"query": {        
"match": {        
"name": "鱼"        
}        
},        
"collapse": {        
"field": "type",        
"inner_hits": {        
"name": "top_rated",        
"size": 2,        
"sort":[        
{        
"rating": "desc"        
}        
]        
}        
},        
"sort":[        
{        
"rating": {        
"order": "desc"        
}        
}        
],        
"size": 2,        
"from": 0        
}
查询结果如下，完美： 
      {        
  "took": 1,        
  "timed_out": false,        
  "_shards": {        
    "total": 5,        
    "successful": 5,        
    "failed": 0        
  },        
  "hits": {        
    "total": 9,        
    "max_score": null,        
    "hits":[        
      {        
        "_index": "recipes",        
        "_type": "type",        
        "_id": "AVoESHYF_OA-dG63Txsd",        
        "_score": null,        
        "_source": {        
          "name": "鲫鱼汤（变态辣）",        
          "rating": 5,        
          "type": "湘菜"        
        },        
        "fields": {        
          "type":[        
            "湘菜"        
          ]        
        },        
        "sort":[        
          5        
        ],        
        "inner_hits": {        
          "top_rated": {        
            "hits": {        
              "total": 6,        
              "max_score": null,        
              "hits":[        
                {        
                  "_index": "recipes",        
                  "_type": "type",        
                  "_id": "AVoESHYF_OA-dG63Txsd",        
                  "_score": null,        
                  "_source": {        
                    "name": "鲫鱼汤（变态辣）",        
                    "rating": 5,        
                    "type": "湘菜"        
                  },        
                  "sort":[        
                    5        
                  ]        
                },        
                {        
                  "_index": "recipes",        
                  "_type": "type",        
                  "_id": "AVoESHX7_OA-dG63Txsc",        
                  "_score": null,        
                  "_source": {        
                    "name": "鲫鱼汤（微辣）",        
                    "rating": 4,        
                    "type": "湘菜"        
                  },        
                  "sort":[        
                    4        
                  ]        
                }        
              ]        
            }        
          }        
        }        
      },        
      {        
        "_index": "recipes",        
        "_type": "type",        
        "_id": "AVoESHYW_OA-dG63Txse",        
        "_score": null,        
        "_source": {        
          "name": "广式鲫鱼汤",        
          "rating": 5,        
          "type": "粤菜"        
        },        
        "fields": {        
          "type":[        
            "粤菜"        
          ]        
        },        
        "sort":[        
          5        
        ],        
        "inner_hits": {        
          "top_rated": {        
            "hits": {        
              "total": 1,        
              "max_score": null,        
              "hits":[        
                {        
                  "_index": "recipes",        
                  "_type": "type",        
                  "_id": "AVoESHYW_OA-dG63Txse",        
                  "_score": null,        
                  "_source": {        
                    "name": "广式鲫鱼汤",        
                    "rating": 5,        
                    "type": "粤菜"        
                  },        
                  "sort":[        
                    5        
                  ]        
                }        
              ]        
            }        
          }        
        }        
      }        
    ]        
  }        
}
好了，字段折叠介绍就到这里。

相关 [elasticsearch 分页 elastic] 推荐：

Elasticsearch 5.x 字段折叠的使用实现去重分页 - Elastic 中文社区

- -
 在 Elasticsearch 5.x 有一个字段折叠（Field Collapsing，. #22337）的功能非常有意思，在这里分享一下，. 字段折叠是一个很有历史的需求了，可以看这个 issue，编号. #256，最初是2010年7月提的issue，也是讨论最多的帖子之一（240+评论），熬了6年才支持的特性，你说牛不牛，哈哈.

如何在 Elasticsearch 中查找并移除重复文档 | Elastic Blog

- -
将数据导入 Elasticsearch 的很多系统都将利用. Elasticsearch 为新插入的文档自动生成 ID 值. 但是，如果数据源将同一文档多次意外发送到 Elasticsearch，并且对于 Elasticsearch 插入的每个文档都使用了这种自动生成的. _id值，那么这个文档就会使用不同的.

ES事务日志的持久化变更 | Elasticsearch: 权威指南 | Elastic

- -
translog 也被用来提供实时 CRUD. 当你试着通过ID查询、更新、删除一个文档，它会在尝试从相应的段中检索之前， 首先检查 translog 任何最近的变更. 这意味着它总是能够实时地获取到文档的最新版本. 如果没有用  fsync 把数据从文件系统缓存刷（flush）到硬盘，我们不能保证数据在断电甚至是程序正常退出之后依然存在.

全方位深度解读 Elasticsearch 分页查询

- - IT瘾-dev
1、关于 Elasticsearch 分页查询，这几个问题经常被问到. 问题1：想请问下，一次性获取索引上的某个字段的所有值（100 万左右），除了把 max_result_window 调大 ，还有没有啥方法. 问题2：关于 es 的分页，每次拿 20 条展示在前台，然后点击下一页，在查询后面的20条数据，应该要怎么写.

主流全文索引工具的比较（ Lucene, Sphinx, solr, elastic search)

- - 企业架构 - ITeye博客
前几天的调研（  Rails3下的 full text search (全文本搜索， 全文匹配. ） ）， 我发现了两个不错的候选： . lucene  (solr, elasticsearch 都是基于它） . 把看到的有价值的文章记录在这里： . 回答1.  Result relevance ranking is the default.

Elastic-Job - 分布式定时任务框架

- - 企业架构 - ITeye博客
摘要: Elastic-Job是ddframe中dd-job的作业模块中分离出来的分布式弹性作业框架. 去掉了和dd-job中的监控和ddframe接入规范部分. 该项目基于成熟的开源产品Quartz和Zookeeper及其客户端Curator进行二次开发. ddframe其他模块也有可独立开源的部分，之前当当曾开源过dd-soa的基石模块DubboX.

✨基于Spring-Data-Elasticsearch 优雅的实现 多字段搜索 + 高亮 + 分页 + 数据同步✨

- - 掘金 后端
这是我参与「掘金日新计划 · 10 月更文挑战」的第17天， 点击查看活动详情. 本系列文章基于我的开源微服务项目【校园博客】进行分析和讲解，所有源码均可在GitHub仓库上找到. 系列文章地址请见我的 校园博客专栏. GitHub地址： https://github.com/stick-i/scblogs.

[译]elasticsearch mapping

- - an74520的专栏
es的mapping设置很关键，mapping设置不到位可能导致索引重建. 请看下面各个类型介绍^_^. 每一个JSON字段可以被映射到一个特定的核心类型. JSON本身已经为我们提供了一些输入,支持 string,  integer/ long,  float/ double,  boolean, and  null..

Elasticsearch as Database - taowen - SegmentFault

- -
【北京上地】滴滴出行基础平台部招聘 Elasticsearch 与 Mysql binlog databus 开发工程师. 内推简历投递给： [email protected]. 推销Elasticsearch. 时间序列数据库的秘密（1）—— 介绍. 时间序列数据库的秘密（2）——索引.

ElasticSearch 2 的节点调优（ElasticSearch性能）

- - 行业应用 - ITeye博客
一个ElasticSearch集群需要多少个节点很难用一种明确的方式回答，但是，我们可以将问题细化成一下几个，以便帮助我们更好的了解，如何去设计ElasticSearch节点的数目：. 打算建立多少索引，支持多少应用. elasticsearch版本: elasticsearch-2.x. 需要回答的问题远不止以上这些，但是第五个问题往往是容易被我们忽视的，因为单个ElasticSearch集群有能力支持多索引，也就能支持多个不同应用的使用.