BAT 等一线大厂 Elasticsearch 面试题解读

标签: dev | 发表时间:2019-01-21 00:00 | 作者:
出处:http://itindex.net/relian

题记

git上发现了网友总结的Elasticsearch BAT大厂面试题。只有题目,部分有答案,但不全。 正好抽出一些时间一起梳理一下。

既然是面试题,每个人都会有自己的结合业务场景的答案,没有非常标准的答案。
欢迎大家留言拍砖指正。

1、elasticsearch了解多少,说说你们公司es的集群架构,索引数据大小,分片有多少,以及一些调优手段 。

面试官:想了解应聘者之前公司接触的ES使用场景、规模,有没有做过比较大规模的索引设计、规划、调优。
解答
如实结合自己的实践场景回答即可。
比如:ES集群架构13个节点,索引根据通道不同共20+索引,根据日期,每日递增20+,索引:10分片,每日递增1亿+数据,
每个通道每天索引大小控制:150GB之内。

仅索引层面调优手段:

1.1、设计阶段调优

  • 1)根据业务增量需求,采取基于日期模板创建索引,通过roll over API滚动索引;

  • 2)使用别名进行索引管理;

  • 3)每天凌晨定时对索引做force_merge操作,以释放空间;

  • 4)采取冷热分离机制,热数据存储到SSD,提高检索效率;冷数据定期进行shrink操作,以缩减存储;

  • 5)采取curator进行索引的生命周期管理;

  • 6)仅针对需要分词的字段,合理的设置分词器;

  • 7)Mapping阶段充分结合各个字段的属性,是否需要检索、是否需要存储等。 ……..

1.2、写入调优

  • 1)写入前副本数设置为0;

  • 2)写入前关闭refresh_interval设置为-1,禁用刷新机制;

  • 3)写入过程中:采取bulk批量写入;

  • 4)写入后恢复副本数和刷新间隔;

  • 5)尽量使用自动生成的id。

1.3、查询调优

  • 1)禁用wildcard;

  • 2)禁用批量terms(成百上千的场景);

  • 3)充分利用倒排索引机制,能keyword类型尽量keyword;

  • 4)数据量大时候,可以先基于时间敲定索引再检索;

  • 5)设置合理的路由机制。

1.4、其他调优

部署调优,业务调优等。

上面的提及一部分,面试者就基本对你之前的实践或者运维经验有所评估了。

2、elasticsearch的倒排索引是什么

面试官:想了解你对基础概念的认知。
解答:通俗解释一下就可以。

传统的我们的检索是通过文章,逐个遍历找到对应关键词的位置。
而倒排索引,是通过分词策略,形成了词和文章的映射关系表,这种词典+映射表即为倒排索引。
有了倒排索引,就能实现 o(1)时间复杂度的效率检索文章了,极大的提高了检索效率。


学术的解答方式:

倒排索引,相反于一篇文章包含了哪些词,它从词出发,记载了这个词在哪些文档中出现过,由两部分组成——词典和倒排表。

加分项:倒排索引的底层实现是基于:FST(Finite State Transducer)数据结构。
lucene从4+版本后开始大量使用的数据结构是FST。FST有两个优点:

  • 1)空间占用小。通过对词典中单词前缀和后缀的重复利用,压缩了存储空间;

  • 2)查询速度快。O(len(str))的查询时间复杂度。

3、elasticsearch 索引数据多了怎么办,如何调优,部署

面试官:想了解大数据量的运维能力。
解答:索引数据的规划,应在前期做好规划,正所谓“设计先行,编码在后”,这样才能有效的避免突如其来的数据激增导致集群处理能力不足引发的线上客户检索或者其他业务受到影响。
如何调优,正如问题1所说,这里细化一下:

3.1 动态索引层面

基于 模板+时间+rollover api滚动创建索引,举例:设计阶段定义:blog索引的模板格式为:blog_index_时间戳的形式,每天递增数据。

这样做的好处:不至于数据量激增导致单个索引数据量非常大,接近于上线2的32次幂-1,索引存储达到了TB+甚至更大。

一旦单个索引很大,存储等各种风险也随之而来,所以要提前考虑+及早避免。

3.2 存储层面

冷热数据分离存储,热数据(比如最近3天或者一周的数据),其余为冷数据。
对于冷数据不会再写入新数据,可以考虑定期force_merge加shrink压缩操作,节省存储空间和检索效率。

3.3 部署层面

一旦之前没有规划,这里就属于应急策略。
结合ES自身的支持动态扩展的特点,动态新增机器的方式可以缓解集群压力,注意:如果之前主节点等 规划合理,不需要重启集群也能完成动态新增的。

4、elasticsearch是如何实现master选举的

面试官:想了解ES集群的底层原理,不再只关注业务层面了。
解答
前置前提:

  • 1)只有候选主节点(master:true)的节点才能成为主节点。

  • 2)最小主节点数(min_master_nodes)的目的是防止脑裂。

这个我看了各种网上分析的版本和源码分析的书籍,云里雾里。
核对了一下代码,核心入口为findMaster,选择主节点成功返回对应Master,否则返回null。选举流程大致描述如下:

  • 第一步:确认候选主节点数达标,elasticsearch.yml设置的值discovery.zen.minimum_master_nodes;

  • 第二步:比较:先判定是否具备master资格,具备候选主节点资格的优先返回;若两节点都为候选主节点,则id小的值会主节点。注意这里的id为string类型。

题外话:获取节点id的方法。

   

1GET /_cat/nodes?v&h=ip,port,heapPercent,heapMax,id,name
2ip        port heapPercent heapMax id   name
3127.0.0.1 9300          39   1.9gb Hk9w Hk9wFwU

5、详细描述一下Elasticsearch索引文档的过程

面试官:想了解ES的底层原理,不再只关注业务层面了。
解答
这里的索引文档应该理解为文档写入ES,创建索引的过程。
文档写入包含:单文档写入和批量bulk写入,这里只解释一下:单文档写入流程。

记住官方文档中的这个图。


第一步:客户写集群某节点写入数据,发送请求。(如果没有指定路由/协调节点,请求的节点扮演 路由节点的角色。)

第二步:节点1接受到请求后,使用文档_id来确定文档属于分片0。请求会被转到另外的节点,假定节点3。因此分片0的主分片分配到节点3上。

第三步:节点3在主分片上执行写操作,如果成功,则将请求并行转发到节点1和节点2的副本分片上,等待结果返回。所有的副本分片都报告成功,节点3将向协调节点(节点1)报告成功,节点1向请求客户端报告写入成功。

如果面试官再问:第二步中的文档获取分片的过程?
回答:借助路由算法获取,路由算法就是根据路由和文档id计算目标的分片id的过程。

   

1shard = hash(_routing) % (num_of_primary_shards)

6、详细描述一下Elasticsearch搜索的过程?

面试官:想了解ES搜索的底层原理,不再只关注业务层面了。
解答
搜索拆解为“query then fetch” 两个阶段。
query阶段的目的:定位到位置,但不取。
步骤拆解如下:

  • 1)假设一个索引数据有5主+1副本 共10分片,一次请求会命中(主或者副本分片中)的一个。

  • 2)每个分片在本地进行查询,结果返回到本地有序的优先队列中。

  • 3)第2)步骤的结果发送到协调节点,协调节点产生一个全局的排序列表。

fetch阶段的目的:取数据。
路由节点获取所有文档,返回给客户端。

7、Elasticsearch在部署时,对Linux的设置有哪些优化方法

面试官:想了解对ES集群的运维能力。
解答

  • 1)关闭缓存swap;

  • 2)堆内存设置为:Min(节点内存/2, 32GB);

  • 3)设置最大文件句柄数;

  • 4)线程池+队列大小根据业务需要做调整;

  • 5)磁盘存储raid方式——存储有条件使用RAID10,增加单节点性能以及避免单节点存储故障。

8、lucence内部结构是什么?

面试官:想了解你的知识面的广度和深度。
解答

Lucene是有索引和搜索的两个过程,包含索引创建,索引,搜索三个要点。可以基于这个脉络展开一些。

小结

看到题目后,感觉熟悉又陌生。真正要在面试的时候讲出来,需要 下一番功夫深入理解。
为了 求证回答的相对准确性,我翻看了源码、官方文档和部分有深度的博文。
Elasticsearch路还很长,别无他法,唯有死磕!

参考:请阅读原文查看。

相关 [bat 大厂 elasticsearch] 推荐:

BAT 等一线大厂 Elasticsearch 面试题解读

- - IT瘾-dev
git上发现了网友总结的Elasticsearch BAT大厂面试题. 正好抽出一些时间一起梳理一下. 既然是面试题,每个人都会有自己的结合业务场景的答案,没有非常标准的答案. 1、elasticsearch了解多少,说说你们公司es的集群架构,索引数据大小,分片有多少,以及一些调优手段. 面试官:想了解应聘者之前公司接触的ES使用场景、规模,有没有做过比较大规模的索引设计、规划、调优.

BAT的电商江湖

- 果 - It Talks-魏武挥的blog
大部分数字产业中人都认同,BAT代表的是中国商业江湖中超一流数字公司. B(Baidu,百度)做的是资讯的渠道,A(Alibaba,阿里)做的是商务的渠道,T(Tecent,腾讯)做的是交流的渠道. 而在BAT中,我以为,B和A的模式是类似的. 与腾讯一门心思兜售各种虚拟产品给用户不同(腾讯的用户即它的客户),百度和阿里都是靠帮助别人发财从而自己发财的公司.

BAT如何抢食“to B”新蛋糕

- - 机器之心
在兴奋与焦虑杂糅交错下,“下半场”正在成为传统互联网圈的核心话题. 传统互联网的上半场只是一场关于“消费互联网”的竞争,C(即Costumer,消费者)端的个人用户是巨头们争夺的核心目标,他们希望把每个人的生活线上化、数据化. 于是,人们开始用手机买机票、打车、订酒店、聊天、购物、看新闻……而BATJTMD等公司一跃成为巨头公司.

[译]elasticsearch mapping

- - an74520的专栏
es的mapping设置很关键,mapping设置不到位可能导致索引重建. 请看下面各个类型介绍^_^. 每一个JSON字段可以被映射到一个特定的核心类型. JSON本身已经为我们提供了一些输入,支持 string,  integer/ long,  float/ double,  boolean, and  null..

Elasticsearch as Database - taowen - SegmentFault

- -
【北京上地】滴滴出行基础平台部招聘 Elasticsearch 与 Mysql binlog databus 开发工程师. 内推简历投递给: [email protected]. 推销Elasticsearch. 时间序列数据库的秘密(1)—— 介绍. 时间序列数据库的秘密(2)——索引.

记毕业时求职BAT产品经理的经验

- - 人人都是产品经理
   遥想当年还是对于产品经理一无所知的XX青年,在回忆起当年的面试经历,确实有很多值得反思的地方,最终的失利也是很正常的,这里分享出来,供马上要求职产品经理的孩子们参考吧. 腾讯的招聘的职位没有分的很细,基本上就是技术与非技术两种,需要他们自己做的网申系统投递简历,网申也十分简单(做的十分粗糙,不敢想是中国最牛互联网公司做出来的系统),基本上10分钟就搞定了.

BAT金融大数据体系拆解与价值挖掘

- - 虎嗅网
金融创新很大一部分原因在于大数据和金融之间的结合. 纵观BAT、京东、小米、万达、平安这些把触角伸到互联网金融领域的巨头,无一不是在大数据层面上有所布局. 大数据和金融相结合,几乎已经成为金融领域的通用做法. 谈数据必须先谈数据的完整度和价值含量. 就像煤矿一样,大数据中的价值含量、挖掘成本比数量更为重要.

推荐8个年薪100万BAT级优质技术大号

- -
简介:程序员大咖,为程序员提供优质的博文、精彩的讨论、实用的开发资源;提供编程学习资料:PHP、Objective-C、Java、Swift、C/C++函数库、.NET Framework类库、J2SE API等等. 简介:Hollis是一个专注于原创Java技术分享的公众号,包括但不限于源码,原理,经验,杂谈等.

ElasticSearch 2 的节点调优(ElasticSearch性能)

- - 行业应用 - ITeye博客
一个ElasticSearch集群需要多少个节点很难用一种明确的方式回答,但是,我们可以将问题细化成一下几个,以便帮助我们更好的了解,如何去设计ElasticSearch节点的数目:. 打算建立多少索引,支持多少应用. elasticsearch版本: elasticsearch-2.x. 需要回答的问题远不止以上这些,但是第五个问题往往是容易被我们忽视的,因为单个ElasticSearch集群有能力支持多索引,也就能支持多个不同应用的使用.

Elasticsearch:使用 Elasticsearch 进行语义搜索

- - 掘金 后端
在数字时代,搜索引擎在通过浏览互联网上的大量可用信息来检索数据方面发挥着重要作用. 此方法涉及用户在搜索栏中输入特定术语或短语,期望搜索引擎返回与这些确切关键字匹配的结果. 虽然关键字搜索对于简化信息检索非常有价值,但它也有其局限性. 主要缺点之一在于它对词汇匹配的依赖. 关键字搜索将查询中的每个单词视为独立的实体,通常会导致结果可能与用户的意图不完全一致.