从未降级的搜索技术

标签: 搜索引擎 | 发表时间:2014-11-21 03:16 | 作者:五福
出处:http://www.searchtb.com

在搜索我经历过全部的双11,12年和13年这2次大促,GN是开发总指挥,我是在礼台上看各种新武器实弹表演。过去6年里,我们的引擎体系每年做到100%的性能提升,以淘系搜索为例,从最初3000台机器翻倍到现在区区6000台,但搜索服务却从6千qps增长了40倍到现在的32万qps,同时还填补了算法欲壑(算法数据占用内存从最初的10%到了现在的50%),转化率持续攀升,目前大搜索GMV已经是全网的主体了。搜索工程师的双11历来是实弹各种新武器的大机遇,而常规的技术保障已经成为踩在脚下的底线。实施任何一种降级预案都被我们视为耻辱,因为预案都是以伤害用户体验为代价的。在技术保障部双11总指挥群里此起彼伏的降级通告里面,从来没有过搜索的身影!

14年双11大促总指挥是YF,搜索焦点集中在要检阅的5件新武器上:

  1. 天猫售罄率预估,商品加购和交易后及时预测它的售罄时间,通过降权或者加权提升搜索结果页每一个位置的价值,搜索GMV可提升10%。
  2. 天猫SKU搜索,颜色尺码等sku属性参与检索。引擎平台实现了子文档检索功能,将原来集群拓展五倍规模才能做到的天猫SKU在原有基础上增加60%即可实现。
  3. Hippo引擎在线管理系统,机群变为可灵活流动的三维架构,第一维度是根据商品质量或类目划分子机群,下面才是传统的二维行列架构,这带来的好处是查询性能的巨幅优化。
  4. 离线集群HBase升级0.98,近700台机器的离线集群上各业务线分头开发累积导致集群效率底下,支持售罄率预估也要求我们把调优经验更厚实的0.98版本升级上去。
  5. 搜索分层优化GMV,借助Hippo系统主搜根据商品质量划分子机群然后在业务服务层聚合,搜索GMV可提升6%,整体性能大幅提升80%。

10/17,离双11还有段日子,下午我常规心血来潮找XD了解Hippo的进展,结果却触动了我的神经,我们都希望看到Hippo在双11上线主搜和天猫实战检验,但GD坚持把统一到A8机器的运维工作一并完成(稍显保守),因为这需要补充近300台A8的机器,而机器已经拖延几个星期了,本该9月底完成上线的Hippo到了10/17看来机会渺茫,引擎体系奔向世界级的路上焉能贻误战机!更有甚者,售罄率预估与天猫SKU搜索这两个业务项目都依赖Hippo,业务项目要是延误可是要掉脑袋的,念及此处我没有心情观礼了。要知道,主搜天猫加上这些A8升级后,还要退出来低配机器给其它搜索服务扩容,上下游一系列连锁依赖都嗷嗷待哺需要时间呀。紧急状态,不得不对搜索工程各相关团队发起动员了。Hippo必须不能够等待A8的到来尽快上线检验,要打破常规的水平分工来一场混战了。我直接请YL担任紧急状态下引擎端的负责人,飞行时更换引擎是我们起步时代的杀手锏,今天必须成为我们的底线。

10/27日,紧急状态的第10天,ZY和GD在各应用集群间辗转腾挪,终于完成了Hippo上线和天猫SKU搜索上线;插件小组完成了售罄率预估上线,把主搜性能提升了30%;LT和XY在QA小组的陪伴下解决了各组件的core与慢,CS也分批交付了A8机器。淘宝搜索、天猫搜索、店铺内搜索、店铺搜索共四个核心应用的淘系搜索达到了40万qps服务能力。这火热的十天,恰好也是CS和GD的陪产假。

现在我是不是可以高枕无忧重上观礼台了呢?此次要实弹的新武器只有Hippo和天猫SKU搜索踏实了,而售罄率预估所需离线集群HBase升级后鲜有指标超越升级以前,全链路压测未能成功。更为甚者,TM根据10月份无线端流量情况,把对搜索的要求从10万qps提升到了15万qps,也就是说现有的40万qps整体能力必须提升到45万qps!而多出来的5万qps要求又只能实打实落在最大的主搜索集群上,目前的优化手段已经用尽,降级是容易的也是耻辱的,怎么办?崩溃前奏,我冷汗直冒,尽管现在是YF担任总指挥。

搜索分层优化GMV成了救命稻草,尽管已经在无线全量上线并拿到了大部分性能成果,已经体在现有40万qps的服务能力里。但在PC端上线却因为对广告的负面影响而步伐迟缓,这里还有100台机器可以省下来。此外协同搜索是主搜的辅助引擎,这有200台机器不得已可以下线。分层优化GMV和协同检索一上一下恰好可以抵消GMV损失,同时又能节省300多台机器。紧急关头,老板给我们亮了黄灯,暂时下掉代表搜索体系技术一大进步的协同关系搜索是我此次最大的遗憾。

11/7日,紧急状态的第20天,大促准备的战场收尾之后,全淘系搜索在线服务规模达到了2500台机器,搜索服务能力推高到至45万qps,此外还有推荐服务能力到了12万qps,以及4万qps的AE引擎服务能力。已成为集团基础设施的opensearch在那个周末还有个插曲,HT应淘点点要求紧急把集群扩容到4万qps。至此万事俱备,欢度周末之后我准备上观礼台了。

11/10日21点到11日晚12点共27个小时,5种新武器实弹表演渐入佳境,事后回顾流量高峰在最初的4小时就已经到来了,尽管11日白天来势汹汹比前一天高出一倍不止,但到了晚上涨幅回落基本和10日持平了。观礼过程最为惊险的在11号上午8点到12点这段期间,对IC销量字段的更新度预估不足,导致天猫引擎有约半小时的延迟,售罄率预估也无法开启;无线推荐因为上游降级而流量大损峰值只有4万qps(上限12万qps)。在这27个小时里,搜索峰值是32万qps(上限45万qps),其中最大的份额来自手淘搜索峰值10万qps(上限15万qps)。手淘UV只到了理想目标的60%,真要是满负荷过来的话,手淘搜索峰值会突破上限15万qps而达到16.7万,那么等待我们的唯有耻辱降级一途!售罄率预估当天开启12个小时,对成交转化提升达到了10个百分点。Opensearch的服务大大低于预期只跑到了7千qps。最后AE的大促意外交出了完美的业务答卷,同时引擎后台服务真的一度达到了3.2万qps(上限4万qps)。

 

迄今为止的每一次大促搜索在线服务都没有任何形式的降级,无论是天猫还是淘宝还是SC/AE还是1688,这一次游走在天堂和地狱之间,我们更清醒的认识到,技术进步永无止境!

相关 [搜索 技术] 推荐:

从未降级的搜索技术

- - 搜索技术博客-淘宝
在搜索我经历过全部的双11,12年和13年这2次大促,GN是开发总指挥,我是在礼台上看各种新武器实弹表演. 过去6年里,我们的引擎体系每年做到100%的性能提升,以淘系搜索为例,从最初3000台机器翻倍到现在区区6000台,但搜索服务却从6千qps增长了40倍到现在的32万qps,同时还填补了算法欲壑(算法数据占用内存从最初的10%到了现在的50%),转化率持续攀升,目前大搜索GMV已经是全网的主体了.

从图谱搜索看搜索技术的发展趋势

- - 微软亚洲研究院
编者按:图谱搜索(Graph Search)是基于社交图谱构建起来的搜索服务,与基于关键词匹配的传统网络搜索引擎相比,图谱搜索能够支持更自然、复杂的查询输入,并针对查询直接给出答案. 在微软亚洲研究院副研究员段楠眼中,这样的高效个性化搜索会越来越多. 文章中,他从基础架构、自然语言接口、相关研究、发展趋势等几个方面,对计算搜索的现在和未来进行了总结和展望.

从未降级的搜索技术-天猫SKU搜索

- - 搜索技术博客-淘宝
前些天,五福老大的文章《 从未降级的搜索技术》介绍了搜索双11的5件新式武器,其中就包括天猫SKU搜索. 本文就对此做一些更详细的介绍:. SKU,Stock Keeping Unit,库存单元,是商品库存的最小单位. 通俗的讲,一种商品可能有各种规格的货,每一种货就是一个SKU. 比如,iphone6有白色16G、金色16G、白色64G、金色64G、等多种SKU;再比如商家售卖的某款T恤有白色S码、黑色S码、白色M码、黑色S码、等等SKU.

搜索引擎的认识误区与技术展望

- - 互联网的那点事
搜索结果越多越好,技术差距决定优劣,SEO可以提高搜索排名……,媒体和公众对搜索引擎的这些普遍认知,其实都是严重的认识误区. 聚合规则,排序方法,展现方式,将成为未来搜索引擎竞争的关键,而竞价排名,将随着竞争的展开逐步退出历史舞台. 随着360搜索的上线以及3B大战的展开,网络爱好者们对搜索引擎技术及市场的讨论成为近期的互联网小热点.

豌豆荚工程师谈其新版应用搜索技术

- - InfoQ cn
豌豆荚近日发布了应用搜索的新版本,主要针对安全、隐私等问题做出了改善,InfoQ就相关技术问题对其工程师进行了采访. InfoQ:首先请二位做下自我介绍. 陈兴润:我叫陈兴润,是豌豆荚的后台工程师,和吉昌一样也是早期的团队成员,主要负责应用搜索. 丁吉昌:我叫丁吉昌,我跟兴润是同期来豌豆荚的,现在我们也在一个团队,我现在算是应用搜索的负责人.

淘宝搜索中Query下拉推荐技术

- - IT技术博客大学习
标签:   推荐   搜索. 作者:元宗 (一淘及搜索事业部-搜索技术-算法技术-主搜索与商城). 什么是Query suggestion.    Query下拉推荐是指搜索引擎系统根据用户当前的输入,自动提供一个Query候选列表供用户选择,Query下拉提示(Query suggestion)在搜索引擎和广告竞价平台中已经是标配的产品.

从未降级的搜索技术-实时之刃

- - 搜索技术博客-淘宝
流量是互联网变现的基石,而流量的资源是有限的,如何实现资源的最大化利用(买家-商品的最高效的匹配)是此次双11搜索技术深度切入的使命,也是第一次在双11通过实时把握资源流动的脉搏来控制资源的收和放. 天猫的业务团队同学,通过针对去年双11细致认真的数据分析,发现了去年双11暴露的一些问题. 小部分商品预热过度,预热期吸引的加购量远超出商品库存能支撑的量,大部分用户虽然加了购物车但当天也抢不到,购物车转化率低;而大部分商品预热不足,没有充分曝光;.

【技术贴】9个基于Java的搜索引擎框架

- - 行业应用 - ITeye博客
9个基于Java的搜索引擎框架. 1.Java全文搜索引擎框架Lucene. 毫 无疑问,Lucene是目前最受欢迎的Java全文搜索框架,准确地说,它是一个全文检索引擎的架构,提供了完整的查询引擎和索引引擎,部分文本分析引 擎. Lucene为开发人员提供了相当完整的工具包,可以非常方便地实现强大的全文检索功能.

京东亿级商品搜索核心技术解密

- - 运维派
作者:王春明,现任京东搜索平台部负责人,2011年加入京东搜索团队,期间一直负责京东搜索引擎研发工作,主导了多次搜索架构升级工作保障其满足京东发展需求,擅长搜索引擎、高性能服务开发、分布式系统架构. 招聘: 京东搜索平台部木有有高级/资深搜索引擎研发工程师(C/C++)  、高级/资深算法工程师(C/C++)、高级/资深数据系统工程师(java)等职位,期待您的加入,一起打造弹性搜索平台.

在线AI技术在搜索与推荐场景的应用

- - 创业邦
  12月6日-7日,由阿里巴巴集团、阿里巴巴技术发展部、阿里云云栖社区联合主办,以“2016双11技术创新”为主题的阿里巴巴技术论坛(Alibaba Technology Forum,ATF)成功在线举办. 在本次分享中,来自阿里巴巴集团的研究员徐盈辉带了题为《在线AI技术在搜索与推荐场景的应用》的精彩演讲,他结合本届双11搜索和推荐场景详细介绍了电商搜索推荐的技术演变、阿里搜索推荐的新技术体系以及未来的发展方向.