静态cache之log共现词分析
一、背景
搜索引擎的log数据可以用于query理解、user理解、doc理解和ranking。我们运行共现词分析,挖掘出引擎的query log里面共现的词,离线建静态cache,用于提升引擎的性能。
二、共现词分析
分析query log里query的平均的term数,值为5。我们对query log依次进行一至四元共现词分析,高于四元的我们推荐用fullcache解决,而且高元的离线计算成本也太高。
做法如下:
首先抽取query里分词后的term,因为term不一定是相邻的,所以根据指定的N元需要进行穷举N元共现词,使用python写map-reduce程序统计共现词。
然而这里统计出来的共现词会有问题,就是会重复。我们需要对共现词进行去重,这里分为同一元去重和不同元去重。
同一元去重:
例如,query为 “中国 人民 大学 研究生 ” ,三元共现词有“中国 人民 大学”,“人民 大学 研究生”等四个三元共现词。根据我们的应用场景,所有的三元共现词都建静态cache,然后使用静态cache时,遇到相同的query,只会贪婪匹配第一个三元共现词,即“中国 人民 大学”,其他三个都白建了,这在索引大小膨胀敏感的情况下是不可接受的,需要去重。
不同元去重:
还是上面的query,二元共现词有“中国 人民”,“人民 大学”,在已经建了三元共现词的情况下,建这两个二元共现词也同样是白费力气,不会被用到,所以需要去掉已经建过三元共现词的query串再去建二元共现词,这里也需要去重。
去重方案:
这里的方案是对每个query md5一个query id,这样在reduce统计共现词频时,统计query id的数目即可去重同一元的重复。不同元的去重,用上层的共现词对下层的共现词去做去重。步骤如下:
1. 先对N元共现词做N-1元共现词,所有的共现词频用真实词频的负数表示
2. 对新生成的N-1元共现词和之前未去重的N-1元共现词做map-reduce,统计去重后的词频
解决数据倾斜问题
在实现去重方案时,引入了query id, 而大量的高频共现词,导致这些共现词的query id链特别长,出现数据倾斜。
我们在第一次map时,对key做hash多份处理,key 为 “中国_人民”,根据hash的份数,hash为“中国_人民#0”,“中国_人民#1”,…
然后再做一轮map-reduce,即通过hash key和多轮map-reduce解决数据倾斜问题。
共现词部分结果
一至四元共现词及共现频度。
共现词分析实现小细节
现在的实现,把从query中抽取term做成接口对外开放,用户只需要实现process_log接口,从自己的log 中抽取出term,然后喂给共现词分析框架,即可完成多元共现词分析。
三、共现词分析用于静态cache
我们分析log的多元共现词,建静态cache,能有效提升引擎的性能,大量的query会落到静态cache上。在全内存情况下,能够节省CPU计算,即使在超内存情况下,IO落在SSD盘甚至普通盘上,也合并了IO,对引擎的性能提升有好处。
全内存性能提升效果:
超内存性能提升效果:
四、结尾
引擎的log数据包含各种信息,非常有价值,例如对于高latency的query进行分析,或者无少结果query的分析,对log数据进行各种挖掘,能为引擎的性能优化提供很多思路和方案,也能够提升搜索的效果和用户体验。