Lucene 搜索性能优化
搜索优化:
1、设置boost
有些时候在搜索时某个字段的权重需要大一些,例如你可能认为标题中出现关键词的文章比正文中出现关键词的文章更有价值,你可以把标题的boost设置的更大,那么搜索结果会优先显示标题中出现关键词的文章(没有使用排序的前题下)。使用方法:
Field. setBoost(float boost);默认值是1.0,也就是说要增加权重的需要设置得比1大。
2、将不需要使用范围查询的数字字段设置precisionstep为Intger.max,这样数字写入倒排仅存一个term,能极大降低term数量。
复制代码
1 public final class CustomFieldType {
2 public static final FieldType INT_TYPE_NOT_STORED_NO_TIRE = new FieldType();
3 static {
4 INT_TYPE_NOT_STORED_NO_TIRE.setIndexed(true);
5 INT_TYPE_NOT_STORED_NO_TIRE.setTokenized(true);
6 INT_TYPE_NOT_STORED_NO_TIRE.setOmitNorms(true);
7 INT_TYPE_NOT_STORED_NO_TIRE.setIndexOptions(FieldInfo.IndexOptions.DOCS_ONLY);
8 INT_TYPE_NOT_STORED_NO_TIRE.setNumericType(FieldType.NumericType.INT);
9 INT_TYPE_NOT_STORED_NO_TIRE.setNumericPrecisionStep(Integer.MAX_VALUE);
10 INT_TYPE_NOT_STORED_NO_TIRE.freeze();
11 }
12 }
复制代码
1
doc.add(new IntField("price", price, CustomFieldType.INT_TYPE_NOT_STORED_NO_TIRE));//人均消费
3、优化方法是只存储id等必须的字段,对于大部分字段我们只索引而不存储,通过这种方法,索引压缩文件降低了10%左右。
1 doc.add(new StringField("price", each, Field.Store.NO));
4、索引更新:indexWriter.updateDocument(new Term("id", "1"), doc);
5、lucene 3.5后删除了optimize(),将IndexWriter.optimize重命名为forceMerge,以便去阻止使用这种方法,因为它的使用代价较高,且也不需要使用
6、新版本的Lucene通常性能都会有些改善
7、使用更快的硬件,例如,改善IO系统性能
8、在建立索引过程中,使用单例的 Writer(注:应该是有有助于避免锁)
9、使用内存索引:
// 打开索引目录
File indexDir = new File(idxDir);
Directory directory = FSDirectory.open(indexDir);
Directory ramDir = new RAMDirectory(directory);
// 获取访问索引的接口,进行搜索
IndexReader indexReader = IndexReader.open(ramDir);
10、// TopDocs 提前返回搜索结果
TopDocs topDocs = indexSearcher.search(query, 100);// 只返回前100条记录
11、不需要highlight则可以将term vector关掉
12、业务能不能拆分, 比如之前音乐图书视频资讯和app一起做搜索, 可以考虑将他们分开
13、调整内存Xms和Xmx,采用多线程gc
14、在频繁更新索引的情况下,使用两个索引,一个大的优化好的历史索引,一个小的实时添加的索引
15、使用FieldSelector仔细的选择哪些字段需要获取,如何获取
Lucene-与索引库的交互 - 球球之家 - 博客频道 - CSDN.NET
内存索引库:数据是临时的、访问速度比文件索引库要快、索引库中的数据不能存放太多、内存索引库和文件索引库能结合在一起
两个或者两个以上的索引库的合并:
如果是内存索引库,直接调用构造函数进行合并就可以了 内存索引库中。也可以调用addIndexesNoOptimize进行合并
如果是文件索引库,调用addIndexesNoOptimize进行合并,该方法可以接受多个索引库
- /**
- * 文件索引库和内存索引库的结合
- */
- @Test
- public void testRamAndFile() throws Exception{
- /**
- * 1、当应用程序启动的时候,把文件索引库的内容复制到内存库中
- * 2、让内存索引库和应用程序交互
- * 3、把内存索引库的内容同步到文件索引库
- */
- Directory fileDirectory = FSDirectory.open(new File("./indexDir"));
- Directory ramDirectory = new RAMDirectory(fileDirectory);
- IndexWriter ramIndexWriter = new IndexWriter(ramDirectory,LuceneUtils.analyzer,MaxFieldLength.LIMITED);
- IndexWriter fileIndexWriter = new IndexWriter(fileDirectory,LuceneUtils.analyzer,true,MaxFieldLength.LIMITED);
- /**
- * 在内存索引库中根据关键词查询
- */
- this.showData(ramDirectory);
- System.out.println("上面的是从内存索引库中查询出来的");
- /**
- * 把一条信息插入到内存索引库
- */
- Article article = new Article();
- article.setId(1L);
- article.setTitle("lucene可以做搜索引擎");
- article.setContent("baidu,google都是很好的搜索引擎");
- ramIndexWriter.addDocument(DocumentUtils.article2Document(article));
- ramIndexWriter.close();
- /*
- * 把内存索引库中的内容同步到文件索引库中
- */
- fileIndexWriter.addIndexesNoOptimize(ramDirectory);
- fileIndexWriter.close();
- this.showData(fileDirectory);
- System.out.println("上面的是从文件索引库中查询出来的");
