5分钟搞定solr索引主从同步

标签: solr 索引 同步 | 发表时间:2013-11-01 09:35 | 作者:[email protected] (鲁塔弗)
出处:http://lutaf.com

solr配置主从同步非常简单,比mysql/redis 要简单的多,5分钟搞定

  • solr索引同步的是core对core,以core为基本同步单元
  • 一个solr instance可以装载多个core,每个core拥有不同的schema,core与实例的关系等同于mysql中table和database的关系
  • 不支持直接同步实例

假设我们已经在 192.168.1.10和192.168.1.20 两台服务器上 部署了solr服务,192.168.1.10作为master,192.168.1.20作为slave,两台实例上的core叫做weibo。solr索引同步步骤如下

  1. 编辑master 节点:192.168.1.10 上${solr.home}/weibo/conf/solrconfig.xml 找到 <requestHandler name="/replication" class="solr.ReplicationHandler" > 部分配置,默认是注释掉的,替换成如下
  <requestHandler name="/replication" class="solr.ReplicationHandler" >
   <lst name="master">
     <str name="replicateAfter">commit</str>
     <str name="replicateAfter">startup</str>
     <str name="confFiles">schema.xml,stopwords.txt</str>
   </lst>
</requestHandler>

然后reload,solr的core管理支持http api的方式,reload只需要执行 curl http://192.168.1.10:8080/solr/admin/cores?action=reload&core=weibo 即可,这个在管理服务器的时候特别方便

  1. 编辑slave节点 192.168.1.20 上${solr.home}/weibo/conf/solrconfig.xml,同样是找到 <requestHandler name="/replication" class="solr.ReplicationHandler" > 部分配置,替换成
  <requestHandler name="/replication" class="solr.ReplicationHandler" >
   <lst name="slave">
       <str name="masterUrl">http://192.168.1.10:8080/solr/weibo</str>
    <str name="pollInterval">00:00:60</str>
   </lst>
</requestHandler>

然后同样reload

就这样solr索引同步就配置成功了,solr的同步还可以同步各种配置文件,改写master节点的 <str name="confFiles"></str>就可以

solr的查询都是通过http接口,只需要在前端部署nginx或者haproxy就可以很容易的实现负载均衡

相关 [solr 索引 同步] 推荐:

5分钟搞定solr索引主从同步

- - 鲁塔弗的博客
solr配置主从同步非常简单,比mysql/redis 要简单的多,5分钟搞定. solr索引同步的是core对core,以core为基本同步单元. 一个solr instance可以装载多个core,每个core拥有不同的schema,core与实例的关系等同于mysql中table和database的关系.

Solr之Mysql数据库全量、增量同步-yellowcong

- - CSDN博客编程语言推荐文章
1 修改solrconfig.xml. 修改solrconfig.xml 文件. 2 创建data-config.xml. 在solrconfig.xml的同级目录下创建data-config.xml文件,配置数据库连接和Solr与mysql数据的对应关系和查询语句. 使用的是Mysql测试的,我的oracle完犊子了.

主流全文索引工具的比较( Lucene, Sphinx, solr, elastic search)

- - 企业架构 - ITeye博客
前几天的调研(  Rails3下的 full text search (全文本搜索, 全文匹配. ) ), 我发现了两个不错的候选: . lucene  (solr, elasticsearch 都是基于它) . 把看到的有价值的文章记录在这里: . 回答1.  Result relevance ranking is the default.

基于solr实现hbase的二级索引 - oO脾气不坏Oo

- - 博客园_首页
    了解hbase的都知道,由于hbase基于行健有序存储,在查询时使用行健十分高效,然后想要实现关系型数据库那样可以随意组合的多条件查询、查询总记录数、分页等就比较麻烦了. 想要实现这样的功能,我们可以采用两种方法:. 使用hbase提供的filter,. 自己实现二级索引,通过二级索引查询多符合条件的行健,然后再查询hbase.

全文检索引擎Solr系列—–全文检索基本原理

- - ImportNew
场景:小时候我们都使用过新华字典,妈妈叫你翻开第38页,找到“坑爹”所在的位置,此时你会怎么查呢. 毫无疑问,你的眼睛会从38页的第一个字开始从头至尾地扫描,直到找到“坑爹”二字为止. 这种搜索方法叫做 顺序扫描法. 对于少量的数据,使用顺序扫描是够用的. 但是妈妈叫你查出坑爹的“坑”字在哪一页时,你要是从第一页的第一个字逐个的扫描下去,那你真的是被坑了.

全文检索引擎Solr系列——整合中文分词组件IKAnalyzer

- - ImportNew
IK Analyzer是一款结合了词典和文法分析算法的中文分词组件,基于字符串匹配,支持用户词典扩展定义,支持细粒度和智能切分,比如:. 张三 | 说的 | 确实 | 在理. 张三 | 三 | 说的 | 的确 | 的 | 确实 | 实在 | 在理. 整合IK Analyzer比mmseg4j要简单很多, 下载解压缩IKAnalyzer2012FF_u1.jar放到目录:E:\solr-4.8.0\example\solr-webapp\webapp\WEB-INF\lib,修改配置文件schema.xml,添加代码:.

[原]自学大数据:基于Solr实现HBase的文本索引

- -
最近接触的项目中,需要针对HBase的数据进行索引查询,主要支持中文查询,分页查询等. 在此情况下,学习了搜索服务器solr. 总结了一些方法和经验,正好可以分享个大家,鼓励自己,共同学习. HBase目前只支持对rowkey的一级索引,对于二级索引还不支持,当然可以把所有要索引的字段都拼接到rowkey中,根据hbase的filter功能进行查询,但是这样操作数据会涉及到全表扫描,效率很低,速度慢,不利于后期扩展.

基于cdh5.7.5集群的solr(4.10.3-cdh5.7.5)+hbase(1.2.0-cdh5.7.5)构建二级索引方案

- - 行业应用 - ITeye博客
作为开发人员,在阅读该篇博客之前最好已具备以下基本技能:. 了解Linux命令、HBase Shell、Solr schema.xml文件的常用的标签含义、CDH集群基本操作(所需服务安装、卸载、配置). 在Hbase中,表的RowKey 按照字典排序, Region按照RowKey设置split point进行shard,通过这种方式实现的全局、分布式索引.

Solr SpellCheck 应用

- - 开源软件 - ITeye博客
通过对各类型的SpellCheck组件学习,完成项目拼写检查功能. 本文使用基于拼写词典的实现方式,solr版本为5.3.0. SpellCheck 简述. 拼写检查是对用户错误输入,响应正确的检查建议. 比如输入:周杰轮,响应:你是不是想找 周杰伦. Solr的拼写检查大致可分为两类,基于词典与基于Solr索引.

Solr DocValues详解

- - 企业架构 - ITeye博客
什么是docValues. docValues是一种记录doc字段值的一种形式,在例如在结果排序和统计Facet查询时,需要通过docid取字段值的场景下是非常高效的. 为什么要使用docValues. 这种形式比老版本中利用fieldCache来实现正排查找更加高效,更加节省内存. 倒排索引将字段内存切分成一个term列表,每个term都对应着一个docid列表,这样一种结构使得查询能够非常快速,因为term对应的docid是现成就有的.