es集群快速恢复(优化方案)_大数据_ClearloveXXX的博客-CSDN博客

标签: | 发表时间:2020-05-01 08:37 | 作者:
出处:https://blog.csdn.net

1、停止数据写入

 

2、关闭allocate,禁止shard做allocate

curl -XPUT localhost:9200/_cluster/settings -d '{

                "persistent" : { 

                    "cluster.routing.allocation.enable" : "none" 

                } 

        }'

3、执行synced操作 

curl -XPOST 'localhost:9200/_flush/synced?pretty'


4、重启es服务

 

5、等级集群变成yellow后开启allocate,允许shard做allocate

curl -XPUT localhost:9200/_cluster/settings -d '{

                "persistent" : { 

                    "cluster.routing.allocation.enable" : "all"

                }

        }'


调整集群恢复时的带宽,-1是指无限制 

curl -XPUT localhost:9200/_cluster/settings -d ' 

{

"transient" : { 

"indices.recovery.max_bytes_per_sec" : "-1" 

'  

调整集群恢复时的单机并发度,最好是和磁盘块数一致 

curl -XPUT localhost:9200/_cluster/settings -d ' 

"transient" : {

"cluster.routing.allocation.node_concurrent_recoveries" : "24"

'

调整集群恢复时单个shard中同时恢复的小文件的个数

curl -XPUT localhost:9200/_cluster/settings -d '

{

"transient" : {

"indices.recovery.concurrent_small_file_streams" : "24"

}

}

curl -XPUT localhost:9200/_cluster/settings -d '

{

"transient" : { 

"indices.recovery.concurrent_streams" : "24"

}

}

6、等待recovery完成,集群变成green 

 

7、恢复完成后: 

curl -XPUT bapc007:9200/_cluster/settings -d '

{

"transient" : {

"indices.recovery.max_bytes_per_sec" : "100m"

}

}

'  

curl -XPUT bapc007:9200/_cluster/settings -d '

{

"transient" : {

"cluster.routing.allocation.node_concurrent_recoveries" : "12"

}

'

curl -XPUT localhost:9200/_cluster/settings -d '

{

"transient" : {

"indices.recovery.concurrent_small_file_streams" : "6" 

}

}

curl -XPUT localhost:9200/_cluster/settings -d '

"transient" : {

"indices.recovery.concurrent_streams" : "6" 

}

}

 

相关 [es 集群 优化] 推荐:

ES优化总结

- - 非技术 - ITeye博客
最近一直在研究ES集群,也看了很多篇前辈们总结的博客,同事借鉴了官方给出的一些建议,做了一下几点总结,希望对后来者有用:. 为了防止ES进程的内存被置换到磁盘上(会导致在检索的时候发生内存交换导致检索速度迟缓)引起性能急速下降. 候可以把config/elasticsearch.yml中的bootstrap.mlockall设置为true就可以了.

ES性能优化总结

- - 互联网 - ITeye博客
    Elasticsearch是目前大数据领域最热门的技术栈之一,经过近8年的发展,已从0.0.X版升级至6.X版本,虽然增加了很多的特性和功能,但是在主体架构上,还是没有太多的变化. 下面就把我对于ES使用实践的一些经验总结一下,供大家参考;也请大家拍砖. 如果有条件,尽可能使用SSD硬盘, 不错的CPU.

es集群快速恢复(优化方案)_大数据_ClearloveXXX的博客-CSDN博客

- -
2、关闭allocate,禁止shard做allocate. 5、等级集群变成yellow后开启allocate,允许shard做allocate. 调整集群恢复时的带宽,-1是指无限制 . 调整集群恢复时的单机并发度,最好是和磁盘块数一致 . 调整集群恢复时单个shard中同时恢复的小文件的个数.

ES集群的高可用性知识点整理

- - 学习日志
为了防止ES集群中单点问题,一般都需要对集群节点做高可用性,当发生单点问题时,也可以向外正常提供服务. 这里主要记录一下节点的加入、离开和选举. 集群安装教程请参考: https://www.elastic.co/guide/en/elasticsearch/reference/current/install-elasticsearch.html.

ES集群重启最佳实践 - 简书

- -
单index大小:20GB ~ 40GB. 索引数(按天拆分索引):600. 直接kill掉节点,可能导致数据丢失. 集群会认为该节点挂掉了,集群重新分配数据进行数据转移(shard rebalance),会导致节点直接大量传输数据. 节点重启之后,恢复数据,同样产生大量的磁盘、网络流量,耗费机器和网络资源的.

亿级日增量的ES线上环境集群部署,上干货!

- -
在生产环境搭建或维护 Elasticsearch 集群和个人搭建集群的小打小闹有非常大的不同. 本文的最佳实践基于每天增量数亿+ 的线上环境. Elasticsearch 和 Lucene 都是 Java 语言编写,这意味着我们必须注意堆内存的设置. Elasticsearch 可用的堆越多,它可用于过滤器(filter)和其他缓存的内存也就越多,更进一步讲可以提高查询性能.

非常哇塞的 ES读场景、写场景 性能优化指南!你值得拥有!

- - IT瘾-dev
原创:小姐姐味道(微信公众号ID:xjjdog),欢迎分享,转载请保留出处. ES作为NoSQL数据库里非常重要的一员,使用越来越广泛. 虽然它因为索引延迟的原因,数据在时效性上有一些缺陷,但其大容量、分布式的优秀设计,使得它在时效性要求并不是特别高的类实时搜索领域,能够大展身手. 根据使用场景和用途,ES可以分为写入和读取两种典型的应用方式.

elasticsearch 1.x集群优化

- - ITeye博客
欢迎发送邮件至 [email protected]. 本博文为 Elasticsearch Server2nd的部分第7章部分章节的翻译,版权归原作者. 设置Filter cache. 缓存是提高性能的很重要的手段,es中的filter cache能够把搜索时的filter条件的结果进行缓存,当进行相同的filter搜索时(query不同,filter条件相同),es能够很快的返回结果.

es的连接查询

- - 行业应用 - ITeye博客
在一般的关系型数据库中,都支持连接操作. 在ES这种分布式方案中进行连接操作,代价是十分昂贵的. 不过ES也提供了相类似的操作,支持水平任意扩展,实现连接的效果. 其他内容, 参考Elasticsearch官方指南整理. 在ES中支持两种连接方式:嵌套查询 和 has_child、has_parent父子查询.

ElasticSearch —修改ES数据

- -
ElasticSearch能够以接近实时的速度提供数据操作和搜索功能. 在默认情况下,从索引/更新/删除数据到出现在搜索结果之间,你可能会感受到有1秒的延迟时间(刷新间隔). 这是与SQL等其他平台的一个重要区别,这些平台在完成事务之后,它们的数据立即可用. 先前,我们已经知道如何索引一个单个的文档.