根据配置实现不同ES索引保留天数不同

标签: es 索引 | 发表时间:2020-04-22 15:27 | 作者:dai_lm
出处:https://www.iteye.com
由于ES接入的项目变多,之前所有索引都保留30天,现在需要根据业务不同,索引保留的天数可以配置,所以写了shell命令,可以根据配置删除过期索引,配合cron执行

索引按照天进行分隔,格式统一为:xxxx_yyyy.mm.dd

#/bin/bash


ES_URL="http://127.0.0.1:9200" #填写你的es对外http连接地址
ES_USER="username" #name代表你的你的es用户名
ES_PASSWORD="password" #password代表你的es用户密码


delete_index() {
    echo -e "\nstart close and delete $1 days index"
    beforeday=$(date -d '-'$1'days' +'%Y%m%d')
    for i in `cat ./del_es_index_$1`; do
        echo -e "\nstart to detect index of $i"
        index_seq=`curl -s -u $ES_USER:$ES_PASSWORD $ES_URL/_cat/indices | awk '{print $3}' | grep "$i" | sort -n | sed -r 's/$i_(.*)/\1/'`
        for j in `echo $index_seq`;do
            indexday=`echo ${j:0-10}`
            indexFormatDate=`echo $indexday | head -n 1 | sed 's/\.//g'`
            if [[ $beforeday -ge $indexFormatDate ]]; then
                echo -e "\n$(date '+%Y-%m-%d %H:%M:%S')   es_index match successful,当前索引:\e[0;35m$j\e[0m"
                curl -XPOST -u $ES_USER:$ES_PASSWORD "$ES_URL/$j/_close"
                echo -e "$(date '+%Y-%m-%d %H:%M:%S')   索引\e[0;35m$j\e[0m, 关闭完成"
                if [[ ` echo $? ` == 0 ]];then
                    curl -XDELETE -u $ES_USER:$ES_PASSWORD "$ES_URL/$j"
                    echo -e "$(date '+%Y-%m-%d %H:%M:%S')   索引\e[0;35m$j\e[0m, 删除完成"
                else
                    echo -e "$(date '+%Y-%m-%d %H:%M:%S')   索引\e[0;35m$j\e[0m, 关闭失败,无法进行删除"
                fi
            else
                echo -e "\n$(date '+%Y-%m-%d %H:%M:%S')   es_index match fail,当前索引:\e[0;35m$j\e[0m"
                echo -e "$(date '+%Y-%m-%d %H:%M:%S')   索引\e[0;35m$j\e[0m, 没有过期,不需要关闭,over.."
            fi
        done
    done
}


delete_index 7 # 索引保留7天
delete_index 15 # 索引保留15天



在shell文件同目录放del_es_index_7,del_es_index_15两个文件,里面是需要保留7天或15天的索引名,不包括_yyyy.mm.dd,每个索引一行

如果要增加一个保留3天的配置,则新建del_es_index_3文件,并在shell里添加
delete_index 3 # 索引保留3天


已有 0 人发表留言,猛击->> 这里<<-参与讨论


ITeye推荐



相关 [es 索引] 推荐:

索引表和ES的一点点思考 - CSDN博客

- -
在电商项目中,物理库存系统是个极其重要的系统,订单支付后,就会开始来占用物理库存. 一般情况下,库存系统都是要分库的,因为主要的操作是写操作,例如占用/释放/取消等写操作. 使用分库可以降低数据库写的压力. 尽管写操作为主,但是读操作也是有的. 比如说,库存占用的时候,得先查询是否有库存,而这个查询操作并不都会带上分库因子(用于路由到具体的某个数据库),而是一些比较宽松的查询条件,这些查询条件对应的数据可能分布在不同的数据库上.

根据配置实现不同ES索引保留天数不同

- - 开源软件 - ITeye博客
由于ES接入的项目变多,之前所有索引都保留30天,现在需要根据业务不同,索引保留的天数可以配置,所以写了shell命令,可以根据配置删除过期索引,配合cron执行. 索引按照天进行分隔,格式统一为:xxxx_yyyy.mm.dd. #/bin/bash ES_URL="http://127.0.0.1:9200" #填写你的es对外http连接地址 ES_USER="username" #name代表你的你的es用户名 ES_PASSWORD="password" #password代表你的es用户密码 delete_index() {.

ES优化总结

- - 非技术 - ITeye博客
最近一直在研究ES集群,也看了很多篇前辈们总结的博客,同事借鉴了官方给出的一些建议,做了一下几点总结,希望对后来者有用:. 为了防止ES进程的内存被置换到磁盘上(会导致在检索的时候发生内存交换导致检索速度迟缓)引起性能急速下降. 候可以把config/elasticsearch.yml中的bootstrap.mlockall设置为true就可以了.

es的连接查询

- - 行业应用 - ITeye博客
在一般的关系型数据库中,都支持连接操作. 在ES这种分布式方案中进行连接操作,代价是十分昂贵的. 不过ES也提供了相类似的操作,支持水平任意扩展,实现连接的效果. 其他内容, 参考Elasticsearch官方指南整理. 在ES中支持两种连接方式:嵌套查询 和 has_child、has_parent父子查询.

ES性能优化总结

- - 互联网 - ITeye博客
    Elasticsearch是目前大数据领域最热门的技术栈之一,经过近8年的发展,已从0.0.X版升级至6.X版本,虽然增加了很多的特性和功能,但是在主体架构上,还是没有太多的变化. 下面就把我对于ES使用实践的一些经验总结一下,供大家参考;也请大家拍砖. 如果有条件,尽可能使用SSD硬盘, 不错的CPU.

es近实时搜索原理

- - 企业架构 - ITeye博客
 随着按段(per-segment)搜索的发展, 一个新的文档从索引到可被搜索的延迟显著降低了. 新文档在几分钟之内即可被检索,但这样还是不够快.  提交(Commiting)一个新的段到磁盘需要一个 . fsync 来确保段被物理性地写入磁盘,这样在断电的时候就不会丢失数据. 但是  fsync 操作代价很大; 如果每次索引一个文档都去执行一次的话会造成很大的性能问题.

ES既是搜索引擎又是数据库?真的有那么全能吗? - 更多 - dbaplus社群:围绕Data、Blockchain、AiOps的企业级专业社群。技术大咖、原创干货,每天精品原创文章推送,每周线上技术分享,每月线下技术沙龙。

- -
经常遇到很多朋友询问,如何学好Elasticsearch. 这个问题本质上很不好回答,但我一直又很想好好回答,所以本文就以我个人的经验视角,跟大家探讨一下如何正确的拥抱Elasticsearch. Elasticsearch是什么,不同的人有不同的理解定位,之前写过Elasticsearch对比其它数据产品的文章.

MySQL InnoDB 與 PostgreSQL 的 Partial Index(es) 是不一樣的東西…

- - Gea-Suan Lin's BLOG
MySQL InnoDB 指的 Partial Index 是:. An index that represents only part of a column value, typically the first N characters (the prefix) of a long VARCHAR value..

ES集群的高可用性知识点整理

- - 学习日志
为了防止ES集群中单点问题,一般都需要对集群节点做高可用性,当发生单点问题时,也可以向外正常提供服务. 这里主要记录一下节点的加入、离开和选举. 集群安装教程请参考: https://www.elastic.co/guide/en/elasticsearch/reference/current/install-elasticsearch.html.

es的mapping设置 - 一只自由自在的鱼 - 博客园

- -
 自定义mapping的api. #mappings关键字. mapping中字段类型一旦设定后 禁止直接修改. 因为lucene实现的倒排索引生成后不允许修改. 除非重建索引映射,然后做reindex操作. 1,POST _reindex { "source": {"index":"旧索引"}, "dest": {"index":"备份索引"} } 2,删除旧索引 3,新索引建立mapping 4,POST _reindex { "source": {"index":"备份索引"}, "dest": {"index":"新索引"} }.