更新于:10-11 15:31

有关[博客]分类推荐

TCP CLOSE_WAIT 过多解决方案-Smurf Linux运维-51CTO博客

于06-27 10:51 - -
二、linux 下 CLOSE_WAIT过多的解决方法. 情景描述:系统产生大量“Too many open files” . 原因分析:在服务器与客户端通信过程中,因服务器发生了socket未关导致的closed_wait发生,致使监听port打开的句柄数到了1024个,且均处于close_wait的状态,最终造成配置的port被占满出现“Too many open files”,无法再进行通信.

Mysql和Redis数据同步策略 - 元思 - 博客园

于06-24 09:55 - -
不更新缓存是防止并发更新导致的数据不一致. 所以为了降低数据不一致的概率,不应该更新缓存,而是直接将其删除,. 然后等待下次发生cache miss时再把数据库中的数据同步到缓存. 如果先删除缓存,有一个明显的逻辑错误:考虑两个并发操作,线程A删除缓存后,线程B读该数据时会发生Cache Miss,然后从数据库中读出该数据并同步到缓存中,此时线程A更新了数据库.

perf + 火焰图分析程序性能 - 刘志鹏的Blog - 博客园

于06-23 14:37 - -
性能调优时,我们通常需要分析查找到程序百分比高的热点代码片段,这便需要使用 perf record 记录单个函数级别的统计信息,并使用 perf report 来显示统计结果;. -g 选项是告诉perf record额外记录函数的调用关系. -e cpu-clock 指perf record监控的指标为cpu周期.

MySQL/Oracle:让表的时间字段在insert和update时自动更新_xuejianbest的专栏-CSDN博客_updated => time 怎麼插入時間

于06-21 19:31 - -
让字段自动更新为当前时间戳:. --insert时若不指定updated值,则插入当前时间. --insert时和update时若不指定updated值,则插入当前时间. --insert时若不指定updated值,则为NULL;update时若不指定updated值,则插入当前时间. timestamp类型只用来存储创建时间和更新时间,因为可以自动更新,不需要程序里来处理.

Elasticsearch:rollup - 索引管理_Elastic-CSDN博客_elasticsearch rollup

于06-21 11:14 - -
rollup jobs)是一项定期任务,它将来自索引模式指定的索引中的数据进行汇总,然后将其汇总到新的索引中. 汇总索引是紧凑存储数月或数年历史数据以供可视化和报告使用的好方法. 用到rollup的情况是我们有很多的历史数据,而且通常会比较大. 通过使用 rollup 功能,我们可以把很多针对大量数据的统计变为针对经过 rollup 后的索引操作,从而使得数据的统计更加有效.

hive索引机制和原理_王玉Student的博客-CSDN博客_hive 索引

于06-21 10:01 - -
Hive的索引目的是提高Hive表指定列的查询速度. 没有索引时,类似’WHERE tab1.col1 = 10’ 的查询,Hive会加载整张表或分区,然后处理所有的rows, . 但是如果在字段col1上面存在索引时,那么只会加载和处理文件的一部分. 与其他传统数据库一样,增加索引在提升查询速度时,会消耗额外资源去创建索引和需要更多的磁盘空间存储索引.

nginx 之 proxy_pass详解_风的专栏-CSDN博客_nginx proxy_pass

于06-20 22:25 - -
在nginx中配置proxy_pass代理转发时,如果在proxy_pass后面的url加/,表示绝对根路径;如果没有/,表示相对路径,把匹配的路径部分也给代理走. http://192.168.1.1/proxy/test.html进行访问. 第二种(相对于第一种,最后少一个 / ). 第四种(相对于第三种,最后少一个 / ).

kubernetes核心组件kube-proxy - 运维笔记 - 散尽浮华 - 博客园

于06-20 22:08 - -
一.  kube-proxy 和 service . kube-proxy是Kubernetes的核心组件,部署在每个Node节点上,它是实现Kubernetes Service的通信与负载均衡机制的重要组件; kube-proxy负责为Pod创建代理服务,从apiserver获取所有server信息,并根据server信息创建代理服务,实现server到Pod的请求路由和转发,从而实现K8s层级的虚拟转发网络.

Druid 连接泄漏监测 - 左正 - 博客园

于06-20 21:22 - -
当程序存在缺陷时,申请的连接忘记关闭,这时候,就存在连接泄漏了. Druid提供了RemoveAbandanded相关配置,用来关闭长时间不使用的连接. .

MySQL 双活同步复制的四种方案_咸鱼的梦想专栏-CSDN博客_mysql双机同步复制

于06-19 16:17 - -
对于数据实时同步,其核心是需要基于日志来实现,是可以实现准实时的数据同步,基于日志实现不会要求数据库本身在设计和实现中带来任何额外的约束. 基于MySQL原生复制主主同步方案  . 这是常见的方案,一般来说,中小型规模的时候,采用这种架构是最省事的. 两个节点可以采用简单的双主模式,并且使用专线连接,在master_A节点发生故障后,应用连接快速切换到master_B节点,反之也亦然.

多个Consumer Group对Topic消费不能完全覆盖研究总结(一) - 凌晨三点半 - 博客园

于06-16 13:04 - -
我们知道Kafka支持Consumer Group的功能,但是最近在应用Consumer Group时发现了一个Topic 的Partition不能100%覆盖的问题. 程序部署后,发现Kafka在pdb组的consumer消费topic时存在问题,consumer无法完全覆盖Topic的各个partition.

Redis BGSAVE因为内存不足 fork 失败导致目标 Redis 无法访问的问题 - piperck - 博客园

于06-15 07:36 - -
中秋的时候正在外面愉快的在外卖喝着咖啡玩电脑. 突发 redis 报警从 sentry 应用端曝出的错误. 于是又开始愉快的处理问题了,看上去像是执行 rdb 快照持久化的时候出现的问题,上到 redis 机器查看日志定位详细问题. 可以很明显的发现应该是尝试 fork 的时候内存不够,并没有被 linux 内核放行.

Kafka日志及Topic数据清理 - moonandstar08 - 博客园

于06-14 22:27 - -
  由于项目原因,最近经常碰到Kafka消息队列拥堵的情况. 碰到这种情况为了不影响在线系统的正常使用,需要大家手动的清理Kafka Log. 但是清理Kafka Log又不能单纯的去删除中间环节产生的日志,中间关联的很多东西需要手动同时去清理,否则可能会导致删除后客户端无法消费的情况.   在介绍手动删除操作之前,先简单的介绍一下Kafka消费Offset原理.

外部通信-NodePort_学无止境-CSDN博客_nodeport原理

于06-07 23:00 - -
Kubernetes的Pod IP和Cluster IP都只能在集群内部访问,而我们通常需要从外部网络上访问集群中的某些服务,Kubernetes提供了下述几种方式来为集群提供外部流量入口. NodePort在集群中的主机节点上为Service提供一个代理端口,以允许从主机网络上对Service进行访问.

拆解大数据总线平台DBus的系统架构 - 宜信技术 - 博客园

于06-06 17:31 - -
Dbus所支持两类数据源的实现原理与架构拆解. 大体来说,Dbus支持两类数据源:. 一、RMDBMS类数据源的实现. 1.1 日志抽取模块(Extractor). mysql 日志抽取模块由两部分构成:. canal server:负责从mysql中抽取增量日志. mysql-extractor storm程序:负责将增量日志输出到kafka中,过滤不需要的表数据,保证at least one和高可用.

配置双活网络切换技术 - ericnie - 博客园

于06-06 17:28 - -
因配置多数据中心的时候遇到如何进行生产以及备份的切换,阅读此文受益匪浅,转载保留. 应用级灾备要求提供冗余的网络线路和设备. 正常情况下,客户端通过生产中心的业务网络访问生产中心的应用服务器;在发生灾难时,通过网络切换,客户端能够访问到灾备中心的备用服务器. 目前,网络切换技术主要有以下三种:. 生产中心和灾备中心主备应用服务器的IP地址空间相同,客户端通过唯一的IP地址访问应用服务器.

Python3连接MySQL数据库之mysql-client - Ethan_zhang - 博客园

于06-06 09:14 - -
要想使 python 可以操作 mysql 就需要 MySQLdb 驱动,它是 python 操作 mysql 必不可少的模块. 在此站点下载mysqlclient安装包:https://www.lfd.uci.edu/~gohlke/pythonlibs/# 进行本地安装. 以下是从这个网站上面检索到的mysqlclient的所有版本.

Oracle GoldenGate系统之----双向同步数据表_ITPUB博客

于06-05 16:57 - -
双向同步与单向同步类似,但需要着重注意两个问题:防止数据循环和防止数据冲突. 在EXTRACT进程中忽略REPLICAT的事务,一般排除提取用户的操作,并且与需要同步的用户分开. 如USERID SCOTT,PASSWORD TIGER. 一般要从应用层面解决,避免操作相同的数据. 假设是A、B两个库之间的同步配置.

ES中index和type区分 - 王的博客园12 - 博客园

于06-05 10:27 - -
elasticsearch-中的索引与类型的前生今世. 使用 type 允许我们在一个 index 里存储多种类型的数据,这样就可以减少 index 的数量了. 在使用时,向每个文档加入 _type 字段,在指定 type 搜索时就会被用于过滤. 使用 type 的一个好处是,搜索一个 index 下的多个 type,和只搜索一个 type 相比没有额外的开销 —— 需要合并结果的分片数量是一样的.

elasticsearch 事务日志是个啥东西? - 饭别稀 - 博客园

于06-03 12:11 - -
translog是elasticsearch的事务日志文件,它记录了所有对索引分片的事务操作(add/update/delete),每个分片对应一个translog文件. translog是用来恢复数据的. Es用“后写”的套路来加快写入速度 — 写入的索引并没有实时落盘到索引文件,而是先双写到内存和translog文件,.

超详细!4小时开发一个SpringBoot+vue前后端分离博客项目!!

于05-28 16:05 - MarkerHub -
项目代码: github.com/MarkerHub/v…. 项目视频: www.bilibili.com/video/BV1PQ…. 文章总体分为2大部分,Java后端接口和vue前端页面,比较长,因为不想分开发布,真正想你4小时学会,哈哈. 从零开始搭建一个项目骨架,最好选择合适,熟悉的技术,并且在未来易拓展,适合微服务化体系等.

elasticsearch 写入速度提升的案例分享 - 独行侠梦 - 博客园

于05-24 17:53 - -
文章首发投稿至InfoQ,【侠梦的开发笔记】公众号,欢迎关注. 基本配置,5台配置为 24C 125G 17T 的主机,每台主机上搭建了一个elasticsearch节点. 采用的elasticsearch集群版本为7.1.1. 管理工具包括kibana和cerebro. 数据来源为kafka的三个topic,主要用于实时日志数据的存储和检索,由于实时性要求,所以需要将数据快速的写入到es中.

Elasticsearch6.X 去重详解_大数据_铭毅天下(公众号同名)-CSDN博客

于05-22 15:33 - -
Elasticsearch有没有类似mysql的distinct的去重功能呢. 类似mysql: select distinct(count(1)) from my_table;. 类似mysql:SELECT DISTINCT name,age FROM users;. 1)对ES的检索结果进行去重统计计数.

Netty 中的粘包和拆包 - rickiyang - 博客园

于05-17 16:30 - -
Netty 底层是基于 TCP 协议来处理网络数据传输. 我们知道 TCP 协议是面向字节流的协议,数据像流水一样在网络中传输那何来 “包” 的概念呢. TCP是四层协议不负责数据逻辑的处理,但是数据在TCP层 “流” 的时候为了保证安全和节约效率会把 “流” 做一些分包处理,比如:. 发送方约定了每次数据传输的最大包大小,超过该值的内容将会被拆分成两个包发送;.

今天,你遇到redis线上连接超时了吗? - WindWant - 博客园

于05-17 07:39 - -
一封报警邮件,大量服务节点 redis 响应超时. redis 响应变慢,查看日志,发现大量 TimeoutException. 大量TimeoutException,说明当前redis服务节点上已经堆积了大量的连接查询,超出redis服务能力,再次尝试连接的客户端,redis 服务节点直接拒绝,抛出错误.

集成Consul负载均衡多实例注册_java_天雨流芳-CSDN博客

于05-11 10:27 - -
SpringBoot2.x 集成Consul负载均衡多实例注册. 自定义ConsulServiceRegistry. 问题:问题在多个实例注册时出现. 如果不解决将会出现实例覆盖的情况,实现不了负载均衡. 原因:根据官网描述:Consul 的注册机制,默认是Spring Cloud Consul在注册的时候实例名(InstanceId)采用了:“服务名-端口号”(即:{.

Spring-Boot 默认日志logback配置_Java_t0m的专栏-CSDN博客

于05-09 09:47 - -
Spring-Boot官方开发指导文档. SpringBoot默认采用了logback日志系统,也支持Log4j2、JDK (Java Util Logging)、SLF4J、Commons Logging等. 下面说一下logback日志系统在SpringBoot中的配置. 如果日志需求简单,可以直接在application.properties中配置logback日志属性,否则可以自定义logback日志文件位置,然后根据自己需要配置logback内容.

Apache Openwhisk学习(一) - junjiang3 - 博客园

于05-03 10:09 - -
最近中途参与的一个项目是和Serverless、Faas相关的,项目的整体架构和实现都参考了开源项目openwhisk,因此,同事们在编码时都会参考openwhisk的源码. 因为以前从没有接触过这方面的知识,因此想学习下. 关于Serverless和Faas的概念场景等,可以参考下,这两篇博客,.

es集群快速恢复(优化方案)_大数据_ClearloveXXX的博客-CSDN博客

于05-01 08:37 - -
2、关闭allocate,禁止shard做allocate. 5、等级集群变成yellow后开启allocate,允许shard做allocate. 调整集群恢复时的带宽,-1是指无限制 . 调整集群恢复时的单机并发度,最好是和磁盘块数一致 . 调整集群恢复时单个shard中同时恢复的小文件的个数.

ES运维--快速重启_运维_SouthPark的专栏-CSDN博客

于05-01 08:01 - -
修改es配置,重启集群成本巨大. ES集群已有25T数据,27个节点,24个数据节点(热盘12和hot节点,慢盘12个stale节点,3个mater节点),数据节点的启动,加入集群后需要初始化全部索引,这个过程过程很慢. 全部重启一次可能要一天,非常耗时. 重启后经常遇到少量索引一直处于unassigned状态,导致集群一直是red状态.