更新于:04-06 09:44

有关[博客]分类推荐

一次死锁导致CPU异常飘高的整个故障排查过程 - 自由早晚乱余生 - 博客园

于04-24 11:12 - -
如何快速清理僵尸进程(Z). 如何查看哪些文件被哪些进程被锁. 2021年4月2号,晚上10.45分左右,线上业务异常,后排查 线上服务器CPU 异常高,机器是 16核 64G的. 但是实际负载已经达到了 140左右. 虚拟机所属于物理机是否有故障. 虚拟机所用的资源是否有抖动或者变更. 查看日志,觉得很大可能性是: cache 落盘故障,有可能是 io 的问题.

Hive优化之小文件问题及其解决方案_lavimer-CSDN博客

于04-14 16:18 - -
1.动态分区插入数据,产生大量的小文件,从而导致map数量剧增. 2.reduce数量越多,小文件也越多(reduce的个数和输出文件是对应的). 3.数据源本身就包含大量的小文件. 1.从Hive的角度看,小文件会开很多map,一个map开一个JVM去执行,所以这些任务的初始化,启动,执行会浪费大量的资源,严重影响性能.

分享一次排查CLOSE_WAIT过多的经验 - 踩刀诗人 - 博客园

于04-08 11:34 - -
关键词:TCP、CLOSE_WAIT. 某日下午有测试人员急匆匆的跑来跟我反馈:“有客户反馈供应商附件预览不了,流程阻塞,需要紧急处理”,我立马精神起来,毕竟都是付费客户. 目前做B端业务,客户都是付费用户,不像C端,出了问题发个道歉声明也就过去了). 等她说完,我第一时间用测试账号登上去验证,浏览器一直在转圈,差不多一分钟以后出了nginx的504错误页.

Spring Cloud之Ribbon转发请求头(header参数)_justlpf的专栏-CSDN博客

于04-03 17:53 - -
1.自定义RestTemplate. 2.将MyRestTemplate注册为Bean. 3.构建spring拦截器. 5.controller调用. 使用spring cloud的ribbon组件可以实现对下游微服务的负载均衡调度,但是官方ribbon是没有header转发功能的,这里我们在ribbon的restTemplate基础上,自定义实现header的转发功能.

百亿数据,毫秒级返回,如何设计?--浅谈实时索引构建之道 - ErnestEvan - 博客园

于04-03 16:55 - -
本文已整理致我的 github 地址. https://github.com/allentofight/easy-cs,欢迎大家 star 支持一下. 本文会结合我司在 ES 上的实践经验与大家谈谈如何构建准实时索引的一些思路,希望对大家有所启发. 为什么要用搜索引擎,传统 DB 如 MySQL 不香吗.

SaaS成功,需要四种运营服务_阿朱=行业趋势+开发管理+架构-CSDN博客

于03-08 06:07 - -
2015年,我做过一次外部演讲,我讲的内容是:SaaS不仅需要运维,更需要运营. 一提起运营,互联网人想到的是:拉新(下载/注册)、留存(内容运营)、活跃(社区运营). 一提起SaaS运营,SaaS厂商就想到了客户成功运营,想到了客户运营老做的几个事:用户开通/用户使用情况监控、培训学习社区运营、支持社区运营.

k8s资源需求和限制, 以及pod驱逐策略 - ainimore - 博客园

于03-03 16:52 - -
requests:需求,最低保障, 保证被调度的节点上至少有的资源配额 limits:限制,硬限制, 容器可以分配到的最大资源配额. 如果Pod中所有Container的所有Resource的limit和request都相等且不为0,则这个Pod的QoS Class就是Guaranteed. 注意,如果一个容器只指明了limit,而未指明request,则表明request的值等于limit的值.

到底啥叫运营管理?_阿朱=行业趋势+开发管理+架构-CSDN博客

于02-11 11:50 - -
今天早上有朋友问我啥叫运营管理. (1)中国人对于运营这个词的滥用. 中国人听到运营这个词的时候,主要是来自中国互联网公司的营销部门:. 二、在电子商务公司也有一套所谓运营的说法:. 2、营销活动:大促活动的策划、整合资源、执行. 三、在传统企业也有一套所谓的运营说法:. 1、渠道管理:全国分销网络的发展、总经理(选择/培训培养/考核激励)、销售目标下达/销售业绩管理,销售推进(甚至包含给渠道压货).

oracle存储过程通过JOB来实现并行执行_u012209894的专栏-CSDN博客

于02-01 10:07 - -
1、oracle版本为10G及以上,由于网上很多都没有完善,所以特此完善记录下来,仅供参考. 需求:多个无依赖关系的存储过程并行执行(使用该功能前测试下服务器情况,貌似并行任务和数据库的CPU个数有直接关系,小于等于CPU个数*4). 实现思路:在存储过程中创建任务,以便能直接通过JAVA输入动态参数调用.

树莓派来做电视盒子 - 就是为了好玩 - 博客园

于01-26 07:56 - -
本期的树莓派专题,我们来将树莓派设置为电视盒子来使用. 目前市面上的盒子非常多,办个宽带也送个电视盒子. 电视盒子是一个小型的计算终端设备,只要简单的通过HDMI或色差线等技术将其与传统电视连接,就能在传统电视上实现网页浏览、网络视频播放、应用程序安装,甚至能将你手机、平板中的照片和视频投射到家中的大屏幕电视当中.

启动并运行 Open Distro for Elasticsearch | 亚马逊AWS官方博客

于01-23 23:12 - -
2019 年 3 月 11 日,我们发布了. Open Distro for Elasticsearch,这是 Elasticsearch 的一个增值发行版,100% 开源(采用 Apache 2.0 许可证)并且由 AWS 提供支持. (另请参阅 Jeff Barr 的. Open Distro for Elasticsearch和 Adrian Cockcroft 的.

一个复杂系统的拆分改造实践 - zhanlijun - 博客园

于01-15 11:22 - -
从上面对话可以看出拆分的理由:. 系统内各个应用之间不通,同样一个功能在各个应用中都有实现,后果就是改一处功能,需要同时改系统中的所有应用. 这种情况多存在于历史较长的系统,因各种原因,系统内的各个应用都形成了自己的业务小闭环;. 数据模型从设计之初就只支持某一类的业务,来了新类型的业务后又得重新写代码实现,结果就是项目延期,大大影响业务的接入速度;.

如何做好Code Review - 麦机长 - 博客园

于01-13 09:29 - -
Code Review(代码审查)很多团队都会做,效果如何不好说. 如果你能轻易地从一堆出自正经团队之手的代码里找出几个低级错误,往往意味着团队管理者长期忽视了Code Review的重要性. 根据经验,匆匆应付功能实现和漏洞修复而将Code Review流于形式的团队不在少数. 当然,每个人都能列举一大堆“客观原因”,而且每一条理由听起来都是那么的有说服力.

使用logstash同步mysql 多表数据到ElasticSearch实践 - 三度 - 博客园

于01-13 09:26 - -
参考样式即可,具体使用配置参数根据实际情况而定. jdbc_connection_string => "jdbc:mysql://localhost/数据库名". jdbc_driver_library => "mysql-connector-java-5.1.45-bin.jar所在位置". type => "数据库表名1".

基于token的多平台身份认证架构设计 - 一点一滴的Beer - 博客园

于12-25 22:10 - -
在存在账号体系的信息系统中,对身份的鉴定是非常重要的事情. 随着移动互联网时代到来,客户端的类型越来越多, 逐渐出现了  一个服务器,N个客户端的格局 . 不同的客户端产生了不同的用户使用场景,这些场景:. 综上所述,它们的身份认证方式也存在一定的区别. 本文将使用一定的篇幅对这些场景进行一些分析和梳理工作.

漫谈单点登录(SSO) - EzrealLiu - 博客园

于12-25 22:03 - -
SSO这一概念由来已久,网络上对应不同场景的成熟SSO解决方案比比皆是,从简单到复杂,各式各样应有尽有. 开源的有OpenSSO、CAS ,微软的AD SSO,及基于kerberos 的SSO等等……这些优秀的解决方案尽显开发及使用者的逼格,当然需求所致无谓好坏高低,满足实际之需才是王道. 本文并不讨论上述提到的方案的整合使用、或者复杂场景如:安全、防火墙、N 多个系统层叠调用这种"巨型项目"里SSO的实现与使用,也并不涉及 C/S 、C/S+B/S 的SSO解决方案,仅关注B/S 上的SSO实现.

Maven pom.xml中的元素modules、parent、properties以及import - 青石路 - 博客园

于12-25 21:57 - -
  项目中用到了maven,而且用到的内容不像. 利用maven/eclipse搭建ssm(spring+spring mvc+mybatis)用的那么简单;maven的核心是pom.xml,那么我就它来谈谈那些不同的地方;.   给我印象最深的就是如下四个元素:modules、parent、properties、import.

springboot获取properties文件的配置内容(转载) - Mr_伍先生 - 博客园

于12-25 21:56 - -
1、使用@Value注解读取. 读取properties配置文件时,默认读取的是application.properties. //1、使用@Value注解读取. 部分放到一个单独的类A中进行读取,然后在类B中调用,则要把类A增加@Component注解,并在类B中使用@Autowired自动装配类A,代码如下.

springboot 获取enviroment.Properties的几种方式 - ppjj - 博客园

于12-25 21:54 - -
springboot获取配置资源,主要分3种方式:@Value、 @ConfigurationProperties、Enviroment对象直接调用. 前2种底层实现原理,都是通过第三种方式实现. @Value 是spring原生功能,通过PropertyPlaceholderHelper.replacePlaceholders()方法,支持EL表达式的替换.

分布式存储ceph---ceph概念及原理(1) - Wolf_Coder - 博客园

于12-24 19:06 - -
  Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统. ceph 的统一体现在可以提供. 对象存储,分布式体现在可以. 在国内一些公司的云环境中,通常会采用 ceph 作为openstack 的唯一后端存储来提高数据转发效率.   Ceph项目最早起源于Sage就读博士期间的工作(最早的成果于2004年发表),并随后贡献给开源社区.

FPA功能点估算系统规模流程概述-威尔金的IT博客,51CTO-51CTO博客

于12-12 18:03 - -
有关什么是功能点分析法,为什么要用功能点分析法的内容,请阅读《 FPA笔记一 概述》. 1.   计算功能点的总体流程. FPA的计算流程比较复杂,主要分为三大步骤:定义分析目标;计算未调整功能点;计算调整功能点. 1)      决定分析类型和目的:开发项目、升级项目、应用. 2)      识别分析范围和应用边界.

功能点估算法(一)_软件质量管理、项目管理、过程改进、软件自动化测试咨询与培训。-CSDN博客_功能点估算法

于12-12 14:49 - -
功能点估算法是软件项目管理众多知识中比较有技术含量的一个. 在软件项目管理中项目计划制定的优劣直接关系到项目的成败,项目计划中对项目范围的估算又尤为重要,如果项目负责人对项目的规模没有一个比较客观的认识,没有对工作量、所需资源、完工时间等因素进行估算,那么项目计划也就没有存在的意义. 项目范围的估算在CMMI的“MA”度量分析管理和“PP”项目计划中均有涉及,对软件项目范围的估算有很多种方法,常见的就是LOC代码行和FP功能点法,它们之间的区别和关系如下:.

如何构建更健壮的在线系统_heiyeluren的blog(黑夜路人的开源世界)-CSDN博客

于12-06 09:23 - -
【原创】如何构建更健壮的在线系统. 作者: 黑夜路人(heiyeluren). 说明:本文主要面对PHP为主要开发语言的业务系统,Golang、Java等语言可以学习参考. Why 为什么要健壮的系统. 为什么测试好好的,上到线上代码一堆bug,一上线就崩溃或者一堆问题. 为什么感觉自己系统做的性能很好,上线后流量一上来就雪崩了.

弱网络环境下最优调度和优化传输层协议方案_justinjing的专栏-CSDN博客_网络较差用什么协议

于12-06 09:01 - -
与有线网络通信相比,无线网络通信受环境影响比较大(例如高层建筑、用户移动、环境噪音、相对封闭环境等等),网络的服务质量相对来说不是非常稳定,导致用户经常会在弱信号的网络环境下通信. 而当用户在这种网络环境下通信时,则存在较多的丢包、误码、超时、连接中断以及难以接入网络等情况. 通信除了受环境影响以外,网络覆盖和室分系统不完善、邻区漏配、导频污染、过载控制等原因也都会产生无线呼叫掉线、服务质量下降等问题.

携程Hadoop跨机房架构实践_yukangkk的技术博客-CSDN博客

于12-06 08:57 - -
陈昱康,携程架构师,对分布式计算和存储、调度、查询引擎、在线离线混部、高并发等方面有浓厚兴趣. 本文将分享携程Hadoop跨机房架构实践,包含Hadoop在携程的发展情况,整个跨机房项目的背景,我们跨机房的架构选型思路和落地实践,相关的改造和对未来的展望,希望给大家一些启迪. 一、Hadoop在携程的落地及发展情况.

自动文摘(bytecup 2018)_狮子座明仔知识集散场-CSDN博客

于12-06 08:51 - -
自动文摘(Auto Text Summarization). 自动文摘,也称自动摘要生成,是NLP中较难的技术,难点很多,至今并没有一个非常让人满意的、成熟的技术来解决这个问题. 自动文摘技术应用最广的领域在于新闻,由于新闻信息的过载,人们迫切地希望有这么一个工具可以帮助自己用最短的时间了解最多的最有用的新闻.

Spring Cloud 使用 Kubernetes 作为注册中心_HelloWood-CSDN博客

于11-08 18:13 - -
Spring Cloud 可以使用 Kubernetes 作为注册中心,实现服务注册和发现. 创建两个应用,Consumer 和 Provider,Provider 提供一个 REST 接口供 Consumer 调用. 指定服务的名称,用于实现调用. 添加  @EnableDiscoveryClient启用服务发现.

k8s部署springcloud架构的一些心得体会_浅抒流年的博客-CSDN博客

于11-08 16:50 - -
最近在研究k8s,顺便将公司springcloud架构改造了一下,以更好适应用k8s来部署. 期间遇到了一些问题,自己想办法解决了. 提供者和消费者向eureka注册时的问题. 大家都知道,springcloud架构是有一个注册中心的,无论是服务提供者还是服务消费者都要注册到该注册中心上. 在上一篇博文中,已经介绍过如何把eureka部署到k8s上.

微服务设计模式:防腐层(Anti-corruption layer)_琦彦-CSDN博客

于11-04 19:14 - -
 AzureCAT 模式和实践团队在.  Azure 架构中心发布了.  9 个新的微服务设计模式,并给出了这些模式解决的问题、方案、使用场景、实现考量等. 微软团队称这 9 个模式有助于更好的设计和实现微服务,同时看到业界对微服务的兴趣日渐增长,所以也特意将这些模式记录并发布. 下图是微软团队建议如何在微服务架构中使用这些模式:.

中国央企国企信息化热点_阿朱=行业趋势+开发管理+架构-CSDN博客

于11-01 11:20 - -
我很奇怪:大家觉得变化越来越快,我为啥感觉变化越来越慢呢. 你看很多企业,仍然停留在四大管控:. 而且,即使是这四大管控,其实后两个管控也没搞,就是主要做财务统一管控和人力统一管控. 对于流程统一管控,不外乎用用OA和工作流引擎. 连流程管理部也没有,也没有人对流程的质量、效率、成本进行衡量,也没有人对衡量进行绩效考核,每个部门都按日积月累混沌形成的日常事实运转过程滴答滴答走着.