更新于:09-21 02:29

最新推荐

六问腾讯COO任宇昕:腾讯的干部正面临着历史上最好的机会

于09-20 22:31 - 晚点LatePost -
“微视肯定不会独立出去发展,而且会在公司内部全力以赴做好它. 文|《晚点LatePost》记者 高洪浩. 任宇昕是当下腾讯同时冲在对内变革与对外竞争最前线的一位核心高管. 生于1975年的任宇昕(Mark)在腾讯工作了19年,从一名程序员成长为腾讯的COO. 他曾从0到1将腾讯游戏带向行业霸主地位.

微服务架构下,MySQL 读写分离后,数据库 CPU 飙升卡壳问题解析

于09-21 00:00 - - dev
最近系统(基于SpringCloud+K8s)上线,运维团队早上8点左右在群里反馈,系统登录无反应. 我的第一反应是Mysql数据库扛不住了. 排查问题也是一波三折,有网络问题,也有mysql读写分离后数据库参数优化问题. 1、运维团队早上8点左右在群里反馈,系统登录无反应. 2、DevOps团队通过查看Kibana日志,发现ELK、k8s集群、Redis、Mongodb、Nigix、文件服务器全部报:”Connect Unknown Error“,惊出一身冷汗.

保证分布式系统数据一致性的6种方案 - 左正 - 博客园

于09-20 07:12 - -
编者按:本文由「高可用架构后花园」群讨论整理而成. 在电商等业务中,系统一般由多个独立的服务组成,如何解决分布式调用时候数据的一致性. 具体业务场景如下,比如一个业务操作,如果同时调用服务 A、B、C,需要满足要么同时成功;要么同时失败. A、B、C 可能是多个不同部门开发、部署在不同服务器上的远程服务.

[转]服务端高并发分布式架构演进之路

于09-18 19:50 - - 架构
原文: 服务端高并发分布式架构演进之路, 作者: huashiou. 作者使用一个商城的例子,演示了架构的演变之路,思路清晰,并且解释了架构的瓶颈以及解决之道. 本文以淘宝作为例子,介绍从一百个并发到千万级并发情况下服务端的架构的演进过程,同时列举出每个演进阶段会遇到的相关技术,让大家对架构的演进有一个整体的认知,文章最后汇总了一些架构设计的原则.

快看漫画个性化推荐探索与实践

于09-19 00:00 - - dev
本次分享的主题是快看漫画个性化推荐探索与实践,主要包括:. 1.  关于快看漫画. 快看世界创立于2014年,旗下快看漫画 app 是中国新生代内容社区和原创 IP 平台,截止2019年7月总用户量已经突破2亿,注册用户量突破1亿,月活突破4000万,绝大多数用户属于高活跃、高粘性的95后、00后,快看漫画今年被 QuestMobile 等机构评为“最受00后欢迎的产品”.

kafka消费者客户端 - sowhat1943 - 博客园

于09-18 19:57 - -
消费者与消费者组之间的关系. 每一个消费者都隶属于某一个消费者组,一个消费者组可以包含一个或多个消费者,每一条消息只会被消费者组中的某一个消费者所消费. 不同消费者组之间消息的消费是互不干扰的. 消费者组出现主要是出于两个目的:. (1) 使整体的消费能力具备横向的伸缩性. 可以适当增加消费者组中消费者的数量,来提高整体的消费能力.

Flink Kafka Connector与Exactly Once剖析

于09-18 14:46 - TalkingData - flink
Flink Kafa Connector是Flink内置的Kafka连接器,它包含了从Kafka Topic读入数据的 Flink Kafka Consumer以及向Kafka Topic写出数据的 Flink Kafka Producer,除此之外Flink Kafa Connector基于Flink Checkpoint机制提供了完善的容错能力.

谈企业集成需求(9.16)

于09-16 14:21 - 人月神话 - SOA架构实施
本篇为对近期调研和访谈的企业对ESB总线和集成平台需求的一个初步整理. 实际上对于ESB服务总线究竟解决了企业哪些问题,我在前面很多文章都有过系统性的专门描述,因此这篇为零散需求记录. 在跨系统交互和集成上,企业最大的问题是数据问题,即数据不一致和数据延迟导致的跨系统业务协同上出现问题. 因此大部分企业会思考对基础数据进行统一管理并提供统一能力,即我们常说的主数据管理,主数据管理可以明确的解决业务系统和问题,也容易和业务部门和业务人员沟通为何要上MDM,而对于MDM实施本身涉及到集成,即还需要同时进行接口服务的统一管理.

JVM 堆外内存泄漏分析(二)

于09-16 08:01 - coderbee - JVM 堆外内存泄漏
关于 堆外内存的组成可以看上一篇文章 JVM 堆外内存泄漏分析(一). NMT(Native Memory Tracking)是 HotSpot JVM 引入的跟踪 JVM 内部使用的本地内存的一个特性,可以通过 jcmd 工具访问 NMT 数据. NMT 目前不支持跟踪第三方本地代码的内存分配和 JDK 类库.

Kong 开源的的服务网格Kuma爬过了K8S这座大山

于09-15 20:55 - -
2019年9月10日,Kong正式宣布开源一款Service Mesh:Kuma. 此消息一出,立即在云原生社区引起反响,各大媒体争相报道. 让我们跟随SDxCentral的总编辑,一起来看看Kong的CTO如何介绍Kuma这款Service Mesh产品以及对于SMI的看法. 关于Kuma的具体功能介绍可以阅读官网博客以及Github.

[分享发现] 三大运营商官方提供的防骚扰业务

于09-14 14:01 - gam2046 -
目前三大运营商提供的防骚扰业务均免费. 大致服务内容就是限制高频电话的呼入,拦截 95/400 开头的电话等,不同运营商略有区别. 前置条件:4G 用户、已开通 VOLTE. 开通方法:发送短信 KTFSR 到 10086 即可开通. 取消方法:发送短信 QXFSR 到 10086 即可取消. 开通 VoLTE 方法:发送短信 KTVOLTE 到 10086 即可.

Java面试通关要点汇总集 - luozhiyun - 博客园

于09-14 10:43 - -
final, finally, finalize 的区别. int 和 Integer 有什么区别. 说说自定义注解的场景及实现. HTTP 请求的 GET 与 POST 方式的区别. session 与 cookie 区别. session 分布式处理. equals 与 == 的区别. List 和 Map 区别.

浅谈滴滴派单算法

于09-13 17:13 - 滴滴技术 - 算法
本文作者:王犇 滴滴 | 首席算法工程师. 导读:说到滴滴的派单算法,大家可能感觉到既神秘又好奇,从出租车扬召到司机在滴滴平台抢单最后到平台派单,大家今天的出行体验已经发生了翻天覆地的变化,面对着每天数千万的呼叫,滴滴的派单算法一直在持续努力让更多人打到车,本篇文章会着重介绍我们是如何分析和建模这个问题,并且这其中面临了怎样的算法挑战,以及介绍一些我们常用的派单算法,这些算法能够让我们不断的提升用户的打车确定性.

JVM 堆外内存泄漏分析(一)

于09-13 08:19 - coderbee - JVM K8S 堆外内存泄漏
Java 应用部署在 Kubernetes 集群里,每个容器只运行一个进程, JVM 的启动命令是打包在镜像文件里的. 常规的方式是采用 -Xmx4g -Xms2g 这样的参数来指定 JVM 堆的最大、最小尺寸,如果需要调整堆大小就需要重新打包镜像. 为了避免因为修改堆大小而重新打包,从 JDK 8u191 版本开始支持 JVM 感知容器资源限制,这样在调整 JVM 内存分配时就不需要重新打包镜像文件,采用下面的参数来使 JVM 在启动时感知到容器的资源限制,并设定堆的大小:.

拆解大数据总线平台DBus的系统架构

于09-12 10:29 - 宜信技术学院 - 大数据
拓展阅读: 大数据总线平台DBus设计思路与工作原理. 如何基于日志,同步实现数据的一致性和实时抽取?. 快速部署DBus体验实时数据流计算. Dbus所支持两类数据源的实现原理与架构拆解. 大体来说,Dbus支持两类数据源:. 一、RMDBMS类数据源的实现. 1.1 日志抽取模块(Extractor).

Spring Cloud Alibaba | 微服务分布式事务之Seata - 极客挖掘机 - 博客园

于09-11 14:04 - -
Spring Cloud Alibaba | 微服务分布式事务之Seata. 本篇实战所使用Spring有关版本:. 在构建微服务的过程中,不管是使用什么框架、组件来构建,都绕不开一个问题,跨服务的业务操作如何保持数据一致性. 首先,设想一个传统的单体应用,无论多少内部调用,最后终归是在同一个数据库上进行操作来完成一向业务操作,如图:.

再谈能力开放平台(9.10)

于09-10 09:39 - 人月神话 - SOA架构实施
今天是教师节,祝天下所有的老师节日快乐,感恩惜福. 对于能力开放平台我在前面已经有很多文章都谈到过,今天再做下说明. 首先对于能力开放平台我在前面的思考里面做了一件重要的事情,就是将能力引擎和能力运营两者分开,能力引擎即我们常说的能力聚合网关,ESB服务总线,API网关等. 可以看到能力开放平台构建你可以选择任何一个能力引擎都没有关系,只要能力引擎能够满足标准的能力注册接入,能力基础管控(安全,日志,流控)即可.

ModSecurity:一款优秀的开源WAF

于09-10 15:00 - owensky - 工具 ModSecurity3.0 waf web应用防火墙
一、ModSecurity3.0介绍. ModSecurity是一个开源的跨平台Web应用程序防火墙(WAF)引擎,用于Apache,IIS和Nginx,由Trustwave的SpiderLabs开发. 作为WAF产品,ModSecurity专门关注HTTP流量,当发出HTTP请求时,ModSecurity检查请求的所有部分,如果请求是恶意的,它会被阻止和记录.

2019 年,数据中台为什么火了?

于09-09 00:00 - - dev
目前的数据中台创业企业都是以项目制的方式为用户交付全套的解决方案,其中既包含标准化的工具产品,也有大量针对用户个性化需求的定制开发项目. 但在客户和模式的选择上各家又有差别. 简单地讲就是“通用”和“垂直”的选择. “通用型”企业的策略是围绕数据中台底层的核心能力搭建产品和交付能力,不过多地牵涉业务层也就可以不分行业地去拓展客户.

基于Kong网关的管理平台Konga(9.9)

于09-09 07:53 - 人月神话 - 产品规划
在年中我们重新修订了ESB服务总线和API网关的产品规划后,初步决策还是基于Kong网关来定制开放API网关平台,对于Kong网关前面已经有文章做过介绍,下面再总结下Kong网关的一些关键特点. 1.可扩展性: 通过简单地添加更多的服务器,可以轻松地进行横向扩展,这意味着您的平台可以在一个较低负载的情况下处理任何请求;.

海水那么深,跨海大桥的桥墩是怎么“埋”进去的?

于09-08 10:00 - 网易《了不起的中国制造》 -
神话中孙悟空的金箍棒号称定海神针,有一万三千五百斤重,折合6.75吨,其实,它还不及现代桥梁桥墩下面的一根桩重. 作者 | 须臾千秋,清华大学土木工程博士.   随着人类的工程技术越来越高,人们对工程的要求也越来越高了.   大楼越建越高,从前的城市地标,百米摩天大楼如今只能算是批量生产的普通住宅;从前的拱桥只要跨过条河,就能算是天下名桥,而如今的大桥不仅要跨越长江黄河、高山深谷,还要跨海,要穿过风高浪急的海峡,抵御地震、台风和经年累月的海水腐蚀…….

Vue 组件数据通信方案总结

于09-08 00:00 - - dev
(给前端大全加星标,提升前端技能). 作者:政采云前端团队 公号 / 季节 (本文来自作者投稿). 初识 Vue.js ,了解到组件是 Vue 的主要构成部分,但组件内部的作用域是相对独立的部分,组件之间的关系一般如下图:. 组件 A 与组件 B 、C 之间是父子组件,组件 B 、C 之间是兄弟组件,而组件 A 、D 之间是隔代的关系.

一种对开发更友好的前端骨架屏自动生成方案

于09-06 14:33 - 马蜂窝技术 - 骨架屏 webpack ejs puppeteer
(马蜂窝技术原创内容,公众号 ID:mfwtech). 一份来自 Akamai 的研究报告显示,在对 1048 名网购户进行采访后发现:. 约 47% 的用户期望他们的页面在两秒之内加载完成. 如果页面加载时间超过 3s,约 40% 的用户会选择离开或关闭页面. 一直以来,为了提升用户在页面加载时的体验,无论是 Web 还是 iOS、Android 的应用中,前端开发工程师都做了许多工作.

美团 HTTP 服务治理实践

于09-07 00:00 - - dev
2019 年 7 月 6 日,OpenResty 社区联合又拍云,举办 OpenResty × Open Talk 全国巡回沙龙·上海站,美团基础架构部技术专家张志桐在活动上做了《美团 HTTP 服务治理实践》的分享. OpenResty x Open Talk 全国巡回沙龙是由 OpenResty 社区、又拍云发起,邀请业内资深的 OpenResty 技术专家,分享 OpenResty 实战经验,增进 OpenResty 使用者的交流与学习,推动 OpenResty 开源项目的发展.

再坚持一下,你的奶茶店马上破产 - 知乎

于09-07 10:24 - -
这两天我看后台后台的时候,发现有几个朋友再问我能不能加盟瑞幸咖啡,能不能赚到钱. 当时我是很迷惑的,因为据我所知瑞幸咖啡从来就没有开放加盟,网上所有挂着瑞幸咖啡加盟旗号的人都是各种沙雕骗子,可能是端幸咖啡. 后来我一问,说的不是瑞幸咖啡,是财报上增长亮眼的小鹿茶进行了品牌独立,正在招募各地的合伙人,问我能不能加盟,有没有钱赚.

Kafka笔记—可靠性、幂等性和事务 - luozhiyun - 博客园

于09-07 10:03 - -
这几天很忙,但是我现在给我的要求是一周至少要出一篇文章,所以先拿这篇笔记来做开胃菜,源码分析估计明后两天应该能写一篇. Kafka只对“已提交”的消息(committed message)做有限度的持久化保证. 当Kafka的若干个Broker成功地接收到一条消息并写入到日志文件后,它们会告诉生产者程序这条消息已成功提交.

Spring Cloud开发人员如何解决服务冲突和实例乱窜?

于09-06 15:04 - -
在我们开发微服务架构系统时,虽然说每个微服务都是孤立的可以单独开发,但实际上并非如此,要调试和测试你的服务不仅需要您的微服务运行,还需要它的上下文服务、依赖的基础服务等都要运行;但如果你的系统服务数和依赖比较多呢,那就是一个比较棘手的问题. 如上图所示,我们能不能用服务器把所有的服务都部署起来,然后开发只在本地运行自己所负责开发的服务,因为需要依赖其他服务所以本地启动的服务也需要注册到公共的注册中心里;.

微服务分布式一致性模式 – ThoughtWorks洞见

于09-06 15:00 - -
微服务拆分后遇到的一个麻烦是分布后的一致性问题. 单体架构的业务处理和数据都在一个进程里面,一致性保障很成熟,开发人员基本上不用关心. 当把业务系统拆分到不同进程时,就遇到了技术性一致性问题. 这带来了纠结,我们希望有一颗银弹,一把解决问题. 但由于分布式一致性在(CAP)理论上没有完美的解决方案,我们所能选择的方案是在特定业务场景下的选择.

大数据: 知乎1.3万亿条数据毫秒级响应

于09-06 08:43 - -
Zhihu,在中文古典中文中意为“你知道吗. ”是中国的Quora:一个问答网站,其中各种问题由用户社区创建,回答,编辑和组织. 作为中国最大的知识共享平台,我们目前拥有2.2亿注册用户,3000万个问题,网站答案超过1.3亿. 随着用户群的增长,我们的应用程序的数据大小无法实现. 我们的Moneta应用程序中存储了大约1.3万亿行数据(存储用户已经阅读过的帖子).

日均处理万亿数据!Flink在快手的应用实践与技术演进之路

于09-05 17:24 - ApacheFlink - 实时计算 流计算-storm 大数据处理 大数据 flink
作者介绍:董亭亭,快手大数据架构实时计算引擎团队负责人. 目前负责 Flink 引擎在快手内的研发、应用以及周边子系统建设. 2013 年毕业于大连理工大学,曾就职于奇虎 360、58 集团. 主要研究领域包括:分布式计算、调度系统、分布式存储等系统. 本次的分享包括以下三个部分:. 介绍 Flink 在快手的应用场景以及目前规模;.