我读《京东技术解密》 - Dimmacro

标签: 京东 技术 解密 | 发表时间:2015-02-03 22:35 | 作者:Dimmacro
出处:

  自从今年1月26号开博,打算今年好好整理一下自己这些年的技术积累,整理一些读书笔记。不为别的,只为能回看过去,不忘初心。从开博到现在也快一周了吧,说好的一周至少写两篇文章的规定呢?嗐,万事开头难,且行且珍惜吧。

  京东技术解密这本书从2014年12月3号晚23点看到了2015年1月26号晚22点,小两月了。记得这本书还在京东预售的时候,很期望能早点买到,因为个人一直对互联网行业高并发高性能的系统感兴趣,尽管自己在日常工作中用到的不多,也许是受了互联网同事们的蛊惑吧,觉得这才是技术的魅力所在。anaway,看完后,觉得里当初自己的对该书的期望还是有点距离,纯技术的部分其实涉及的不算多,更多的是将京东体系的系统如何创造和升级,工程师们如何妙手回春。就我个人看来,每一个成熟互联网的背后,其系统都有一批抛头颅,洒热血的工程师甘当炮灰,用自己的青春年华推动IT建设,每个故事都是一段传奇,虽然主角不同,然后剧情雷同,也是你我这样的人可以领悟和感同身受的吧。

  以下列出读完此书后我个人的一些记录和想法,整理思绪,构建体系:

  1. 电商平台、物流平台、技术平台、互联网金融是京东未来十年4大战略业务,个人感觉这就是IT的本质的四个方向:向上延伸人的感知和体验,向下替代可重复性劳动,向左不断提升IT自身的能力,向右实现经济价值,从这个角度来说,电商、物流、技术无可厚非,对互联网金融,也许概念可以更大一点,既然为实现经济价值,说白了就是出来卖嘛,那么一切别人需要的都可以卖,物流能力可卖、技术能力可卖、平台上的一切资源皆可卖。当然前提是要有商德。
  2. 京东IT管理123分为一个愿景(做中国最有影响力的技术团队),2个重点(文化(信任、分享、成长)、结构(人才结构、组织结构)),3个体系(产品体系、架构体系、管理体系(项目管理、领导力系统))。包括了目标,战略,战术,保障。
  3. 京东数据中心网络包含3个核心服务:CDN、负载均衡(LVS、HaProxy、Nginx)、基础网络。存储、技术、网络是云计算IAAS层的核心内容,也是IT世界的最底层要素,CDN(内容分发网络)是大型网站毕竟之路,毕竟对于非CDN的集中式部署而言,即使能通过负载均衡分摊到后端多台服务器,单一方面负载均衡本身会成为瓶颈,一方面网络压力不是单线路网络可承载的,通过CDN,分而治之,就近访问,减少向主服务器访问的压力,只是CDN的分发和同步需要后台处理,不过现在这种技术也很成熟了。负载均衡为分摊压力,对于穷怕了的互联网公司而言,一般都是用软负载,无论是二层的LVS,4层的HaProxy,还是4/7层的Nginx,但是在不差钱的金融、银行,很多还是直接用硬件负载F5,毕竟硬件省事,而且是商业软件,有成熟的服务支持。
  4. 对于高并发连接,通用的做法是将容器线程池独立出来处理连接,而业务处理交给后端业务线程池处理,业务线程池可以根据业务优先级设定一些预留和限制模型,即共享线程池。
  5. 京东交易系统架构图:

使用Nginx做负载,Redis将数据缓存提升查询效率。

  1. 高稳定交易系统的10大原则:

  1. 性能提升的几点:尽量在内存中操作、尽量减少外部服务依赖、非同步化操作异步化、开关可控降级。
  2. 对于涉及多业务系统的复杂流程,可以梳理出主流程和状态机,然后由主流程系统负责整体流程的调度和数据的推送。
  3. 京东架构升级的四个步骤:SOA服务拆分、大数据分库分表、大字段分布式存储、缓存。
  4. 消息中间件:(消息转发采用基于日志复制的M-S、建立多个virtualTopic,合并多次写入、一个Topic多个调阅者单独记录每一个调阅者的消费位置,实现公用一份索引和消息体)
SOA治理的七大招术:
  1. 抽象共性业务构建用于复用和系统解耦
  2. 服务拆分:订单号服务
  3. 应用层平滑迁移:按用户切流量、按百分比切;监控系统+配置管理切换系统实现新老系统快速切换
  4. 数据库迁移的四个阶段:同步写老,异步写新;同步写新老;异步写老;同步写新;同步写新;
  5. 服务框架Dubbo,通过监控系统对进行监控和动态流量保护。
  6. 事件驱动:一是事件触发缓存更新;事件触发调用服务;
  7. 流程编排:对业务事件进行解析,根据业务规则对流程进行编排,确定调用因果关系,可并发调用执行服务

京东实时计算架构如下图:


本文链接: 我读《京东技术解密》,转载请注明。

相关 [京东 技术 解密] 推荐:

我读《京东技术解密》 - Dimmacro

- - 博客园_首页
  自从今年1月26号开博,打算今年好好整理一下自己这些年的技术积累,整理一些读书笔记. 不为别的,只为能回看过去,不忘初心. 从开博到现在也快一周了吧,说好的一周至少写两篇文章的规定呢.   京东技术解密这本书从2014年12月3号晚23点看到了2015年1月26号晚22点,小两月了. 记得这本书还在京东预售的时候,很期望能早点买到,因为个人一直对互联网行业高并发高性能的系统感兴趣,尽管自己在日常工作中用到的不多,也许是受了互联网同事们的蛊惑吧,觉得这才是技术的魅力所在.

京东亿级商品搜索核心技术解密

- - 运维派
作者:王春明,现任京东搜索平台部负责人,2011年加入京东搜索团队,期间一直负责京东搜索引擎研发工作,主导了多次搜索架构升级工作保障其满足京东发展需求,擅长搜索引擎、高性能服务开发、分布式系统架构. 招聘: 京东搜索平台部木有有高级/资深搜索引擎研发工程师(C/C++)  、高级/资深算法工程师(C/C++)、高级/资深数据系统工程师(java)等职位,期待您的加入,一起打造弹性搜索平台.

[技术讨论]京东产品业务逻辑错误分析

- - CSDN博客推荐文章
双十一,很多人都剁了手,而作为一个程序员,更多的是看到了业务逻辑层的问题,当然,有些问题是为了让用户愿意进入,而不一定是必须花钱,比如在第一次双十一的时候的红包叠加使用,就可以让我实际当时只花了几块钱买到了一张32g的闪迪的TF卡,嗯,双十一活动价格是160,转手120卖掉了. 而因为淘宝本身的物流问题和各种假货以及欺诈行为,我已经很少在淘宝上购买东西了,而更多的转向了京东,主要是因为京东的售后服务确实对于一二线城市的人来说比较便利,三线城市也覆盖了很多.

Spark技术在京东智能供应链预测的应用

- - IT瘾-bigdata
前段时间京东公开了面向第二个十二年的战略规划,表示京东将全面走向技术化,大力发展人工智能和机器人自动化技术,将过去传统方式构筑的优势全面升级. 京东Y事业部顺势成立,该事业部将以服务泛零售为核心,着重智能供应能力的打造,核心使命是利用人工智能技术来驱动零售革新. 1.1   京东的供应链. 京东一直致力于通过互联网电商建立需求侧与供给侧的精准、高效匹配,供应链管理是零售联调中的核心能力,是零售平台能力的关键体现,也是供应商与京东紧密合作的纽带,更是未来京东智能化商业体布局中的核心环节.

一淘网:京东商城没有技术能力屏蔽抓取

- oky - cnBeta.COM
京东商城与阿里巴巴旗下网上购物搜索引擎一淘宝(etao.com)就信息搜索、比价所引发的矛盾在本周进一步升级. 据媒体10月25日报道称,京东商城目前已修改其社区网站设置,拒绝一淘网抓取其用户产生的点评内容. 但一淘网公关部负责人吴昊25日对财新记者证实称,目前一淘对京东商城的商品信息及价格变动的抓取还在继续,但暂时停止收录京东商城产品的用户评论.

解密阿里巴巴的技术发展路径

- - 钛媒体网
2008年的一天, 阿里巴巴集团(下称“阿里”)开了一次内部会议. 在这次当时看来很平常的会议上,明确了两个议题:一,阿里是一家数据公司;二,阿里要把“计算”变成一种像水和电一样的公共品. 当时在中国还没有人谈“大数据”的概念;更没有人想到云计算会和一家互联网公司未来发展如此紧密. 1999年阿里成立之初,创始人“十八罗汉”中就不乏 技术基因.

腾讯万亿级 Elasticsearch 内存效率提升技术解密

- - IT瘾-dev
作者:morningchen,腾讯 TEG 后台开发工程师. Elasticsearch( ES )是一款功能强大的开源分布式实时搜索引擎,在日志分析(主要应用场景)、企业级搜索、时序分析等领域有广泛应用,几乎是各大公司搜索分析引擎的开源首选方案. Tencent ES 是内核级深度优化的 ES 分支,持续地进行高可用、高性能、低成本等全方位优化,已支撑的单集群规模达到千级节点、万亿级吞吐.

“维基解密”最新披露 中国宁用旧式核电技术 也不用美国先进反应堆

- Alex - 联合早报网 zaobao.com - 中国新闻
“维基解密”(WikiLeaks)最新披露美国外交电文说,中国宁可使用以大亚湾核电厂为蓝本的廉价但旧式不安全的国产反应堆,也不使用美国技术.

解密:阿里巴巴公司根据截图查到泄露信息的员工的技术是?

- - 博客园_新闻
本文作者 fuqiang liu,文章原载于知乎,雷锋网已获授权. 本文通过一个的实验,简要介绍频域手段添加数字盲水印的方法,并进一步验证其抗攻击性. 在上述实验的基础上,总结躲避数字盲水印的方法. 本文分为四个部分,第一部分综述;第二部分频域数字盲水印制作原理介绍;第三部分盲水印攻击性实验;第四部分总结;.

围观京东卖萌……

- 酿泉 - ぐるの軌跡
此时此刻,我要用什么表情去面对呢.