分布式系统的工程化开发方法

印象中CAP理论开始流行是从Amazon Dynamo的论文开始的，Amazon的CTO还在他的博客中介绍了最终一致性的概念，从此以后，各种会议和交流中都少不了CAP的影子. 然而，对于分布式系统工程设计和开发来说，CAP意味着什么呢. CAP 理论由 Berkerly 的 Brewer 教授提出，三者的含义如下：.

以下是我在珠三角技术沙龙 2010Q4 上的演讲投影片.

单机存储引擎解决单机读写问题，Merge-Dump存储引擎设计成一种通用的存储引擎，同时支持数据写入，随机读取和顺序扫描功能. 顺序扫描功能应用很广，比如MapReduce批处理，同一个广告主的所有关键词广告统计，用户浏览所有的收藏信息，淘宝卖家管理大量的商品等. 简单的KV系统只需要支持随机读取，而类似Bigtable这样的通用表格系统需要考虑基于主键的顺序扫描功能.

目前，知名度比较高的通用存储系统包括：Google GFS&Bigtable，Amazon Dynamo，Microsoft Azure存储系统及Yahoo PNUTS. 其中，GFS&Bigtable，Azure存储系统及Yahoo PNUTS都有总控节点，Amazon Dynamo采用去中心化的P2P设计.

检测一台机器是否宕机的应用场景如下：. 1, 工作机器宕机，总控节点需要能够检测到并且将原有服务迁移到集群中的其它节点. 2, 总控节点宕机，总控节点的备份节点（一般称为Slave）需要能够检测到并替换成主节点继续对外服务. 检测一台机器是否宕机必须是可靠的. 在大规模集群中，机器可能出现各种异常，比如停电，磁盘故障，过于繁忙导致假死等.

原文地址： 投资是个系统工程 作者： 李白雨的投资博客.                               投资是个系统工程.                                              李白雨.     做投资的时间久了，难以避免地会碰到一些关于推荐股票的问题，直接的或者间接的.

Xixibase是一个高性能，跨平台的分布式缓存系统. Xixibase server 采用 C++ 实现，底层网络库采用的是Boost Asio. Xixibase 主要特点： 1. 实现'Local Cache'功能, 当客户端打开'Local Cache'选项, 客户端可以将数据同时存储在Server 端和本地，并且保证本地数据和Server 端的数据的一致性.

ElasticSearch最近发展不错，github等都用它，可以关注I下. ElasticSearch是分布式,REST风格,搜索和分析系统. 具有实时数据，实时分析，分布式，高可用性，多租户，全文搜索，面向文档，冲突管理，自由模式，rest风格API，每个操作的持久性，Apache 2的开源许可证，基于Apache Lucene之上的特点.

Kafka是分布式发布-订阅消息系统. 它最初由LinkedIn公司开发，之后成为Apache项目的一部分. Kafka是一个分布式的，可划分的，冗余备份的持久性的日志服务. 在大数据系统中，常常会碰到一个问题，整个大数据是由各个子系统组成，数据需要在各个子系统中高性能，低延迟的不停流转. 传统的企业消息系统并不是非常适合大规模的数据处理.