分布式日志
- - Java - 编程语言 - ITeye博客最近完成一个简单的日志管理系统，拿出来跟大家分享一下. 3、支持文件输出、habse输出、mongodb输出. 基于以上三点功能，我们下面详细说明. 说道支持这个功能，有个同事认为没有这个必要，他的观点是log4j的配置不需要经常变动，不需要支持这样的功能；本人的观点是“配置可以进行统一管理、而且正式机跟测试机的log4j的配置肯定会有一些差异的”，因此这个功能是必须的.
[原]聊聊分布式事务
标签：
| 发表时间：2015-01-28 01:53 | 作者：KimmKing
出处：http://blog.csdn.net/kimmking
事务就是一个会话过程中，对上下文的影响是一致的，要么所有的更改都做了，要么所有的更变都撤销掉。就要么生，要么死。没有半死不死的中间不可预期状态。
参考下薛定谔的猫。
事务是为了保障业务数据的完整性和准确性的。
分布式事务，常见的两个处理办法就是两段式提交和补偿。
两段式提交典型的就是XA，有个事务协调器，告诉大家，来都准备好提交，大家回复，都准备好了，然后协调器告诉大家，一起提交，大家都提交了。
补偿比较好理解，先处理业务，然后定时或者回调里，检查状态是不是一致的，如果不一致采用某个策略，强制状态到某个结束状态（一般是失败状态），然后就世界太平了。典型的就是冲正操作。
两段式提交典型的就是XA，有个事务协调器，告诉大家，来都准备好提交，大家回复，都准备好了，然后协调器告诉大家，一起提交，大家都提交了。
补偿比较好理解，先处理业务，然后定时或者回调里，检查状态是不是一致的，如果不一致采用某个策略，强制状态到某个结束状态（一般是失败状态），然后就世界太平了。典型的就是冲正操作。
准备好了以后，如果没有问题，收到提交，所有人都开始提交。
这个时候，比如对数据库来说，有redo日志的。
如果某个数据库这时候宕机了，那么它重启的时候，先执行检查，也会把上一次的这些操作都提交掉的。所以各个点的数据都是一致的。
这个时候，比如对数据库来说，有redo日志的。
如果某个数据库这时候宕机了，那么它重启的时候，先执行检查，也会把上一次的这些操作都提交掉的。所以各个点的数据都是一致的。
问题 1：比如 一个业务要调用很多的服务都是写操作，如果有其中一个写的服务失败了，怎么办 ？假设 4个写的吧，有2个写失败了 。
kimmking：淘宝之类的网站一般的做法是，如果4个都成功才算成功，那么这次提交时4个写都设置成一个中间状态，先容许不一致。然后4个执行完成了以后，回调或是定时任务里检查这4个数据是不是一致的，如果一致就全部置为成功状态，如果不一致就全部置为失败。
kimmking：淘宝之类的网站一般的做法是，如果4个都成功才算成功，那么这次提交时4个写都设置成一个中间状态，先容许不一致。然后4个执行完成了以后，回调或是定时任务里检查这4个数据是不是一致的，如果一致就全部置为成功状态，如果不一致就全部置为失败。
复杂的业务交互过程中，不建议使用强一致性的分布式事务。解决分布式事务的最好办法就是不考虑分布式事务。就像刚说的问题一样，把分布式的事务过程拆解成多个中间状态，中间状态的东西不允许用户直接操作，等状态都一致成功，或者检测到不一致的时候全部失败掉。就解耦了这个强一致性的过程。
一般情况下准实时就成了。涉及到钱，有时候也可以这么搞。
淘宝几s内完整一个订单处理，不是什么问题吧。
银行也不是全部都强一致性。也会扎差，也会冲正。
淘宝几s内完整一个订单处理，不是什么问题吧。
银行也不是全部都强一致性。也会扎差，也会冲正。
特别是涉及到多个系统的时候，我们比如买机票，支付完成以后，只支付完成状态，然后返回给用户了，我们过几分钟再刷新页面，才会看到变成已出票，订单完成状态。
这个时候，如果我们要求所有处理，都是强一致性的，那么久完蛋了。页面要死在那儿几分钟，才把这个事务处理完成，返回给用户。
这个时候，如果我们要求所有处理，都是强一致性的，那么久完蛋了。页面要死在那儿几分钟，才把这个事务处理完成，返回给用户。
这样就肯定涉及一个问题，支付了，但是最终出票没出来。那就没办法，商量换票或退款。
淘宝的订单改成出票失败，给支付发消息通知退款。
淘宝的订单改成出票失败，给支付发消息通知退款。
慢的时候，有可能是手工出票，这时出一张票半小时都可能，如果要求都必须强一致性的话，所有处理线程都挂在哪儿，系统早就完蛋了。
解决分布式事务的最好办法就是不考虑分布式事务。
拆分，大的业务流程，转化成几个小的业务流程，然后考虑最终一致性。
问题2：分布式事务是你们自己开发的，还是数据库自带的？
kimmking：
1、只要一个处理逻辑能保证要么成功，要么跟什么也没做一样，都算是事务。数据库事务，MQ也有事务。
你自己甚至可以写个程序生成两个文件，要么都生成了，要么都删掉不留痕迹，这也算是事务。
2、分布式事务这一块有个XA规范，实现XA接口的事务，都可以加入到一个分布式事务中，被XA容器管理起来。
你自己甚至可以写个程序生成两个文件，要么都生成了，要么都删掉不留痕迹，这也算是事务。
2、分布式事务这一块有个XA规范，实现XA接口的事务，都可以加入到一个分布式事务中，被XA容器管理起来。
3、补偿的办法，需要具体情况具体分析，没有一个各种场合都适用的框架。
作者：KimmKing 发表于2015-1-27 17:53:38 原文链接
阅读：108 评论：0 查看评论
相关 [分布] 推荐：
分布式事务简述
- If you are thinking one year ahead, you plant rice. If you are thinking twenty years ahead, you plant trees. If you are thinking a hundred years ahead, you educate people. - BlogJava-首页技术区 随着系统越来越大，不断的模块化和SOA化，你的系统可能被分散于不同的机器上，这时候，你原先的单机本地事务可能已经无法满足你的需求，你可能要跨系统跨资源的去使用事务. 具体就不多介绍了，相信大家都能明白ACID特性的基本含义. 而一个具体的事务需要涉及到的模型（无论哪种模型）一般由下面几部分组成：.
Hadoop与分布式计算
- 透明 - 丕子写本文由leftnoteasy发布于http://leftnoteasy.cnblogs.com 本文可以被全部或者部分的使用，但请注明出处，如果有问题，可以联系wheeleast (at) gmail.com, 也可以加作者的新浪微博：http://weibo.com/leftnoteasy. 很久没有写写博客了，之前主要是换工作，耽误了很多的时间，让人也变得懒散，不想花大时间来写东西.
分布式缓存-Memcached
- - 人月神话的BLOG分布式缓存出于如下考虑，首先是缓存本身的水平线性扩展问题，其次是缓存大并发下的本身的性能问题，再次避免缓存的单点故障问题(多副本和副本一致性). 分布式缓存的核心技术包括首先是内存本身的管理问题，包括了内存的分配，管理和回收机制. 其次是分布式管理和分布式算法，其次是缓存键值管理和路由. 原文： http://wenku.baidu.com/view/8686d46c7e21af45b307a8c3.html.
再谈集中和分布
- - 人月神话的BLOG上篇文章转载了关于mysql数据库的垂直和水平拆分的相关内容，本篇文章再谈下关于应用集中化后的集中和分布相关策略问题，以及最近关于完全去IOE思路的一些思考和回顾. 现在有一个问题我暂时还没得到比较明确的一些验证，如对于当前x86的pc
server服务器好的配置完全可以达到200万TPMC，对于磁盘阵列可以挂接到20T甚至更高的存储容量.
hadoop分布式配置
- - CSDN博客云计算推荐文章一、前面的部分见伪分布式配置. 二、实现SSH无密码登录远程主机（只在源主机上配置）. 注意：以上scp命令表示把authoriezd_keys远程复制到对应主机的相应目录下. slave2是目的主机的名字，需要在源主机的/etc/hosts下配置slave2以及对应的IP地址 192.168.0.5.
浅谈分布式缓存
- - CSDN博客推荐文章在前面的一些文章中，从实战的角度，讲解了有关 memcached的应用、容灾、监控等等. 但是缺乏对理论的讲解和原理性的剖析. 本文将从理论的角度去介绍，让大家从宏观上对“分布式缓存、nosql”等技术有所了解，以便进一步学习和使用. 在构建大规模的web应用时，缓存技术可以说是必备的，学习的必要性不言而喻.
关于分布式事务
- - Web前端 - ITeye博客Mysql当前分布式事务只支持Innodb存储引擎. 1个分布式事务由多个行为在不同的数据库上执行，1个分布式事务的执行成功意味着相关数据库上的行为执行均成功. 使用分布式事务的应用程序设计1个或多个资源管理器和一个事务管理器. 资源管理器(RM):用户提供通向事务的途径. 数据库服务器是一个种资源管理器.
BDRP分布式redis集群
- - 百度运维团队技术博客BDRP（baidu distributed redis platform）是包含 twemproxy， redis，redis-sentinel等多个模块开发的分布式redis平台. bdrp已经在github上进行了开源， bdrp的github项目点这里. 目前redis集群架构主要有以下几个组件：
twemproxy：redis的代理系统，可以选择多种数据分片算法
redis：集群的redis存储节点
sentinel：redis官方的集群高可用组件，可以监控redis主节点故障，并进行主备切换.
分布式搜索算法
- - 杨尚川的个人页面对于搜索引擎来说，索引存放在成千上万台机器上，如何进行分布式搜索呢. 假设搜索结果是以分页的方式显示，以PageNumber代表当前页，从1开始，以PageSize代表页面大小，默认为10，以N代表搜索服务器数量. 最简单的分布式搜索算法为：有一台 合并服务器负责接受用户的搜索请求，然后分别向N台机器获取前PageNumber*PageSize条结果，得到的结果数为N*PageNumber*PageSize，然后把这些数据重新进行排序，根据所要显示的页面PageNumber，获取从(PageNumber - 1) * PageSize + 1开始的PageSize条结果返回给用户.