TDH_Socket与HandlerSocket和MySQL的特性优缺点对比

标签: 未分类 | 发表时间:2012-05-16 17:15 | 作者:wentong
出处:http://rdc.taobao.com/team/jm

TDH_SOCKET

HandlerSocket

SQL

IO策略

Dynamic IOStrategy

Same-thread IOStrategy

one-thread-per-connection

优点 worker线程只处理与DB相关的逻辑最大化DB的操作吞吐量 上下文切换真心很少 资源分离 不太会相互干扰
缺点 上下文切换一般,测试时最高在10w,但可以接受 IO逻辑对DB逻辑影响较大一旦io处理的慢了,会导致QPS下降很多(比如说较多的连接数并发请求导致io处理变慢也会是整体QPS下降) 线程资源浪费严重,太多的线程会导致高并发是上下文切换多,从而影响性能,测试时最高60w
读策略
    1. 无需SQL解析
    2. 可在THD上cache open过的table(可配置关闭)
    3. 一次轮询只lock一次table
    4. 请求按table的hash值平均分配到可活动的线程上
    5. 如果有table被过多访问,那么此table的请求可被分配到多个线程上
    6. 在带io请求少时,可以用较少的线程work.来减少锁征用导致的上下文切换
    7. 有一定量带io请求时,能调整worker线程数来充分利用io资源.
    8. 当带io请求巨多时,将区分带io的请求和不带io的请求.分别用两个线程池来执行,防止带io的请求堵住不带io的请求.
    9. 还可以设置流控带io的请求数来防止client的堵塞情况,能使DB继续输出较高的QPS
    10. 如果返回大批量数据可以以stream的方式返回,避免过多占用内存
    1. 无需SQL解析
    2. 可在THD上cache open过的table(不可配置关闭)
    3. 一次轮询只lock一次table
    4. worker线程数固定,且无法做请求数的平衡,只能做连接数的平衡
    1. 可global的做table的cache
    2. 每次请求都lock一次table
优点 多种策略配合能一直输出较高的QPS 在全缓存的请求下,输出的QPS很高 由于是一个连接一个请求,不会出现由带io的请求堵塞不带io的请求的情况出现
缺点 流控会丢失一部分请求,预测请求带不带io不是非常准确(如果使用row cache就能较精确的预测了) 一旦有带io的请求出现,就很容易堵塞住不带io的请求出现,所以缓存命中率下降后QPS下降的非常厉害返回大批量数据会占用过多内存 有极限一般QPS最高输出到6-7w
写策略
    1. 一次轮询的请求一次commit
    2. 请求按table的hash值平均分配到写线程上,即同一个表肯定在一个写线程的被执行,不会有死锁的问题,也不会有同一条row的锁问题.
    3. 支持Batch方式的小事务,Batch内的请求保证同时成功,同时失败
    4. 可以在Client端通过指定hash的方式,来控制请求被指定的线程执行,来避免一些锁或死锁
    1. 一次轮询的请求一次commit
    2. 可配置多个写线程,但是有一个user_lock保证只有一个写线程在工作,来防止死锁
    1. 一次请求一次commit
优点 同一个表必然在同一个线程上执行,所以行锁的征用被降到最低,加上group commit就能提供很搞的TPS可以多个写线程并发写,不会有死锁问题支持batch小事务 Group commit可以减少fsync次数,提高写性能

支持大事务
缺点 写线程数有限,在有io堵塞请求下,性能会有下降 同一时刻只有一个写线程能被执行,很容易达到瓶颈,一旦有多表插入并发出现,很容易影响整体更新性能生成binlog没有执行时间(bug)

多表insert会有自增id获取失败的问题(bug)

性能受限于IOPS
可维护性
    1. DDL操作不会被hang住(因为可以主动close 被cache的table)
    1. 支持KILL 命令直接终止正在执行的操作
    1. 大部分参数都为在线可配置
    1. status数据监控完善
    1. DDL会被hang住,因为handlersocket只open table不管主动close table,只有在流量较小time out时才会close table
最高
易用性
  1. client端不需要openIndex,直接请求即可(如:

client.query().use(“test”).select(“id”, “a”, “b”, “c”).from(“t”)

.where().fields(“a”).in(["1", "1"], ["2"], ["1"]).get())

  1. server端只需要一个port 就能做读写分离
  2. 可支持一些MySQL的内置函数
    1. 现在支持Update/Insert的时候可以插入now()
  1. 基于辅助索引的联合主键可以支持简单的order by
    1. 只能支持=的order by

5.  Java客户端支持JDBC

    1. 读写分离需要在server端配置两个port是实现
    2. client请求前需要先openIndex
最高

相关 [tdh socket handlersocket] 推荐:

HandlerSocket的原理

- Roger - MySQLOPS 数据库与运维自动化技术分享
HandlerSocket的应用场景:. MySQL自身的局限性,很多站点都采用了MySQL+Memcached的经典架构,甚至一些网站放弃MySQL而采用NoSQL产品,比如Redis/MongoDB等. 不可否认,在做一些简单查询(尤其是PK查询)的时候,很多NoSQL产品比MySQL要快很多,而且前台网站上的80%以上查询都是简洁的查询业务.

有关socket read

- - 五四陈科学院
以下内容由 [五四陈科学院]提供. 实际开发中,网络程序最可能遇到的就是数据没收到、收到错误数据这样诡异的问题.. 很多时候,都是由于对socket read的细节理解的不一致,导致了程序前后的矛盾. 下面详细阐述整个read的过程. read函数是负责从fd中读取内容.. 当读成功时, read返回实际所读的字节数.

TDH_Socket与HandlerSocket和MySQL的特性优缺点对比

- - 淘宝网通用产品团队博客
worker线程只处理与DB相关的逻辑最大化DB的操作吞吐量. 上下文切换一般,测试时最高在10w,但可以接受. IO逻辑对DB逻辑影响较大一旦io处理的慢了,会导致QPS下降很多(比如说较多的连接数并发请求导致io处理变慢也会是整体QPS下降). 线程资源浪费严重,太多的线程会导致高并发是上下文切换多,从而影响性能,测试时最高60w.

Socket的速率控制

- - CSDN博客互联网推荐文章
做一个以精确速率向外输出数据的数据源,要完成这个目标,最基础的是:. 1、找到一种精确的计时器,在精确的时间范围内控制数据源以指定的速度向外发送数据. 2、通过对套接字选项和线程优先级的设置减少网络因素对发送速度造成的影响,从而提高发送精度,保证数据的实际发送量尽可能的达到指定的理论发送量.      针对第一个要求,通过寻找到一种时间精度达到微秒级的精确计数器来保证,在硬件支持的情况下可以通过WindowsAPI获取时钟频率以及震荡次数,通过在事件两端分别调用函数得到震荡次数的差值并结合时钟频率可以计算出精确的时间间隔,通过指定的传输速度和精确的延时可以计算出需要发送的数据量.

ZeroMQ(java)中监控Socket

- - CSDN博客架构设计推荐文章
基本上ZeroMQ(java)中基本的代码都算是过了一遍了吧,不过觉得它在日志这一块貌似基本没有做什么工作,也就是我们通过日志来知道ZeroMQ都发生了什么事情. 而且由于ZeroMQ中将连接的建立和重连接都进行了隔离,用户不需要做什么事情来维护连接,当然这样做的好处是使程序员的编码工作变少了,但是当然也有不好的地方,那就是用户失去了对ZeroMQ整个运行阶段的控制.

java socket参数详解:BackLog

- - 开源软件 - ITeye博客
 java socket参数详解:BackLog. 输入连接指示(对连接的请求)的最大队列长度被设置为 backlog 参数. 如果队列满时收到连接指示,则拒绝该连接. backlog参数必须是大于 0 的正值. 如果传递的值等于或小于 0,则假定为默认值. 经过测试这个队列是按照 FIFO(先进先出)的原则.

HTML5 Web socket和socket.io - wishyouhappy

- - 博客园_首页
   HTML5的新特性,用于双向推送消息(例如网页聊天,手机推送消息等). client利用regular http请求webpage. 请求的webpage 执行javascript脚本,open a connection to server.. 有新的信息时服务器和客户端可以相互发送信息(Real-time traffic from the server to the client .

tcp/ip ,http,socket的关系

- - 行业应用 - ITeye博客
  物理层、数据链路层、网络层、传输层、会话层、表示层和应用层.   通过初步的了解,我知道IP协议对应于网络层,TCP协议对应于传输层,而HTTP协议对应于应用层,.   三者从本质上来说没有可比性,.   socket则是对TCP/IP协议的封装和应用(程序员层面上).   也可以说,TPC/IP协议是传输层协议,主要解决数据如何在网络中传输,.

关于socket的一些初步研究

- iDesperadO - keakon的涂鸦馆
这些天在研究Tornado的源码,说实话它的代码过于艰深了,需要绕很多弯才能弄清. 我想其中的问题主要是我不太懂socket,于是就花了些时间学习socket,算是有了些收获,顺便记录在此. 实际上UNIX的设计者很喜欢用类似的方式来处理一类任务,其中数据传输就都被抽象成文件,包括磁盘文件、管道、FIFO和终端等.