使用libdrizzle实现mysql代理服务器的问题及优化
- - C++博客-首页原创精华区近期项目需要一个mysql代理服务器，实现mysql协议代理和路由功能，形成简单的mysql集群服务. drizzle_result_st对象初始时一些内部数据没有初始化，容易造成程序崩溃，因此需要修改构造函数，初始化所有内部数据. 涉及文件libdrizzle-2.0/structs.h . 相应字段为field, field_buffer,row.
使用libdrizzle实现mysql代理服务器的问题及优化
标签：
libdrizzle
mysql
代理
| 发表时间：2014-01-07 10:07 | 作者：star
出处：http://www.cppblog.com/
近期项目需要一个mysql代理服务器，实现mysql协议代理和路由功能，形成简单的mysql集群服务。现成的开源方案是mysql-proxy ， 分析功能和源代码后发现跟我们的应用场景不太匹配，于是决定重新实现一个符合需求的mysql代理服务器，考虑到需要完美支持mysql协议，优先选择了libdrizzle库， libdrizzle是开源项目drizzle中的协议库，而drizzle可以看作mysql的分支版本，目前稳定版本是7.1.36 ， 下面主要是记录使用libdrizzle中遇到的一些问题。
1. 关于nonblock模式的问题，现代应用服务器典型架构一般是使用reactor/proactor模式的事件驱动模型，如何把libdrizzle和应用服务器的驱动模型很好的结合起来尤其重要， libdrizzle支持nonblock模式，独立实现了事件驱动机制，使用poll监控网络事件，具体在drizzle_con_wait()中实现，然后通过drizzle_con_ready()遍历产生事件的网络连接，即drizzle_con_st对象，该接口难以与通常的网络事件驱动机制配合使用，性能也不太理想，具体用法可参见其自带的样例程序examples/client.cc , 也就是说libdrizzle的驱动模型需要重新封装成跟应用服务器相匹配，才能真正发挥nonblock模式的性能。
2. drizzle_result_st对象初始时一些内部数据没有初始化，容易造成程序崩溃，因此需要修改构造函数，初始化所有内部数据。涉及文件libdrizzle-2.0/structs.h 。相应字段为field, field_buffer,row 。
1. 关于nonblock模式的问题，现代应用服务器典型架构一般是使用reactor/proactor模式的事件驱动模型，如何把libdrizzle和应用服务器的驱动模型很好的结合起来尤其重要， libdrizzle支持nonblock模式，独立实现了事件驱动机制，使用poll监控网络事件，具体在drizzle_con_wait()中实现，然后通过drizzle_con_ready()遍历产生事件的网络连接，即drizzle_con_st对象，该接口难以与通常的网络事件驱动机制配合使用，性能也不太理想，具体用法可参见其自带的样例程序examples/client.cc , 也就是说libdrizzle的驱动模型需要重新封装成跟应用服务器相匹配，才能真正发挥nonblock模式的性能。
2. drizzle_result_st对象初始时一些内部数据没有初始化，容易造成程序崩溃，因此需要修改构造函数，初始化所有内部数据。涉及文件libdrizzle-2.0/structs.h 。相应字段为field, field_buffer,row 。
3. libdrizzle中运行时产生的内部对象都以双链表形式挂接在其上级对象中，例如drizzle_st对象中有个双链表维护其创建的drizzle_con_st对象，类似地，drizzle_con_st对象中有个双链表维护其创建的drizzle_result_st对象，所有的对象通过这种形式级联管理，并且这些对象中保存着上下文相关的状态，这样的实现方便资源管理，防止资源泄露，但在代理服务器中，请求和结果在不断转发过程中会形成大量的内存拷贝，为了减少转发过程中的内存拷贝，需要把drizzle_result_st显式的从drizzle_con_st中移除，当数据发往客户端完成后再删除，因此增加了drizzle_result_detach()接口，用于从drizzle_con_st对象中移除drizzle_result_st对象 ， 涉及文件libdrizzle-2.0/result.h , libdrizzle-2.0/result.cc 。
void drizzle_result_detach(drizzle_result_st *result)
{
if (result->con)
{
result->con->result_count--;
if (result->con->result_list == result)
result->con->result_list= result->next;
}
if (result->prev)
result->prev->next= result->next;
if (result->next)
result->next->prev= result->prev;
result->con = NULL ;
result->prev = NULL ;
result->next = NULL ;
}
{
if (result->con)
{
result->con->result_count--;
if (result->con->result_list == result)
result->con->result_list= result->next;
}
if (result->prev)
result->prev->next= result->next;
if (result->next)
result->next->prev= result->prev;
result->con = NULL ;
result->prev = NULL ;
result->next = NULL ;
}
相关 [libdrizzle mysql 代理] 推荐：
Linux Ksplice，MySQL and Oracle
- Syn - DBA NotesOracle 在 7 月份收购了 Ksplice. 使用了 Ksplice 的 Linux 系统，为 Kernel 打补丁无需重启动，做系统维护的朋友应该明白这是一个杀手级特性. 现在该产品已经合并到 Oracle Linux 中. 目前已经有超过 700 家客户，超过 10 万套系统使用了 Ksplice (不知道国内是否已经有用户了.
MySQL Replication 线程
- - CSDN博客推荐文章Replication 线程. Mysql 的Replication 是一个异步的复制过程，从一个Mysql instace（我们称之为Master）复制到另一个Mysql instance（我们称之Slave）. 在Master 与Slave 之间的实现整个复制过程主. 要由三个线程来完成，其中两个线程（Sql 线程和IO 线程）在Slave 端，另外一个线程（IO 线程）在Master 端.
mysql backup 脚本
- - ITeye博客网上备份脚本很多，但考虑都不周全. 保证创建备份文件只能是创建者跟root可以访问，其他用户没有权限，保证了数据库备份的安全. 上面脚本是负责备份的份数管理，. 已有 0 人发表留言，猛击->> 这里<<-参与讨论. —软件人才免语言低担保 赴美带薪读研.
Oracle MySQL Or NoSQL续
- - Sky.Jian 朝阳的天空接前面一篇，这里再将之前在“中国系统架构师大会”5周年的时候发布的纪念册“IT架构实录”上的一篇文章发出来，也算是前面博文中PPT的一个文字版解读吧. Oracle，MySQL 还是 NoSQL. 随着阿里系的“去IOE”运动在社区的宣传声越来越大，国内正在掀起一股“去xxx”的技术潮. 不仅仅是互联网企业，包括运营商以及金融机构都已经开始加入到这个潮流之中.
mysql优化
- - 数据库 - ITeye博客公司网站访问量越来越大，MySQL自然成为瓶颈，因此最近我一直在研究 MySQL 的优化，第一步自然想到的是 MySQL 系统参数的优化，作为一个访问量很大的网站（日20万人次以上）的数据库系统，不可能指望 MySQL 默认的系统参数能够让 MySQL运行得非常顺畅. 在Apache, PHP, MySQL的体系架构中，MySQL对于性能的影响最大，也是关键的核心部分.
MySql动态SQL
- - SQL - 编程语言 - ITeye博客13.7. 用于预处理语句的SQL语法. MySQL 5.1对服务器一方的预制语句提供支持. 如果您使用合适的客户端编程界面，则这种支持可以发挥在MySQL 4.1中实施的高效客户端/服务器二进制协议的优势. 候选界面包括MySQL C API客户端库（用于C程序）、MySQL Connector/J（用于Java程序）和MySQL Connector/NET.
MySQL 性能
- - 谁主沉浮这里罗列了一些基本的 MySQL 性能提示，但不是放之四海而皆准，需要根据实际的应用情况而决定. 使用标准化设计（数据库三范式），记住表的联合查询(join)性能不会差. 选择合适的字符集，虽然UTF16无所不能，但需要两倍的存储；UTF8适合各种字符，但比latin1慢，尽可能选用latin1(此条不适合中文).
mysql explain 解析
- - SQL - 编程语言 - ITeye博客Mysql Explain 详解. 例如: explain select * from t3 where id=3952602;. 二.explain输出解释. | id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra |.
mysql profile使用
- - 数据库 - ITeye博客mysql的sql语句优化都使用explain，但是这个没有办法知道详细的Memory/CPU等使用量. MySQL Query Profiler, 可以查询到此 SQL 语句会执行多少, 并看出 CPU/Memory 使用. 量, 执行过程 System lock, Table lock 花多少时间等等.