Twitter 开源其 MySQL 优化成果

标签: IT技术 资讯 MysQL Twitter | 发表时间:2012-04-10 17:56 | 作者:童海波
出处:http://blog.jobbole.com

据  Twitter 工程博客透露, Twitter 决定开源其使用的、经过优化的 MySQL 版本。

Twitter 工程师 Jeremy Cole 和 Davi Arnaut 在博客中称:

MySQL 是 Twitter 大部分数据(如兴趣图谱、时间轴、用户数据和推文等)的主要存储技术。由于我们的规模,我们比其他公司更能推动 MySQL 的发展。当然,MySQL 是开源软件,所以我们可以改进它,使之满足我们的需要。我们相信共享知识和开放源码有利于创新,我们已经决定在 BSD 许可协议下开源。

Twitter 开源其 MySQL 优化成果

在该博客中,还列出了 Twitter 在 MySQL 上的主要改进工作,包括:

● 添加额外的状态变量,尤其是在 InnoDB 内部。这使我们能够更有效地监控我们的系统,以及更好地了解处理产品工作负载时的行为。

● 大型 NUMA 系统中的内存分配优化。在启动时充分分配 InnoDB 的缓冲池,甚至在服务器内存压力较高的情况下,确保服务器的性能。

● 通过改善服务器端的 Statement Timeout(声明超时),来减少不必要的工作。这允许服务器主动取消超时间隔大于 1ms 的查询。

● 使用安全、轻量级的方法导出和恢复 InnoDB 缓冲池。

● 针对 SSD 优化 MySQL,包括页面刷新(page-flushing)行为和减少磁盘写入,以提高磁盘寿命。

目前 Twitter 的 MySQL 源码托管在 Github 上,基于 BSD 许可协议。

源码地址: https://github.com/twitter/mysql

相关文章

相关 [twitter 开源 mysql] 推荐:

Twitter 开源其 MySQL 优化成果

- - 博客 - 伯乐在线
据  Twitter 工程博客透露, Twitter 决定开源其使用的、经过优化的 MySQL 版本. Twitter 工程师 Jeremy Cole 和 Davi Arnaut 在博客中称:. MySQL 是 Twitter 大部分数据(如兴趣图谱、时间轴、用户数据和推文等)的主要存储技术. 由于我们的规模,我们比其他公司更能推动 MySQL 的发展.

twitter-mysql改进点

- - CSDN博客推荐文章
目前最新的twitter-mysql版本基于mysql5.5.22,以下总结了一些比较明显的改进点,大部分已经亲自证实,其他一些诸如修复的比较次要的问题(例如编译问题)这里暂不列出,可以详细参阅 https://github.com/twitter/mysql/wiki/Change-History .

Twemproxy – Twitter 开源的 Redis proxy

- - NoSQLFan
在去年的QCon London2012 大会上,Twitter 发表了题为 《 Timelines @ Twitter》的演讲,里面提到以 Redis作为其timeline的主要存储,目前目测全球范围内,Twitter可能是Redis的最大用户了(或者是新浪微博. 而今天我们要说的这个 Twemproxy,是 Twitter 开源出来的 Redis 和 Memcached 代理.

Twitter背后的开源技术

- - 酷勤网-挖经验 [expanded by feedex.net]
如果没有开源软件,Twitter将不会存在. 你发送和接收的每一个Tweet在移动端和PC端发送的过程中,都会需要开源软件. 好奇Twitter使用了多少开源软件. 除此之外,我们想要知道开源对Twitter公司的文化产生了什么影响. 我们采访了Twitter公司主管开源的ManagerChris Aniszczyk,来和我们大家分享Twitter的开源故事.

Twitter开源Whisper Systems所有软件

- - 雷锋网
据国外媒体报道, Twitter日前在其官方博客上宣布,将逐步开放 Whisper Systems所有软件源代码. 其中,TextSecure的源码现已可在 Github网站上看到. Whisper Systems是一家移动安全初创公司,主要为Android手机和平板用户提供企业级的安全和管理解决方案.

MySQL在Twitter的应用以及Mysos介绍

- - 博客园_新闻
自创立以来,MySQL 一直是 Twitter 使用的关键数据存储技术之一. 他们的数据存储在数以百计的模式中,最大的集群有数以千计的节点,每秒为数以百万计的查询提供服务. 近日,网站可靠性工程部门高级经理 Pascal Borghino 撰文介绍了 MySQL 在 Twitter 的应用以及正在孵化中的 Mysos 项目.

Twitter即将开源即时数据处理工具Storm

- Andy - 36氪
开发者的好消息:Twitter刚刚在博客上宣布将在9月19日的Strange Loop大会上公布Storm的代码. 这个类似于Hadoop的即时数据处理工具是BackType开发的,后来被Twitter收购用于Twitter. Twitter列举了Storm的三大类应用:. 信息流处理{Stream processing}: Storm可用来实时处理新数据和更新数据库,兼具容错性和可扩展性.

[分享创造] 开源一个类微博 twitter 的网站

- - V2EX
网址: https://sserr.net. 代码: https://github.com/coyove/iis. 之前的发布: https://v2ex.com/t/628871. 时隔一个多月,当初的 todo 基本上都清掉了,代码也重构到了开源出去也不会太丢人的程度 XD. 总的来说这是一个类微博的系统,提供了大部分你所熟知的微博功能.

标准MySQL数据库外的5个开源兼容方案

- - 博客园_新闻
MySQL 是最受欢迎的免费开源应用之一,它是成千上万个网站的数据库骨干. 然而,许多开发人员认为有必要将其拆分成其他项目,并且每个分支项目都要有自己的专长,这些需求以及 Oracle 对核心产品增长缓慢的担忧,导致出现了许多开发人员感兴趣的子项目和分支. 另外,为了满足特殊业务的需要,MySQL 有时候不能完全胜任,这就需要开发出新的解决方案.

开源MySQL数据仓库解决方案:Infobright

- - 标点符
Infobright是一款基于独特的专利知识网格技术的列式数据库. Infobright是开源的MySQL数据仓库解决方案,引入了列存储方案,高强度的数据压缩,优化的统计计算(类似sum/avg/group by之类),infobright 是基于mysql的,但不装mysql亦可,因为它本身就自带了一个.