MongoDB 的数据可靠性,单机可靠性有望在1.8版本后增强

标签: 可靠性 MongoDB --dur | 发表时间:2011-01-11 14:53 | 作者:nosqlfan Bian Jiang
出处:http://blog.nosqlfan.com

这几天在 MongoDB 的各个讨论区上又开始了关于 MongoDB 单机数据可靠性的讨论,原因是一位不太靠谱的同学在使用单台 MongoDB 做存储时丢失了他所有的数据。最后原因基本确定是因为此同学在停服务时暴力的使用了Kill -9 操作,但关于MongoDB 单机数据可靠性的问题又被提出了台面上,而这一次,MongoDB 官方也给出了一个与以往不同的态度。

下面是这次讨论的导火线

此哥们在twitter上抱怨他存在 MongoDB 里的数据全丢了,启动时加了repair也无法恢复。

这是他在Group 里的求助

最后原因是这位仁兄暴力的执行了Kill -9 操作。为什么不能执行Kill -9?

这和 MongoDB 的存储方式有关,MongoDB 使用 mmap 的方式进行数据文件管理,也就是说写操作基本是在内存中进行的,写操作会被阶段性地flush到磁盘,而不是立刻写到磁盘的(默认是60秒,由 syncdelay 设定)。而在数据未开始flush前(比如在离上一次flush 59 秒时),我们如果执行 Kill -9 操作,则在这59秒内的写操作将全部丢失。但庆幸的是我们只是丢了这59秒内的这一部分数据。

而如果在我们进行flush 操作的时候执行Kill -9操作,则会造成数据文件错乱,一部分是新数据一部分是旧数据,那我们的所有数据可能就都不能恢复了。上面这位同学应该就是遇到了这种情况。

如何避免这种灾难?

当然首先是不要执行Kill -9,但是Kill -9其实只是相当于人为模拟了一次故障,如果真的出现断电,宕机等事故(暂不包括磁盘物理损坏),那还是会丢失数据的。

第二是通过replication 使用 一个slave,或者用replica set 来避免单结点数据丢失。

也就是说MongoDB 的单机可靠性无法保证了?没错!这正是MongoDb 的设计哲学。具体可以参见这里

MongoDB 团队的反应

但是这一次MongoDB 并没有像之前一样横眉冷对千夫指,很快地,在 MongoDB 1.7 版本的最新分支上,就出现了一个新的数据可靠性选项(–dur)的支持。并且在数据文件修复工具上也有了一些改进

如果在启动MongoDB时加上–dur 则MongoDB 会在进行写操作前记一份日志,这和在其他一些数据库中的binlog 类似,在MongoDB 数据文件损坏的情况下,可以使用此日志来进行恢复。据说其对性能的影响不大。

具体这一特性是否会合并到主干中,是否会成为默认选项,让我们拭目以待吧。

参考文章:MongoDB, Data Durability and Improvements coming in 1.8

分享家:Addthis中国

相关 [mongodb 数据 可靠性] 推荐:

MongoDB 的数据可靠性,单机可靠性有望在1.8版本后增强

- Bian Jiang - NoSQLfan
这几天在 MongoDB 的各个讨论区上又开始了关于 MongoDB 单机数据可靠性的讨论,原因是一位不太靠谱的同学在使用单台 MongoDB 做存储时丢失了他所有的数据. 最后原因基本确定是因为此同学在停服务时暴力的使用了Kill -9 操作,但关于MongoDB 单机数据可靠性的问题又被提出了台面上,而这一次,MongoDB 官方也给出了一个与以往不同的态度.

MongoDB之数据建模

- - 博客园_首页
MongoDB与关系型数据库的建模还是有许多不同,因为MongoDB支持内嵌对象和数组类型. MongoDB建模有两种方式,一种是内嵌(Embed),另一种是连接(Link). 那么何时Embed何时Link呢. 那得看两个实体之间的关系是什么类型. 一对一的关系:Embed,比如用户信息集合有Address字段,Address字段有省、市、县三个字段.

MongoDB如何存储数据

- - 数据库 - ITeye博客
深入了解MongoDB如何存储数据之前,有一个概念必须清楚,那就是Memeory-Mapped Files. 下图展示了数据库是如何跟底层系统打交道的. 内存映射文件是OS通过mmap在内存中创建一个数据文件,这样就把文件映射到一个虚拟内存的区域. 虚拟内存对于进程来说,是一个物理内存的抽象,寻址空间大小为2^64.

MongoDB数据缓存刷新机制

- 铭文 - NoSQLFan
本文原文出自淘宝DBA团队博客,文章对MongoDB源码进行了分析,跟踪了其缓存Flush机制,对缓存刷新机制进行了清晰的讲解. 最近配合好几个项目测试了MongoDB的写入性能. 在内存没有用尽的情况下,虽然MongoDB只有一个更新线程,写入还是非常快的,基本上能达到25000/s以上(索引数据用uuid_generate_randome和uuid_unparse随机产生).

MongoSpy, MongoWatch及MongoDB数据压缩

- gOODiDEA - NoSQLFan
本文源自openmymind博客的一篇文章,文中作者介绍了两个自己用Node.JS写的MongoDB监控小工具,MongoSpy和MongoWatch,然后提出了在对MongoDB进行文本存储时使用压缩以节约空间的设想. 这两上小工具功能并不怎么强大,实现也简单,如果你会用任何一种语言操作MongoDB的话,相信你都能写一个类似的东西.

MongoDB数据库文档大全

- - CSDN博客推荐文章
MongoDB数据库简单介绍. MongoDB是一个高性能 ,开源 ,无模式的文档型数据库,它在许多场景下可用于替代传统的关系型数据库或键/值存储模式. MongoDB是用C++开发, 提供了以下功能:. 面向集合的存储:适合存储对象及JSON形式的数据. 动态查询:Mongo支持丰富的查询表达式.

kafka数据可靠性深度解读

- - CSDN博客推荐文章
Kakfa起初是由LinkedIn公司开发的一个分布式的消息系统,后成为Apache的一部分,它使用Scala编写,以可水平扩展和高吞吐率而被广泛使用. 目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark等都支持与Kafka集成. Kafka凭借着自身的优势,越来越受到互联网企业的青睐,唯品会也采用Kafka作为其内部核心消息引擎之一.

Craigslist迁移20亿数据到MongoDB的经验与教训

- gOODiDEA - NoSQLFan
MongoDB正热火朝天,应用案例层出不穷,可能你也正跃跃欲试. 好吧,既然要试,那我们最好搞清楚可能遇到哪些困难,下面PPT就是一个很好的经验总结,下面PPT是Craigslist网站(可能是全球最大的分类清单网站)将其20亿数据迁移到MongoDB过程中遇到的问题及其经验,相信对每一个使用MongoDB的同学都会有所帮助.

Mongodb亿级数据量的性能测试

- - haohtml's blog
进行了一下Mongodb亿级数据量的性能测试,分别测试如下几个项目:.  (所有插入都是单线程进行,所有读取都是多线程进行). 1) 普通插入性能 (插入的数据每条大约在1KB左右). 2) 批量插入性能 (使用的是官方C#客户端的InsertBatch),这个测的是批量插入性能能有多少提高. 3) 安全插入功能 (确保插入成功,使用的是SafeMode.True开关),这个测的是安全插入性能会差多少.

Memcache缓存与Mongodb数据库的优势和应用

- - C++博客-牵着老婆满街逛
转载自: http://www.jzxue.com/shujuku/shujukuzonghe/201005/19-3807.html. 先说说自己对 Memcache和Mongodb的一些看法,主要是抛砖引玉了,希望看到大家的意见和补充. Memcache的优势我觉得总结下来主要体现在:. 可以由10台拥有4G内存的机器,构成一个40G的内存池,如果觉得还不够大可以增加机器,这样一个大的内存池,完全可以把大部分热点业务数据保存进去,由内存来阻挡大部分对数据库读的请求,对数据库释放可观的压力.