MongoDB 使用的一些经验

标签: 架构研究 MongoDB NoSQL oplog | 发表时间:2013-04-09 10:51 | 作者:Bruce Dou
出处:http://blog.eood.cn


这是一篇关于 MongoDB 使用经验的一篇文章,MongoDB 相对于 MySQL 简单很多,关于 MySQL 的调优可以看另一篇博文: MYSQL 调优和使用必读



MongoDB 的单进程,多线程模型

读操作可以使用多线程,利用多核心;写操作(Global Locking)和 Map-reduce(JS 解释器的限制)只能使用单线程。

从2.2 版本,MongoDB 部分解决了全局锁问题,可以在写某个库的时候同时写其他库。一般通过在多核心单机上 Sharding 数据库,使用多个 mongod instance, 通过利用多核和缓解全局锁的问题提高读写操作 ops。可以通过 mongostat 命令查看 locking 和 page fault 情况。

另外,使用 htop 可以看到一个进程中的多个线程。Node.js 每个进程其实有两个线程,除了主线程外,还有一个线程池用来处理文件读写等操作。

充分利用 MongoDB 的 oplog

MongoDB 通过 oplog 实现主从同步,但是即使不启用从库,也可以查看和使用 oplog。修改配置文件打开 oplog:

/etc/mongod.conf
# Replication Options
master = true

这样就会在 local database 出现一个名为 oplog.$main 的 collection,(一般 MongoDB 会将这个 collection 中的数据条数保持在 5000 万以下),其中数据类似于:

{
   "ts": {
     "t": 1000,
     "i": 1365409034
  },
   "op": "u",
   "ns": "mydb.mycoll",
   "o2": {
     "_id": ObjectId("50a6718e50e50b4459dcc40e")
  },
   "o": {
     "$set": {
       "myfield": "myfield_value"
    }
  }
}

ts 为自定义的时间戳
op 表示操作类型: insert (i), update (u), delete (d), noop (n)
ns 为操作对应的 collection
o 为操作数据,这里为 $set 操作修改记录

MongoDB 的 MMAP 内存模型

MMAP 的一个缺点很多,比如当读取数据没有在内存中,操作遇到 page fault 的时候也会发生锁操作。

MongoDB 的索引

MongoDB 支持简单的 B-Tree 索引。默认情况下 _id 会自动建索引,如果需要查询其他字段可以自己手动建索引(ensureIndex() )。另外,注意在数据导入导出的时候重建索引。
比 MySQL 好的是 MongoDB 支持多值索引,即使两个字段的顺序是相反的。比如可以支持 .sort({a:1, b:-1}) 这样按不同字段的排序。和 MySQL 类似,使用的时候同样需要避免类似于 skip(BIG_NUM).limit(N) 这样的操作。

MongoDB 需要注意的几点

1. 对线上库的批量操作要控制频率

假如某些读写操作不断占用数据库资源,其他操作将不能很快或者正确完成。可以通过 sleep 操作降低批量操作的频率,为其他操作提供执行空隙。

2. 实时将数据同步到关系型数据库支持复杂查询和数据分析

NoSQL 不支持复杂查询,但是如果需要复杂查询和数据分析,可以将数据同步到关系型数据库中。

MongoDB 原生支持 Streaming,以下 Node.js 代码可以实时获取某个 collection 的数据变化,可以同步到关系型数据库,也可以用来做 Trigger。以下是 MognoDB tail oplog 的核心代码(Node.js):

var options = {
  'ns': self.config.mongodb.db + '.' + self.config.mongodb.collection,
  'ts': {'$gt': new mongo.Timestamp.fromNumber(this.last_timestamp)}
};

var stream = this.mongo.db.collection('oplog.$main')
    .find(options, {tailable: true, awaitdata: true, numberOfRetries: -1}).stream();

stream.on('data', function(item) {
  if (item.op !== 'n' && item.ts.toNumber() !== self.last_timestamp) {
    console.log(adate() + ' ' + JSON.stringify(item)+'\r\n');
    self.process(item, function() {
    });
  }
});

注意读写压力很大的情况下控制 streaming 的速度,具体情况可以见前一篇博文: Node.js 调试 GC 以及内存暴涨的分析。相关代码:

  var stream = this.mongo.db2.collection(self.config.mongodb.collection).find().stream();
  stream.on("data", function(item) {
    stream.pause();
    //console.log(JSON.stringify(item)+'\r\n');
    self.mysql.insert(item, function() {
      stream.resume();
    });
  });

3. 需要为 MongoDB 提供足够的内存空间

如果数据库的数据没有冷热之分,最好配置大于数据大小的内存,防止频繁磁盘操作。
通过将数据记录的键值改短也能明显节约空间。

4. MongoDB 默认操作的异步特性

MongoDB 写操作默认情况下是异步的,所以为了保持一致性,需要加上选项:

{
  safe: {
    fsync: true
  }
}

总之

MongoDB 是一个非常易用,优点和缺点都很明显的数据库。在某些场景下,可以考虑使用 TC,Redis 或者 Postgres,MySQL 替代。

一些参考

http://docs.mongodb.org/manual/faq/concurrency/
https://github.com/mongodb/mongo/blob/master/src/mongo/db/btree.cpp
http://blog.schmichael.com/2011/11/05/failing-with-mongodb/
http://en.wikipedia.org/wiki/Mmap
http://www.polyspot.com/en/blog/2012/understanding-mongodb-storage/

相关 [mongodb 经验] 推荐:

MongoDB 使用的一些经验

- - Web 开发 : 从后端到前端
这是一篇关于 MongoDB 使用经验的一篇文章,MongoDB 相对于 MySQL 简单很多,关于 MySQL 的调优可以看另一篇博文: MYSQL 调优和使用必读. MongoDB 的单进程,多线程模型. 充分利用 MongoDB 的 oplog. MongoDB 的 MMAP 内存模型. MongoDB 需要注意的几点.

Craigslist迁移20亿数据到MongoDB的经验与教训

- gOODiDEA - NoSQLFan
MongoDB正热火朝天,应用案例层出不穷,可能你也正跃跃欲试. 好吧,既然要试,那我们最好搞清楚可能遇到哪些困难,下面PPT就是一个很好的经验总结,下面PPT是Craigslist网站(可能是全球最大的分类清单网站)将其20亿数据迁移到MongoDB过程中遇到的问题及其经验,相信对每一个使用MongoDB的同学都会有所帮助.

[mongodb] java操作mongodb

- - 数据库 - ITeye博客
           //实例化Mongo对象,连接27017端口.                               //连接名为yourdb的数据库,假如数据库不存在的话,mongodb会自动建立. //从Mongodb中获得名为yourColleection的数据集合,如果该数据集合不存在,Mongodb会为其新建立.

【MongoDB】MongoDB之优化器Profiler

- - CSDN博客数据库推荐文章
在mysql数据库中,慢查询日志经常作为优化数据库的依据, mongodb中依然有类似的功能. Mongodb自带的profiler,可以方便地记录所有耗时的操作,以便于调优;. 一、开始profiler功能. 开启profier功能有两种:. 第一种就是直接在启动参数里面进行设置,就在茄冬mongodb时候添加-profile=级别.

百万级运维经验一:Mongodb和Redis数据不能放在同一个服务器

- - CSDN博客系统运维推荐文章
一开始时,为了省服务器,把Mongodb和Redis放在一个服务器上. 网站每到高峰期都特别卡,还经常出现502. 找了很久的原因,发现硬盘的写数据很大,IOPS也很高,排查了很多原因都没找到. 然后再仔细研究监控,发现写硬盘的操作很有规律,每隔几分钟就有一次频繁的写硬盘,联想到Redis同步数据到硬盘的间隔就是几分钟,所以开始怀疑是Redis引起的.

夜说mongodb

- Lianhui Wang - NoSQLFan
前两天本站刚刚分享了wordnik使用MongoDB经验的文章:《Wordnik 的 MongoDB 使用经历》,今天又看到一位朋友对这方面做的总结,分享在这里,供大家参考. 赋闲以后很长没有更新博客了,说忙完全是借口,多半因为没有兴致所致. 今天凌晨比赛多多,趁着比赛的前奏和间隙,遂浏览些技术文章.

MongoDB与内存

- 高春辉 - 火丁笔记
但凡初次接触MongoDB的人,无不惊讶于它对内存的贪得无厌,至于个中缘由,我先讲讲Linux是如何管理内存的,再说说MongoDB是如何使用内存的,答案自然就清楚了. 据说带着问题学习更有效,那就先看一个MongoDB服务器的top命令结果:. 这台MongoDB服务器有没有性能问题. 先讲讲Linux是如何管理内存的.

白话MongoDB(一)

- Ease - 江边潮未尽,枫红一季秋
按照官方的说法,MongoDB是一种可扩展的高性能的开源的面向文档(document-oriented )的数据库,采用C++开发. 注意mongo不是mango(芒果),这个词是从humongous中截取出来的,其野心不言而明,直指海量数据存储. 和其他很多NoSQL不太一样,MongoDB背后有一个专门的商业公司在提供支持和推广,有点类似MySQL AB的模式.

MongoDB 索引

- - 博客园_首页
索引是用来加快查询的,数据库索引与数据的索引类似,有了索引就不需要翻遍整本书,数据库可以直接在索引中查找,. 使得查询速度很快,在索引中找到条目后,就可以直接跳转到目标文档的位置.. 要掌握如何为查询配置最佳索引会有些难度.. MongoDB索引几乎和关系型数据库的索引一样.绝大数优化关系型数据库索引的技巧同样适用于MongoDB..