MongoDB数据缓存刷新机制

标签: MongoDB 源码 缓存机制 | 发表时间:2011-07-13 18:57 | 作者:nosqlfan 铭文
出处:http://blog.nosqlfan.com

本文原文出自淘宝DBA团队博客,文章对MongoDB源码进行了分析,跟踪了其缓存Flush机制,对缓存刷新机制进行了清晰的讲解。

最近配合好几个项目测试了MongoDB的写入性能。在内存没有用尽的情况下,虽然MongoDB只有一个更新线程,写入还是非常快的,基本上能达到25000/s以上(索引数据用uuid_generate_randome和uuid_unparse随机产生)。当内存用尽开始往磁盘上刷脏页的时候,性能有非常大的波动,即使调整了syncdelay也没有太大改善。在测试中还出现了一个莫名其妙的情况:MongoDB会间歇性地释放文件系统的cache。除了直接删除表空间之外,很难想到有什么动作可以诱发这个现象。在MongoDB开发者论坛里描述了这个现象,但是Eliot Horowitz认为MongoDB内部并没有代码会释放文件系统cache。那么,让我们去源码里面看一下MongoDB缓存和刷新数据的机制。

首先找到mongod的入口(db/db.cpp),发现MongoDB的初始化步骤非常简单,概括起来就以下三步:

int main(int argc, char* argv[], char *envp[] )
{
…
Module::configAll( params );
dataFileSync.go();
…
initAndListen(cmdLine.port, appsrvPath);
…
}

显然,dataFileSync就是我们感兴趣的那个类。dataFileSync类派生自BackgroundJob类,而BackgroundJob主要的功能就是生成一个后台线程并指派任务。数据的刷新是一个不断执行的后台任务,在dataFileSync.run()里面可以找到刷数据的相关代码:

void run()
{
…
Date_t start = jsTime();
int numFiles = MemoryMappedFile::flushAll( true );
time_flushing = (int) (jsTime() – start);

globalFlushCounters.flushed(time_flushing);
…
}

从这一段代码看,MongoDB会在syncdelay设定的周期内,采取同步的形式刷新所有的脏数据。再看一下flushAll是怎么刷新所有数据的:

int MongoFile::flushAll( bool sync )
{
…
set seen;
while ( true ){
auto_ptr f;
{
rwlock lk( mmmutex , false );
for ( set::iterator i = mmfiles.begin(); i != mmfiles.end(); i++ ){
MongoFile * mmf = *i;
if ( ! mmf )
continue;
if ( seen.count( mmf ) )
continue;
f.reset( mmf->prepareFlush() );
seen.insert( mmf );
break;
}
}
if ( ! f.get() )
break;

f->flush();
}
return seen.size();
}

上面这一段代码实现的功能很简单,就是把mmfiles中所有MongoFile指针所引用的对象都flush()一次。不过在执行flush()函数之前,需要先执行prepareFlush()确保这个对象是可以执行flush()函数的。下面是最后真正执行刷新操作的代码:

void MemoryMappedFile::flush(bool sync)
{
if ( view == 0 || fd == 0 )
return;
if ( msync(view, len, sync ? MS_SYNC : MS_ASYNC) )
problem() << “msync ” << errnoWithDescription() << endl;
}

终于刷新到磁盘了,呵呵。不过这篇blog只涉及到了数据刷新的代码,至于如何缓存,且听下回分解。

来源:www.taobaodba.com

技术传播,需要你我共同努力!

您可能还喜欢:

MongoDB REST Api介绍

一个NoSQL与MongoDB的介绍PPT

MongoDB源码研究系列文章

深入Redis内部-Redis 源码讲解

MongoDB的内部构造 From 《MongoDB The Definitive Guide》
无觅

相关 [mongodb 数据 缓存] 推荐:

MongoDB数据缓存刷新机制

- 铭文 - NoSQLFan
本文原文出自淘宝DBA团队博客,文章对MongoDB源码进行了分析,跟踪了其缓存Flush机制,对缓存刷新机制进行了清晰的讲解. 最近配合好几个项目测试了MongoDB的写入性能. 在内存没有用尽的情况下,虽然MongoDB只有一个更新线程,写入还是非常快的,基本上能达到25000/s以上(索引数据用uuid_generate_randome和uuid_unparse随机产生).

Memcache缓存与Mongodb数据库的优势和应用

- - C++博客-牵着老婆满街逛
转载自: http://www.jzxue.com/shujuku/shujukuzonghe/201005/19-3807.html. 先说说自己对 Memcache和Mongodb的一些看法,主要是抛砖引玉了,希望看到大家的意见和补充. Memcache的优势我觉得总结下来主要体现在:. 可以由10台拥有4G内存的机器,构成一个40G的内存池,如果觉得还不够大可以增加机器,这样一个大的内存池,完全可以把大部分热点业务数据保存进去,由内存来阻挡大部分对数据库读的请求,对数据库释放可观的压力.

MongoDB之数据建模

- - 博客园_首页
MongoDB与关系型数据库的建模还是有许多不同,因为MongoDB支持内嵌对象和数组类型. MongoDB建模有两种方式,一种是内嵌(Embed),另一种是连接(Link). 那么何时Embed何时Link呢. 那得看两个实体之间的关系是什么类型. 一对一的关系:Embed,比如用户信息集合有Address字段,Address字段有省、市、县三个字段.

MongoDB如何存储数据

- - 数据库 - ITeye博客
深入了解MongoDB如何存储数据之前,有一个概念必须清楚,那就是Memeory-Mapped Files. 下图展示了数据库是如何跟底层系统打交道的. 内存映射文件是OS通过mmap在内存中创建一个数据文件,这样就把文件映射到一个虚拟内存的区域. 虚拟内存对于进程来说,是一个物理内存的抽象,寻址空间大小为2^64.

MongoSpy, MongoWatch及MongoDB数据压缩

- gOODiDEA - NoSQLFan
本文源自openmymind博客的一篇文章,文中作者介绍了两个自己用Node.JS写的MongoDB监控小工具,MongoSpy和MongoWatch,然后提出了在对MongoDB进行文本存储时使用压缩以节约空间的设想. 这两上小工具功能并不怎么强大,实现也简单,如果你会用任何一种语言操作MongoDB的话,相信你都能写一个类似的东西.

MongoDB数据库文档大全

- - CSDN博客推荐文章
MongoDB数据库简单介绍. MongoDB是一个高性能 ,开源 ,无模式的文档型数据库,它在许多场景下可用于替代传统的关系型数据库或键/值存储模式. MongoDB是用C++开发, 提供了以下功能:. 面向集合的存储:适合存储对象及JSON形式的数据. 动态查询:Mongo支持丰富的查询表达式.

Craigslist迁移20亿数据到MongoDB的经验与教训

- gOODiDEA - NoSQLFan
MongoDB正热火朝天,应用案例层出不穷,可能你也正跃跃欲试. 好吧,既然要试,那我们最好搞清楚可能遇到哪些困难,下面PPT就是一个很好的经验总结,下面PPT是Craigslist网站(可能是全球最大的分类清单网站)将其20亿数据迁移到MongoDB过程中遇到的问题及其经验,相信对每一个使用MongoDB的同学都会有所帮助.

Mongodb亿级数据量的性能测试

- - haohtml's blog
进行了一下Mongodb亿级数据量的性能测试,分别测试如下几个项目:.  (所有插入都是单线程进行,所有读取都是多线程进行). 1) 普通插入性能 (插入的数据每条大约在1KB左右). 2) 批量插入性能 (使用的是官方C#客户端的InsertBatch),这个测的是批量插入性能能有多少提高. 3) 安全插入功能 (确保插入成功,使用的是SafeMode.True开关),这个测的是安全插入性能会差多少.

MongoDB新的数据统计框架介绍

- - NoSQLFan
目前的 MongoDB在进行复杂的数据 统计计算时都需要写MapReduce来实现,包括在SQL中比较常用的group by查询也需要写一个reduce才能实现,这是比较麻烦的. 在MongoDB2.1中,将会引入一套全新的数据统计计算框架,让用户更方便的进行统计操作. 下面我们就来看看几个新的操作符:.

mongodb中分页显示数据集的学习

- - ITeye博客
  这次继续看mongodb中的分页. 3)每次只显示2条,使用limit就可以了.   需要排下序,没问题,加上sort就可以了.    ,比如根据name排序.    如果只需要显示某些列,可以这样:.    _id:0这样的方式,连id列也不显示了.    比如要范围第3,第4条记录,使用skip(2),跳过2条.