调研分享:图片文件在各文件系统上的访问性能对比

标签: 搜索技术 | 发表时间:2011-01-25 16:41 | 作者:admin Epile
出处:http://stblog.baidu-tech.com

1 概述

  在某产品线的图片服务器,存放了亿级别的图片文件,每个文件的大小在0.5k-100k之间,其中1K以下的文件数量在50%左右,1-4K文件数量在40%左右,4K以上10%,大量的文件存储对文件系统的性能要求非常高,特对目前业界常用系统性能在图片服务的表现进行调研。

  因线上flash卡故障率非常高,所以在寻找替代方案,磁盘是否可以满足线上系统需求?是否满足今后可扩展性(容量、文件数量)?是否可以更好的处理数据同步使用时间?

2 预期解决问题

  1、磁盘是否可以替换flash卡?
  目前发现1Tflash卡故障率极高,严重时每周多次损坏,修复数据的时间很长,最少需要6个小时。
  2、测试jfs reiserfs xfs ext2文件系统在图片业务上的性能表现(读写)。

3 测试方法及结果

3.1 测试方法

  1、模拟线上环境,进行压力测试

  搭建一套跟目前线上一样的系统环境,提取线上7天全部日志,采用压力工具(可以模拟数据全部返回)进行模拟线上环境进行压力测试(连续压力2小时以上)。

  2、利用磁盘测试工具,进行设备性能测试

  3、通过磁盘占用空间、inode节点数量进行对比

  4、通过线上数据同步,测试同步所需时间

3.2 结果分析

  1、使用磁盘完全可以替代flash

  从模拟线上产品的压力得出结论使用HP机器采用jfs和ext2文件系统完全可以满足目前线上系统及未来一段时间内需求,如下表:

  注:使用磁盘需要20分钟充cache,充cache期间的lighttpd的最大压力值2000.

  2、图片服务目前的瓶颈在网卡

  在进行模拟线上压力测试时,所有文件文件系统除dell-reiserfs外全部可以达到网卡流量峰值1G,随着时间推迟,平均值会下降,但是cpu也会逐渐空闲,

  3、在各种文件系统性能在图片服务的业务测试中,得出如下结果

  1)Flash卡上的ext2性能比较突出

  2)磁盘上jfs的表现更适合目前线上业务

  3)reiserfs的空间占用最小,比其他文件系统节约空间60%-65%

  如下表:

  4、修改线上图片更新脚本可以减少10%的时间,

  5、各文件系统下数据同步时间耗用完全不同,ext2在flash卡上,jfs在磁盘的表现非常好。

  如下表:

  6、在磁盘上,HP机器的小文件处理能力比dell更适合图片服务。

By huanghaibin

相关 [分享 图片 文件] 推荐:

分享图片

- 糖果 - 变态辣椒的时政漫画

调研分享:图片文件在各文件系统上的访问性能对比

- Epile - 搜索研发部官方博客
  在某产品线的图片服务器,存放了亿级别的图片文件,每个文件的大小在0.5k-100k之间,其中1K以下的文件数量在50%左右,1-4K文件数量在40%左右,4K以上10%,大量的文件存储对文件系统的性能要求非常高,特对目前业界常用系统性能在图片服务的表现进行调研.   因线上flash卡故障率非常高,所以在寻找替代方案,磁盘是否可以满足线上系统需求.

[分享]有趣的图片

- linyehui - 左岸读书_blog
原作:http://cowbirdsinlove.com/1098. 方向不对,越努力,越尴尬…… (挺住,重庆卫视. 趣题:八等分一张圆饼最少需要多少刀. 一个有趣的智力题:将一张摊好的软面饼分成八等份,最少需要几刀. 来源:Mind Your Decisions. 把相片贴在花盆上估计谁都没准备这样尝试过,看过good出品的这款肖像花盆之后才发现竟然玩味十足.

Evernote收购图片分享软件Skitch

- SotongDJ - 36氪
Evernote刚刚收购了Mac平台上最受欢迎的图片分享应用Skitch. 正如同Evernote的CEO Phil Libin所说,今天将会成为Evernote的里程碑. Skitch是一款让用户为照片和图片添加图形标注的应用,这些被编辑过的图像可以储存到本地,也可以上传到Skitch的服务器当中.

图片分享中的情与景

- kent.zhu - Prower - 记录成长过程
前几天,看了纯银兄的《谈谈相片群》一文,昨日网易云相册Android版里的相片群功能也正式上线,装上后试了一番,准备来吹吹牛放放马后炮. 早在几个月前 @Kent.Zhu 同学在Twitter上问了一个关于脱离了微博的图片分享是否还有机会的问题,当时我的回答是在限定的条件下是有机会的. 因为微博上的图片分享缺乏两个关键的因素:索引与隐私.

老课本分享会图片报道

- 以地之名 - 读库情报站
    10月11日,我们的老课本分享会在尤伦斯开张,我为活动想的名字叫“修复母语”. 诸多同行、前辈、读者、朋友来到现场,度过了周二的一个美好下午. 我当时在台上,不记得是什么情况,把大家惹成这样,看一张张脸笑得稀烂.     难为我们的御用摄影师豆弟了,坛子脸的拍摄角度不好找.     这张照片中的三人,从左至右依次为:土泥的小盖老师、宁成春老师和汪家明老师.

全球十大文件分享网站

- 可可 - 36氪
网络文件分享一直是人们的硬性需求之一,每天都有大量网民在访问文件分享网站,证据之一就是文件分享网站的访问量巨大. 比如最大的英文文件分享网站4shared的月PV达到了25亿,并且这个数字还在猛猛涨. BT观察网站Torrentfreak根据Google提供的数据整理了一份全球十大文件分享网站名单,其中有八家是文件存储网站,只有两家是BT网站.

Minus 社会化文件分享

- sky fire - Wow! Ubuntu
Minus是一个突出“简易的社会共享(simple social sharing)”理念的文件分享网站,它致力于给人们提供一种最简洁易用却并不简陋的分享、上传服务. Minus相对于Dropbox,Wuala等文件分享工具,着力于社会化分享. Minus默认有10G免费空间,不限制的下载和传输速度,最大支持单个2G文件上传,同时支持http/sock5代理.

解析Gif文件的每一帧为图片文件

- - 行业应用 - ITeye博客
网上下了解析gif的代码,有以下几个类(可以在网上找到):. 解析出来的图片颜色的怪怪的,背景是红色的...反正和原来看到的gif不一样,找半天原因,可能和 全局色表(global color table)有关,但还没弄明白. 已有 0 人发表留言,猛击->> 这里<<-参与讨论. —软件人才免语言低担保 赴美带薪读研.

国内类Instagram图片分享服务汇总

- bluesnail - 互联网的那点事...
最近一阵介绍了很多Instagram相关的服务,Instagram在不长的时间内,仅依靠其iPhone客户端就吸引了数百万的用户,而之前开放API又吸引了很多的开发者为其开发包括Mac在内的客户端,以及基于其图片的很多第三方应用,通过手机拍照分享这个较为强烈的需求,通过一款合适的产品,使得分享图片逐渐成为了一种生活方式.