FastDFS分布式文件系统架构

标签: fastdfs 分布 文件系统 | 发表时间:2016-03-07 20:21 | 作者:hyy044101331
出处:http://www.iteye.com

FastDFS分布式文件系统架构

一、 分布式文件系统

           FastDFS是一个开源的分布式文件系统,她对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等等。



 

 

二、 FastDFS系统架构


 
 



 

角色一:tracker

tracker是客户端和storage交互的枢纽,主要做调度工作,起负载均衡的作用;

① 记录分组的信息;

② 记录存储服务器storage的信息;

③ 负载均衡;

④ 调度;

 

角色二:storage

① 存储图片等文件数据;

② 同一个group内的storage间,会进行数据同步;

③ storage服务器会定时向tracker上报状态信息;(本地同步时间、所有分组信息)

 

 

三、 FastDFS - 上传文件


File file = new File("/Users/hyy044101331/Downloads/001.png");
String fileId = fileStorageService.uploadFile(file);
log.info("----------, fileId = {}" ,fileId);

  

 http://192.168.1.42/group1/M00/00/00/wKgBKlbUZYqAWrIYAADJGnU9rhU540.png

 

 

四、 FastDFS - 下载文件

 

 

String outPath = "/Users/hyy044101331/Downloads/077.png";
byte[] bytes = fileStorageService.downloadFile(fileId);
File outFile = FileUtil.getFileFromBytes(bytes,outPath);

 

 

 

五、 文件访问路径

http://192.168.1.42/group1/M00/00/00/wKgBKlbUZYqAWrIYAADJGnU9rhU540.png

 

"192.168.1.42":  storage服务器ip;

"group1":   组名;

"M00":  虚拟磁盘路径;

"00/00":  数据2级目录;

              虚拟磁盘路径下的数据文件存储目录;

"xxx.png":  文件名,

                 影响文件名生成的因素:

                           ① client的ip;

                           ② 文件创建时间;

                           ③ 文件大小;

                           ④ 文件扩展名;

                           ⑤ 随机数;

        

 

 



已有 0 人发表留言,猛击->> 这里<<-参与讨论


ITeye推荐



相关 [fastdfs 分布 文件系统] 推荐:

FastDFS分布式文件系统

- - 开源软件 - ITeye博客
       FastDFS是一个开源的轻量级 分布式文件系统,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题. 特别适合以中小文件(建议范围:4KB < file_size <500MB)为载体的在线服务,如相册网站、视频网站等等.

FastDFS分布式文件系统架构

- - 企业架构 - ITeye博客
FastDFS分布式文件系统架构.            FastDFS是一个开源的分布式文件系统,她对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题. 特别适合以文件为载体的在线服务,如相册网站、视频网站等等. 二、 FastDFS系统架构.

FastDFS+Nginx轻量级分布式文件系统安装使用

- - Linux - 操作系统 - ITeye博客
FastDFS的安装使用. FastDFS是一个开源的轻量级 分布式文件系统,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题. 特别适合以文件为载体的在线服务,如相册网站、视频网站等等. FastDFS服务端有两个角色:跟踪器(tracker)和存储 节点(storage).

分布式文件系统FastDFS设计原理及技术架构

- - mysqlops
FastDFS是一个开源的轻量级分布式文件系统,由跟踪服务器(tracker server)、存储服务器(storage server)和客户端(client)三个部分组成,主要解决了海量数据存储问题,特别适合以中小文件(建议范围:4KB < file_size <500MB)为载体的在线服务. Storage server(后简称storage)以组(卷,group或volume)为单位组织,一个group内包含多台storage机器,数据互为备份,存 储空间以group内容量最小的storage为准,所以建议group内的多个storage尽量配置相同,以免造成存储空间的浪费.

FastDFS FAQ

- - 企业架构 - ITeye博客
定位问题首先要看日志文件. 出现问题时,先检查返回的错误号和错误信息. 然后查看服务器端日志,相信可以定位到问题所在. FastDFS适用的场景以及不适用的场景. FastDFS是为互联网应用量身定做的一套分布式文件存储系统,非常适合用来存储用户图片、视频、文档等文件. 对于互联网应用,和其他分布式文件系统相比,优势非常明显.

分布式内存文件系统:Tachyon

- - 杨尚川的个人页面
Tachyon是一个分布式内存文件系统,可以在集群里以访问内存的速度来访问存储在Tachyon里的文件. Tachyon是架构在最底层的分布式文件系统和上层的各种计算框架之间的一种中间件,其主要职责是将那些不需要落地到DFS里的文件,落地到分布式内存文件系统中,来达到共享内存,从而提高效率,减少内存冗余,减少GC时间等.

开源分布式文件系统GlusterFS 3.3 发布

- - InfoQ cn
Gluster团队在2012年5月31日发布了 GlusterFS 3.3. GlusterFS的上一个稳定版本号是3.2.6,虽然从版本号上看貌似改进并不大,如果你仔细阅读了3.3的新特性列表之后,也许会觉得GlusterFS社区的版本号取得太保守了. 作为Gluster项目的一部分,GlusterFS项目在2005伊始.

[探讨]分布式文件系统的应用及选择

- - CSDN博客推荐文章
当下,互联网行业发展非常迅猛,分布式文件系统在其中的应用也非常普遍. 一些朋友问起一些相关问题,如:. 搜索引擎类的那些页面文本文件存储,用什么DFS比较好. 海量小图片类的,如taobao里头,好多商家图片,用什么存储. 视频类的,如优酷,用什么DFS. 它只需要能把那些文本文件分块分散到各个节点上进行顺序存储就行了.

fastdfs使用实战(Java实例篇)

- - 行业应用 - ITeye博客
一、创建一个maven的webproject,叫file-manager:mvnarchetype:create-DgroupId=platform.activity.filemanager-DartifactId=file-manager-DarchetypeArtifactId=maven-archetype-webapp.

Hadoop分布式文件系统HDFS和OpenStack对象存储系统Swift有何不同?

- - ITeye博客
HDFS使用 集中式单一节点架构(NameNode)来维护文件系统元数据,而在Swift中,元数据 分布在整个集群中并拥有多个副本. 注意:集中式元数据存储使HDFS存在单点故障和扩展性问题,因此规模越大就性能越低,就越难扩展甚至不能扩展,所幸的是HDFS2使用NameNode HA和HDFS Federation解决了这两个问题.