Hadoop分布式文件系统HDFS和OpenStack对象存储系统Swift有何不同？
- - ITeye博客HDFS使用 集中式单一节点架构(NameNode)来维护文件系统元数据，而在Swift中，元数据 分布在整个集群中并拥有多个副本. 注意：集中式元数据存储使HDFS存在单点故障和扩展性问题，因此规模越大就性能越低，就越难扩展甚至不能扩展，所幸的是HDFS2使用NameNode HA和HDFS Federation解决了这两个问题.
Hadoop分布式文件系统HDFS和OpenStack对象存储系统Swift有何不同？
标签：
hadoop
分布
文件系统
| 发表时间：2013-11-04 04:48 | 作者：
出处：http://www.iteye.com
1. HDFS使用 集中式单一节点架构(NameNode)来维护文件系统元数据，而在Swift中，元数据 分布在整个集群中并拥有多个副本。注意：集中式元数据存储使HDFS存在单点故障和扩展性问题，因此规模越大就性能越低，就越难扩展甚至不能扩展，所幸的是HDFS2使用NameNode HA和HDFS Federation解决了这两个问题。
2. Swift在设计时考虑到了 多租户架构，而HDFS没有多租户架构这个概念。
3. HDFS针对 大文件作了优化(HDFS关注吞吐量，常用于批量数据处理)，而Swift被设计成可以存储 任意大小的文件。
4. 在HDFS中，文件只能 写入一次（部分版本可以使用Append操作在文件的末尾添加数据，但不支持在文件的任意位置进行修改），而在Swift中，文件可以 写入多次。
5. HDFS用 Java来编写，而Swift用 Python来编写。
已有 0 人发表留言，猛击->> 这里<<-参与讨论
ITeye推荐
相关 [hadoop 分布 文件系统] 推荐：
hadoop集群调优－OS和文件系统部分
- - 开源软件 - ITeye博客根据Dell（因为我们的硬件采用dell的方案）关于hadoop调优的相关说明，改变几个Linux的默认设置，Hadoop的性能能够增长大概15%. 文件描述符是一个索引值，指向内核为每一个进程所维护的该进程打开文件的记录表. 当程序打开一个现有文件或者创建一个新文件时，内核向进程返回一个文件描述符.
分布式内存文件系统：Tachyon
- - 杨尚川的个人页面Tachyon是一个分布式内存文件系统，可以在集群里以访问内存的速度来访问存储在Tachyon里的文件. Tachyon是架构在最底层的分布式文件系统和上层的各种计算框架之间的一种中间件，其主要职责是将那些不需要落地到DFS里的文件，落地到分布式内存文件系统中，来达到共享内存，从而提高效率，减少内存冗余，减少GC时间等.
FastDFS分布式文件系统
- - 开源软件 - ITeye博客 FastDFS是一个开源的轻量级 分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题. 特别适合以中小文件（建议范围：4KB < file_size <500MB）为载体的在线服务，如相册网站、视频网站等等.
FastDFS分布式文件系统架构
- - 企业架构 - ITeye博客FastDFS分布式文件系统架构. FastDFS是一个开源的分布式文件系统，她对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题. 特别适合以文件为载体的在线服务，如相册网站、视频网站等等. 二、 FastDFS系统架构.
Hadoop与分布式计算
- 透明 - 丕子写本文由leftnoteasy发布于http://leftnoteasy.cnblogs.com 本文可以被全部或者部分的使用，但请注明出处，如果有问题，可以联系wheeleast (at) gmail.com, 也可以加作者的新浪微博：http://weibo.com/leftnoteasy. 很久没有写写博客了，之前主要是换工作，耽误了很多的时间，让人也变得懒散，不想花大时间来写东西.
hadoop分布式配置
- - CSDN博客云计算推荐文章一、前面的部分见伪分布式配置. 二、实现SSH无密码登录远程主机（只在源主机上配置）. 注意：以上scp命令表示把authoriezd_keys远程复制到对应主机的相应目录下. slave2是目的主机的名字，需要在源主机的/etc/hosts下配置slave2以及对应的IP地址 192.168.0.5.
开源分布式文件系统GlusterFS 3.3 发布
- - InfoQ cnGluster团队在2012年5月31日发布了 GlusterFS 3.3. GlusterFS的上一个稳定版本号是3.2.6，虽然从版本号上看貌似改进并不大，如果你仔细阅读了3.3的新特性列表之后，也许会觉得GlusterFS社区的版本号取得太保守了. 作为Gluster项目的一部分，GlusterFS项目在2005伊始.
[探讨]分布式文件系统的应用及选择
- - CSDN博客推荐文章当下，互联网行业发展非常迅猛，分布式文件系统在其中的应用也非常普遍. 一些朋友问起一些相关问题，如：. 搜索引擎类的那些页面文本文件存储，用什么DFS比较好. 海量小图片类的，如taobao里头，好多商家图片，用什么存储. 视频类的，如优酷，用什么DFS. 它只需要能把那些文本文件分块分散到各个节点上进行顺序存储就行了.
FastDFS+Nginx轻量级分布式文件系统安装使用
- - Linux - 操作系统 - ITeye博客FastDFS的安装使用. FastDFS是一个开源的轻量级 分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题. 特别适合以文件为载体的在线服务，如相册网站、视频网站等等. FastDFS服务端有两个角色：跟踪器（tracker）和存储 节点（storage）.