上传那么多太麻烦了，要看截图的下载word文档看吧!!……
Hadoop分布式文件系统：架构和设计要点
原文：http://hadoop.apache.org/core/docs/current/hdfs_design.html
一、前提和设计目标
1、硬件错误是常态，而非异常情况，HDFS可能是有成百上千的server组成，任何一个组件都有可能一直失效，因此错误检测和快速、自动的恢复是HDFS的核心架构目标。
2、跑在HDFS上的应用与一般的应用不同，它们主要是以流式读为主，做批量处理；比之关注数据访问的低延迟问题，更关键的在于数据访问的高吞吐量。
3、HDFS以支持大数据集合为目标，一个存储在上面的典型文件大小一般都在千兆至T字节，一个单一HDFS实例应该能支撑数以千万计的文件。
4、 HDFS应用对文件要求的是write-one-read-many访问模型。一个文件经过创建、写，关闭之后就不需要改变。这一假设简化了数据一致性问题，使高吞吐量的数据访问成为可能。典型的如MapReduce框架，或者一个web crawler应用都很适合这个模型。
5、移动计算的代价比之移动数据的代价低。一个应用请求的计算，离它操作的数据越近就越高效，这在数据达到海量级别的时候更是如此。将计算移动到数据附近，比之将数据移动到应用所在显然更好，HDFS提供给应用这样的接口。
6、在异构的软硬件平台间的可移植性。
二、Namenode和Datanode
HDFS采用master/slave架构。一个HDFS集群是有一个Namenode和一定数目的Datanode组成。Namenode是一个中心服务器，负责管理文件系统的namespace和客户端对文件的访问。Datanode在集群中一般是一个节点一个，负责管理节点上它们附带的存储。在内部，一个文件其实分成一个或多个block，这些block存储在Datanode集合里。Namenode执行文件系统的namespace操作，例如打开、关闭、重命名文件和目录，同时决定block到具体Datanode节点的映射。Datanode在Namenode的指挥下进行block的创建、删除和复制。Namenode和Datanode都是设计成可以跑在普通的廉价的运行linux的机器上。HDFS采用java语言开发，因此可以部署在很大范围的机器上。一个典型的部署场景是一台机器跑一个单独的Namenode节点，集群中的其他机器各跑一个Datanode实例。这个架构并不排除一台机器上跑多个Datanode，不过这比较少见。
单一节点的Namenode大大简化了系统的架构。Namenode负责保管和管理所有的HDFS元数据，因而用户数据就不需要通过Namenode（也就是说文件数据的读写是直接在Datanode上）。
继续阅读 »
一、【理论知识】
MogileFS 是一个分布式文件存储的 解决方案，它能够做到 不需要特殊的核心组件、无单点失败、自动的文件复制、比RAID好多了、传输中立，无特殊协议(客户端可以通过NFS或HTTP来和MogileFS通 信)、简单的命名空间、不用共享任何东西、不需要RAID、不会碰到文件系统本身的不可知情况 等等优点。
相关知识和安装方面的问题可以去看官方的wiki：http://mogilefs.pbwiki.com/。（有可能被GFW了，请使用代理或者安装一个Firefox的gladder插件来访问）
[ Mogilefs分为几部分 ]
1. 数据库（MySQL）部分
你可以用 mogdbsetup程序来初始化数据库。数据库保存了Mogilefs的所有元数据，你可以单独拿数据库服务器来做，也可以跟其他程序跑在一起，数据库 部分非常重要，类似邮件系统的认证中心那么重要，如果这儿挂了，那么整个Mogilefs将处于不可用状态。因此最好是HA结构。
2. 存储节点
mogstored 程序的启动将使本机成为一个存储节点。启动时默认去读/etc/mogilefs/mogstored.conf ，具体配置可以参考配置部分。mogstored启动后，便可以通过mogadm增加这台机器到cluster中。一台机器可以只运行一个 mogstored作为存储节点即可，也可以同时运行其他程序。
3. trackers（跟踪器）
mogilefsd即 trackers程序，类似mogilefs的wiki上介绍的，trackers做了很多工作，Replication ，Deletion，Query，Reaper，Monitor等等。mogadm,mogtool的所有操作都要跟trackers打交 道，Client的一些操作也需要定义好trackers，因此最好同时运行多个trackers来做负载均衡。trackers也可以只运行在一台机器 上，也可以跟其他程序运行在一起，只要你配置好他的配置文件即可，默认在/etc/mogilefs/mogilefsd.conf。
继续阅读 »
GFS(Google File System): http://www.codechina.org/doc/google/gfs-paper/
MogileFS: http://www.danga.com/mogilefs
Hadoop/HDFS: http://hadoop.apache.org/core
KFS(Kosmos Distributed File System): http://kosmosfs.sourceforge.net
NDFS(Nutch Distributed File System): http://lucene.apache.org/nutch/, http://wiki.apache.org/nutch/NutchDistributedFileSystem
Gluster(Gluster File System): http://www.gluster.org
Coda(Coda File System): http://www.coda.cs.cmu.edu/
Global(Red Hat Global File System Redhat并购): http://www.redhat.com/gfs
Lustre(Lustre File System Sun并购): http://www.lustre.org
PVFS(Parallel Virtual File System，非开源): http://www.parl.clemson.edu/pvfs
GPFS(IBM General Parallel File System, 非开源): http://www-03.ibm.com/systems/clusters/software/gpfs
OpenAFS(Open Andrew File System IBM): http://www.openafs.org
XFS(SGI, 不算分布式文件系统): http://oss.sgi.com/projects/xfs
MOSIX: http://www.mosix.org
还有一个国内牛人写的
FastDFS一个高效的分布式文件系统 http://fastdfs.zhan.cn.yahoo.com/
参考：
http://www.bitscn.com/linux/network_manage/200710/116850.html
http://lxhzju.blog.163.com/blog/static/45008200682773039623/
