HDFS中的Federation联邦机制

当前HDFS体系架构–简介

当前的HDFS结构有两个主要的层：

• 命名空间（namespace）
  由文件，块和目录组成的统一抽象的目录树结构。由namenode根据用户操作实时维护树结构
• 块存储层
  包括两部分：
  • 块管理：namenode执行块管理。块管理通过处理注册和定期心跳来提供DataNode集群成员身份。它处理块报告并迟滞与块相关的操作，如创建，删除，修改或获取块位置。它还维护块的位置，副本位置。为未复制的块管理块复制，并在已复制的块中删除
  • 存储：DataNode通过在本地文件系统上存储块并提供读/写访问权限来管理存储空间
    

局限性

当下的HDFS体系结构仅允许单个namenode委会文件系统名称空间。这货在那个体系目前存在着一些弊端性和局限性：

• DataNode磁盘存储空间不够增加结点，namenode内存不够是否可以无线扩容。比如：一种是DataNode横向扩展机器增加结点，一种是纵向扩展单机加内存
• 由于名称空间和存储层紧密耦合，namenode的替代实现很困难。这限制了其他服务直接使用块存储。namenode成了唯一入口
• 文件系统的操作害限于namenode一次处理的任务数。因此，集群的性能取决于namenode吞吐量
• 同样，由于使用的那个名称空间，因此使用集群的占用者组织之间没有隔离

联邦Federation架构

简介

• Federation是namenode之间的Federation，也就是集群中会有多个namenode。多个那么node的情况意味着有多个namespace。注意，这区别于HA模式下的多namenode，HA中他们是拥有同一个namespace
• Federation体系中多个那么node之间相互独立且不需要互相协调，各自分工，管理自己的区域。每个DataNode要向集群中所有的namenode注册，且周期性的向所有namenode发送心跳和块报告，并执行所有namenode的命令
  

好处

• 命名空间可伸缩性
  • 使用Federation，可以水平扩展名称空间。这对大型集群或包含太多小文件的集群有利，因为想集群添加了更多的namenode。
• 性能
  • 由于文件系统操作不熟单个那么node吞吐量的限制，因此可以提高文件系统的性能
• 隔离
  -由于有多个名称空间，他可以为使用集群的占用者组织提供隔离

配置示例