HDFS 概述
HDFS产生背景
数据量级越来越大，大到一台物理机管理的磁盘无法容纳，将大量的数据分配到更多的物理机磁盘中，虽然可以解决存储问题，但是不方便管理和维护，需要一种解决方案来管理集群机器上的文件，这就是分布式文件管理系统。HDFS 只是分布式文件管理系统中的一种。
HDFS定义
HDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。
HDFS 的使用场景
适合一次写入，多次读出的场景。一个文件经过创建、写入和关闭之后就不需要改变。
HDFS 优缺点
优点
- 数据自动保存多个副本，可以通过增加副本的数量，提高文件系统的容错性
- 副本挂掉后，可以在其他机器上继续创建副本
- 适用于大数据场景
- 可以处理GB TB 甚至是 PB级的数据
- 可以处理上百万的文件 - 可以部署在廉价的机器上，依靠多副本实现可靠性
缺点
- 无法做到毫秒级的数据存储，不适用于低延时数据的应用
- 无法高效的存储大量的小文件
- 存储大量小文件的时候，会占用NameNode大量的内存来记录文件目录和块信息，因为NameNode的内存是有限的所以无法做到大量小文件的存储
- 小文件存储的寻址时间会超过读取时间，违反了HDFS的设计目标
- 不支持并发写入和文件的随机修改。
- 一个文件只能有一个线程写入，不允许多个线程同时写入一个文件
- 仅支持数据append（追加），不支持文件的随机修改。
HDFS 组成架构
- NameNode（nn）：Master，它是一个主管、管理者
- 管理HDFS的名称空间
- 配置副本策略
- 管理数据块（Block）映射信息
- 处理客户端读写请求
- DataNode：Slave。在NameNode的指挥下，DataNode执行相应的操作
- 存储实际的数据块
- 执行数据块的读/写操作
- Client：客户端。
- 文件切分，文件在上传到HDFS的时候，Client将文件切分成多个Block，然后上传到对应的DataNode
- 与NameNode交互，获取文件的位置信息
- 与DataNode交互，读取或者写入数据；
- Client提供一些命令来管理HDFS，eg:NameNode格式化；
- Client可以通过一些命令来访问HDFS，比如对HDFS增删查改操作；
- Secondary NameNode：它不是NameNode的热备份。当NameNode挂掉的时候，它并不能马上替换NameNode并提供服务。
- 辅助NameNode，分担NameNode的压力，eg:定期合并Fsimage和Edits，并将结果推送给NameNode
- 在紧急情况下，可辅助恢复NameNode
====未完成
评论区