hadoop分布式缓存必须在hdfs上吗？

一、hadoop分布式缓存必须在hdfs上吗？

是。Hadoop必须快速处理这些数据集，而且要通过Hadoop分布式文件系统 (HDFS)实现。HDFS本质上将计算转移到数据，而不是传输数据到计算。

二、什么是Hadoop分布式文件系统？

分布式文件系统（Distributed File System）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。Hadoop是Apache软件基金会所研发的开放源码并行运算编程工具和分散式档案系统，与MapReduce和Google档案系统的概念类似。HDFS（Hadoop 分布式文件系统）是其中的一部分。

三、HDFS分布式文件系统具有哪些优点？

HDFS分布式文件系统具有以下优点:

1. 支持超大文件。HDFS分布式文件系统具有很大的数据集，可以存储TB或PB级别的超大数据文件，能够提供比较高的数据传输带宽与数据访问吞吐量，相应的，HDFS开放了一些POSIX的必须接口，容许流式访问文件系统的数据。

2. 高容错性能。HDFS面向的是成百上千的服务器集群，每台服务器上存储着文件系统的部分数据，在集群的环境中，硬件故障是常见的问题，这就意味着总是有一部分硬件因各种原因而无法工作，因此，错误检测和快速、自动的恢复是HDFS最核心的架构目标，因此，HDFS具有高度的容错性。

3. 高数据吞吐量。HDFS采用的是“一次性写，多次读”这种简单的数据一致性模型，在HDFS中，一个文件一旦经过创建、写入、关闭后，一般就不需要修改了，这样简单的一致性模型，有利于提高吞吐量。

4. 流式数据访问。HDFS的数据处理规模比较大，应用一次需要访问大量的数据，同时这些应用一般都是批量处理，而不是用户交互式处理，应用程序能以流的形式访问数据集。

四、hadoop中的hdfs架构源于哪个分布式系统？

hadoop的hdfs参考的是google的gfs。源于gfs分布式系统。

五、hadoop和hdfs的区别？

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。

HDFS是指被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统（Distributed File System）。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。

六、hive使用hadoop的分布式文件系统什么作为存储引擎？

hive使用hadoop的分布式文件系统hdfs作为存储引擎。

HDFS采用了主从（Master/Slave）结构模型，一个HDFS集群是由一个NameNode和若干个DataNode组成的。其中NameNode作为主服务器，管理文件系统的命名空间和客户端对文件的访问操作；集群中的DataNode管理存储的数据。

七、hadoop默认开设hdfs端口号？

Hadoop默认使用的HDFS端口号如下：

HDFS NameNode内部通信端口：8020

HDFS NameNode对用户查询的端口：50070

YARN ResourceManager的端口：8032

YARN NodeManager的端口：4041

HDFS SecondaryNameNode的端口：50090

HDFS DataNode的端口：9864

需要注意的是，这些端口号是在Hadoop2.x及以前的版本中使用的，在Hadoop3.x中有些端口的值发生了变化，比如HDFS NameNode的内部通信端口变成了9820。

八、hadoop中哪个模块负责HDFS数据存储？

Hadoop中负责HDFS数据存储的模块是NameNode。因为在HDFS中，所有的数据被拆分成多个数据块进行存储，在存储之前需要对数据进行划分和管理。NameNode作为HDFS的主节点，负责管理和控制数据块的划分、存储、复制和恢复等操作，通过对数据块的元数据进行管理来保证数据的可用性和可靠性。值得一提的是，在HDFS中还有一个次要节点SecondaryNameNode，它的作用不是存储数据块，而是定期备份NameNode的元数据，防止元数据的损坏或丢失。

九、hadoop启动hdfs失败是什么原因？

启动失败原因很多，最常见的是：

1、Hadoop权限访问权限问题2、Host文件配置错误问题的，节点之间网络不通3、ssh无密码登录配置错误4、hadoop未格式化hdfs文件系统5、配置文件hdfs-site.xml core-site.xml mared-site.xml yarn-site.xml配置错误，到网上找个免费的安装文档逐个检查一下

十、hadoop伪分布式优点？

优点：

1、高可靠性

Hadoop按位存储和处理数据的能力值得人们信赖。

2、高扩展性

Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。

3、高效性

Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。

4、高容错性。

Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。Hadoop带有用Java语言编写的框架，因此运行在Linux生产平台上是非常理想的。Hadoop上的应用程序也可以使用其他语言编写，比如C++。