不需要启用单独进程,直接可以运行,测试和开发时使用。
等同于完全分布式,只有一个节点。需要配7个配置文件(待我后续整理后,会在此添加文章连接)
多个节点一起运行。
**首先配置hadoop的组件,均可以利用XML文件进行配置,四个配置文件:core-site.xml文件用于配置通用属性(common),hdfs-site.xml文件用于HDFS的属性配置,mapred-site.xml文件用于配置MapReduce属性,yarn-site.xml用于YARN的配置。这些文件都存储在hadoop安装目录下的etc/hadoop子目录中**
使用分布式hadoop时,要先启动一些准备程序进程,然后才能使用比如start-dfs.sh start-yarn.sh。而本地模式不需要启动这些守护进程
单机模式(独立模式)(Local或Standalone Mode)
-默认情况下,Hadoop即处于该模式,用于开发和调式。
-不对配置文件进行修改。
-使用本地文件系统,而不是分布式文件系统。
-Hadoop不会启动NameNode、DataNode、JobTracker、TaskTracker等守护进程。用于对MapReduce程序的逻辑进行调试,确保程序的正确。
伪分布式模式(Pseudo-Distrubuted Mode)
-模拟一个小规模的集群,在一台主机模拟多主机。
-Hadoop启动NameNode、DataNode、JobTracker、TaskTracker这些守护进 程都在同一台机器上运行,是相互独立的Java进程。
-在这种模式下,Hadoop使用的是分布式文件系统,各个作业也是由JobTraker服务,来管理的独立进程。在单机模式之上增加了代码调试功能,允许检查内存使用情况,HDFS输入输出,类似于完全分布式模式
完全分布式模式
-Hadoop守护进程运行在一个集群上。
伪分布模式修改3个配置文件
(1)配置:hadoop-env.sh(/home/hyn/software/hadoop/etc/hadoop)
Linux系统中获取jdk的安装路径。
(2)配置:core-site.xml(需要在hadoop文件夹下创建data文件夹,data文件夹下创建tmp文件夹)
指定HDFS中NameNode的地址
指定hadoop运行时产生文件的存储目录
<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://Cloud:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hyn/software/hadoop/data/tmp</value>
</property>
(3)配置:hdfs-site.xml
指定HDFS副本的数量(伪分布1个,完全分布3个)
<!-- 指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
未完待续