centos7+hadoop 伪分布式搭建

环境配置

centos7 配置
java 环境配置( java 版本 jdk1.7.0 过高会导致异常 )
配置本地localhost 免密登录

配置hadoop（版本 hadoop-2.8.5）

更改 hadoop-env.sh
更改 core-site.xml
更改 hdfs-site.xml

更改 mapred-site.xml

启动 hadoop

centos7+hadoop 伪分布式搭建

环境配置

centos7 配置

启动 ifconfig
sudo yum -y install net-tools vim

若出现 hadoop（你的用户名）is not in the sudoers file :

   

 1.  sudo root
 2. vi /etc/sudoers
 3.   找到  root   ALL=(ALL)      ALL
 4. 在下面添加 hadoop (hadoop为本机用户名)    ALL=(ALL)     ALL
 5.  保存 并退出vi 
 6.   重新执行 sudo yum -y install net-tools vim

java 环境配置( java 版本 jdk1.7.0 过高会导致异常 )

jdk下载链接：https://www.oracle.com/technetwork/java/javase/archive-139210.html
 1. cd /home/hadoop/ && mkdir app && cd app
 2. tar -zvxf jdk-7u80-linux-x64.tar.gz 
 3. mv jdk1.7.0_80/ jdk  # 重命名为了方便
 4. sudo vim /etc/profile 
 5. 在末行 添加 ：
		export JAVA_HOME=/home/hadoop/app/jdk
		export PATH=$PATH:$JAVA_HOME/bin
		保存并退出 vim
 6. 执行 source /etc/profile 让配置的java 生效
 7. 测试  输入 :java -version
 8. 若
![在这里插入图片描述](https://img-blog.csdnimg.cn/20190519171306284.png)
则 java 环境配置成功

配置本地localhost 免密登录

 9. ssh-keygen -t rsa
![在这里插入图片描述](https://img-blog.csdnimg.cn/20190519172139469.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyMjE3MzEz,size_16,color_FFFFFF,t_70)
 10. cd ~/.ssh && touch authorized_keys
 11. cat ~/.ssh/id_rsa.pub >> authorized_keys
 12. 必须将 authorized_keys 更改为仅对文件所有者可读可写 否则不生效
 13. sudo chmod 600 ~/.ssh/authorized_keys
 14. 检测 键入 ssh localhost 无需密码 即可登录
 15. 将本机ip 绑定 主机名 
 16. sudo vim /etc/hosts
 17. 插入  172.18.242.128 hadoop 
 18. 验证 ssh hadoop  登录成功即可

配置hadoop（版本 hadoop-2.8.5）

hadoop 下载链接 http://mirror.bit.edu.cn/apache/hadoop/common/
 19. cd ~/app/
 20. tar -zvxf hadoop-2.8.5.tar.gz
 21. cd hadoop-2.8.5/etc/hadoop

更改 hadoop-env.sh

 22. sudo vim hadoop-env.sh
 23.  找到 export JAVA_HOME=${JAVA_HOME} 改为 export JAVA_HOME=/home/hadoop/app/jdk
 24. 保存并退出
 25. 命令行 键入 echo $JAVA_HOME 可查看java path

更改 core-site.xml


26.  sudo vim core-site.xml
27. 在<configuration></configuration>中插入

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://127.0.0.1:9000/</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>/home/hadoop/app/hadoop-3.1.2/data</value>
</property>

保存并退出

更改 hdfs-site.xml


28.  sudo vim  hdfs-site.xml
29. 在<configuration></configuration>中插入

<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>

保存并退出

更改 mapred-site.xml

cp mapred-site.xml.template mapred-site.xml
sudo vim mapred-site.xml
在中插入


   <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
   </property>

保存并退出

##### 更改 yarn-site.xml

1. sudo vim  yarn-site.xml
2.  在<configuration></configuration>中插入

  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

保存并退出

启动 hadoop



3. 先格式化一下
4.  cd ~/.app/hadoop-2.8.5/bin 
5. ./hadoop namenode -format
6. 看到 “ has been successfully formatted”  字样说明格式化成功
7. 启动 hdfs     cd ~/.app/hadoop-2.8.5/sbin
8. ./start-dfs.sh
9. ./start-yarn.sh 
10. 键入 jps  检查 服务启动情况    
如图 服务已全部启动
![在这里插入图片描述](https://img-blog.csdnimg.cn/2019051919540750.png)
11.关闭系统 防火墙  sudo systemctl stop firewalld.service
12. 通过浏览器 可访问 127.0.0.1:50070页面

到此伪分布式 hadoop 已经搭载好了

更多精彩内容