Hadoop伪分布式部署（以CentOS为例）
1、防火墙关闭
Hadoop伪分布式部署
有的版本服务为：iptables
查看防火墙状态：systemctl status firewalld
关闭防火墙：systemctl stop firewalld
禁止防火墙开机自启：systemctl disable firewalld.service
查看防火墙状态：systemctl status firewalld
2、免密登录配置
2.1.root用户下：ssh-keygen -t rsa
2.2.在当前帐号上将公钥（id_rsa.pub）拷贝到其它节点(如果是集群，则分别拷贝到其他节点)，包括本机
ssh-copy-id xxx（xxx为自己用户名称）
2.3.配置完成后使用ssh连接节点验证免密
3、修改主机名、配置 hosts 文件
（1）修改主机名：可以省略（交作业标识）
vi /etc/hostname 打开主机名称配置文件 需要修改的编辑保存 也可以直接 hostname 查看主机名称
（2）配置 hosts 文件 编辑/etc/hosts 文件，添加 主机名和 IP 映射关系，先查询 IP(ifconfig)
4、安装 JDK
（1）解压
（2）创建映射链接
（3）配置环境 vi ~/.bashrc
（4）source ~/.bashrc 使环境生效
（5）测试 java -version
5、安装 hadoop
（1）解压，同上 jdk 的操作
（2）映射，同上 jdk 的操作
（3）配置环境 vi ~/.bashrc 后添加
（4）source ~/.bashrc 使环境生效
（5）设置 Hadoop 配置文件（先进入 Hadoop 配置文件所在目录 cd /opt/hadoop/etc/hadoop）
A、hadoop-env.sh 配置 将注释#去掉，按照实际 jdk 目录修改 JAVA_HOME 的数值
B、core-site.xml 配置
（1）首个 value 值的配置按照实际主机或 ip 修改成当前ip
（2）第二个 value 先在对应目录下建立 tmp 文件夹，然后修改配置参数数值（此处不设置 临时目录，重启操作系统会造成文件丢失，NameNode 无法启动）
（3）port 默认 8020
C、hdfs-site.xml 配置
（1）伪分布式副本是设为
D、mapred-site.xml 配置
目录下找不到此文件，先将 mapred-site.xml.template 复制一份并修改文件名为 mapred-site.xml
然后配置 mapre-site.xml（默认值为 local，设置为 yarn，让 MapReduce 程序运行在 yarn 上）
E、yarn-site.xml 配置
（6）格式化 HDFS（只需要进行一次，系统重启后也不要重新格式化操作，否则会造成 DataNode 丢失） hadoop namenode -format（运行成功后会有 successful 提示）
（7）启动 hadoop start-all.sh start-yarn.sh 分步启动或者 start-all.sh 同时启动
（8）jps 验证进程（除了 jps 进程，另外五大进程必须都存在）
（9）Web 访问 Hadoop localhost:50070 访问 NameNode 和 DataNode 信息 localhost:50090 访问 SecondaryNameNode 信息 localhost:8088 访问 Hadoop 应用程序信息
（10）出错或者启动缺少结点，去对应目录下的 log 文件查看原因。（找标志性的 WARN、 ERROR、Exception 等关键字，然后对应解决）
配置项 环境变量（示例，路径自己配）：
export JAVA_HOME=/opt/jdk/jdk export PATH=$PATH:$JAVA_HOME/bin export HADOOP_HOME=/opt/hadoop/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
1、hadoop-env.sh
export JAVA_HOME=/opt/jdk/jdk
2、core-site.xml
<property>
<name>fs.defaultFS</name>
<value>hdfs://cent1:8020</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop/hadoop/tmp</value>
</property>
3、hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
4、mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
5、yarn-site.xml
<property>
<name>yarn.resourcemanager.hostname</name>
<value>cent1</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>