实验1 Hadoop伪分布式部署

由 天空David 发布

Hadoop伪分布式部署(以CentOS为例)

1、防火墙关闭

Hadoop伪分布式部署
有的版本服务为:iptables
查看防火墙状态:systemctl status firewalld
关闭防火墙:systemctl stop firewalld
禁止防火墙开机自启:systemctl disable firewalld.service
查看防火墙状态:systemctl status firewalld

2、免密登录配置

2.1.root用户下:ssh-keygen -t rsa
2.2.在当前帐号上将公钥(id_rsa.pub)拷贝到其它节点(如果是集群,则分别拷贝到其他节点),包括本机
ssh-copy-id xxx(xxx为自己用户名称)
2.3.配置完成后使用ssh连接节点验证免密

3、修改主机名、配置 hosts 文件

(1)修改主机名:可以省略(交作业标识)
vi /etc/hostname 打开主机名称配置文件 需要修改的编辑保存 也可以直接 hostname 查看主机名称
(2)配置 hosts 文件 编辑/etc/hosts 文件,添加 主机名和 IP 映射关系,先查询 IP(ifconfig)

4、安装 JDK

(1)解压
(2)创建映射链接
(3)配置环境 vi ~/.bashrc
(4)source ~/.bashrc 使环境生效
(5)测试 java -version

5、安装 hadoop

(1)解压,同上 jdk 的操作
(2)映射,同上 jdk 的操作
(3)配置环境 vi ~/.bashrc 后添加
(4)source ~/.bashrc 使环境生效
(5)设置 Hadoop 配置文件(先进入 Hadoop 配置文件所在目录 cd /opt/hadoop/etc/hadoop)

A、hadoop-env.sh 配置 将注释#去掉,按照实际 jdk 目录修改 JAVA_HOME 的数值

B、core-site.xml 配置
(1)首个 value 值的配置按照实际主机或 ip 修改成当前ip
(2)第二个 value 先在对应目录下建立 tmp 文件夹,然后修改配置参数数值(此处不设置 临时目录,重启操作系统会造成文件丢失,NameNode 无法启动)
(3)port 默认 8020

C、hdfs-site.xml 配置
(1)伪分布式副本是设为

D、mapred-site.xml 配置
目录下找不到此文件,先将 mapred-site.xml.template 复制一份并修改文件名为 mapred-site.xml
然后配置 mapre-site.xml(默认值为 local,设置为 yarn,让 MapReduce 程序运行在 yarn 上)

E、yarn-site.xml 配置
(6)格式化 HDFS(只需要进行一次,系统重启后也不要重新格式化操作,否则会造成 DataNode 丢失) hadoop namenode -format(运行成功后会有 successful 提示)
(7)启动 hadoop start-all.sh start-yarn.sh 分步启动或者 start-all.sh 同时启动
(8)jps 验证进程(除了 jps 进程,另外五大进程必须都存在)
(9)Web 访问 Hadoop localhost:50070 访问 NameNode 和 DataNode 信息 localhost:50090 访问 SecondaryNameNode 信息 localhost:8088 访问 Hadoop 应用程序信息
(10)出错或者启动缺少结点,去对应目录下的 log 文件查看原因。(找标志性的 WARN、 ERROR、Exception 等关键字,然后对应解决)

配置项 环境变量(示例,路径自己配):

export JAVA_HOME=/opt/jdk/jdk export PATH=$PATH:$JAVA_HOME/bin export HADOOP_HOME=/opt/hadoop/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

1、hadoop-env.sh
export JAVA_HOME=/opt/jdk/jdk

2、core-site.xml
<property>
<name>fs.defaultFS</name>
<value>hdfs://cent1:8020</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop/hadoop/tmp</value>
</property>

3、hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>1</value>
</property>

4、mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

5、yarn-site.xml
<property>
<name>yarn.resourcemanager.hostname</name>
<value>cent1</value>
</property>

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>


暂无评论

发表评论