2021年11月

Hive实验-Metastore采用Local模式(MySQL数据库)搭建Hive环境

4 条评论 Hadoop Hadoop Hive MySQL Metastore 天空David
MySQL安装1、由于CentOS 的yum源中没有MySQL，需要在MySQL的官网下载yum repo配置文件。下载命令：wget https://dev.mysql.com/get/mysql57-community-release-el7-9.noarch.rpm如果报错无法加载主机,修改DNS：(1)cd /etc/resolv.conf (2) vim /etc/resolv....

实验2 通过Shell命令访问HDFS

0 条评论 Hadoop Hadoop HDFS 天空David
1.HDFS常用的操作命令(hdfs dfs)1.列出子目录或子文件列出/user/$ {USER}下的文件和目录(若目录不存在则会报错)hdfs dfs -ls列出根目录hdfs dfs -ls /2.创建目录(-p 表示会创建父目录)hdfs dfs -mkdir /001hdfs dfs -mkdir /001/mydemo2hdfs dfs -mkdir -p /001/mydemo...

实验3 配置Eclipse+Maven开发环境

0 条评论 Hadoop Hadoop Eclipse Maven CentOS7 天空David
1.Eclipse、Maven相关包上传至Centos72.解压3.Maven 环境配置vi ~/.bashrc 末尾添加:export MAVEN_HOME=/opt/maven/maven3.6.1（对应解压后的 maven 路径） export PATH=$PATH:$MAVEN_HOME/bin 保存退出后 source ~/.bashrc mvn -v 验证，出现如图所示 mav...

实验1 Hadoop伪分布式部署

0 条评论 Hadoop Hadoop 分布式 CentOS 天空David
Hadoop伪分布式部署（以CentOS为例）1、防火墙关闭Hadoop伪分布式部署有的版本服务为：iptables查看防火墙状态：systemctl status firewalld 关闭防火墙：systemctl stop firewalld禁止防火墙开机自启：systemctl disable firewalld.service查看防火墙状态：systemctl status fire...