首页 > 未命名 > hadoop 使用hadoop用户登录
2024
11-01

hadoop 使用hadoop用户登录


阿里云ECS服务器上hadoop安装(单机)

环境说明:

jdk 1.8.0_181
系统:GentOs 7

准备工作
修改系统hostname
  1. 修改hostname

以上,修改HOSTNAME为我们自定义的hostname,之后,修改host映射

原本只需要修改hosts,修改后如下:

之后重启系统或者网络,发现hostname并未修改成功。
原因是我们发现在/etc目录下,有hostname这个文件,打开看,修改为:

  1. 重启网络配置

3.用户推出后重新连接,查看hostname

至此,本地host修改和配置完成

创建hadoop安装目录,数据目录
创建hadoop用户并授权以上目录
hadoop安装
hadoop配置(5个配置文件)

进入目录:hadoop-3.1.1/etc/hadoop
1. 文件1:

在文件顶部,加入配置(jdk安装目录根据自己实情):

  1. 文件2:

文件内容如下:

  1. 文件3:

文件内容如下:

  1. 文件4:

文件内容如下:

  1. 文件5:

文件内容如下:

  1. 此处增加hadoop环境变量配置

文件配置内容如下:

以上,hadoop配置告一段落

hadoop启动
  1. namenode格式化
    因为已配置hadoop环境变量,直接执行以下命令
  1. 启动

出现以下错误:

HDFS是分布式系统,所以启动HDFS时,会启动配置的各个服务器节点,包括本机,在启动过程中是通过ssh远程操作的,需要配置免密登录,执行以下命令:

再次执行start-dfs.sh,执行jps命令

说明启动成功,此时执行命令netstat -nltp

以上我们配置了端口9864,这是hadoop提供的web页面端口,浏览器打开http://host:9864

总结:第一次安装,过程中坑比较多,主要是明白配置的文件中内容的含义,这样更容易解决问题。