阿里云ECS服务器上hadoop安装(单机)
环境说明:
jdk 1.8.0_181
系统:GentOs 7
准备工作
修改系统hostname
- 修改hostname
以上,修改HOSTNAME为我们自定义的hostname,之后,修改host映射
原本只需要修改hosts,修改后如下:
之后重启系统或者网络,发现hostname并未修改成功。
原因是我们发现在/etc目录下,有hostname这个文件,打开看,修改为:
- 重启网络配置
3.用户推出后重新连接,查看hostname
至此,本地host修改和配置完成
创建hadoop安装目录,数据目录
创建hadoop用户并授权以上目录
hadoop安装
hadoop配置(5个配置文件)
进入目录:hadoop-3.1.1/etc/hadoop
1. 文件1:
在文件顶部,加入配置(jdk安装目录根据自己实情):
- 文件2:
文件内容如下:
- 文件3:
文件内容如下:
- 文件4:
文件内容如下:
- 文件5:
文件内容如下:
- 此处增加hadoop环境变量配置
文件配置内容如下:
以上,hadoop配置告一段落
hadoop启动
- namenode格式化
因为已配置hadoop环境变量,直接执行以下命令
- 启动
出现以下错误:
HDFS是分布式系统,所以启动HDFS时,会启动配置的各个服务器节点,包括本机,在启动过程中是通过ssh远程操作的,需要配置免密登录,执行以下命令:
再次执行start-dfs.sh,执行jps命令
说明启动成功,此时执行命令netstat -nltp
以上我们配置了端口9864,这是hadoop提供的web页面端口,浏览器打开http://host:9864
总结:第一次安装,过程中坑比较多,主要是明白配置的文件中内容的含义,这样更容易解决问题。
- 本文固定链接: https://huaxiatt.com/post/462.html
- 转载请注明: admin 于 红色航投 发表