浏览器大全:是一个提供流行浏览器教程、在线学习分享的学习平台!

hadoop搭建3节点集群,遇到Live Nodes显示为0时处理方法

Linux,全称GNU/Linux,是一种免费使用和自由传播的类UNIX操作系统,其内核由林纳斯·本纳第克特·托瓦兹于1991年10月5日首次发布,它主要受到Minix和Unix思想的启发,是一个基于POSIX的多用户、多任务、支持多线程和多CPU的操作系统。
首先,在搭建Hadoop 的3节点集群时,安装基本的步骤,配置好以下几个文件
1.core-site.xml
2.hadoop-env.sh
3.hdfs-site.xml
4.yarn-env.sh
5.yarn-site.xml
6.slaves
之后就是格式化NameNode节点,
[root@spark1 hadoop]# hdfs namenode -format
启动hdfs集群
[root@spark1 hadoop]# start-dfs.sh
 
查询各个节点是否运行成功。
spark1 :
[root@spark1 hadoop]# jps
5575 SecondaryNameNode
5722 Jps
5443 DataNode
5336 NameNode
spark2:
[root@spark2 hadoop]# jps
1859 Jps
1795 DataNode
spark3:
[root@spark3 ~]# jps
1748 DataNode
1812 Jps
 
集群搭建过程核心文件配置没问题,可是,就是在使用50070端口检测的时候,显示livenode为1,而且只是spark1!
于是,经过对问题的排查,发现,最终因为前期配置/etc/ hosts 的时候,配置分别为:
spark1:
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.30.111  spark1
spark2:
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.30.112  spark2
spark3:
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.30.113  spark3
 
现在,统一改为:
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.30.113  spark3
192.168.30.111  spark1
192.168.30.112  spaqk2
ok ,问题得到解决。
 
利用代码:
[root@spark1 hadoop]# hadoop dfsadmin -report
DEPRECATED: Use of this script to execute hdfs command is deprecated.
Instead use the hdfs command for it.
Configured Capacity: 55609774080 (51.79 GB)
Present Capacity: 47725793280 (44.45 GB)
DFS Remaining: 47725719552 (44.45 GB)
DFS Used: 73728 (72 KB)
DFS Used%: 0.00%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0
-------------------------------------------------
Datanodes available: 3 (3 total, 0 dead)
Live datanodes:
Name: 192.168.30.111:50010 (spark1)
Hostname: spark1
Decommission Status : Normal
Configured Capacity: 18536591360 (17.26 GB)
DFS Used: 24576 (24 KB)
Non DFS Used: 2628579328 (2.45 GB)
DFS Remaining: 15907987456 (14.82 GB)
DFS Used%: 0.00%
DFS Remaining%: 85.82%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Last contact: Wed Aug 09 05:03:06 CST 2017
Name: 192.168.30.113:50010 (spark3)
Hostname: spark3
Decommission Status : Normal
Configured Capacity: 18536591360 (17.26 GB)
DFS Used: 24576 (24 KB)
Non DFS Used: 2627059712 (2.45 GB)
DFS Remaining: 15909507072 (14.82 GB)
DFS Used%: 0.00%
DFS Remaining%: 85.83%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Last contact: Wed Aug 09 05:03:05 CST 2017
Name: 192.168.30.112:50010 (spark2)
Hostname: spark2
Decommission Status : Normal
Configured Capacity: 18536591360 (17.26 GB)
DFS Used: 24576 (24 KB)
Non DFS Used: 2628341760 (2.45 GB)
DFS Remaining: 15908225024 (14.82 GB)
DFS Used%: 0.00%
DFS Remaining%: 85.82%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Last contact: Wed Aug 09 05:03:05 CST 2017
 
代码部分,可以看出,连接的datanode 为3个。
分别为 192.168.30.111
192.168.30.112
192.168.30.113

Linux是一套免费使用和自由传播的类Unix操作系统



相关软件

2345加速浏览器官方版

2345加速浏览器官方版 | 56.2MB

2345加速浏览器官方版

新一代2345加速浏览器采用Chromium和IE双内核,主打极速与安全特性。基于Chromium深度定制,引入网页智能预加载技术,访问网页更快速..

QQ浏览器官方正式版

QQ浏览器官方正式版 | 49.67MB

QQ浏览器官方正式版

QQ浏览器秉承TT浏览器1-4系列方便易用的特点,但技术架构不同,交互和视觉表现也重新设计,采用Chromium内核+IE双内核,让浏览快速稳定...

百度浏览器最新版下载

百度浏览器最新版下载 | 13.3MB

百度浏览器最新版下载

q百度浏览器,是一款简洁轻快、智能懂你的浏览器。依靠百度强大的搜索平台,在满足用户浏览网页的基础上,它整合百度体系业务优势,带给用户更方便的浏览方式功能...

UC浏览器官方正式版

UC浏览器官方正式版 | 44.2MB

UC浏览器官方正式版

UC浏览器(UC Browser)是UC Mobile Limited在2004年8月开发的一款软件,分uc手机浏览器和uc浏览器电脑版。UC浏览器是全球使用量最大的第三方手机浏览器...

猎豹浏览器2022最新版下载

猎豹浏览器2022下载 | 45MB

猎豹浏览器2022最新版下载

猎豹安全浏览器对Chrome的Webkit内核进行了超过100项的技术优化,访问网页速度更快。其具有首创的智能切换引擎,动态选择内核匹配不同网页...

360安全浏览器官方版下载

360安全浏览器下载 | 21.4MB

360安全浏览器官方版下载

360安全浏览器拥有全国最大的恶意网址库,采用恶意网址拦截技术,可自动拦截挂马、欺诈、网银仿冒等恶意网址。独创沙箱技术,在隔离模式即使访问****也不会感染...