jps 命令查看 DataNode 进程不见了 (hadoop3.0 亲测可用)

> 本文由 [简悦 SimpRead](http://ksria.com/simpread/) 转码， 原文地址 [blog.csdn.net](https://blog.csdn.net/liweihope/article/details/88374984)

jps： java process status tools 表示 java 进程查看工具.

解决方案就两个：1. 清空 tmp 目录 2. 把 tmp 目录下的 NameNode 和 DataNode 的 clusterID，在 VERSION 文件里改成一样的即可。

```
liugen@ubuntu:/usr/local/hadoop/tmp/dfs/name/current$ gedit VERSION
```

DataNode 进程不见了
==============

问题描述
====

最近配置 [Hadoop](https://so.csdn.net/so/search?q=Hadoop&spm=1001.2101.3001.7020) 的时候出现了这么一个现象，启动之后，使用 jps 命令之后是这样的：

![](https://static.oschina.net/uploads/space/2018/0520/162912_7EJ0_3754001.png)

看不到 DataNode 进程，但是能够正常的工作，是不是很神奇啊？

在一番百度谷歌之后，得出了结论：

我在启动 Hadoop 之前和启动之后，曾经多次使用如下命令，针对 NameNode 进行格式化：

```
hadoop namenode -format
```

这个问题，还不是你直接多次格式化造成的，而是你格式化之后，启动了 Hadoop，然后将 Hadoop 关闭，重新格式化，再启动 Hadoop 造成的，这个时候你就发现，DataNode 线程在 jps 命令中消失了，还能正常使用，就如我开头的那张图一样。造成这个问题的根源，是 NameNode 和 DataNode 的版本号不一致所致。这个问题不仅仅会出现在伪分布式，完全分布式中也会出现。这里以伪分布式进行展示。

如下是正常的两个文件的信息。

NameNode VERSION 文件信息：

1.  `namespaceID=51628800`
    
2.  `clusterID=CID-97bb16dc-c439-427c-9841-5e6e4667cb65`
    
3.  `cTime=0`
    
4.  `storageType=NAME_NODE`
    
5.  `blockpoolID=BP-1918730739-172.17.241.131-1526803461127`
    
6.  `layoutVersion=-63`

DataNode VERSION 文件信息：

1.  `storageID=DS-4281731b-7a44-4c86-8844-e1927a4fc966`
    
2.  `clusterID=CID-97bb16dc-c439-427c-9841-5e6e4667cb65`
    
3.  `cTime=0`
    
4.  `datanodeUuid=197c3d68-454b-4287-a5e5-90c01ed9be53`
    
5.  `storageType=DATA_NODE`
    
6.  `layoutVersion=-56`

所谓版本号不一致，就是说的 clusterID 的值，上面的信息展示的是一致的，也表明 NameNode 和 DataNode 是一组的。

那么这两个文件存放在哪里呢？如下是你在 Hadoop 配置文件 core-site.xml 中的一项，就在此项指定的目录之下。

1.  `<property>`
    
2.  ``
    
3.  `<name>hadoop.tmp.dir</name>`
    
4.  `<value>/home/hadoop-2.7.1/tmp</value>`
    
5.  `</property>`

那我就以我这个配置的路径来进行查找，首先到 tmp 目录下：

![](https://static.oschina.net/uploads/space/2018/0520/170206_8sXD_3754001.png)

如上图是完整的查找路径。

问题分析
====

下面进行此问题的分析：

当第一次格式化，启动 Hadoop 的时候，没有任何问题，任何环节都是新产生的，所以哪怕你在启动 Hadoop 之前进行多次的 NameNode 格式化都可以，因为在 Hadoop 启动之前，DataNode 的版本还没有生成，只有 Hadoop 启动之后 DataNode 的版本等响应信息才会在指定的目录下生成，这个时候就产生了 NameNode 和 DataNode 的一对一的关系。

当你关掉 Hadoop 之后进行二次 NameNode 格式化的时候，NameNode 的版本信息等进行了重新写入，内容肯定和之前的不一样，这样就造成了，上文中我提到的 clusterID 不一致的问题，这样，你再次启动 Hadoop，所有功能都正常使用，但唯独 jps 命令下看不到 DataNode 线程，这当然会使我们每个程序员感到惊慌，怎么办？

解决方案
====

方案一
---

首先，在格式化之前，将你设置的存储 Hadoop 信息目录下清空，即我上图中的例子 tmp 目录，将此目录清空即可。也可直接删除此目录，然后新建一个。

然后，进行格式化，这样所产生的 NameNode 和 DataNode 信息都是新的，也都是一组的，问题就解决了，这个是最简单最有效的方法。

方案二
---

如果有数据还在，又不想清空数据，那么这个方案就是你的福音。

既然是版本号不一致产生的问题，那么我们就单独解决版本号的问题，将你格式化之后的 NameNode 的 VERSION 文件找到，然后将里面的 clusterID 进行复制，再找到 DataNode 的 VERSION 文件，将里面的 clusterID 进行替换，保存之后重启，那么就可以正常的使用了。查找的的路径，已经在上图中进行了展示，这里不做赘述。

就以上问题，目前我只想到两个解决方案，如果还有，我会在这里进行更新。

转自：[https://blog.csdn.net/u011495642/article/details/83281253](https://blog.csdn.net/u011495642/article/details/83281253)