windows 搭建 hadoop 环境（解决 HADOOP_HOME and hadoop.home.dir are unset

> 本文由 [简悦 SimpRead](http://ksria.com/simpread/) 转码， 原文地址 [blog.csdn.net](https://blog.csdn.net/qq_42970173/article/details/123714605?spm=1001.2101.3001.6650.2&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7ERate-2-123714605-blog-102096967.pc_relevant_multi_platform_featuressortv2dupreplace&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7ERate-2-123714605-blog-102096967.pc_relevant_multi_platform_featuressortv2dupreplace&utm_relevant_index=3)

### 一、软件安装

1、JDK1.8  
链接：https://pan.baidu.com/s/1jqqWb-3JNMDW3DbvibYlJQ?pwd=agoi  
提取码：agoi  
2、[hadoop](https://so.csdn.net/so/search?q=hadoop&spm=1001.2101.3001.7020)-3.1.3 版本  
链接：https://pan.baidu.com/s/1cRkMc7LHPpza7n2oWqyLGw?pwd=ecid  
提取码：ecid  
3、winutils-master 3.1.1 版本下载（windows 下运行 hadoop 必须要下载这个！这个版本可以适用于 hadoop3.1.x）  
链接：https://pan.baidu.com/s/1K8i7opaqK4Ut76lU4yBcRQ?pwd=a6hh  
提取码：a6hh

_如果是 hadoop 其他版本，[点击进入官网下载](https://hadoop.apache.org/releases.html)_  
* 配套的 winutils-master 其他版本，网盘下载：  
链接：https://pan.baidu.com/s/1jJthV7h-ynjk4MH6algIzg?pwd=p4aw  
提取码：p4aw  
*

```
java环境变量需要先配置，不过本文不做讲解，不会的自行百度。
```

二、hadoop 环境配置

1、先解压下载好的 winutils-master，进入 bin 目录，将 winutils.exe 和 hadoop.dll 复制到 hadoop-3.1.3\bin 下

![](https://img-blog.csdnimg.cn/1c2de9832588439fa2be4969560a97c4.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAcHBhbmRwcA==,size_20,color_FFFFFF,t_70,g_se,x_16)

![](https://img-blog.csdnimg.cn/4cf09644be394608ab83ada997ed73f2.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAcHBhbmRwcA==,size_20,color_FFFFFF,t_70,g_se,x_16)

2、然后将 hadoop.dll 复制到 C:\Windows\System32 中 否则 会报 `Exception in thread "main"java.lang.UnsatisfiedLinkError:org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z`

![](https://img-blog.csdnimg.cn/2e615b38a0b945c7af268a8658ff109f.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAcHBhbmRwcA==,size_20,color_FFFFFF,t_70,g_se,x_16)

3、配置 hadoop 环境变量，新建 HADOOP_HOME

![](https://img-blog.csdnimg.cn/bef05afd9ead4cfcaf4324be27cdbb74.png)

4、添加到 path 路径，%HADOOP_HOME%\bin;

![](https://img-blog.csdnimg.cn/3ad8188bb74f4a54b17253d36c9b186a.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAcHBhbmRwcA==,size_20,color_FFFFFF,t_70,g_se,x_16)

5、打开 cmd，输入 hadoop version

![](https://img-blog.csdnimg.cn/1bb861fa859445c0a29a2a37e3f39125.png)

如果出现上面的情况，则修改 hadoop-env.cmd 中的

JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_111

PS：因为 Program Files 中存在空格，若是直接使用会出现错误，可以进行如下处理： 只需要用 PROGRA~1 代替 Program Files，即改为 C:\PROGRA~1\Java\jdk1.8.0_111

![](https://img-blog.csdnimg.cn/9602b6a7e1174c8594aa7ccac9397bd8.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAcHBhbmRwcA==,size_20,color_FFFFFF,t_70,g_se,x_16)

![](https://img-blog.csdnimg.cn/ca6c4ae3115144e6b86ba2d9df7865d7.png)

再次在 cmd 中输入 hadoop version

![](https://img-blog.csdnimg.cn/61d49431bd6c4864b3b87613ba44dc1d.png)

这样就成功了

为什么要在 windows 上配置 hadoop 环境呢？因为想跑一个 wordcount 案例，如果打成 jar 包放到 yarn 上面跑，调试比较费时间。

**以上可以解决下面这两个错误：  
1、`HADOOP_HOME and hadoop.home.dir are unset`**  
2、**`org.apache.hadoop.io.nativeio.NativeIO$POSIX.stat(Ljava/lang/String；)Lorg/ap`**

#### 如果还是报错，以下是解决错误的方法：

1. 重启 idea！是的，我重启后就不报错了  
2.D:\hadoop-3.1.3/bin/winutils.exe 和 hadoop.dll 是不是和你正在使用的 hadoop 版本匹配

我的问题就是这个原因，我直接把官网上面下载回来的 hadoop-3.1.3.tar.gz 直接解压，然后随便去网上下载了 winutils.exe 和 hadoop.dll 丢进去 bin 目录（版本是 3.0 的），一运行就报错了 ，换成相同版本的 winutils.exe，再重复以上 1、2 步骤，复制到 bin 目录下。

所以一定要和 hadoop 的版本匹配才行！（用我提供的版本是没有问题的）

3. 如果还没有解决，就多参考其他文章，或者留言