Spark 集群部署

# Spark集群部署

## 一、Spark集群部署

### 1.1 下载`spark-3.0.0`的 jar 包

下载地址： [archive.apache.org/dist/spark/…](https://link.juejin.cn/?target=https%3A%2F%2Farchive.apache.org%2Fdist%2Fspark%2Fspark-3.0.0%2Fspark-3.0.0-bin-hadoop3.2.tgz)

### 1.2 上传并解压

将下载好的 `spark-3.0.0-bin-hadoop3.2.tgz` 上传到 `master1` 虚拟机节点`/usr/local/yangguang/software`目录下。

```
# 解压
tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz
mv spark-3.0.0-bin-hadoop3.2 spark
```

### 1.3 配置 SPARK_HOME 环境变量

```
vim ~/.bashrc 
# 添加如下内容
export SPARK_HOME=/usr/local/yangguang/software/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
# 加载使其生效
source ~/.bashrc

```

### 1.4 修改配置

```
# 进入spark conf目录
cd /usr/local/yangguang/software/spark/conf
# 拷贝模板文件
cp spark-defaults.conf.template spark-defaults.conf
cp spark-env.sh.template spark-env.sh
cp slaves.template slaves

```

#### 1.4.1 修改 spark-defaults.conf

```
vim spark-defaults.conf
# 添加如下内容
spark.master                     spark://master1:7077
spark.serializer                 org.apache.spark.serializer.KryoSerializer
spark.driver.memory              8g
spark.executor.memory            4g
spark.rpc.message.maxSize        512

```

#### 1.4.2 修改 spark-env.sh

```
export JAVA_HOME=/usr/local/yangguang/software/jdk
export HADOOP_HOME=/usr/local/yangguang/software/hadoop
export HADOOP_CONF_DIR=/usr/local/yangguang/software/hadoop/etc/hadoop
export SPARK_DIST_CLASSPATH=$(/usr/local/yangguang/software/hadoop/bin/hadoop classpath)
export SPARK_MASTER_HOST=master1
export SPARK_MASTER_PORT=7077

```

#### 1.4.3 修改 slaves 文件

```
vim slaves
# 修改为如下内容
master1
master2
slave1
slave2
slave3
slave4
slave5

```

### 1.5 将 spark-3.0.0-bin-hadoop3.2 目录分发到其他节点

```
cd /usr/local/yangguang/software/
xsync spark
```

### 1.6 启动 Spark 集群

```
# 配置了环境变量，可以在任意目录执行启动命令
start-all.sh
```

## 二、远程连接Spark集群

由于Spark集群中各个节点内网连接，如果直接使用本地桌面远程连接Spark会导致集群之间访问地址为内网ip地址，从而访问失败。如果需要远程连接Spark集群，需要具备以下几点：

- HDFS DataNode 节点服务器需要有外网ip
- Spark 节点服务器需要有外网ip

### 2.1 节点服务器有外网ip

#### 2.1.1 Spark连接代码

```
import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.rdd.RDD
import org.apache.spark.sql.{DataFrame, SparkSession}

/**
  * 本地访问Spark集群(StandAlone模式)，调试代码
  */
object ExeFromSparkStandAlone {
  def main(args: Array[String]): Unit = {
    // 设置提交任务的用户
    System.setProperty("HADOOP_USER_NAME", "root")
    
    //读取hdfs的文件
    val path = "hdfs://node01:8020/stu/student.txt"

val conf: SparkConf = new SparkConf().setAppName("ExeFromSparkStandAlone")
      .setMaster("spark://node01:7077")                       //Spark集群地址
      .set("spark.driver.host", "192.168.52.2")               //必须添加本地IP（运行Idea的机器）
      .setJars(List("E:\\IdeaProjects\\my001\\target\\my001-1.0-SNAPSHOT.jar"))  //必须添加jar，此jar包为该项目打包的

val spark: SparkSession = SparkSession.builder.config(conf).getOrCreate()

val sc: SparkContext = spark.sparkContext
    sc.setLogLevel("WARN")

//读取文件
    val stuRDD: RDD[String] = sc.textFile(path)

//RDD ===> DataFrame 需要隐式转换
    import spark.implicits._
    //split第二个参数为“-1”，代表不过滤空值
    val stuDF: DataFrame = stuRDD.map(_.split(",", -1))
      .map(line => Student(line(0).toInt, line(1), line(2), line(3).toInt, line(4))).toDF()

//    stuDF.printSchema()

stuDF.show(100)

//默认压缩格式为Snappy，数据格式为Parquet
//    stuDF.repartition(1).write.mode(SaveMode.Overwrite).parquet("E:\\data\\student")

//设置压缩格式为gzip
//    stuDF.repartition(1).write.mode(SaveMode.Overwrite)
//      .option("compression","gzip").parquet("E:\\data\\student_gzip")

//关闭资源
    spark.stop()
  }
  case class Student(id: Int, name: String, sex: String, age: Int, country: String)
}
```

#### 2.1.2 **注意事项**

- 必须关闭自己电脑的防火墙

- 设置提交任务的用户（非必须，看是否报错）

- 读取的文件必须是 `HDFS` 上的

- 必须把 `yarn-site.xml` 、 `core-site.xml` 、 `hdfs-site.xml` 放到 `resource` 下面，因为程序运行的时候需要这些环境

- 必须将该项目打包，并在 `SparkConf` 中指定

- 必须将本地 `IP`，在 `SparkConf` 中指定（而且这个 `IP` 和 `Spark` 集群的 `IP` 要在一个网段）

- 必须在 `Spark` 官网下载 `spark-2.2.0-bin-hadoop2.7.tgz` ，解压，然后配置在本地环境变量中（而且 `Spark` 版本要和 `Spark` 集群的版本一致）

#### 2.1.3 遇到的问题

- 1、报错

```
Can only call getServletHandlers on a running MetricsSystem
```

原因： `Spark` 集群的 `Worker` 都挂掉了。

解决方法： 到 `Spark` 的 `IP` + `8080` 端口查看了一下，发现 `Spark` 集群的 `Worker` 都挂掉了（`Alive Workers` 是 0），重启一下 `Spark` 集群就好了。

![null](http://kmgy.top:9090/image/2022/9/17/20210126225645182_repeat_1663386282472__967181.png)

- 2、报错

```
org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permission denied
```

原因：在本地提交的用户名，它没有访问 `hdfs` 的权限，最简单的解决方法就是在代码里面设置用户是 `root`。

解决方式：

```
System.setProperty("HADOOP_USER_NAME", "root")
```

- 3、报错

```
Exception in thread "main" java.lang.IllegalStateException
```

原因：在本地没有配置 `SPARK_HOME` 的环境变量。

解决方式：在 `Spark` 官网下载 `spark-2.2.0-bin-hadoop2.7.tgz` ，解压，然后配置在本地环境变量中（而且 `Spark` 版本要和 `Spark` 集群的版本一致）。

- 4、报错

```
org.apache.spark.SparkException: Failed to connect to driver!
```

原因：在代码中没有设置 `driver host` 。

解决方式：将本地 `IP` 地址在 `SparkConf` 中指定。

```
set("spark.driver.host", "192.168.52.2")
```

- 5、报错

```
Lost task 0.0 in stage 0.0 (TID 0, 192.168.52.120, executor 1): 
java.lang.ClassCastException: cannot assign instance of scala.collection.immutable.List$SerializationProxy
to field org.apache.spark.rdd.RDD.org$apache$spark$rdd$RDD$$dependencies_ of type scala.collection.Seq
in instance of org.apache.spark.rdd.MapPartitionsRDD
```

这个报错是最坑的一个，找了好长时间才解决这个 bug。

解决方式：必须将该项目打包，并在 `SparkConf` 中指定。

```
setJars(List("E:\\IdeaProjects\\my001\\target\\my001-1.0-SNAPSHOT.jar"))
```

### 2.2 节点服务器没有外网ip

- Jar包上传服务器测试

## 三、其他

### 3.1 8080端口被占用

**使用Nginx进行代理**

- Nginx 安装

> **环境**：阿里云 CentOS7 个人服务器

1. **下载解压**
  -------

下载地址：[http://nginx.org/en/download.html](http://nginx.org/en/download.html)  
  选择 Linux 最新稳定版下载，浏览器下载很慢，建议复制下载链接迅雷下载

2. **上传到服务器**
  ---------

将前面下载完成的压缩包上传到服务器的`/usr/local/yangguang/software/nginx`

3. **配置**

- 第一步：`./configure`

可以看到有一个`configure`文件，我们通过这个进行默认的配置，执行以下命令

```
  chmod +x configure
  ./configure
  ```

**注意**：如果此时报错缺乏`C compiler cc is not found`，则需要先安装 c 编译器

```
  yum -y install gcc gcc-c++ autoconf automake make
  ```

```
  yum -y install pcre-devel openssl openssl-devel gd-devel 
  ```

**报错：**./configure: error: the HTTP rewrite module requires the PCRE library.

**解决方法：**

```
  yum -y install pcre
  ```

**报错：**./configure: error: SSL modules require the OpenSSL library.

**解决方法：**

```
  yum -y install openssl openssl-devel
  ```

**报错：**nginx: [emerg] getpwnam("nginx") failed

```
  useradd -s /sbin/nologin -M nginx
  ```

- 第二步：`make`
  - 第三步：`make install`

4. **启动**
  -----

安装完成后，我们用`whereis`命令查找`nginx`文件

```
  [root@zsr nginx-1.18.0]# whereis nginx nginx: /usr/bin/nginx /usr/local/nginx
  ```

然后我们进入到`/usr/local/nginx`目录，可以查看到相关文件

```
  [root@zsr nginx-1.18.0]# cd /usr/local/nginx/ 
  [root@zsr nginx]# ls
  conf  html  logs  sbin
  ```

我们再进入到`/sbin`目录，可以看到`nginx`可执行程序，我们直接执行进行启动

```
  [root@zsr conf]# cd ./sbin 
  [root@zsr sbin]# ls nginx
  [root@zsr sbin]# ./nginx nginx: [emerg] bind() to 0.0.0.0:80 failed (98: Address already in use)
  nginx: [emerg] bind() to 0.0.0.0:80 failed (98: Address already in use)
  nginx: [emerg] bind() to 0.0.0.0:80 failed (98: Address already in use)
  nginx: [emerg] bind() to 0.0.0.0:80 failed (98: Address already in use)
  nginx: [emerg] bind() to 0.0.0.0:80 failed (98: Address already in use)
  nginx: [emerg] still could not bind()
  ```

可以看到这里报错了，这是因为端口占用的问题，nginx 默认 80 端口启动，我们可以查以下`80`端口的占用情况

```
  COMMAND     PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
  AliYunDun  1179 root   22u  IPv4  17524      0t0  TCP iZ2ze3zdx4jq8v6hetjjuxZ:39786->100.100.30.25:http (ESTABLISHED)
  nginx     11106 root   11u  IPv4 206832      0t0  TCP *:http (LISTEN)
  nginx     11107  www   11u  IPv4 206832      0t0  TCP *:http (LISTEN)
  ```

可以看到被三个进程占用，这时我们可以结束这三个进程，也可以通过修改配置文件修改`nginx`的启动端口

这里我们修改默认的 80 端口，修改 nginx 目录下的`/conf/nginx_conf`文件，这里修改为 90 端口

```
  [root@zsr conf]# ls
  fastcgi.conf          fastcgi_params.default  mime.types          nginx.conf.default   uwsgi_params
  fastcgi.conf.default  koi-utf                 mime.types.default  scgi_params          uwsgi_params.default
  fastcgi_params        koi-win                 nginx.conf          scgi_params.default  win-utf
  [root@zsr conf]# vim nginx.conf
  ```

```
  #user  nobody;
  worker_processes  1;
  
  #error_log  logs/error.log;
  #error_log  logs/error.log  notice;
  #error_log  logs/error.log  info;
  
  #pid        logs/nginx.pid;
  
  
  events {
      worker_connections  1024;
  }
  
  
  http {
      include       mime.types;
      default_type  application/octet-stream;
  
      #log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
      #                  '$status $body_bytes_sent "$http_referer" '
      #                  '"$http_user_agent" "$http_x_forwarded_for"';
      
      #access_log  logs/access.log  main;
      
      sendfile        on;
      #tcp_nopush     on;
      
      #keepalive_timeout  0;
      keepalive_timeout  65;
      
      #gzip  on;
      
      server {
          listen       80;
          server_name  localhost;
      
          #charset koi8-r;
      
          #access_log  logs/host.access.log  main;
      
          location / {
              root   html;
              index  index.html index.htm;
          }
      
          #error_page  404              /404.html;
      
          # redirect server error pages to the static page /50x.html
          #
          error_page   500 502 503 504  /50x.html;
          location = /50x.html {
              root   html;
          }
      
          # proxy the PHP scripts to Apache listening on 127.0.0.1:80
          #
          #location ~ \.php$ {
          #    proxy_pass   http://127.0.0.1;
          #}
      
          # pass the PHP scripts to FastCGI server listening on 127.0.0.1:9000
          #
          #location ~ \.php$ {
          #    root           html;
          #    fastcgi_pass   127.0.0.1:9000;
          #    fastcgi_index  index.php;
          #    fastcgi_param  SCRIPT_FILENAME  /scripts$fastcgi_script_name;
          #    include        fastcgi_params;
          #}
      
          # deny access to .htaccess files, if Apache's document root
          # concurs with nginx's one
          #
          #location ~ /\.ht {
          #    deny  all;
          #}
      }
  
  
      # another virtual host using mix of IP-, name-, and port-based configuration
      #
      #server {
      #    listen       8000;
      #    listen       somename:8080;
      #    server_name  somename  alias  another.alias;
      
      #    location / {
      #        root   html;
      #        index  index.html index.htm;
      #    }
      #}
  
  
      # HTTPS server
      #
      #server {
      #    listen       443 ssl;
      #    server_name  localhost;
      
      #    ssl_certificate      cert.pem;
      #    ssl_certificate_key  cert.key;
      
      #    ssl_session_cache    shared:SSL:1m;
      #    ssl_session_timeout  5m;
      
      #    ssl_ciphers  HIGH:!aNULL:!MD5;
      #    ssl_prefer_server_ciphers  on;
      
      #    location / {
      #        root   html;
      #        index  index.html index.htm;
      #    }
      #}
      include conf.d/*.conf;
      }
  
  
  ```

在conf.d文件夹创建8087端口代理

```
    [root@zsr nginx]# cd conf
    [root@zsr conf]# mkdir conf.d 
    [root@zsr conf]# vim dev.conf
  ```

server {
          listen 8087;
          server_name localhost;
          location / {
             proxy_set_header X-real-ip $remote_addr;
             proxy_set_header Host $host:$server_port;
             proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
             proxy_redirect off;
             proxy_pass http://127.0.0.1:8080;
             proxy_connect_timeout 10;
             proxy_read_timeout 30;
         }
      
         error_page 500 502 503 504 /50x.html;
         location = /50x.html {
             root html;
         }
      }

然后再次启动

```
  [root@zsr conf]# cd ../sbin/ 
  [root@zsr sbin]# ./nginx -s start
  ```

没有任何返回信息则代表启动成功，我们通过服务器的`公网IP:90`访问测试，记得要打开阿里云 ECS 安全组的 90 端口以及防火墙的 90 端口！

```
  #防火墙开放90端口 firewall-cmd --permanent --add-port=90/tcp
  #重启防火墙(修改配置后要重启防火墙) firewall-cmd --reload
  ```