Harbor部署文档

> 本文由 [简悦 SimpRead](http://ksria.com/simpread/) 转码， 原文地址 [blog.51cto.com](https://blog.51cto.com/lidabai/5173694)

> 企业内网如何搭建安全的 Harbor 服务？（超详细），企业内网环境搭建安全的 Harbor 镜像服务器，详细的操作步骤！

1 部署环境
------

*   操作系统：CentOS-7.8
*   Harbor 版本：2.3.5
*   主机配置：2C、4G 内存
*   主机 IP：192.168.2.81
*   安装软件：docker-ce-19.03.8、docker-compose-2.2.3、cfssl、cfssl-json

2 Harbor 的 5 种安装方式
------------------

*   在线安装：适合初学者快速搭建一个 Harbor 仓库，简单快速，安装过程需要从官方拉取镜像，资源包带 online。
*   **离线安装**：适合公司内网环境，离线安装包装载了安装过程需要的镜像（自动导入），资源包带**offline**。
*   源码安装：适合开发者对 Harbor 进行开发和测试，通过编译源码到本地进行安装，安装条件较苛刻，需要了解 Harbor 底层原理和实现方式的，可选择源码安装的方式；
*   Heml Chart：通过 Heml 安装 Harbor 到 kubernetes 集群；

每种安装方式都可以实现 Habor 的高可用（高可用方案官方建议使用 kubernetes 的安装方式，其他方式官方并不维护），防止单点故障，楼主本篇分享的是【离线安装】的部署方式

3  相关软件包下载
----------

因为是企业内网环境，相关的安装包需要用自己的电脑下载相关软件，然后上传到部署的主机上。

### 3.1、docker-ce 安装包下载

### 3.2、docker-compose 下载

docker-compose 的版本要在 1.18.0 以上，否则安装会报错，本处下载 2.2.3 版本。

```
wget https://github.com/docker/compose/releases/download/v2.2.3/docker-compose-linux-x86_64
```

### 3.3、Harbor 离线安装包（官网下载）

官方下载地址： https://github.com/goharbor/harbor/releases

选择带有 **offline** 的安装包进行下载。

![](http://yg9538.kmgy.top/46ac8d58625a4e9089d44244062a85708dd089.png)

4 安装 docker-ce 和 docker-compose
-------------------------------

![](http://yg9538.kmgy.top/35c5d6052aa0dbe514c868bf13f0dd895a5e3f.png)

### 4.1、使用离线安装包安装 docker 并启动 docker 服务

```
# tar zxvf docker-ce-rpm.tar.gz 
# cd docker-ce-rpm/
# yum install  -y  .
```

![](http://yg9538.kmgy.top/84718a668f71788ad293906c3146faa91f281f.png)

![](http://yg9538.kmgy.top/73c51d7501fa5858143216e62d7adde1ac3568.png)

### 4.2 安装 docker-compose

```
# mv docker-compose-linux-x86_64   /usr/local/bin/docker-compose
# ls  -l /usr/local/bin/docker-compose
-rw-r--r-- 1 root root 24707072 1月   7 16:08 /usr/local/bin/docker-compose
# chmod +x /usr/local/bin/docker-compose
# docker-compose --version
Docker Compose version v2.2.3
```

![](http://yg9538.kmgy.top/f151eb53814ffe3236986558118e521e672af8.png)

5 配置内核参数
--------

### 5.1 临时加载内核模板

### 5.2 配置内核参数并生效

```
# cat > /etc/sysctl.conf << EOF
net.ipv4.ip_forward = 1
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF 
# sysctl -p
```

**net.ipv4.ip_forward=1**  ：开启路由转发，不配置该参数，当主机重启后，服务状态正常，却无法访问到服务器。

![](http://yg9538.kmgy.top/b24b315574103ebc51c3244be60e3ae368e0f0.png)

6 配置安全访问证书
----------

默认情况下，Harbor 不附带证书。可以在没有安全性的情况下部署 Harbor，以便您可以通过 HTTP 连接到它。在生产环境中，始终使用 HTTPS。如果启用 Content Trust with Notary 以正确签署所有图像，则必须使用 HTTPS。

要配置 HTTPS，就必须要创建 SSL 证书。可以使用受信任的第三方 CA 签署的证书，也可以使用自签名证书。本篇文章介绍如何使用 cfssl 创建 CA，以及如何使用 CA 签署服务器证书和客户端证书。

有条件的企业也可使用购买的证书使用。

### 6.1 cfssl 工具概述

> CFSSL 是 CloudFlare 公司提供的 PKI/TLS 工具，使用 Go 语言开发。开源并支持 Windows、Linux、macos 系统。

#### （1）cfssl 有以下几个工具集：

*   multirootca：管理多个签名密钥的情形；使用多个签名密钥的证书颁发机构服务器
*   mkbundle：构建证书池；
*   cfssljson：将从 cfssl 和 multirootca 等获得的 json 格式的输出转化为证书格式的文件（证书，密钥，CSR 和 bundle）进行存储；
*   cfssl-certinfo：可显示 CSR 或证书文件的详细信息；可用于证书校验。

#### （2）证书文件说明

*   ca-config.json： 配置文件
*   ca-csr.json：证书请求文件
*   han-ca.csr：证书签名请求文件
*   han-ca.pem：公钥
*   han-key.pem：私钥

### 6.2 下载 cfssl 证书制作工具

官方下载地址：[https://github.com/cloudflare/cfssl/releases](https://github.com/cloudflare/cfssl/releases)

```
# wget https://github.com/cloudflare/cfssl/releases/download/v1.6.0/cfssl_1.6.0_linux_amd64 \
 -O   /usr/local/bin/cfssl
# wget https://github.com/cloudflare/cfssl/releases/download/v1.6.0/cfssljson_1.6.0_linux_amd64 \
 -O  /usr/local/bin/cfssljson
# wget https://github.com/cloudflare/cfssl/releases/download/v1.6.0/cfssl-certinfo_1.6.0_linux_amd64   \
 -O  /usr/local/bin/cfssl-certinfo
```

> 注：
>
> 将下载好的 cfssl、cfssljson、cfssl-certinfo 工具移动并改名到 / usr/local/bin / 下，并给可执行权限。

### 6.3 生成并修改 CA 默认配置文件

CA 为证书机构，然后该机构可给客户端颁发证书。

```
# cfssl print-defaults  config > ca-config.json 
# vim ca-config.json 
{
    "signing": {
        "default": {
            "expiry": "87600h"
        },
        "profiles": {
            "harbor": {
                "expiry": "87600h",
                "usages": [
                    "signing",
                    "key encipherment",
                    "server auth",
                    "client auth"
                ]
            }
        }
    }
}
```

> expiry：证书过期时间（单位：h）；
>
> profiles.harbor：为服务使用该配置文件颁发证书的配置模块；
>
> signing：签署，表示该证书可用于签名其它证书；生成的 ca.pem 证书中 CA=TRUE；
>
> key encipherment：密钥加密；
>
> profiles：指定了不同角色的配置信息；可以定义多个 profiles，分别指定不同的过期时间、使用场景等参数；后续在签名证书时使用某个 profile。
>
> server auth：服务器身份验证；表示 client 可以用该 CA 对 server 提供的证书进行验证；
>
> client auth：客户端身份验证；表示 server 可以用该 CA 对 client 提供的证书进行验证；

### 6.4 生成并修改默认 csr 请求文件

```
# cfssl  print-defaults csr  > ca-csr.json
# vim ca-csr.json 
{
    "CN": "harbor",
    "hosts": [
        "127.0.0.1",
        "192.168.2.81"
    ],
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "names": [
        {
            "C": "CN",
            "ST": "BeiJing",
            "L": "BeiJing"
        }
    ]
}
```

> hosts：包含的授权范围，不在此范围的的节点或者服务使用此证书就会报证书不匹配错误，证书如果不包含可能会出现无法连接的情况，此处需要改为本机的 IP 地址；
>
> Key: 指定使用的加密算法，一般使用 rsa 非对称加密算法（algo:rsa；size:2048）
>
> CN：Common Name，kube-apiserver 从证书中提取该字段作为请求的用户名 (User Name)；浏览器使用该字段验证网站是否合法；CN 是域名，也就是你现在使用什么域名就写什么域名
>
> O：Organization，kube-apiserver 从证书中提取该字段作为请求用户所属的组 (Group)；

![](http://yg9538.kmgy.top/98a22452620e3b4825e9230eba4dbe86efc844.png)

### 6.5 初始化 CA

```
#  cfssl  gencert  -initca  ca-csr.json  |  cfssljson  -bare   ca 
# ls
anaconda-ks.cfg  ca-config.json  ca.csr  ca-csr.json  ca-key.pem  ca.pem
```

会生成 ca-key.pem、ca.pem 两个文件，ca-key.pem、ca.pem 这两个是 CA 相关的证书，通过这个 CA 来签署服务端证书。

![](http://yg9538.kmgy.top/93dfcba1124cc007165252e888e0e34f6549d4.png)

### 6.6 生成服务器证书

#### （1）创建并修改服务端证书请求文件

```
# cfssl  print-defaults csr >  harbor-csr.json 
# vim harbor-csr.json
{
    "CN": "harbor",
    "hosts": [],
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "names": [
        {
            "C": "CN",
            "ST": "BeiJing",
            "L": "BeiJing"
        }
    ]
}
```

#### （2）使用请求文件根据 CA 配置颁发证书

```
# cfssl gencert -ca=ca.pem -ca-key=ca-key.pem  -config=ca-config.json -profile=harbor  harbor-csr.json | cfssljson -bare  harbor
```

> -config：指定 CA 证书机构的配置文件；
>
> -profile：指定使用 CA 配置文件中的哪个模块（此处 harbor 对应配置文件中的 harbor）；
>
> harbor.pem：harbor 服务的数字证书；
>
> harbor-key.pem：harbor 服务的私钥，注意保管，不可随意给别人；

![](http://yg9538.kmgy.top/87a3cfd48cf2c5f28468966c1a7c4897c6c0e0.png)

7 安装 Harbor
-----------

### 7.1、创建 Harbor 工作目录

```
# mkdir -p /app/harbor/ssl/    
# mkdir -p /app/harbor/data/      # 创建harbor数据目录（配置文件中指定该目录）
```

ssl 子目录用于存放 Harbor 相关的证书

### 7.2、将制作的证书放到 / app/harbor/ssl / 下

```
# mv ca-config.json  ca.csr  ca-csr.json  ca-key.pem  ca.pem  /app/harbor/ssl/
# mv harbor.csr  harbor-csr.json  harbor-key.pem  harbor.pem   /app/harbor/ssl/
```

### 7.3、解压 Harbor 安装包

```
# # tar zxvf harbor-offline-installer-v2.3.5.tgz  -C    /app/harbor/
# cd /app/harbor/harbor/
# pwd
/app/harbor/harbor
[root@harbor harbor]# ls
common.sh  harbor.v2.3.5.tar.gz  harbor.yml.tmpl  install.sh  LICENSE  prepare
```

> harbor.v2.3.5.tar.gz：各个功能组件的镜像包，运行 install.sh 脚本会自动导入该镜像；
>
> prepare：准备脚本，将 harbor.yml 配置文件的内容注入到各组件的配置文件中；
>
> LICENSE：许可文件；
>
> common.sh：安装脚本的工具脚本；
>
> harbor.yml.tmpl：配置文件模板，需要复制为 harbor.yml 生成配置文件；
>
> install.sh：安装脚本

![](http://yg9538.kmgy.top/146ecd443c68bc39b3f386598139a57ff7be82.png)

### 7.4、使用模板文件创建配置文件

```
# cp harbor.yml.tmpl harbor.yml
```

### 7.5、修改配置文件（重点）

```
# vim harbor.yml
hostname: 192.168.2.81           #Harbor主机名/IP地址，不能是127.0.0.1
http:               //非安全访问
  port: 80
https:
  port: 443                    //安全访问端口，默认443，建议修改，本处演示就不改了
  certificate: /app/harbor/ssl/harbor.pem    //填写制作好的证书文件
  private_key: /app/harbor/ssl/harbor-key.pem    //填写制作好的私钥文件
#Harbor管理员（admin）的密码，初次不可修改
harbor_admin_password: Harbor12345
database:           # 数据配置部分
  password: root123              #数据库密码
  max_idle_conns: 100
  max_open_conns: 900
data_volume: /app/harbor/data         #容器存储卷数据存放位置
_version: 2.3.5      # harbor版本，需要改为当前版本，默认的2.3.0会安装失败
```

### 7.6、运行 prepare 脚本以启用 HTTPS

确保配置文件中启用 https 模式，并配置好证书。执行期间会从 harbor.v2.3.5.tar.gz 镜像包中导入 goharbor/prepare:v2.3.5 镜像。

![](http://yg9538.kmgy.top/e2cb37b03487bcdb0800714d12e82904873109.png)

### 7.7、执行 install.sh 脚本安装 Habor

在线安装方式会从网上自动下载需要的镜像，离线安装是自动将 harbor.v2.3.5.tar.gz 镜像包导入到 本地镜像。

安装脚本支持 Harbor 组件选装，除核心组件外，其他功能组件可通过对应参数指定安装。

*   **安装参数**

> --with-notary：安装镜像签名组件 Notary（包括 Notary Server 和 Notary Singer），必须配置 HTTPS 方可指定该参数；
>
> --with-clair：安装镜像扫描工具 Clair；（2.3.1 已弃用）
>
> --with-trivy：安装镜像扫描工具 Trivy;
>
> --with-chartmuseum：安装 Char 文件管理组件 ChartMuseum；harbor 基于该插件可当 Helm Chart 仓库。（哈哈哈！不用自己再搭 helm Chart 仓库了）

*   **安装脚本的执行流程：**

[1]- 环境检查，主要检查主机的 docker 和 docker-compose 版本；

[2]- 载入离线镜像文件；

[3]- 准备配置文件并生成 docker-compose.yml 文件；

[4]- 通过 docker-compose 启动 Harbor 各组件的容器；

*   **执行命令**

```
[root@harbor harbor]# ./install.sh  --with-notary  --with-trivy  --with-chartmuseum
```

![](http://yg9538.kmgy.top/13a07c854054ecc66791443678c0dcb82006a3.png)![](http://yg9538.kmgy.top/992a51163e67d74404d351d27686084c317ce7.png)

安装过程无报错！接下来需要验证服务了。

8  查看服务状态
---------

install 完成后，会自动启动相关服务。

![](http://yg9538.kmgy.top/467120e996101d4a27453251b157c06f710ab2.png)

当 state(状态) 为 Up 时，表示容器正常运行。

9  服务启停管理
---------

### 9.1、服务停止运行

![](http://yg9538.kmgy.top/e50fbc050e4eec8f59e1874675df5bf24c9963.png)

### 9.2、重新启动服务

![](http://yg9538.kmgy.top/4371187517ba33b34171761759a7a99e255cf2.png)

10  Harbor 界面管理
---------------

### 10.1、登录 Harbor UI 界面

登录地址： https://192.168.2.81:443

![](http://yg9538.kmgy.top/226297a50433093fb507844bf78d9fc1d21f6f.png)

![](http://yg9538.kmgy.top/88c04792242294b2f93038f47c318b746730ef.png)

输入用户名和密码（admin/Harbor12345)，点击 “登录”

![](http://yg9538.kmgy.top/a6d5ca4497174bb639d991e23df50a0b95a2e8.png)

![](http://yg9538.kmgy.top/8874ed9601bd8a3614d1461379d8c53533ca69.png)

### 10.2、创建项目

创建项目给某个系统使用。

【项目】——【新建项目】：

![](http://yg9538.kmgy.top/16716cd5179d3d3eb9d919867df1d1ebbeb1d2.png)

![](http://yg9538.kmgy.top/92d60f0977fd473ea461358cf3dad29c967b23.png)

### 10.3、新建用户

给开发人员新建一个用户。

【系统管理】——【用户管理】——【新建用户】

![](http://yg9538.kmgy.top/8278787382731044b7e1225fbf910ed4df2dc7.png)

填写用户信息，然后点击 “确定”

![](http://yg9538.kmgy.top/d1140cb69ddb92909df4969cf0ace22aa5e550.png)

![](http://yg9538.kmgy.top/f14f04213d6a59d55a0849d0704ccce55824be.png)

### 10.4、给创建的用户访问新建项目的角色

![](http://yg9538.kmgy.top/91cd06262e28df8c1c9286d855560195e10af8.png)

![](http://yg9538.kmgy.top/b1109208763b5030614877a3d1090825c15c9c.png)

11 Harbor 命令行管理
---------------

### 11.1、docker 配置文件中配置 Harbor 地址

harbor 的客户端想要拉取 / 推送 Harbor 中的镜像，需要在主机上安装 docker，并在 docker 配置文件中指定 Harbor 服务器地址。

```
# cat /etc/docker/daemon.json
{
    "exec-opts":["native.cgroupdriver=systemd"],
    "registry-mirrors":["https://registry.docker.cn.com"],
    "insecure-registries":["192.168.2.81:443"]        # 添加该行内容
}
```

然后需要重启 docker 服务

```
# systemctl daemon-reload 
# systemctl restart docker && systemctl status docker
```

![](http://yg9538.kmgy.top/b426a50893802f51a9a3272a6672cbd660b7ed.png)

### 11.2、命令行登录 Harbor

```
# docker login https://192.168.2.81:443 -u admin -p Harbor12345
```

![](http://yg9538.kmgy.top/55fc3e227a6debb682f114381e44ee93dbf177.png)

如果报错：

![](http://yg9538.kmgy.top/337e7a5277ad20a88f1300c1c12527a0ffd842.png)

在 / etc/hosts 添加：

```
# vim  /etc/hosts
...
192.168.2.81  harbor     # 这里的harbor是配置文件中的hostname的值
```

### 11.3、上传镜像到 Harbor

将本地的 goharbor/harbor-exporter:v2.3.5 上传到 library 项目下。

```
# docker tag  https://192.168.2.81:443/library/harbor-exporter:v2.3.5  goharbor/harbor-exporter:v2.3.5
# docker push   https://192.168.2.81:443/library/harbor-exporter:v2.3.5
```

### 11.4、从 Harbor 拉取镜像

```
# docker pull https://192.168.2.81:443/library/harbor-exporter:v2.3.5
```

![](http://yg9538.kmgy.top/e8b1f0575775ba2f574820b1271921ad750417.gif)