详解 K8S 高可用安排，超详细！-尊龙凯时人生就是搏滤油机

一、前言

二、基础情形安排

1）前期准备（所有节点）

2）装置容器 docker（所有节点）

3）设置 k8s yum 源（所有节点）

4）将 sandbox_image 镜像源设置为阿里云 google_containers 镜像源（所有节点）

5）设置 containerd cgroup 驱动程序 systemd（所有节点）

6）最先装置 kubeadm，kubelet 和 kubectl（master 节点）

7）使用 kubeadm 初始化集群（master 节点）

8）装置 Pod 网络插件（CNI：Container Network Interface）(master)

9）node 节点加入 k8s 集群

10）设置 IPVS

11）集群高可用设置

12）安排 Nginx+Keepalived 高可用负载平衡器

三、k8s 治理平台 dashboard 情形安排

1）dashboard 安排

2）建设登任命户

3）设置 hosts 登录 dashboard web

四、k8s 镜像客栈 harbor 情形安排

1）装置 helm

2）设置 hosts

3）建设 stl 证书

4）装置 ingress

5）装置 nfs

6）建设 nfs provisioner 和长期化存储 SC

7）安排 Harbor（Https 方法）

一、前言

官网：https://kubernetes.io/

官方文档：https://kubernetes.io/zh-cn/docs/home/

二、基础情形安排

1）前期准备（所有节点）

1、修改主机名和设置 hosts

先安排 1master 和 2node 节点，后面再加一个 master 节点

# 在192.168.0.113执行hostnamectl set-hostname  k8s-master-168-0-113# 在192.168.0.114执行hostnamectl set-hostname k8s-node1-168-0-114# 在192.168.0.115执行hostnamectl set-hostname k8s-node2-168-0-115

登录后复制

设置 hosts

cat >> /etc/hosts<<EOF192.168.0.113 k8s-master-168-0-113192.168.0.114 k8s-node1-168-0-114192.168.0.115 k8s-node2-168-0-115EOF

登录后复制

2、设置 ssh 互信

# 直接一直回车就行ssh-keygenssh-copy-id -i ~/.ssh/id_rsa.pub root@k8s-master-168-0-113ssh-copy-id -i ~/.ssh/id_rsa.pub root@k8s-node1-168-0-114ssh-copy-id -i ~/.ssh/id_rsa.pub root@k8s-node2-168-0-115

登录后复制

3、时间同步

yum install chrony -ysystemctl start chronydsystemctl enable chronydchronyc sources

登录后复制登录后复制

4、关闭防火墙

systemctl stop firewalldsystemctl disable firewalld

登录后复制登录后复制

5、关闭 swap

# 暂时关闭；关闭swap主要是为了性能思量swapoff -a# 可以通过这个下令审查swap是否关闭了free# 永世关闭sed -ri 's/.*swap.*/#&/' /etc/fstab

登录后复制登录后复制

6、禁用 SELinux

# 暂时关闭setenforce 0# 永世禁用sed -i 's/^SELINUX=enforcing$/SELINUX=disabled/' /etc/selinux/config

登录后复制登录后复制

7、允许 iptables 检查桥接流量（可选，所有节点）

若要显式加载此�？�，请运行 sudo modprobe br_netfilter，通过运行 lsmod | grep br_netfilter 来验证 br_netfilter �？槭欠褚鸭釉�，

sudo modprobe br_netfilterlsmod | grep br_netfilter

登录后复制登录后复制

为了让 Linux 节点的 iptables 能够准确审查桥接流量，请确认 sysctl 设置中的 net.bridge.bridge-nf-call-iptables 设置为 1。例如：

cat <<EOF | sudo tee /etc/modules-load.d/k8s.confoverlaybr_netfilterEOFsudo modprobe overlaysudo modprobe br_netfilter# 设置所需的 sysctl 参数，参数在重新启动后坚持稳固cat <<EOF | sudo tee /etc/sysctl.d/k8s.confnet.bridge.bridge-nf-call-iptables  = 1net.bridge.bridge-nf-call-ip6tables = 1net.ipv4.ip_forward                 = 1EOF# 应用 sysctl 参数而不重新启动sudo sysctl --system

登录后复制登录后复制

2）装置容器 docker（所有节点）

提醒：v1.24 之前的 Kubernetes 版本包括与 Docker Engine 的直接集成，使用名为 dockershim 的组件。这种特殊的直接整合不再是 Kubernetes 的一部分（这次删除被作为 v1.20 刊行版本的一部分宣布）。你可以阅读检查 Dockershim 弃用是否会影响你以相识此删除可能会怎样影响你。要相识怎样使用 dockershim 举行迁徙，请参阅从 dockershim 迁徙。

# 设置yum源cd /etc/yum.repos.d ; mkdir bak; mv CentOS-Linux-* bak/# centos7wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo# centos8wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-8.repo# 装置yum-config-manager设置工具yum -y install yum-utils# 设置yum源yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo# 装置docker-ce版本yum install -y docker-ce# 启动systemctl start docker# 开机自启systemctl enable docker# 审查版本号docker --version# 审查版本详细信息docker version# Docker镜像源设置# 修改文件 /etc/docker/daemon.json，没有这个文件就建设# 添加以下内容后，重启docker效劳：cat >/etc/docker/daemon.json<<EOF{   "registry-mirrors": ["http://hub-mirror.c.163.com"]}EOF# 加载systemctl reload docker# 审查systemctl status docker containerd

登录后复制登录后复制

【温馨提醒】dockerd 现实真实挪用的照旧 containerd 的 api 接口，containerd 是 dockerd 和 runC 之间的一其中心交流组件。以是启动 docker 效劳的时间，也会启动 containerd 效劳的。

3）设置 k8s yum 源（所有节点）

cat > /etc/yum.repos.d/kubernetes.repo << EOF[k8s]name=k8senabled=1gpgcheck=0baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/EOF

登录后复制登录后复制

4）将 sandbox_image 镜像源设置为阿里云 google_containers 镜像源（所有节点）

# 导出默认设置，config.toml这个文件默认是不保存的containerd config default > /etc/containerd/config.tomlgrep sandbox_image  /etc/containerd/config.tomlsed -i "s#k8s.gcr.io/pause#registry.aliyuncs.com/google_containers/pause#g"       /etc/containerd/config.tomlgrep sandbox_image  /etc/containerd/config.toml

登录后复制登录后复制

5）设置 containerd cgroup 驱动程序 systemd（所有节点）

kubernets 自ｖ 1.24.0 后，就不再使用 docker.shim，替换接纳 containerd 作为容器运行时端点。因此需要装置 containerd（在 docker 的基础下装置），上面装置 docker 的时间就自动装置了 containerd 了。这里的 docker 只是作为客户端罢了。容器引擎照旧 containerd。

sed -i 's#SystemdCgroup = false#SystemdCgroup = true#g' /etc/containerd/config.toml# 应用所有更改后,重新启动containerdsystemctl restart containerd

登录后复制登录后复制

6）最先装置 kubeadm，kubelet 和 kubectl（master 节点）

# 不指定版本就是最新版本，目今最新版就是1.24.1yum install -y kubelet-1.24.1  kubeadm-1.24.1  kubectl-1.24.1 --disableexcludes=kubernetes# disableexcludes=kubernetes：禁掉除了这个kubernetes之外的别的客栈# 设置为开机自启并现在连忙启动效劳 --now：连忙启动效劳systemctl enable --now kubelet# 审查状态，这里需要期待一段时间再审查效劳状态，启动会有点慢systemctl status kubelet

登录后复制

审查日志，发明有报错，报错如下：

kubelet.service: Main process exited, code=exited, status=1/FAILURE kubelet.service: Failed with result ‘exit-code’.

【诠释】重新装置（或第一次装置）k8s，未经由 kubeadm init 或者 kubeadm join 后，kubelet 会一直重启，这个是正常征象……，执行 init 或 join 后问题会自动解决，对此官网有如下形貌，也就是此时不必剖析 kubelet.service。

审查版本

kubectl versionyum info kubeadm

登录后复制

7）使用 kubeadm 初始化集群（master 节点）

最好提前把镜像下载好，这样装置快

docker pull registry.aliyuncs.com/google_containers/kube-apiserver:v1.24.1docker pull registry.aliyuncs.com/google_containers/kube-controller-manager:v1.24.1docker pull registry.aliyuncs.com/google_containers/kube-scheduler:v1.24.1docker pull registry.aliyuncs.com/google_containers/kube-proxy:v1.24.1docker pull registry.aliyuncs.com/google_containers/pause:3.7docker pull registry.aliyuncs.com/google_containers/etcd:3.5.3-0docker pull registry.aliyuncs.com/google_containers/coredns:v1.8.6

登录后复制

集群初始化

kubeadm init   --apiserver-advertise-address=192.168.0.113   --image-repository registry.aliyuncs.com/google_containers   --control-plane-endpoint=cluster-endpoint   --kubernetes-version v1.24.1   --service-cidr=10.1.0.0/16   --pod-network-cidr=10.244.0.0/16   --v=5# –image-repository string：    这个用于指定从什么位置来拉取镜像（1.13版本才有的），默认值是k8s.gcr.io，我们将其指定为海内镜像地点：registry.aliyuncs.com/google_containers# –kubernetes-version string：  指定kubenets版本号，默认值是stable-1，会导致从https://dl.k8s.io/release/stable-1.txt下载最新的版本号，我们可以将其指定为牢靠版本（v1.22.1）来跳过网络请求。# –apiserver-advertise-address  指明用 Master 的哪个 interface 与 Cluster 的其他节点通讯。若是 Master 有多个 interface，建议明确指定，若是不指定，kubeadm 会自动选择有默认网关的 interface。这里的ip为master节点ip，记得替换。# –pod-network-cidr             指定 Pod 网络的规模。Kubernetes 支持多种网络计划，并且差别网络计划对  –pod-network-cidr有自己的要求，这里设置为10.244.0.0/16 是由于我们将使用 flannel 网络计划，必需设置成这个 CIDR。# --control-plane-endpoint     cluster-endpoint 是映射到该 IP 的自界说 DNS 名称，这里设置hosts映射：192.168.0.113   cluster-endpoint。 这将允许你将 --control-plane-endpoint=cluster-endpoint 转达给 kubeadm init，并将相同的 DNS 名称转达给 kubeadm join。 稍后你可以修改 cluster-endpoint 以指向高可用性计划中的负载平衡器的地点。

登录后复制

【温馨提醒】kubeadm 不支持将没有 –control-plane-endpoint 参数的单个控制平面集群转换为高可用性集群。

重置再初始化

kubeadm resetrm -fr ~/.kube/  /etc/kubernetes/* var/lib/etcd/*kubeadm init   --apiserver-advertise-address=192.168.0.113    --image-repository registry.aliyuncs.com/google_containers   --control-plane-endpoint=cluster-endpoint   --kubernetes-version v1.24.1   --service-cidr=10.1.0.0/16   --pod-network-cidr=10.244.0.0/16   --v=5# –image-repository string：    这个用于指定从什么位置来拉取镜像（1.13版本才有的），默认值是k8s.gcr.io，我们将其指定为海内镜像地点：registry.aliyuncs.com/google_containers# –kubernetes-version string：  指定kubenets版本号，默认值是stable-1，会导致从https://dl.k8s.io/release/stable-1.txt下载最新的版本号，我们可以将其指定为牢靠版本（v1.22.1）来跳过网络请求。# –apiserver-advertise-address  指明用 Master 的哪个 interface 与 Cluster 的其他节点通讯。若是 Master 有多个 interface，建议明确指定，若是不指定，kubeadm 会自动选择有默认网关的 interface。这里的ip为master节点ip，记得替换。# –pod-network-cidr             指定 Pod 网络的规模。Kubernetes 支持多种网络计划，并且差别网络计划对  –pod-network-cidr有自己的要求，这里设置为10.244.0.0/16 是由于我们将使用 flannel 网络计划，必需设置成这个 CIDR。# --control-plane-endpoint     cluster-endpoint 是映射到该 IP 的自界说 DNS 名称，这里设置hosts映射：192.168.0.113   cluster-endpoint。 这将允许你将 --control-plane-endpoint=cluster-endpoint 转达给 kubeadm init，并将相同的 DNS 名称转达给 kubeadm join。 稍后你可以修改 cluster-endpoint 以指向高可用性计划中的负载平衡器的地点。

登录后复制

设置情形变量

mkdir -p $HOME/.kubesudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/configsudo chown $(id -u):$(id -g) $HOME/.kube/config# 暂时生效（退出目今窗口重连情形变量失效）export KUBECONFIG=/etc/kubernetes/admin.conf# 永世生效（推荐）echo "export KUBECONFIG=/etc/kubernetes/admin.conf" >> ~/.bash_profilesource  ~/.bash_profile

登录后复制

详解 K8S 高可用安排，超详细！

发明节点照旧有问题，审查日志 /var/log/messages

“Container runtime network not ready” networkReady=”NetworkReady=false reason:NetworkPluginNotReady message:Network plugin returns error: cni plugin not initialized”

详解 K8S 高可用安排，超详细！

接下来就是装置 Pod 网络插件

8）装置 Pod 网络插件（CNI：Container Network Interface）(master)

你必需安排一个基于 Pod 网络插件的容器网络接口 (CNI)，以便你的 Pod 可以相互通讯。

# 最好提前下载镜像（所有节点）docker pull quay.io/coreos/flannel:v0.14.0kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

登录后复制

若是上面装置失败，则下载我百度里的，离线装置

链接：https://pan.m.zuhaoqu.com/s/1HB9xuO3bssAW7v5HzpXkeQ

提取码：8888

再审查 node 节点，就已经正常了

详解 K8S 高可用安排，超详细！

9）node 节点加入 k8s 集群

先装置 kubelet

yum install -y kubelet kubeadm kubectl --disableexcludes=kubernetes# 设置为开机自启并现在连忙启动效劳 --now：连忙启动效劳systemctl enable --now kubeletsystemctl status kubelet

登录后复制

若是没有令牌，可以通过在控制平面节点上运行以下下令来获取令牌：

kubeadm token list

登录后复制

默认情形下，令牌会在24小时后逾期。若是要在目今令牌逾期后将节点加入集群，则可以通过在控制平面节点上运行以下下令来建设新令牌：

kubeadm token create# 再审查kubeadm token list

登录后复制

若是你没有 –discovery-token-ca-cert-hash 的值，则可以通过在控制平面节点上执行以下下令链来获取它：

openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | openssl dgst -sha256 -hex | sed 's/^.* //'

登录后复制

若是执行 kubeadm init 时没有纪录下加入集群的下令，可以通过以下下令重新建设（推荐）一样平常不必上面的划分获取 token 和 ca-cert-hash 方法，执行以下下令一气呵成：

kubeadm token create --print-join-command

登录后复制

这里需要期待一段时间，再审查节点节点状态，由于需要装置 kube-proxy 和 flannel。另外，搜索民众号手艺社区后台回复“Linux”，获取一份惊喜礼包。

kubectl get pods -Akubectl get nodes

登录后复制
详解 K8S 高可用安排，超详细！

10）设置 IPVS

【问题】集群内无法 ping 通 ClusterIP（或 ServiceName）

1、加载 ip_vs 相关内核�？�

modprobe -- ip_vsmodprobe -- ip_vs_shmodprobe -- ip_vs_rrmodprobe -- ip_vs_wrr

登录后复制

所有节点验证开启了 ipvs：

lsmod |grep ip_vs

登录后复制

2、装置 ipvsadm 工具

yum install ipset ipvsadm -y

登录后复制

3、编辑 kube-proxy 设置文件，mode 修改成 ipvs

kubectl edit  configmap -n kube-system  kube-proxy

登录后复制
详解 K8S 高可用安排，超详细！

4、重启 kube-proxy

# 先审查kubectl get pod -n kube-system | grep kube-proxy# 再delete让它自拉起kubectl get pod -n kube-system | grep kube-proxy |awk '{system("kubectl delete pod "$1" -n kube-system")}'# 再审查kubectl get pod -n kube-system | grep kube-proxy

登录后复制
详解 K8S 高可用安排，超详细！

5、审查 ipvs 转发规则

ipvsadm -Ln

登录后复制
详解 K8S 高可用安排，超详细！

11）集群高可用设置

设置高可用（HA）Kubernetes 集群实现的两种计划：

使用堆叠（stacked）控制平面节点，其中 etcd 节点与控制平面节点共存（本章使用），架构图如下：

详解 K8S 高可用安排，超详细！

使用外部 etcd 节点，其中 etcd 在与控制平面差别的节点上运行，架构图如下：

详解 K8S 高可用安排，超详细！

这里新增一台机械作为另外一个 master 节点：192.168.0.116 设置跟上面 master 节点一样。只是不需要最后一步初始化了。

1、修改主机名和设置 hosts

所有节点都统一如下设置：

# 在192.168.0.113执行hostnamectl set-hostname  k8s-master-168-0-113# 在192.168.0.114执行hostnamectl set-hostname k8s-node1-168-0-114# 在192.168.0.115执行hostnamectl set-hostname k8s-node2-168-0-115# 在192.168.0.116执行hostnamectl set-hostname k8s-master2-168-0-116

登录后复制

设置 hosts

cat >> /etc/hosts<<EOF192.168.0.113 k8s-master-168-0-113 cluster-endpoint192.168.0.114 k8s-node1-168-0-114192.168.0.115 k8s-node2-168-0-115192.168.0.116 k8s-master2-168-0-116EOF

登录后复制

2、设置 ssh 互信

# 直接一直回车就行ssh-keygenssh-copy-id -i ~/.ssh/id_rsa.pub root@k8s-master-168-0-113ssh-copy-id -i ~/.ssh/id_rsa.pub root@k8s-node1-168-0-114ssh-copy-id -i ~/.ssh/id_rsa.pub root@k8s-node2-168-0-115ssh-copy-id -i ~/.ssh/id_rsa.pub root@k8s-master2-168-0-116

登录后复制

3、时间同步

yum install chrony -ysystemctl start chronydsystemctl enable chronydchronyc sources

登录后复制登录后复制

7、关闭防火墙

systemctl stop firewalldsystemctl disable firewalld

登录后复制登录后复制

4、关闭 swap

# 暂时关闭；关闭swap主要是为了性能思量swapoff -a# 可以通过这个下令审查swap是否关闭了free# 永世关闭sed -ri 's/.*swap.*/#&/' /etc/fstab

登录后复制登录后复制

5、禁用 SELinux

# 暂时关闭setenforce 0# 永世禁用sed -i 's/^SELINUX=enforcing$/SELINUX=disabled/' /etc/selinux/config

登录后复制登录后复制

6、允许 iptables 检查桥接流量（可选，所有节点）

若要显式加载此�？�，请运行 sudo modprobe br_netfilter，通过运行 lsmod | grep br_netfilter 来验证 br_netfilter �？槭欠褚鸭釉�，

sudo modprobe br_netfilterlsmod | grep br_netfilter

登录后复制登录后复制

为了让 Linux 节点的 iptables 能够准确审查桥接流量，请确认 sysctl 设置中的 net.bridge.bridge-nf-call-iptables 设置为 1。例如：

cat <<EOF | sudo tee /etc/modules-load.d/k8s.confoverlaybr_netfilterEOFsudo modprobe overlaysudo modprobe br_netfilter# 设置所需的 sysctl 参数，参数在重新启动后坚持稳固cat <<EOF | sudo tee /etc/sysctl.d/k8s.confnet.bridge.bridge-nf-call-iptables  = 1net.bridge.bridge-nf-call-ip6tables = 1net.ipv4.ip_forward                 = 1EOF# 应用 sysctl 参数而不重新启动sudo sysctl --system

登录后复制登录后复制

7、装置容器 docker（所有节点）

提醒：v1.24 之前的 Kubernetes 版本包括与 Docker Engine 的直接集成，使用名为 dockershim 的组件。这种特殊的直接整合不再是 Kubernetes 的一部分（这次删除被作为 v1.20 刊行版本的一部分宣布）。你可以阅读检查 Dockershim 弃用是否会影响你以相识此删除可能会怎样影响你。要相识怎样使用 dockershim 举行迁徙，请参阅从 dockershim 迁徙。

# 设置yum源cd /etc/yum.repos.d ; mkdir bak; mv CentOS-Linux-* bak/# centos7wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo# centos8wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-8.repo# 装置yum-config-manager设置工具yum -y install yum-utils# 设置yum源yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo# 装置docker-ce版本yum install -y docker-ce# 启动systemctl start docker# 开机自启systemctl enable docker# 审查版本号docker --version# 审查版本详细信息docker version# Docker镜像源设置# 修改文件 /etc/docker/daemon.json，没有这个文件就建设# 添加以下内容后，重启docker效劳：cat >/etc/docker/daemon.json<<EOF{   "registry-mirrors": ["http://hub-mirror.c.163.com"]}EOF# 加载systemctl reload docker# 审查systemctl status docker containerd

登录后复制登录后复制

【温馨提醒】dockerd 现实真实挪用的照旧 containerd 的 api 接口，containerd 是 dockerd 和 runC 之间的一其中心交流组件。以是启动 docker 效劳的时间，也会启动 containerd 效劳的。

8、设置 k8s yum 源（所有节点）

cat > /etc/yum.repos.d/kubernetes.repo << EOF[k8s]name=k8senabled=1gpgcheck=0baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/EOF

登录后复制登录后复制

9、将 sandbox_image 镜像源设置为阿里云 google_containers 镜像源（所有节点）

# 导出默认设置，config.toml这个文件默认是不保存的containerd config default > /etc/containerd/config.tomlgrep sandbox_image  /etc/containerd/config.tomlsed -i "s#k8s.gcr.io/pause#registry.aliyuncs.com/google_containers/pause#g"       /etc/containerd/config.tomlgrep sandbox_image  /etc/containerd/config.toml

登录后复制登录后复制
详解 K8S 高可用安排，超详细！

10、设置 containerd cgroup 驱动程序 systemd

kubernets 自ｖ 1.24.0 后，就不再使用 docker.shim，替换接纳 containerd 作为容器运行时端点。因此需要装置 containerd（在 docker 的基础下装置），上面装置 docker 的时间就自动装置了 containerd 了。这里的 docker 只是作为客户端罢了。容器引擎照旧 containerd。

sed -i 's#SystemdCgroup = false#SystemdCgroup = true#g' /etc/containerd/config.toml# 应用所有更改后,重新启动containerdsystemctl restart containerd

登录后复制登录后复制

11、最先装置 kubeadm，kubelet 和 kubectl（master 节点）

# 不指定版本就是最新版本，目今最新版就是1.24.1yum install -y kubelet-1.24.1  kubeadm-1.24.1  kubectl-1.24.1 --disableexcludes=kubernetes# disableexcludes=kubernetes：禁掉除了这个kubernetes之外的别的客栈# 设置为开机自启并现在连忙启动效劳 --now：连忙启动效劳systemctl enable --now kubelet# 审查状态，这里需要期待一段时间再审查效劳状态，启动会有点慢systemctl status kubelet# 审查版本kubectl versionyum info kubeadm

登录后复制

12、加入 k8s 集群

# 证若是逾期了，可以使用下面下令天生新证书上传，这里会打印出certificate key，后面会用到kubeadm init phase upload-certs --upload-certs# 你还可以在 【init】时代指定自界说的 --certificate-key，以后可以由 join 使用。 要天生这样的密钥，可以使用以下下令（这里不执行，就用上面谁人自下令就可以了）：kubeadm certs certificate-keykubeadm token create --print-join-commandkubeadm join cluster-endpoint:6443 --token wswrfw.fc81au4yvy6ovmhh --discovery-token-ca-cert-hash sha256:43a3924c25104d4393462105639f6a02b8ce284728775ef9f9c30eed8e0abc0f --control-plane --certificate-key 8d2709697403b74e35d05a420bd2c19fd8c11914eb45f2ff22937b245bed5b68# --control-plane 标记通知 kubeadm join 建设一个新的控制平面。加入master必需加这个标记# --certificate-key ... 将导致从集群中的 kubeadm-certs Secret 下载控制平面证书并使用给定的密钥举行解密。这里的值就是上面这个下令（kubeadm init phase upload-certs --upload-certs）打印出的key。

登录后复制

详解 K8S 高可用安排，超详细！

凭证提醒执行如下下令：

mkdir -p $HOME/.kubesudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/configsudo chown $(id -u):$(id -g) $HOME/.kube/config

登录后复制

审查

kubectl get nodeskubectl get pods -A -owide

登录后复制

详解 K8S 高可用安排，超详细！

虽然现在已经有两个 master 了，可是对外照旧只能有一个入口的，以是还得要一个负载平衡器，若是一个 master 挂了，会自动切到另外一个 master 节点。

12）安排 Nginx+Keepalived 高可用负载平衡器

详解 K8S 高可用安排，超详细！

1、装置 Nginx 和 Keepalived

# 在两个master节点上执行yum install nginx keepalived -y

登录后复制

2、Nginx 设置

在两个 master 节点设置

cat > /etc/nginx/nginx.conf << "EOF"user nginx;worker_processes auto;error_log /var/log/nginx/error.log;pid /run/nginx.pid;include /usr/share/nginx/modules/*.conf;events {    worker_connections 1024;}# 四层负载平衡，为两台Master apiserver组件提供负载平衡stream {    log_format  main  '$remote_addr $upstream_addr - [$time_local] $status $upstream_bytes_sent';    access_log  /var/log/nginx/k8s-access.log  main;    upstream k8s-apiserver {    # Master APISERVER IP:PORT       server 192.168.0.113:6443;    # Master2 APISERVER IP:PORT       server 192.168.0.116:6443;    }    server {       listen 16443;       proxy_pass k8s-apiserver;    }}http {    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '                      '$status $body_bytes_sent "$http_referer" '                      '"$http_user_agent" "$http_x_forwarded_for"';    access_log  /var/log/nginx/access.log  main;    sendfile            on;    tcp_nopush          on;    tcp_nodelay         on;    keepalive_timeout   65;    types_hash_max_size 2048;    include             /etc/nginx/mime.types;    default_type        application/octet-stream;    server {        listen       80 default_server;        server_name  _;        location / {        }    }}EOF

登录后复制

【温馨提醒】若是只包管高可用，不设置 k8s-apiserver 负载平衡的话，可以不装 nginx，可是最好照旧设置一下 k8s-apiserver 负载平衡。

3、Keepalived 设置（master）

cat > /etc/keepalived/keepalived.conf << EOFglobal_defs {   notification_email {     acassen@firewall.loc     failover@firewall.loc     sysadmin@firewall.loc   }   notification_email_from fage@qq.com   smtp_server 127.0.0.1   smtp_connect_timeout 30   router_id NGINX_MASTER}vrrp_script check_nginx {    script "/etc/keepalived/check_nginx.sh"}vrrp_instance VI_1 {    state MASTER    interface ens33    virtual_router_id 51 # VRRP 路由 ID实例，每个实例是唯一的    priority 100    # 优先级，备效劳器设置 90    advert_int 1    # 指定VRRP 心跳包通告距离时间，默认1秒    authentication {        auth_type PASS        auth_pass 1111    }    # 虚拟IP    virtual_ipaddress {        192.168.0.120/24    }    track_script {        check_nginx    }}EOF

登录后复制

vrrp_script：指定检查 nginx 事情状态剧本（凭证 nginx 状态判断是否故障转移）

virtual_ipaddress：虚拟 IP（VIP）

检查 nginx 状态剧本：

cat > /etc/keepalived/check_nginx.sh  << "EOF"#!/bin/bashcount=$(ps -ef |grep nginx |egrep -cv "grep|$$")if [ "$count" -eq 0 ];then    exit 1else    exit 0fiEOFchmod +x /etc/keepalived/check_nginx.sh

登录后复制登录后复制

4、Keepalived 设置（backup）

cat > /etc/keepalived/keepalived.conf << EOFglobal_defs {   notification_email {     acassen@firewall.loc     failover@firewall.loc     sysadmin@firewall.loc   }   notification_email_from fage@qq.com   smtp_server 127.0.0.1   smtp_connect_timeout 30   router_id NGINX_BACKUP}vrrp_script check_nginx {    script "/etc/keepalived/check_nginx.sh"}vrrp_instance VI_1 {    state BACKUP    interface ens33    virtual_router_id 51 # VRRP 路由 ID实例，每个实例是唯一的    priority 90    advert_int 1    authentication {        auth_type PASS        auth_pass 1111    }    virtual_ipaddress {        192.168.0.120/24    }    track_script {        check_nginx    }}EOF

登录后复制

检查 nginx 状态剧本：

cat > /etc/keepalived/check_nginx.sh  << "EOF"#!/bin/bashcount=$(ps -ef |grep nginx |egrep -cv "grep|$$")if [ "$count" -eq 0 ];then    exit 1else    exit 0fiEOFchmod +x /etc/keepalived/check_nginx.sh

登录后复制登录后复制

5、启动并设置开机启动

systemctl daemon-reloadsystemctl restart nginx && systemctl enable nginx && systemctl status nginxsystemctl restart keepalived && systemctl enable keepalived && systemctl status keepalived

登录后复制

审查 VIP

ip a

登录后复制
详解 K8S 高可用安排，超详细！

6、修改 hosts（所有节点）

将 cluster-endpoint 之前执行的 ip 修改执行现在的 VIP

192.168.0.113 k8s-master-168-0-113192.168.0.114 k8s-node1-168-0-114192.168.0.115 k8s-node2-168-0-115192.168.0.116 k8s-master2-168-0-116192.168.0.120 cluster-endpoint

登录后复制

7、测试验证

审查版本（负载平衡测试验证）

curl -k https://cluster-endpoint:16443/version

登录后复制

详解 K8S 高可用安排，超详细！

高可用测试验证，将 k8s-master-168-0-113 节点关机

shutdown -h nowcurl -k https://cluster-endpoint:16443/versionkubectl get nodes -Akubectl get pods -A

登录后复制

【温馨提醒】堆叠集群保存耦合失败的危害。若是一个节点爆发故障，则 etcd 成员和控制平面实例都将丧失，并且冗余会受到影响。你可以通过添加更多控制平面节点来降低此危害。

三、k8s 治理平台 dashboard 情形安排

1）dashboard 安排

GitHub 地点：https://github.com/kubernetes/dashboard

kubectl apply -f https://raw.githubusercontent.com/kubernetes/dashboard/v2.6.0/aio/deploy/recommended.yamlkubectl get pods -n kubernetes-dashboard

登录后复制

可是这个只能内部会见，以是要外部会见，要么安排 ingress，要么就是设置 service NodePort 类型。这里选择 service 袒露端口。另外，搜索民众号编程手艺圈后台回复“1024”，获取一份惊喜礼包。

wget https://raw.githubusercontent.com/kubernetes/dashboard/v2.6.0/aio/deploy/recommended.yaml

登录后复制

修改后的内容如下：

# Copyright 2017 The Kubernetes Authors.## Licensed under the Apache License, Version 2.0 (the "License");# you may not use this file except in compliance with the License.# You may obtain a copy of the License at##     http://www.apache.org/licenses/LICENSE-2.0## Unless required by applicable law or agreed to in writing, software# distributed under the License is distributed on an "AS IS" BASIS,# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.# See the License for the specific language governing permissions and# limitations under the License.apiVersion: v1kind: Namespacemetadata:  name: kubernetes-dashboard---apiVersion: v1kind: ServiceAccountmetadata:  labels:    k8s-app: kubernetes-dashboard  name: kubernetes-dashboard  namespace: kubernetes-dashboard---kind: ServiceapiVersion: v1metadata:  labels:    k8s-app: kubernetes-dashboard  name: kubernetes-dashboard  namespace: kubernetes-dashboardspec:  type: NodePort  ports:    - port: 443      targetPort: 8443      nodePort: 31443  selector:    k8s-app: kubernetes-dashboard---apiVersion: v1kind: Secretmetadata:  labels:    k8s-app: kubernetes-dashboard  name: kubernetes-dashboard-certs  namespace: kubernetes-dashboardtype: Opaque---apiVersion: v1kind: Secretmetadata:  labels:    k8s-app: kubernetes-dashboard  name: kubernetes-dashboard-csrf  namespace: kubernetes-dashboardtype: Opaquedata:  csrf: ""---apiVersion: v1kind: Secretmetadata:  labels:    k8s-app: kubernetes-dashboard  name: kubernetes-dashboard-key-holder  namespace: kubernetes-dashboardtype: Opaque---kind: ConfigMapapiVersion: v1metadata:  labels:    k8s-app: kubernetes-dashboard  name: kubernetes-dashboard-settings  namespace: kubernetes-dashboard---kind: RoleapiVersion: rbac.authorization.k8s.io/v1metadata:  labels:    k8s-app: kubernetes-dashboard  name: kubernetes-dashboard  namespace: kubernetes-dashboardrules:  # Allow Dashboard to get, update and delete Dashboard exclusive secrets.  - apiGroups: [""]    resources: ["secrets"]    resourceNames: ["kubernetes-dashboard-key-holder", "kubernetes-dashboard-certs", "kubernetes-dashboard-csrf"]    verbs: ["get", "update", "delete"]    # Allow Dashboard to get and update 'kubernetes-dashboard-settings' config map.  - apiGroups: [""]    resources: ["configmaps"]    resourceNames: ["kubernetes-dashboard-settings"]    verbs: ["get", "update"]    # Allow Dashboard to get metrics.  - apiGroups: [""]    resources: ["services"]    resourceNames: ["heapster", "dashboard-metrics-scraper"]    verbs: ["proxy"]  - apiGroups: [""]    resources: ["services/proxy"]    resourceNames: ["heapster", "http:heapster:", "https:heapster:", "dashboard-metrics-scraper", "http:dashboard-metrics-scraper"]    verbs: ["get"]---kind: ClusterRoleapiVersion: rbac.authorization.k8s.io/v1metadata:  labels:    k8s-app: kubernetes-dashboard  name: kubernetes-dashboardrules:  # Allow Metrics Scraper to get metrics from the Metrics server  - apiGroups: ["metrics.k8s.io"]    resources: ["pods", "nodes"]    verbs: ["get", "list", "watch"]---apiVersion: rbac.authorization.k8s.io/v1kind: RoleBindingmetadata:  labels:    k8s-app: kubernetes-dashboard  name: kubernetes-dashboard  namespace: kubernetes-dashboardroleRef:  apiGroup: rbac.authorization.k8s.io  kind: Role  name: kubernetes-dashboardsubjects:  - kind: ServiceAccount    name: kubernetes-dashboard    namespace: kubernetes-dashboard---apiVersion: rbac.authorization.k8s.io/v1kind: ClusterRoleBindingmetadata:  name: kubernetes-dashboardroleRef:  apiGroup: rbac.authorization.k8s.io  kind: ClusterRole  name: kubernetes-dashboardsubjects:  - kind: ServiceAccount    name: kubernetes-dashboard    namespace: kubernetes-dashboard---kind: DeploymentapiVersion: apps/v1metadata:  labels:    k8s-app: kubernetes-dashboard  name: kubernetes-dashboard  namespace: kubernetes-dashboardspec:  replicas: 1  revisionHistoryLimit: 10  selector:    matchLabels:      k8s-app: kubernetes-dashboard  template:    metadata:      labels:        k8s-app: kubernetes-dashboard    spec:      securityContext:        seccompProfile:          type: RuntimeDefault      containers:        - name: kubernetes-dashboard          image: kubernetesui/dashboard:v2.6.0          imagePullPolicy: Always          ports:            - containerPort: 8443              protocol: TCP          args:            - --auto-generate-certificates            - --namespace=kubernetes-dashboard            # Uncomment the following line to manually specify Kubernetes API server Host            # If not specified, Dashboard will attempt to auto discover the API server and connect            # to it. Uncomment only if the default does not work.            # - --apiserver-host=http://my-address:port          volumeMounts:            - name: kubernetes-dashboard-certs              mountPath: /certs              # Create on-disk volume to store exec logs            - mountPath: /tmp              name: tmp-volume          livenessProbe:            httpGet:              scheme: HTTPS              path: /              port: 8443            initialDelaySeconds: 30            timeoutSeconds: 30          securityContext:            allowPrivilegeEscalation: false            readOnlyRootFilesystem: true            runAsUser: 1001            runAsGroup: 2001      volumes:        - name: kubernetes-dashboard-certs          secret:            secretName: kubernetes-dashboard-certs        - name: tmp-volume          emptyDir: {}      serviceAccountName: kubernetes-dashboard      nodeSelector:        "kubernetes.io/os": linux      # Comment the following tolerations if Dashboard must not be deployed on master      tolerations:        - key: node-role.kubernetes.io/master          effect: NoSchedule---kind: ServiceapiVersion: v1metadata:  labels:    k8s-app: dashboard-metrics-scraper  name: dashboard-metrics-scraper  namespace: kubernetes-dashboardspec:  ports:    - port: 8000      targetPort: 8000  selector:    k8s-app: dashboard-metrics-scraper---kind: DeploymentapiVersion: apps/v1metadata:  labels:    k8s-app: dashboard-metrics-scraper  name: dashboard-metrics-scraper  namespace: kubernetes-dashboardspec:  replicas: 1  revisionHistoryLimit: 10  selector:    matchLabels:      k8s-app: dashboard-metrics-scraper  template:    metadata:      labels:        k8s-app: dashboard-metrics-scraper    spec:      securityContext:        seccompProfile:          type: RuntimeDefault      containers:        - name: dashboard-metrics-scraper          image: kubernetesui/metrics-scraper:v1.0.8          ports:            - containerPort: 8000              protocol: TCP          livenessProbe:            httpGet:              scheme: HTTP              path: /              port: 8000            initialDelaySeconds: 30            timeoutSeconds: 30          volumeMounts:          - mountPath: /tmp            name: tmp-volume          securityContext:            allowPrivilegeEscalation: false            readOnlyRootFilesystem: true            runAsUser: 1001            runAsGroup: 2001      serviceAccountName: kubernetes-dashboard      nodeSelector:        "kubernetes.io/os": linux      # Comment the following tolerations if Dashboard must not be deployed on master      tolerations:        - key: node-role.kubernetes.io/master          effect: NoSchedule      volumes:        - name: tmp-volume          emptyDir: {}

登录后复制

详解 K8S 高可用安排，超详细！

重新安排

kubectl delete -f recommended.yamlkubectl apply -f recommended.yamlkubectl get svc,pods -n kubernetes-dashboard

登录后复制
详解 K8S 高可用安排，超详细！

2）建设登任命户

cat >ServiceAccount.yaml<<EOFapiVersion: v1kind: ServiceAccountmetadata:  name: admin-user  namespace: kubernetes-dashboard---apiVersion: rbac.authorization.k8s.io/v1kind: ClusterRoleBindingmetadata:  name: admin-userroleRef:  apiGroup: rbac.authorization.k8s.io  kind: ClusterRole  name: cluster-adminsubjects:- kind: ServiceAccount  name: admin-user  namespace: kubernetes-dashboardEOFkubectl apply -f ServiceAccount.yaml

登录后复制

建设并获取登录 token

kubectl -n kubernetes-dashboard create token admin-user

登录后复制

3）设置 hosts 登录 dashboard web

192.168.0.120 cluster-endpoint

登录后复制

详解 K8S 高可用安排，超详细！

输入上面建设的 token 登录

详解 K8S 高可用安排，超详细！

四、k8s 镜像客栈 harbor 情形安排

GitHub 地点：https://github.com/helm/helm/releases

这使用 helm 装置，以是得先装置 helm

1）装置 helm

mkdir -p /opt/k8s/helm && cd /opt/k8s/helmwget https://get.helm.sh/helm-v3.9.0-rc.1-linux-amd64.tar.gztar -xf helm-v3.9.0-rc.1-linux-amd64.tar.gzln -s /opt/k8s/helm/linux-amd64/helm /usr/bin/helmhelm versionhelm help

登录后复制

2）设置 hosts

192.168.0.120 myharbor.com

登录后复制

3）建设 stl 证书

mkdir /opt/k8s/helm/stl && cd /opt/k8s/helm/stl# 天生 CA 证书私钥openssl genrsa -out ca.key 4096# 天生 CA 证书openssl req -x509 -new -nodes -sha512 -days 3650  -subj "/C=CN/ST=Guangdong/L=Shenzhen/O=harbor/OU=harbor/CN=myharbor.com"  -key ca.key  -out ca.crt# 建设域名证书，天生私钥openssl genrsa -out myharbor.com.key 4096# 天生证书署名请求 CSRopenssl req -sha512 -new     -subj "/C=CN/ST=Guangdong/L=Shenzhen/O=harbor/OU=harbor/CN=myharbor.com"     -key myharbor.com.key     -out myharbor.com.csr# 天生 x509 v3 扩展cat > v3.ext <<-EOFauthorityKeyIdentifier=keyid,issuerbasicConstraints=CA:FALSEkeyUsage = digitalSignature, nonRepudiation, keyEncipherment, dataEnciphermentextendedKeyUsage = serverAuthsubjectAltName = @alt_names[alt_names]DNS.1=myharbor.comDNS.2=*.myharbor.comDNS.3=hostnameEOF#建设 Harbor 会见证书openssl x509 -req -sha512 -days 3650     -extfile v3.ext     -CA ca.crt -CAkey ca.key -CAcreateserial     -in myharbor.com.csr     -out myharbor.com.crt

登录后复制

4）装置 ingress

ingress 官方网站：https://kubernetes.github.io/ingress-nginx/

ingress 客栈地点：https://github.com/kubernetes/ingress-nginx

安排文档：https://kubernetes.github.io/ingress-nginx/deploy/

1、通过 helm 安排

helm upgrade --install ingress-nginx ingress-nginx   --repo https://kubernetes.github.io/ingress-nginx   --namespace ingress-nginx --create-namespace

登录后复制

2、通过 YAML 文件装置（本章使用这个方法装置 ingress）

kubectl apply -f https://raw.githubusercontent.com/kubernetes/ingress-nginx/controller-v1.2.0/deploy/static/provider/cloud/deploy.yaml

登录后复制

若是下载镜像失败，可以用以下方法修改镜像地点再装置

牛逼�。〗铀交畋乇傅� N 个开源项目！赶忙珍藏

登录后复制

# 可以先把镜像下载，再装置
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/nginx-ingress-controller:v1.2.0
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/kube-webhook-certgen:v1.1.1

wget https://raw.githubusercontent.com/kubernetes/ingress-nginx/controller-v1.2.0/deploy/static/provider/cloud/deploy.yaml
# 修改镜像地点
sed -i 's@k8s.gcr.io/ingress-nginx/controller:v1.2.0(.*)@registry.cn-hangzhou.aliyuncs.com/google_containers/nginx-ingress-controller:v1.2.0@' deploy.yaml
sed -i 's@k8s.gcr.io/ingress-nginx/kube-webhook-certgen:v1.1.1(.*)$@registry.cn-hangzhou.aliyuncs.com/google_containers/kube-webhook-certgen:v1.1.1@' deploy.yaml

###还需要修改两地方
#1、kind: 类型修改成DaemonSet，replicas: 注销掉，由于DaemonSet模式会每个节点运行一个pod
#2、在添加一条：hostnetwork：true
#3、把LoadBalancer修改成NodePort
#4、在--validating-webhook-key下面添加- --watch-ingress-without-class=true
#5、设置master节点可调理
kubectl taint nodes k8s-master-168-0-113 node-role.kubernetes.io/control-plane:NoSchedule-
kubectl taint nodes k8s-master2-168-0-116 node-role.kubernetes.io/control-plane:NoSchedule-

kubectl apply -f deploy.yaml

登录后复制
详解 K8S 高可用安排，超详细！

5）装置 nfs

1、所有节点装置 nfs

yum -y install  nfs-utils rpcbind

登录后复制

2、在 master 节点建设共享目录并授权

mkdir /opt/nfsdata
# 授权共享目录
chmod 666 /opt/nfsdata

登录后复制

3、设置 exports 文件

cat > /etc/exports<<EOF
/opt/nfsdata *(rw,no_root_squash,no_all_squash,sync)
EOF
# 设置生效
exportfs -r

登录后复制

exportfs 下令

常用选项

-a 所有挂载或者所有卸载

-r 重新挂载

-u 卸载某一个目录

-v 显示共享目录以下操作在效劳端上

4、启动 rpc 和 nfs（客户端只需要启动 rpc 效劳）（注重顺序）

systemctl start rpcbind
systemctl start nfs-server
systemctl enable rpcbind
systemctl enable nfs-server

登录后复制

审查

showmount -e
# VIP
showmount -e 192.168.0.120

登录后复制

-e 显示 NFS 效劳器的共享列表

-a 显示本机挂载的文件资源的情形 NFS 资源的情形

-v 显示版本号

5、客户端

# 装置
yum -y install  nfs-utils rpcbind
# 启动rpc效劳
systemctl start rpcbind
systemctl enable rpcbind
# 建设挂载目录
mkdir /mnt/nfsdata
# 挂载
echo "192.168.0.120:/opt/nfsdata /mnt/nfsdata     nfs    defaults  0 1">> /etc/fstab
mount -a

登录后复制

6、rsync 数据同步

【1】rsync 装置

# 两头都得装置
yum -y install rsync

登录后复制

【2】设置

在/etc/rsyncd.conf 中添加

cat >/etc/rsyncd.conf<<EOF
uid = root
gid = root
#禁锢在源目录
use chroot = yes
#监听地点
address = 192.168.0.113
#监听地点tcp/udp 873，可通过cat /etc/services | grep rsync审查
port 873
#日志文件位置
log file = /var/log/rsyncd.log
#存放历程 ID 的文件位置
pid file = /var/run/rsyncd.pid
#允许会见的客户机地点
hosts allow = 192.168.0.0/16
#共享�？槊�
[nfsdata]
#源目录的现实路径
path = /opt/nfsdata
comment = Document Root of www.kgc.com
#指定客户端是否可以上传文件，默认对所有�？槲� true
read only = yes
#同步时不再压缩的文件类型
dont compress = *.gz *.bz2 *.tgz *.zip *.rar *.z
#授权账户，多个账号以空格脱离，不加则为匿名，不依赖系统账号
auth users = backuper
#存放账户信息的数据文件
secrets file = /etc/rsyncd_users.db
EOF

登录后复制

设置 rsyncd_users.db

cat >/etc/rsyncd_users.db<<EOF
backuper:123456
EOF
#官方要求，最好只是赋权600！
chmod 600 /etc/rsyncd_users.db

登录后复制

【3】rsyncd.conf 常用参数详解

rsyncd.conf 参数

rsyncd.conf 参数	参数说明
uid=root	rsync 使用的用户。
gid=root	rsync 使用的用户组（用户所在的组）
use chroot=no	若是为 true，daemon 会在客户端传输文件前“chroot to the path”。这是一种清静设置，由于我们大大都都在内网，以是不配也没关系
max connections=200	设置最大毗连数，默认 0，意思无限制，负值为关闭这个�？�
timeout=400	默以为 0，体现 no timeout，建议 300-600（5-10 分钟）
pid file	rsync daemon 启动后将其历程 pid 写入此文件。若是这个文件保存，rsync 不会笼罩该文件，而是会终止
lock file	指定 lock 文件用来支持“max connections”参数，使得总毗连数不会凌驾限制
log file	不设或者设置过失，rsync 会使用 rsyslog 输出相关日志信息
ignore errors	忽略 I/O 过失
read only=false	指定客户端是否可以上传文件，默认对所有�？槲� true
list=false	是否允许客户端可以审查可用�？榱斜�，默以为可以
hosts allow	指定可以联系的客户端主机名或和 ip 地点或地点段，默认情形没有此参数，即都可以毗连
hosts deny	指定不可以联系的客户端主机名或 ip 地点或地点段，默认情形没有此参数，即都可以毗连
auth users	指定以空格或逗号脱离的用户可以使用哪些�？�，用户不需要在外地系统中保存。默以为所有用户无密码会见
secrets file	指定用户名和密码存放的文件，名堂；用户名；密码，密码不凌驾 8 位
[backup]	这里就是�？槊�，需用中括号扩起来，起名称没有特殊要求，但最好是有意义的名称，便于以后维护
path	这个�？橹�，daemon 使用的文件系统或目录，目录的权限要注重和设置文件中的权限一致，不然会遇到读写的问题

【4】rsync 常用下令参数详解

rsync --help

rsync [选项]  原始位置   目的位置

常用选项    说明
-r    递归模式，包括目录及子目录中的所有文件
-l    关于符号链接文件仍然复制为符号链接文件
-v    显示同步历程的详细信息
-z    在传输文件时举行压缩goD
-p    保存文件的权限标记
-a    归档模式，递合并保存工具属性，等同于-rlpt
-t    保存文件的时间标记
-g    保存文件的属组标记（仅超等用户使用）
-o    保存文件的属主标记（仅超等用户使用）
-H    保存硬链接文件
-A    保存ACL属性信息
-D    保存装备文件及其他特殊文件
--delete  删除目的位置有而原始位置没有的文件
--checksum  凭证工具的校验和来决议是否跳过文件

登录后复制

【5】启动效劳（数据源机械）

#rsync监听端口：873
#rsync运行模式：C/S
rsync --daemon --config=/etc/rsyncd.conf
netstat -tnlp|grep :873

登录后复制

【6】执行下令同步数据

# 在目的机械上执行
# rsync -avz 用户名@源主机地点/源目录 目的目录
rsync -avz root@192.168.0.113:/opt/nfsdata/* /opt/nfsdata/

登录后复制

【7】crontab 准时同步

# 设置crontab， 每五分钟同步一次，这种方法欠好
*/5 * * * * rsync -avz root@192.168.0.113:/opt/nfsdata/* /opt/nfsdata/

登录后复制

【温馨提醒】crontab 准时同步数据不太好，可以使用rsync+inotify做数据实时同步，这里篇幅有点长了，先不讲，若是后面有时间会出一篇单独文章来讲。

6）建设 nfs provisioner 和长期化存储 SC

【温馨提醒】这里跟我之前的文章有点差别，之前的方法也不适用新版本。

GitHub 地点：https://github.com/kubernetes-sigs/nfs-subdir-external-provisioner

helm 安排 nfs-subdir-external-provisioner

1、添加 helm 客栈

helm repo add nfs-subdir-external-provisioner https://kubernetes-sigs.github.io/nfs-subdir-external-provisioner/

登录后复制

2、helm 装置 nfs provisioner

【温馨提醒】默认镜像是无法会见的，这里使用 dockerhub 搜索到的镜像willdockerhub/nfs-subdir-external-provisioner:v4.0.2，尚有就是 StorageClass 不分命名空间，所有在所有命名空间下都可以使用。

helm install nfs-subdir-external-provisioner nfs-subdir-external-provisioner/nfs-subdir-external-provisioner 
  --namespace=nfs-provisioner 
  --create-namespace 
  --set image.repository=willdockerhub/nfs-subdir-external-provisioner 
  --set image.tag=v4.0.2 
  --set replicaCount=2 
  --set storageClass.name=nfs-client 
  --set storageClass.defaultClass=true 
  --set nfs.server=192.168.0.120 
  --set nfs.path=/opt/nfsdata

登录后复制

【温馨提醒】上面 nfs.server 设置为 VIP，可实现高可用。

3、审查

kubectl get pods,deploy,sc -n nfs-provisioner

登录后复制
详解 K8S 高可用安排，超详细！

7）安排 Harbor（Https 方法）

1、建设 Namespace

kubectl create ns harbor

登录后复制

2、建设证书秘钥

kubectl create secret tls myharbor.com --key myharbor.com.key --cert myharbor.com.crt -n harbor
kubectl get secret myharbor.com -n harbor

登录后复制

3、添加 Chart 库

helm repo add harbor https://helm.goharbor.io

登录后复制

4、通过 helm 装置 harbor

helm install myharbor --namespace harbor harbor/harbor 
  --set expose.ingress.hosts.core=myharbor.com 
  --set expose.ingress.hosts.notary=notary.myharbor.com 
  --set-string expose.ingress.annotations.'nginx.org/client-max-body-size'="1024m" 
  --set expose.tls.secretName=myharbor.com 
  --set persistence.persistentVolumeClaim.registry.storageClass=nfs-client 
  --set persistence.persistentVolumeClaim.jobservice.storageClass=nfs-client 
  --set persistence.persistentVolumeClaim.database.storageClass=nfs-client 
  --set persistence.persistentVolumeClaim.redis.storageClass=nfs-client 
  --set persistence.persistentVolumeClaim.trivy.storageClass=nfs-client 
  --set persistence.persistentVolumeClaim.chartmuseum.storageClass=nfs-client 
  --set persistence.enabled=true 
  --set externalURL=https://myharbor.com 
  --set harborAdminPassword=Harbor12345

登录后复制

这里稍等一段时间在审查资源状态

kubectl get ingress,svc,pods,pvc -n harbor

登录后复制
详解 K8S 高可用安排，超详细！

5、ingress 没有 ADDRESS 问题解决

【剖析】，发明”error: endpoints “default-http-backend” not found”

cat << EOF > default-http-backend.yaml
---

apiVersion: apps/v1
kind: Deployment
metadata:
  name: default-http-backend
  labels:
    app: default-http-backend
  namespace: harbor
spec:
  replicas: 1
  selector:
    matchLabels:
      app: default-http-backend
  template:
    metadata:
      labels:
        app: default-http-backend
    spec:
      terminationGracePeriodSeconds: 60
      containers:
      - name: default-http-backend
        # Any image is permissible as long as:
        # 1. It serves a 404 page at /
        # 2. It serves 200 on a /healthz endpoint
        image: registry.cn-hangzhou.aliyuncs.com/google_containers/defaultbackend:1.4
#        image: gcr.io/google_containers/defaultbackend:1.4
        livenessProbe:
          httpGet:
            path: /healthz
            port: 8080
            scheme: HTTP
          initialDelaySeconds: 30
          timeoutSeconds: 5
        ports:
        - containerPort: 8080
        resources:
          limits:
            cpu: 10m
            memory: 20Mi
          requests:
            cpu: 10m
            memory: 20Mi
---

apiVersion: v1
kind: Service
metadata:
  name: default-http-backend
  namespace: harbor
  labels:
    app: default-http-backend
spec:
  ports:
  - port: 80
    targetPort: 8080
  selector:
    app: default-http-backend
EOF
kubectl apply -f default-http-backend.yaml

登录后复制

6、卸载重新安排

# 卸载
helm uninstall myharbor -n harbor
kubectl get pvc -n harbor| awk 'NR!=1{print $1}' | xargs kubectl delete pvc -n harbor

# 安排
helm install myharbor --namespace harbor harbor/harbor 
  --set expose.ingress.hosts.core=myharbor.com 
  --set expose.ingress.hosts.notary=notary.myharbor.com 
  --set-string expose.ingress.annotations.'nginx.org/client-max-body-size'="1024m" 
  --set expose.tls.secretName=myharbor.com 
  --set persistence.persistentVolumeClaim.registry.storageClass=nfs-client 
  --set persistence.persistentVolumeClaim.jobservice.storageClass=nfs-client 
  --set persistence.persistentVolumeClaim.database.storageClass=nfs-client 
  --set persistence.persistentVolumeClaim.redis.storageClass=nfs-client 
  --set persistence.persistentVolumeClaim.trivy.storageClass=nfs-client 
  --set persistence.persistentVolumeClaim.chartmuseum.storageClass=nfs-client 
  --set persistence.enabled=true 
  --set externalURL=https://myharbor.com 
  --set harborAdminPassword=Harbor12345

登录后复制
详解 K8S 高可用安排，超详细！

5、会见 harbor

https://myharbor.com

账号/密码：admin/Harbor12345

详解 K8S 高可用安排，超详细！

6、harbor 常见操作

【1】建设项目 bigdata

详解 K8S 高可用安排，超详细！

【2】设置私有客栈

在文件/etc/docker/daemon.json添加如下内容：

"insecure-registries":["https://myharbor.com"]

登录后复制

重启 docker

systemctl restart docker

登录后复制

【3】效劳器上登录 harbor

docker login https://myharbor.com
#账号/密码：admin/Harbor12345

登录后复制
详解 K8S 高可用安排，超详细！

【4】打标签并把镜像上传到 harbor

docker tag rancher/pause:3.6 myharbor.com/bigdata/pause:3.6
docker push myharbor.com/bigdata/pause:3.6

登录后复制

7、修改 containerd 设置

以前使用 docker-engine 的时间，只需要修改/etc/docker/daemon.json 就行，可是新版的 k8s 已经使用 containerd 了，以是这里需要做相关设置，要不然 containerd 会失败。证书（ca.crt）可以在页面上下载：

详解 K8S 高可用安排，超详细！

建设域名目录

mkdir /etc/containerd/myharbor.com
cp ca.crt /etc/containerd/myharbor.com/

登录后复制

设置文件：/etc/containerd/config.toml

[plugins."io.containerd.grpc.v1.cri".registry]
      config_path = ""

      [plugins."io.containerd.grpc.v1.cri".registry.auths]

      [plugins."io.containerd.grpc.v1.cri".registry.configs]
        [plugins."io.containerd.grpc.v1.cri".registry.configs."myharbor.com".tls]
          ca_file = "/etc/containerd/myharbor.com/ca.crt"
        [plugins."io.containerd.grpc.v1.cri".registry.configs."myharbor.com".auth]
          username = "admin"
          password = "Harbor12345"

      [plugins."io.containerd.grpc.v1.cri".registry.headers]

      [plugins."io.containerd.grpc.v1.cri".registry.mirrors]
        [plugins."io.containerd.grpc.v1.cri".registry.mirrors."myharbor.com"]
          endpoint = ["https://myharbor.com"]

登录后复制

详解 K8S 高可用安排，超详细！

重启 containerd

#重新加载设置
systemctl daemon-reload
#重启containerd
systemctl restart containerd

登录后复制

简朴使用

# 把docker换成crictl 就行，下令都差未几
crictl pull myharbor.com/bigdata/mysql:5.7.38

登录后复制

执行 crictl 报如下过失的解决步伐

WARN[0000] image connect using default endpoints: [unix:///var/run/dockershim.sock unix:///run/containerd/containerd.sock unix:///run/crio/crio.sock unix:///var/run/cri-dockerd.sock]. As the default settings are now deprecated, you should set the endpoint instead.
ERRO[0000] unable to determine image API version: rpc error: code = Unavailable desc = connection error: desc = "transport: Error while dialing dial unix /var/run/dockershim.sock: connect: no such file or directory"

登录后复制

这个报错是 docker 的报错，这里没使用，以是这个过失不影响使用，可是照旧解决好点，解决要领如下：

cat <<EOF> /etc/crictl.yaml
runtime-endpoint: unix:///run/containerd/containerd.sock
image-endpoint: unix:///run/containerd/containerd.sock
timeout: 10
debug: false
EOF

登录后复制

再次拉取镜像

crictl pull myharbor.com/bigdata/mysql:5.7.38

登录后复制
详解 K8S 高可用安排，超详细！

Kubernetes（k8s）最新版最完整版基础情形安排+master 高可用实现详细办法就到这里了，有疑问的小同伴接待给我留言哦~

以上就是详解 K8S 高可用安排，超详细！的详细内容，更多请关注本网内其它相关文章！

尊龙凯时人生就是搏

详解 K8S 高可用安排，超详细！

一、前言

二、基础情形安排

1）前期准备（所有节点）

1、修改主机名和设置 hosts

2、设置 ssh 互信

3、时间同步

4、关闭防火墙

5、关闭 swap

6、禁用 SELinux

7、允许 iptables 检查桥接流量（可选，所有节点）

2）装置容器 docker（所有节点）

3）设置 k8s yum 源（所有节点）

4）将 sandbox_image 镜像源设置为阿里云 google_containers 镜像源（所有节点）

5）设置 containerd cgroup 驱动程序 systemd（所有节点）

6）最先装置 kubeadm，kubelet 和 kubectl（master 节点）

7）使用 kubeadm 初始化集群（master 节点）

8）装置 Pod 网络插件（CNI：Container Network Interface）(master)

9）node 节点加入 k8s 集群

10）设置 IPVS

1、加载 ip_vs 相关内核�？�

2、装置 ipvsadm 工具

3、编辑 kube-proxy 设置文件，mode 修改成 ipvs

4、重启 kube-proxy

5、审查 ipvs 转发规则

11）集群高可用设置

1、修改主机名和设置 hosts

2、设置 ssh 互信

3、时间同步

7、关闭防火墙

4、关闭 swap

5、禁用 SELinux

6、允许 iptables 检查桥接流量（可选，所有节点）

7、装置容器 docker（所有节点）

8、设置 k8s yum 源（所有节点）

9、将 sandbox_image 镜像源设置为阿里云 google_containers 镜像源（所有节点）

10、设置 containerd cgroup 驱动程序 systemd

11、最先装置 kubeadm，kubelet 和 kubectl（master 节点）

12、加入 k8s 集群

12）安排 Nginx+Keepalived 高可用负载平衡器

1、装置 Nginx 和 Keepalived

2、Nginx 设置

3、Keepalived 设置（master）

4、Keepalived 设置（backup）

5、启动并设置开机启动

6、修改 hosts（所有节点）

7、测试验证

三、k8s 治理平台 dashboard 情形安排

1）dashboard 安排

2）建设登任命户

3）设置 hosts 登录 dashboard web

四、k8s 镜像客栈 harbor 情形安排

1）装置 helm

2）设置 hosts

3）建设 stl 证书

4）装置 ingress

1、通过 helm 安排

2、通过 YAML 文件装置（本章使用这个方法装置 ingress）

5）装置 nfs

1、所有节点装置 nfs

2、在 master 节点建设共享目录并授权

3、设置 exports 文件

4、启动 rpc 和 nfs（客户端只需要启动 rpc 效劳）（注重顺序）

5、客户端

6、rsync 数据同步

【1】rsync 装置

【2】设置

【3】rsyncd.conf 常用参数详解

【4】rsync 常用下令参数详解

【5】启动效劳（数据源机械）

【6】执行下令同步数据

【7】crontab 准时同步

6）建设 nfs provisioner 和长期化存储 SC

1、添加 helm 客栈

2、helm 装置 nfs provisioner

3、审查

7）安排 Harbor（Https 方法）

1、建设 Namespace

2、建设证书秘钥

1、加载 ip_vs 相关内核�？�