Kubernetes集群之路（二）etcd集群部署

发表于 | 更新于 | 评论数： | 阅读次数：

在前面我们生成了所有kubernetes相关的TLS证书，kubernetes集群自身所有配置相关信息都存储在etcd之中，而flannel也将网络子网网段注册到etcd之中并为集群中节点的pod提供了加入同一局域网的能力。因此接下来我们安装部署etcd集群。

因为flannel插件也依赖于etcd存储信息，所以我们首先需要安装etcd集群，使之实现高可用。

在开始之前请确保在上一篇文章中生成的TLS证书都分发到需要部署的所有机器节点的以下位置：

  1. /etc/kubernetes/ssl/etcd.pem
  2. /etc/kubernetes/ssl/etcd-key.pem
  3. /etc/kubernetes/ssl/ca.pem

部署etcd

我们采用纯二进制安装etcd,因此不使用默认的包管理器中的安装文件。在每台需要部署的etcd的节点上，通过官方仓库下载你需要的版本的etcd二进制安装包：

下载安装二进制文件

目前最新版本是v3.3.4（截止到我写这篇文章的时候），而kubernetes v1.10验证过的版本为3.1.12,如果没有特殊需求请尽量使用验证版本（如果你是不升级不舒服斯基当我没说）找到对应的系统架构并直接下载: https://github.com/coreos/etcd/releases/download/v3.1.12/etcd-v3.1.12-linux-amd64.tar.gz

在所有需要安装etcd节点执行以下命令来安装etcd和etcdctl(注意:etcd目前不支持降级，如果你初始安装版本过高，后续像降级到验证版是比较麻烦的):

1
2
3
4
wget https://github.com/coreos/etcd/releases/download/v3.1.12/etcd-v3.1.12-linux-amd64.tar.gz
tar zxvf etcd-v3.1.12-linux-amd64.tar.gz
cd etcd-v3.1.12-linux-amd64
sudo mv etcd etcdctl /usr/local/bin/
配置systemd unit

接着，我们需要编辑对应的systemd unit service文件，我们需要新建一个etcd.service文件并放置于以下路径：/usr/lib/systemd/system/etcd.service并键入以下内容：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
[Unit]
Description=Etcd Server
After=network.target
After=network-online.target
Wants=network-online.target
Documentation=https://github.com/coreos

[Service]
Type=notify
WorkingDirectory=/var/lib/etcd/
EnvironmentFile=-/etc/etcd/etcd.conf
ExecStart=/usr/local/bin/etcd \
  --name ${ETCD_NAME} \
  --cert-file=${ETCD_TRUST_CERT_FILE} \
  --key-file=${ETCD_TRUST_CERT_KEY} \
  --peer-cert-file=${ETCD_TRUST_CERT_FILE} \
  --peer-key-file=${ETCD_TRUST_CERT_KEY} \
  --trusted-ca-file=${ETCD_TRUST_CA_FILE} \
  --peer-trusted-ca-file=${ETCD_TRUST_CA_FILE} \
  --initial-advertise-peer-urls ${ETCD_INITIAL_ADVERTISE_PEER_URLS} \
  --listen-peer-urls ${ETCD_LISTEN_PEER_URLS} \
  --listen-client-urls ${ETCD_LISTEN_CLIENT_URLS} \
  --advertise-client-urls ${ETCD_ADVERTISE_CLIENT_URLS} \
  --initial-cluster-token ${ETCD_INITIAL_CLUSTER_TOKEN} \
  --initial-cluster ${ETCD_CLUSTER_NODE_LIST} \
  --initial-cluster-state new \
  --data-dir=${ETCD_DATA_DIR}
Restart=on-failure
RestartSec=5
LimitNOFILE=65536

[Install]
WantedBy=multi-user.target
  1. WorkingDirectory:指定 etcd 的工作目录和数据目录为 /var/lib/etcd，需在启动服务前创建这个目录。
  2. 为了保证通信安全，需要指定 etcd 的公私钥(cert-file和key-file)、Peers 通信的公私钥和CA证书(peer-cert-file、peer-key-file、peer-trusted-ca-file)、客户端的CA证书（trusted-ca-file）。
  3. --initial-cluster-state 值为 new 时，--name 的参数值必须位于 --initial-cluster 列表中。
  4. 我们将其中一些参数的设置抽取为环境变量，以便于我们修改参数的时候不需要再次systemctl daemon-reload。
  5. 带有--peer-xxx前缀的配置为etcd与其它etcd节点通信的相关配置，不带有的该前缀的则为客户端（例如：etcdctl）与etcd节点（作为服务器）通信的相关配置。

对应的，我们在/etc/etcd/etcd.conf路径中新建一个etcd.conf文件并键入以下内容:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
# [member]
ETCD_NAME=node1
ETCD_DATA_DIR="/var/lib/etcd"
ETCD_LISTEN_PEER_URLS="https://0.0.0.0:2380"
ETCD_LISTEN_CLIENT_URLS="https://0.0.0.0:2379"

ETCD_TRUST_CA_FILE="/etc/kubernetes/ssl/ca.pem"
ETCD_TRUST_CERT_FILE="/etc/kubernetes/ssl/etcd.pem"
ETCD_TRUST_CERT_KEY="/etc/kubernetes/ssl/etcd-key.pem"

#[cluster]
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://10.138.148.161:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_ADVERTISE_CLIENT_URLS="https://10.138.148.161:2379"

ETCD_CLUSTER_NODE_LIST="node1=https://10.138.148.161:2380,node2=https://10.138.196.180:2380,node3=https://10.138.212.68:2380"
  1. 这是节点IP为10.138.148.161的环境变量配置文件内容，对于其他节点，修改对应的ETCD_NAME为对应的node1、node2、node3，并将ETCD_INITIAL_ADVERTISE_PEER_URLS和ETCD_INITIAL_ADVERTISE_PEER_URLS修改为对应的节点的ip。
  2. 此处需要特别说明的是：ETCD_CLUSTER_NODE_LIST中的ip必须在生成etcd TLS证书时在etcd-csr.json中的hosts字段中指定（Subject Alternative Name（SAN）），否则可能会得到(error "remote error: tls: bad certificate", ServerName "")这样的错误。
  3. 所有需要加入的节点都需要在ETCD_CLUSTER_NODE_LIST中指定，并正确配置其ETCD_NAME。
验证etcd安装

在所有的节点上完成了上述两步之后，我们分别执行以下命令来启动etcd（初始可能会阻塞一段时间）:

1
2
sudo systemctl daemon-reload
sudo systemctl start etcd

如果配置正确，那么上述命令执行结果应该是任何输出的。如果结果有错，请参照上述配置和环境变量文件检查配置。一旦我们顺利启动etcd服务，我们还需要正确检查我们的etcd集群是否可用，在etcd集群中任一节点中执行以下命令：

1
2
3
4
5
etcdctl --endpoint https://127.0.0.1:2379   \
--ca-file=/etc/kubernetes/ssl/ca.pem        \
--cert-file=/etc/kubernetes/ssl/etcd.pem    \
--key-file=/etc/kubernetes/ssl/etcd-key.pem \
cluster-health

在一切正常情况下，你会得到类似如下的输出结果:

1
2
3
4
member 245a74588a3e85d0 is healthy: got healthy result from https://xxx.xxx.xxx.xxx:2379
member 953bacee4a009939 is healthy: got healthy result from https://xxx.xxx.xxx.xxx:2379
member f43a05b0ce1a8ed6 is healthy: got healthy result from https://xxx.xxx.xxx.xxx:2379
cluster is healthy

后记

需要特别说明的是：etcd集群是否和kubernetes部署在同样的服务器节点上是可选的。也就是说etcd集群可以脱离kubernetes部署的集群而单独部署在其他单独的服务器上，且并不需要和kubernetes节点数对应。经过我的实践如果有条件的话请务必：

  • 将etcd部署在kubernetes的Node节点之外负载比较低的服务器节点上。
  • etcd的集群数量尽量为奇数，以确保某些情况下部分etcd节点挂掉的选举问题。

至此，我们的etcd集群已经顺利安装完成。接下来安装flannel插件。

参考资料

0%