우분투에 쿠버네티스 클러스터를 구성하는 방법

우분투에 쿠버네티스(k8s) 클러스터를 구성하는 방법

컨트롤 플레인(Control Plane)/워커 노드(worker nodes) 적용

컨트롤 플레인	knode111
워커 노드	knode112, knode121, knode122
컨테이너 런타임	containerd
네트워크 플러그인	Calico

1. 호스트명 변경

sudo hostnamectl set-hostname {호스트이름}

2. 호스트(/etc/hosts) 파일 수정

vim /etc/hosts

# kubernetes cluster
192.168.0.111 knode111
192.168.0.112 konde112
192.168.0.121 knode121
192.168.0.122 node122

또는

cat <<EOF >> /etc/hosts

# kubernetes cluster
192.168.0.111 knode111
192.168.0.112 konde112
192.168.0.121 knode121
192.168.0.122 knode122
EOF

3. 스왑 비활성화(스왑 끄기)

sudo swapoff -a

sudo sed -i '/\/swap\.img[[:space:]]\+none[[:space:]]\+swap[[:space:]]\+sw[[:space:]]\+0[[:space:]]\+0/s/^/#/' /etc/fstab

swapon -s

4. 방화벽(firewalld) 비활성화

sudo systemctl stop ufw && sudo systemctl disable ufw

5. Kernel Parameters 추가

br_netfilter 모듈 로드

sudo tee /etc/modules-load.d/k8s.conf <<EOF
overlay
br_netfilter
EOF

sudo modprobe overlay

sudo modprobe br_netfilter

모듈 확인

lsmod | grep "overlay\|br_netfilter"

IP 포워딩 활성화

sudo tee /etc/sysctl.d/k8s.conf <<EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
EOF

sudo echo 1 > /proc/sys/net/ipv4/ip_forward

sudo sysctl -p

시스템 패키지 업데이트 및 필수 패키지 설치

sudo apt-get update

sudo apt-get install -y gnupg2 software-properties-common apt-transport-https ca-certificates lsb-release curl

728x90

containerd 설치 및 설정

• 모든 서버에서 containerd를 설치하고 설정합니다.

Docker 리포지토리 추가

sudo rm -f /etc/apt/trusted.gpg.d/docker.gpg

sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmour -o /etc/apt/trusted.gpg.d/docker.gpg

sudo add-apt-repository -y "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable"

containerd 설치

sudo apt-get update

sudo apt-get install -y containerd

containerd 버전 정보 확인

$ containerd --version
containerd github.com/containerd/containerd 1.7.12

containerd 설정 파일 생성

sudo mkdir -p /etc/containerd

containerd config default | sudo tee /etc/containerd/config.toml > /dev/null

containerd 설정 파일 수정

• config.toml 파일에서 SystemdCgroup = true로 설정합니다.

sudo sed -i 's/^\([[:blank:]]*\)SystemdCgroup = false/\1SystemdCgroup = true/' /etc/containerd/config.toml

cat /etc/containerd/config.toml | grep SystemdCgroup

containerd CNI 플러그인 설치

CNI_VERSION="v1.5.1"

CNI_TGZ=https://github.com/containernetworking/plugins/releases/download/${CNI_VERSION}/cni-plugins-linux-amd64-${CNI_VERSION}.tgz

sudo mkdir -p /opt/cni/bin

curl -fsSL $CNI_TGZ | sudo tar -C /opt/cni/bin -xz

containerd 서비스 재시작

sudo systemctl --now enable containerd

sudo systemctl status containerd --no-pager -l

쿠버네티스 설치

sudo rm -f /etc/apt/keyrings/kubernetes-apt-keyring.gpg

구글 클라우드의 공개 사이닝 키를 다운로드

KUBERNETES_VERSION="v1.27"

sudo mkdir -p -m 755 /etc/apt/keyrings

curl -fsSL https://pkgs.k8s.io/core:/stable:/${KUBERNETES_VERSION}/deb/Release.key | sudo gpg --dearmor -o /etc/apt/keyrings/kubernetes-apt-keyring.gpg

쿠버네티스 apt 리포지터리를 추가

echo "deb [signed-by=/etc/apt/keyrings/kubernetes-apt-keyring.gpg] https://pkgs.k8s.io/core:/stable:/${KUBERNETES_VERSION}/deb/ /" | sudo tee /etc/apt/sources.list.d/kubernetes.list

모든 서버에서 kubeadm, kubelet, kubectl을 설치

sudo apt-get update

sudo apt-get install -y kubelet kubeadm kubectl

sudo apt-mark hold kubelet kubeadm kubectl

sudo systemctl --now enable kubelet

sudo systemctl status kubelet --no-pager -l

컨트롤 플레인 노드 초기화

---

containerd를 컨테이너 런타임 설정

containerd config default | sudo tee /etc/containerd/config.toml

sudo systemctl restart containerd

Docker를 컨테이너 런타임으로 설정

• Kubernetes 1.20부터는 Docker가 더 이상 기본 CRI(Container Runtime Interface)가 아니므로 kubelet이 Docker를 사용하도록 명시적으로 설정해야 합니다.
• kubeadm 초기화 시 --cri-socket 옵션을 사용하여 Docker를 명시할 수 있습니다.

---

컨트롤 플레인 노드(knode111)에서 kubeadm을 사용하여 클러스터를 초기화합니다.

sudo kubeadm init --pod-network-cidr=10.244.0.0/16

$ sudo kubeadm init --pod-network-cidr=10.244.0.0/16
I0717 21:04:27.683663   17582 version.go:256] remote version is much newer: v1.30.3; falling back to: stable-1.27
[init] Using Kubernetes version: v1.27.16
...
Your Kubernetes control-plane has initialized successfully!

To start using your cluster, you need to run the following as a regular user:

  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config

Alternatively, if you are the root user, you can run:

  export KUBECONFIG=/etc/kubernetes/admin.conf

You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
  https://kubernetes.io/docs/concepts/cluster-administration/addons/

Then you can join any number of worker nodes by running the following on each as root:

kubeadm join 192.168.10.111:6443 --token 6d0y69.e7x49eqwnap0s98l \
	--discovery-token-ca-cert-hash sha256:8dc5ff732dc26ade1608bd64eb579cc4690240e7fc0bfb0ddb8d1cabcc974d98

명령이 성공하면 kubeadm join 명령이 출력됩니다. 이 명령은 워커 노드를 클러스터에 추가할 때 사용됩니다.

쿠버네티스 관련 패지키 재설치

---

held 상태 해제

sudo apt-mark unhold kubelet kubeadm kubectl

kubelet, kubeadm, kubectl 패키지 삭제

sudo apt-get purge -y kubelet kubeadm kubectl

sudo apt-get autoremove -y

관련 디렉터리 및 설정 파일 제거

sudo rm -rf /etc/kubernetes/
sudo rm -rf /var/lib/etcd
sudo rm -rf /var/lib/kubelet
sudo rm -rf /etc/systemd/system/kubelet.service.d
sudo rm -rf /var/lib/containerd
sudo rm -rf ~/.kube

오류 발생 시 초기화

sudo kubeadm reset

---

kubeconfig 설정

컨트롤 플레인 노드에서 kubectl을 사용하려면 일반 사용자로 kubeconfig 파일을 설정해야 합니다.

su - vagrant

mkdir -p $HOME/.kube

sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config

sudo chown $(id -u):$(id -g) $HOME/.kube/config

kubectl config view

$ kubectl config view
apiVersion: v1
clusters:
- cluster:
    certificate-authority-data: DATA+OMITTED
    server: https://192.168.10.111:6443
  name: kubernetes
contexts:
- context:
    cluster: kubernetes
    user: kubernetes-admin
  name: kubernetes-admin@kubernetes
current-context: kubernetes-admin@kubernetes
kind: Config
preferences: {}
users:
- name: kubernetes-admin
  user:
    client-certificate-data: DATA+OMITTED
    client-key-data: DATA+OMITTED

네트워크 플러그인 설치(CNI 설정 - 마스터 노드)

Calico 설치 쿠버네티스 클러스터에서 네트워크를 설정하기 위해 Calico를 설치합니다.

kubectl apply -f https://docs.projectcalico.org/manifests/calico.yaml

---

플란넬(Flannel) 사용

kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

$ kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
namespace/kube-flannel created
clusterrole.rbac.authorization.k8s.io/flannel created
clusterrolebinding.rbac.authorization.k8s.io/flannel created
serviceaccount/flannel created
configmap/kube-flannel-cfg created
daemonset.apps/kube-flannel-ds created

---

클러스터 상태 확인

kubectl get nodes

$ kubectl get nodes
NAME      STATUS     ROLES           AGE   VERSION
node111   NotReady   control-plane   4m    v1.27.16

kubectl get pods --all-namespaces

$ kubectl get pods --all-namespaces
NAMESPACE     NAME                             READY   STATUS    RESTARTS   AGE
kube-system   coredns-f9fd979d6-hdz6v          1/1     Running   0          7m6s
kube-system   coredns-f9fd979d6-k8f29          1/1     Running   0          7m6s
kube-system   etcd-bk8sm1                      1/1     Running   0          7m17s
kube-system   kube-apiserver-bk8sm1            1/1     Running   0          7m17s
kube-system   kube-controller-manager-bk8sm1   1/1     Running   0          7m17s
kube-system   kube-proxy-wbs9r                 1/1     Running   0          7m6s
kube-system   kube-scheduler-bk8sm1            1/1     Running   0          7m17s

워커 노드 클러스터 구성(워커 노드 join)

각 워커 노드에서 다음 명령을 실행하여 클러스터에 추가합니다. 이 명령은 kubeadm init 명령 실행 시 출력된 kubeadm join 명령입니다.

sudo kubeadm join <knode111_IP>:6443 --token <token> --discovery-token-ca-cert-hash sha256:<hash>

각 워커 노드에서 위 명령을 실행하여 클러스터에 조인합니다.

$ kubeadm join 192.168.10.111:6443 --token ifdkf1.pydpuynztqkmycui \
>         --discovery-token-ca-cert-hash sha256:c85e9f9e68772dff4d33b85b73c8519bc499f1b992c4bd7ea31c8876725be53d
...

This node has joined the cluster:
* Certificate signing request was sent to apiserver and a response was received.
* The Kubelet was informed of the new secure connection details.

Run 'kubectl get nodes' on the control-plane to see this node join the cluster.

클러스터 상태 확인

• 모든 노드가 정상적으로 클러스터에 조인되었는지 확인합니다.

$ kubectl get nodes
NAME     STATUS   ROLES    AGE     VERSION
node111  Ready    master   11m     v1.27.16
knode112 Ready    <none>   2m12s   v1.27.16
knode121 Ready    <none>   2m12s   v1.27.16
knode122 Ready    <none>   2m12s   v1.27.16

 

참고URL

- phoenixNAP : https://phoenixnap.com/kb/how-to-install-kubernetes-on-centos

- docker docs : Install using the convenience script

- kubernetes docs : kubeadm 설치하기