CRI와 Pause 컨테이너

#include <signal.h> #include <stdio.h> #include <stdlib.h> #include <string.h> #include <sys/types.h> #include <sys/wait.h> #include <unistd.h> #define STRINGIFY(x) #x #define VERSION_STRING(x) STRINGIFY(x) #ifndef VERSION #define VERSION HEAD #endif /* 아래 코드 기반에선 SIGINT, SIGTERM 발생 시 동작 */ /* 등록된 시그널이 발생하면 표준 오류로 문구 출력 후 정상 종료 */ static void sigdown(int signo) { psignal(signo, "Shutting down, got signal"); exit(0); } /* 아래 코드 기반에선 SIGCHILD 발생 시 동작 */ /* 현재 프로세스의 모든 자식 프로세스를 확인 (-1) */ /* WNOHANG이므로 자식 프로세스의 종료와 무관하게 기다림 없이 자식 프로세스 상태를 즉시 반환 */ /* 자식 프로세스들이 종료되지 않은 상태라면 0을 반환하여 모든 자식 프로세스의 종료를 기다림 */ /* waitpid 아래 링크에서 검색하여 확인 */ /* https://www.jseo.cc/library/42/inner-circle/8#66a3e123-9a33-4b07-b41b-3b9100ce95ec */ static void sigreap(int signo) { while (waitpid(-1, NULL, WNOHANG) > 0) ; } int main(int argc, char **argv) { /* 인자가 버전 확인인 -v로 기재되었는지 확인 */ /* -v가 있다면 버전 표출 후 즉시 종료 */ int i; for (i = 1; i < argc; ++i) { if (!strcasecmp(argv[i], "-v")) { printf("pause.c %s\n", VERSION_STRING(VERSION)); return 0; } } /* pid 1 프로세스가 아니면 경고 문구 트리거 */ /* 컨테이너에서 실행하는 것을 가정 */ if (getpid() != 1) /* Not an error because pause sees use outside of infra containers. */ fprintf(stderr, "Warning: pause should be the first process\n"); /* 시그널 핸들러 등록 */ if (sigaction(SIGINT, &(struct sigaction){.sa_handler = sigdown}, NULL) < 0) return 1; if (sigaction(SIGTERM, &(struct sigaction){.sa_handler = sigdown}, NULL) < 0) return 2; if (sigaction(SIGCHLD, &(struct sigaction){.sa_handler = sigreap, .sa_flags = SA_NOCLDSTOP}, NULL) < 0) return 3; /* 프로그램 종료까지 무한히 대기 */ /* 시그널 발생할 떄까지 대기 */ for (;;) pause(); /* 종료 시 문구 출력 후 정상 종료 */ fprintf(stderr, "Error: infinite loop terminated\n"); return 42; }

# control-plane, worker 노드 각 1대의 설정 파일 생성 cat <<EOT> kind-2node.yaml kind: Cluster apiVersion: kind.x-k8s.io/v1alpha4 nodes: - role: control-plane - role: worker extraPortMappings: - containerPort: 30000 hostPort: 30000 - containerPort: 30001 hostPort: 30001 EOT # 클러스터 생성 kind create cluster --config kind-2node.yaml --name myk8s # control-plane과 worker 노드에 툴 설치 docker exec -it myk8s-control-plane sh -c 'apt update && apt install tree jq psmisc lsof wget bridge-utils tcpdump htop git nano -y' docker exec -it myk8s-worker sh -c 'apt update && apt install tree jq psmisc lsof wget bridge-utils tcpdump htop -y'

# 노드 확인 kubectl get no -o wide # Docker 컨테이너 목록 조회 docker ps # worker 노드 별 포트 정보 조회 docker port myk8s-worker # control-plane 노드 IP 주소 조회 docker exec -it myk8s-control-plane ip -br -c -4 addr # worker 노드 IP 주소 조회 docker exec -it myk8s-worker ip -br -c -4 addr

# Helm Chart 레포지토리를 추가 helm repo add geek-cookbook https://geek-cookbook.github.io/charts/ # kube-ops-view 설치 helm install kube-ops-view geek-cookbook/kube-ops-view --version 1.2.2 --set service.main.type=NodePort,service.main.ports.http.nodePort=30000 --set env.TZ="Asia/Seoul" --namespace kube-system # 설치된 Helm Chart 목록 조회 (kube-system 네임스페이스) helm list -n kube-system

# 설치된 kube-ops-view 리소스 목록 확인 kubectl get deploy,pod,svc,ep -n kube-system -l app.kubernetes.io/instance=kube-ops-view # 접속 URL 확인 echo -e "KUBE-OPS-VIEW URL = http://localhost:30000/#scale=1.5" echo -e "KUBE-OPS-VIEW URL = http://localhost:30000/#scale=2"

# worker 노드 접속 docker exec -it myk8s-worker bash # enable된 유닛 서비스 확인 systemctl list-unit-files | grep 'enabled enabled' # 노드 내에서 실행 중인 컨테이너 목록 확인 crictl ps

# kubelet 실행 설정 조회 pstree -aln

# pause 컨테이너, kube-ops-view 컨테이너 등의 네임스페이스 조회 pstree -aclnpsS

# 시스템의 네임스페이스 inode 확인 lsns -p 1 lsns -p $$ # kube-ops-view에서 사용하는 pause 컨테이너의 네임스페이스 inode 확인 # 8개중 5개가 시스템과는 다른 네임스페이스를 이용 # mnt/pid는 pause 컨테이너만 이용 # net/uts/ipc는 kube-ops-view의 컨테이너를 위해 미리 생성하여 공유됨

# kube-ops-view의 네임스페이스 inode 확인 # 8개중 6개가 시스템과는 다른 네임스페이스를 이용 # mnt/pid/cgroup은 kube-ops-veiw만 이용 # net/uts/ipc는 pause 컨테이너가 생성한 것을 공유 받아 사용 lsns -p $(pgrep python3)

# 로컬 호스트 # 다중 컨테이너 Pod를 배포 # https://raw.githubusercontent.com/gasida/NDKS/main/3/myweb2.yaml kubectl apply -f https://raw.githubusercontent.com/gasida/NDKS/main/3/myweb2.yaml # 배포된 Pod 목록 조회 kubectl get po -o wide # 배포된 Pod 기술 kubectl describe po/myweb2

# 로컬 호스트 # nginx 컨테이너를 대상으로 net-tools 설치 kubectl exec myweb2 -c myweb2-nginx -- apt update kubectl exec myweb2 -c myweb2-nginx -- apt install -y net-tools # 생성한 Pod 내부의 컨테이너들을 대상으로 IP 주소를 조회 # 그림 상 10.244.1.3으로 두 컨테이너의 IP가 동일 kubectl exec myweb2 -c myweb2-netshoot -- ifconfig kubectl exec myweb2 -c myweb2-nginx -- ifconfig

# 로컬 호스트 # netshoot 컨테이너를 zsh로 진입 kubectl exec myweb2 -c myweb2-netshoot -it -- zsh # 리스닝 프로세스 조회 # 프로세스는 조회되지 않지만 80 포트가 LISTENING인 것을 볼 수 있음 ss -nlptu # 열려 있는 80 포트로 HTTP 요청 # nginx의 index.html이 출력 curl localhost # nginx 프로세스가 있는지 조회 # netshoot 컨테이너에는 nginx가 없는 것을 확인 가능 ps -ef | grep nginx | grep -v grep # netshoot 컨테이너에서 나가기 exit

# 로컬 호스트 # nginx 컨테이너의 로그 출력 # netshoot 컨테이너의 IP가 nginx와 동일하기 때문에 netshoot에서 날린 요청이 loopback으로 기록된 것을 볼 수 있음 kubectl logs -f myweb2 -c myweb2-nginx

# worker 노드 접속 docker exec -it myk8s-worker bash # 노드 내에서 실행 중인 컨테이너 목록 확인 crictl ps

# 개별 컨테이너로 IP 주소 조회 시, 이전에 kubectl로 확인한 것처럼 동일한 주소를 가짐 crictl -p crictl ps -q crictl exec -its f5c0b810491f8 ifconfig crictl exec -its 4384f05e63264 ifconfig

# PID 정보 변수 할당 # pause 컨테이너 pid 조회 pstree -aclnpsS PAUSEPID=... NGINXPID=$(ps -ef | grep 'nginx -g' | grep -v grep | awk '{print $2}') echo $NGINXPID NETSHPID=$(ps -ef | grep 'curl' | grep -v grep | awk '{print $2}') echo $NETSHPID

# pause 컨테이너 네임스페이스 inode 조회 lsns -p $PAUSEPID # nginx의 네임스페이스 inode 조회 # time, user는 호스트의 것을 이용 (격리 X) # mnt, pid, cgroup은 컨테이너 별로 격리 # ipc, uts, net은 Pause 컨테이너가 격리한 것을 공유 lsns -p $NGINXPID # netshoot의 네임스페이스 inode 조회 # time, user는 호스트의 것을 이용 (격리 X) # mnt, pid, cgroup은 컨테이너 별로 격리 # ipc, uts, net은 Pause 컨테이너가 격리한 것을 공유 lsns -p $NETSHPID

# nginx와 netshoot이 IP를 동일하게 사용하는 것은 이전에 확인 # pause 컨테이너와도 비교 # 3개의 IP 주소가 모두 동일 nsenter -t $PAUSEPID -n ip -c addr nsenter -t $NGINXPID -n ip -c addr nsenter -t $NETSHPID -n ip -c addr

# 컨테이너 ID 조회 crictl ps # nginx 컨테이너 network 정보 확인 # path의 PID가 pause 컨테이너의 PID와 동일 # 네트워크 네임스페이스가 pause 컨테이너와 공유된다는 사실을 여기서도 확인 가능 crictl inspect f5c0b810491f8 | jq | grep network -A 10 # netshoot 컨테이너 network 정보 확인 # path의 PID가 pause 컨테이너의 PID와 동일 # 네트워크 네임스페이스가 pause 컨테이너와 공유된다는 사실을 여기서도 확인 가능 crictl inspect 4384f05e63264 | jq | grep network -A 10

# 로컬 호스트 # 리소스 및 클러스터 삭제 kubectl delete po/myweb2 kind delete cluster --name myk8s