Calico 통신

# 터널 인터페이스 존재 확인 ip -c -d addr show tunl0 # 호스트 네트워크 네임스페이스 확인 lsns -t net # 라우팅 경로 확인 # 루핑 방지를 위해 Blackhole이 존재 ip -c route | grep bird # tunl0 인터페이스를 사용하는 주소 대역은 IPIP 캡슐화 되어 각 노들 전달 # 즉, 각 노드의 podCIDR을 의미 route -n

apiVersion: v1 kind: Pod metadata: name: pod1 spec: nodeName: k8s-w1 containers: - name: pod1 image: nicolaka/netshoot command: ["tail"] args: ["-f", "/dev/null"] terminationGracePeriodSeconds: 0 --- apiVersion: v1 kind: Pod metadata: name: pod2 spec: nodeName: k8s-w1 containers: - name: pod2 image: nicolaka/netshoot command: ["tail"] args: ["-f", "/dev/null"] terminationGracePeriodSeconds: 0

# Pod 확인 kubectl get po -A -o wide | grep default # endpoint 및 veth 확인 calicoctl get workloadendpoints

# Calico 인터페이스 2개가 추가됨을 확인 ip -c link # Pod 별 Pause 컨테이너 생성으로 네트워크 네임스페이스 생성 lsns -t net # Calico 내용이 라우팅 테이블에 반영 ip -c route

# Pod 1 접속 kubectl exec -it pod1 -- zsh # 호스트의 12번 인터페이스와 veth 연결 ip -c addr # 라우팅 정보로 169.254.1.1을 디폴트 GW로 이용 route -n # ARP 정보 없음 ip -c neigh

# Pod 2 접속 kubectl exec -it pod2 -- zsh # 호스트의 13번 인터페이스와 veth 연결 ip -c addr # 라우팅 정보로 169.254.1.1을 디폴트 GW로 이용 route -n # ARP 정보 없음 ip -c neigh

# 좌측은 마스터 노드 # IPTABLES 필터 테이블의 FORWARD 리스트에서 cali-FORWARD를 확인 watch -d -n 1 "iptables -v --numeric --table filter --list FORWARD | egrep '(cali-FORWARD|pkts)'" # 중간은 마스터 노드 # Pod를 통해 veth를 확인 VETH1=$(calicoctl get workloadEndpoint | grep pod1 | awk '{print $4}') VETH2=$(calicoctl get workloadEndpoint | grep pod2 | awk '{print $4}') echo $VETH1 echo $VETH2 # 우측 상하단은 워커 노드 VETH1=... VETH2=... # Proxy ARP 설정을 확인 # cat /proc/sys/net/ipv4/conf/<veth>/proxy_arp cat /proc/sys/net/ipv4/conf/$VETH1/proxy_arp cat /proc/sys/net/ipv4/conf/$VETH2/proxy_arp # 우측 상단 # veth1 tcpdump tcpdump -i $VETH1 -nn # 우측 하단 # veth2 tcpdump tcpdump -i $VETH2 -nn

# Pod 1 접속 kubectl exec -it pod1 -- zsh # ping 10회 수행 ping -c 10 <pod2-ip> # 디폴트 GW 169.254.1.1의 MAC 주소를 ARP에 의해 학습 ip -c -s neigh

# natOutgoing 값이 true임을 확인 calicoctl get ippool -o wide # 노드에서 외부로 통신을 위한 MASQUERADE 정책을 확인 iptables -n -t nat --list cali-nat-outgoing # MASQUERADE 엔트리 관련 헤더 데이터를 나열 # https://linux.die.net/man/8/ipset ipset list cali40masq-ipam-pools

apiVersion: v1 kind: Pod metadata: name: pod1 spec: nodeName: k8s-w1 containers: - name: pod1 image: nicolaka/netshoot command: ["tail"] args: ["-f", "/dev/null"] terminationGracePeriodSeconds: 0

# 좌측은 마스터 노드 # iptables NAT MASQUERADE 모니터링 watch -d 'iptables -n -v -t nat --list cali-nat-outgoing' # 중간은 마스터 노드 # Pod 연결된 veth 변수를 확인 VETH1=$(calicoctl get workloadEndpoint | grep pod1 | awk '{print $4}') echo $VETH1 # 우측 1,2,3,4 창 # 위에서 확인한 veth를 변수에 지정 VETH1=... # 우측 1,2,3,4 창 tcpdump -i any -nn icmp tcpdump -i $VETH1 -nn icmp tcpdump -i tunl0 -nn icmp tcpdump -i ens5 -nn icmp

# Pod 1 접속 kubectl exec -it pod1 -- zsh # ping 10회 수행 ping -c 10 8.8.8.8

# 마스터 및 워커 노드에서 실행 # 특정 노드에서 나머지 노드들의 podCIDR을 테이블로 보유하고 tunl0에서 이용 route | head -2 ; route -n | grep tunl0 # 노드 별 tunl0 정보 확인 # Calico를 이용하면 Pod의 인터페이스도 기본 MTU 1480을 사용 ifconfig tunl0

apiVersion: v1 kind: Pod metadata: name: pod1 spec: nodeName: k8s-w1 containers: - name: pod1 image: nicolaka/netshoot command: ["tail"] args: ["-f", "/dev/null"] terminationGracePeriodSeconds: 0 --- apiVersion: v1 kind: Pod metadata: name: pod2 spec: nodeName: k8s-w2 containers: - name: pod2 image: nicolaka/netshoot command: ["tail"] args: ["-f", "/dev/null"] terminationGracePeriodSeconds: 0

# 마스터 노드에서 실행 # 워커 노드 1, 2에 생성된 endpoint 확인 calicoctl get workloadendpoints # 워커 노드에서 실행 # Pod 생성 후에는 각 상대방 노드의 IP를 전달 받아 저장 route -n | head -2 ; route -n | grep 172.16.

# 좌측은 워커 노드 # tunl0 인터페이스 TX/RX 패킷 수 확인 watch -d 'ifconfig tunl0 | head -2 ; ifconfig tunl0 | grep bytes' # tunl0 인터페이스 패킷 덤프 # 파일 저장은 tcpdump -i tunl0 -nn -w <filename> tcpdump -i tunl0 -nn # 노드 인터페이스 패킷 덤프 # 파일 저장은 tcpdump -i ens5 -nn proto 4 -w <filename> tcpdump -i ens5 -nn proto 4

# pod1 접속 kubectl exec pod1 -it -- zsh # ping 10회 수행 ping -c 10 <pod2-ip>