Service Mesh: Istio 실습

istio |____ bin | |____ istioctl | |____ manifests | |____ examples | |____ profiles | | |____ default.yaml | | |____ demo.yaml | | |____ empty.yaml | | |____ minimal.yaml | | |____ openshift.yaml | | |____ preview.yaml | | |____ remote.yaml | |____ charts | |____ tools | |____ samples | |____ manifest.yaml | |____ README.md

# 설치 export ISTIOV=1.23.2 echo "export ISTIOV=1.23.2" >> /etc/profile curl -s -L https://istio.io/downloadIstio | ISTIO_VERSION=$ISTIOV TARGET_ARCH=x86_64 sh - cp istio-$ISTIOV/bin/istioctl /usr/local/bin/istioctl # 확인 tree istio-$ISTIOV -L 2 istioctl version --remote=false

# 프로필 목록 조회 istioctl profile list # manifest를 생성 istioctl profile dump # 특정 프로필의 manifest를 생성 # istioctl profile dump <profile> istioctl profile dump default istioctl profile dump demo # 특정 config 경로만 확인 # istioctl profile dump --configu-path <path> istioctl profile dump --config-path components.ingressGateways istioctl profile dump --config-path values.gateways.istio-ingressgateway # --- # 프로필에 해당하는 manifest를 작성 istioctl profile dump demo > demo-profile.yaml # egressGateways를 비활성화 # -------------------- # egressGateways: # - enabled: false # -------------------- vi demo-profile.yaml # 수정된 프로필을 설치 istioctl install -f demo-profile.yaml -y

# istio-ingressgateway를 NodePort로 변경 kubectl patch svc -n istio-system istio-ingressgateway -p '{"spec":{"type":"NodePort"}}'

# istio-system 네임스페이스 리소스 확인 kubectl get all,svc,ep,sa,cm,secret,pdb -n istio-system

# istio CRD 확인 kubectl get crd | grep istio.io | sort

# istio-ingressgateway의 Envoy 버전 확인 kubectl exec -it deploy/istio-ingressgateway -n istio-system -c istio-proxy -- envoy --version

# istio-ingressgateway Service 확인 kubectl get svc,ep -n istio-system istio-ingressgateway ## istio-ingressgateway Service 포트 정보 확인 kubectl get svc -n istio-system istio-ingressgateway -o jsonpath={.spec.ports[*]} | jq

# istiod의 컨트롤 플레인 디플로이먼트 정보 확인 kubectl exec -it deployment.apps/istiod -n istio-system -- ss -tnlp kubectl exec -it deployment.apps/istiod -n istio-system -- ss -tnp kubectl exec -it deployment.apps/istiod -n istio-system -- ps -ef # istio-ingressgateway 디플로이먼트 정보 확인 kubectl exec -it deployment.apps/istio-ingressgateway -n istio-system -- ss -tnlp kubectl exec -it deployment.apps/istio-ingressgateway -n istio-system -- ss -tnp kubectl exec -it deployment.apps/istio-ingressgateway -n istio-system -- ps -ef

# kans-s 컨트롤 플레인 노드 # istio-ingressgateway의 NodePort 변수 지정 export IGWHTTP=$(kubectl get service -n istio-system istio-ingressgateway -o jsonpath='{.spec.ports[1].nodePort}') echo $IGWHTTP # 도메인 이름 변수 지정 # www.jseo.dev는 적절한 도메인으로 교체 # 192.168.10.102는 istio-ingressgateway Pod가 존재하는 워커 노드의 ip 주소 export MYDOMAIN=www.jseo.dev echo -e "192.168.10.102 $MYDOMAIN" >> /etc/hosts echo -e "export MYDOMAIN=$MYDOMAIN" >> /etc/profile # 접속 시도 시 아직 설정이 없어서 실패 curl -v -s $MYDOMAIN:$IGWHTTP

# testpc 노드 # 컨트롤 플레인에서 확인했던 istio-ingressgateway의 NodePort 변수 지정 export IGWHTTP=<nodeport> echo $IGWHTTP # 도메인 이름 변수 지정 # www.jseo.dev는 적절한 도메인으로 교체 # 192.168.10.102는 istio-ingressgateway Pod가 존재하는 워커 노드의 ip 주소 export MYDOMAIN=www.jseo.dev echo -e "192.168.10.102 $MYDOMAIN" >> /etc/hosts echo -e "export MYDOMAIN=$MYDOMAIN" >> /etc/profile # 접속 시도 시 아직 설정이 없어서 실패 curl -v -s $MYDOMAIN:$IGWHTTP

# 로컬 pc # EC2 인스턴스 퍼블릭 IP 주소 확인 aws ec2 describe-instances --query "Reservations[*].Instances[*].{PublicIPAdd:PublicIpAddress,InstanceName:Tags[?Key=='Name']|[0].Value,Status:State.Name}" --filters Name=instance-state-name,Values=running --output text # IP주소와 NodePort를 변수 지정 IGWHTTP=<nodeport> echo $IGWHTTP ISTIONODEIP=<control-plane-public-ip> echo $ISTIONODEIP # 도메인 이름 변수 지정 MYDOMAIN=www.jseo.dev echo "$ISTIONODEIP $MYDOMAIN" | sudo tee -a /etc/hosts # 접속 시도 시 아직 설정이 없어서 실패 curl -v -s $MYDOMAIN:$IGWHTTP

# Auto Injection with Namespace Label # Mutating Admission Webhook Controller를 사용하여 특정 네임스페이스 생성되는 모든 Pod들은 istio의 Sidecar가 자동으로 주입되도록 설정 # 아래 설정을 해주지 않으면 실습에서 Deployment를 생성하더라도 Pod 내애 컨테이너가 주입되지 않으므로 반드시 설정 kubectl label namespace default istio-injection=enabled # 레이블 설정 확인 kubectl get ns -L istio-injection

# ServiceAccount 및 Service manifest 생성 cat << EOT | kubectl create -f - apiVersion: v1 kind: ServiceAccount metadata: name: kans-nginx --- apiVersion: apps/v1 kind: Deployment metadata: name: deploy-websrv spec: replicas: 1 selector: matchLabels: app: deploy-websrv template: metadata: labels: app: deploy-websrv spec: serviceAccountName: kans-nginx terminationGracePeriodSeconds: 0 containers: - name: deploy-websrv image: nginx:alpine ports: - containerPort: 80 --- apiVersion: v1 kind: Service metadata: name: svc-clusterip spec: ports: - name: svc-webport port: 80 targetPort: 80 selector: app: deploy-websrv type: ClusterIP EOT

# Sidecar 확인 # Init 컨테이너가 istio-init 과정에서 Pod 내에 iptables 세팅 후 종료 # Pod 내에 istio-proxy라는 컨테이너가 생성 kubectl get po,svc,ep,sa -o wide kc describe po/<deployment-pod-name> | grep "Container ID" -B3 -A3 | grep istio-proxy -A3

# Gateway 및 VirtualService 생성 cat << EOT | kubectl create -f - apiVersion: networking.istio.io/v1 kind: Gateway metadata: name: test-gateway spec: selector: istio: ingressgateway servers: - port: number: 80 name: http protocol: HTTP hosts: - "*" --- apiVersion: networking.istio.io/v1 kind: VirtualService metadata: name: nginx-service spec: hosts: - "$MYDOMAIN" gateways: - test-gateway http: - route: - destination: host: svc-clusterip port: number: 80 EOT

# Istio의 Gateway와 VirtualService 설명 확인 kc explain gateways.networking.istio.io kc explain virtualservices.networking.istio.io # istio api-resources를 확인 kubectl api-resources | grep istio # gw, vs 조회 # vs는 특이하게도 다른 네임스페이스에 있는 Service를 참조할 수도 있음 kubectl get gw,vs

# Mesh에 존재하는 각 Envoy와 istiod간의 xDS 동기화 관련 last sent, last acknowledged를 확인 가능 istioctl proxy-status istioctl ps

# 이전에는 curl 접속 실패했었지만 로컬 pc와 testpc노드에서 curl 시도 시 성공 curl -s $MYDOMAIN:$IGWHTTP | grep -o "<title>.*</title>" # 퍼블릭 IP로 접속해도 정상 동작 curl -v -s <public-ip>:$IGWHTTP

# proxy 이름 확인 istioctl proxy-status | grep deploy # Envoy Config (all, cluster, endpoint, listener) 등을 dump istioctl proxy-config all <proxy-name> -o json | jq

# Deployment 내부에 istio-proxy 사용자가 존재함을 확인 kubectl exec -it deploy/deploy-websrv -c istio-proxy -- tail -n 3 /etc/passwd # istiod와 istio-proxy의 커넥션 확인 # istiod와 istio-proxy가 사용하는 포트 정보는 아래 링크 확인 # https://istio.io/latest/docs/ops/deployment/application-requirements/ kubectl exec -it deploy/istiod -n istio-system -- netstat -antp kubectl exec -it deploy/deploy-websrv -c istio-proxy -- netstat -antp

# Deployment 접속 kubectl exec -it deploy/deploy-websrv -c istio-proxy -- bash # XDS는 소켓 타입 ls -al /etc/istio/proxy # UDS의 Listener와 ESTAB 상태 정보 확인 ss -xpl ss -xp

kubectl delete gw,vs,deploy,svc --all

# istioctl 버전 변수 지정 export ISTIOV=1.23.2 echo $ISTIOV # 실습 환경에 내장되어 있는 리소스 확인 cat ~/istio-$ISTIOV/samples/bookinfo/platform/kube/bookinfo.yaml # 리소스 생성 kubectl apply -f ~/istio-$ISTIOV/samples/bookinfo/platform/kube/bookinfo.yaml

# 리소스 및 ServiceAccount 조회 kubectl get all,sa # ProductPage 접속 확인 kubectl exec "$(kubectl get pod -l app=ratings -o jsonpath='{.items[0].metadata.name}')" -c ratings -- curl -sS productpage:9080/productpage | grep -o "<title>.*</title>"

# Istio의 Gateway와 VirtualService 설정 # manifest 확인 cat ~/istio-$ISTIOV/samples/bookinfo/networking/bookinfo-gateway.yaml # manifest 적용 kubectl apply -f ~/istio-$ISTIOV/samples/bookinfo/networking/bookinfo-gateway.yaml # 리소스 확인 kubectl get gw,vs

# 로컬 pc # 각 노드의 퍼블릭 주소를 확인 aws ec2 describe-instances --query "Reservations[*].Instances[*].{PublicIPAdd:PublicIpAddress,InstanceName:Tags[?Key=='Name']|[0].Value,Status:State.Name}" --filters Name=instance-state-name,Values=running --output text

# k3s-s 컨트롤 플레인에서 접속 확인 # NodePort를 변수에 할당 export IGWHTTP=$(kubectl get service -n istio-system istio-ingressgateway -o jsonpath='{.spec.ports[1].nodePort}') echo $IGWHTTP # 도메인 이름을 변수에 할당 export MYDOMAIN=www.jseo.dev echo $MYDOMAIN # /etc/hosts를 열고 클러스터의 각 노드를 퍼블릭 IP로 변경 # $MYDOMAIN의 엔트리도 istio-ingressgateway가 있는 워커 노드의 주소로 변경해야 정상 동작 vi /etc/hosts # 클러스터의 각 노드로 접속 확인 # 로컬 호스트와 istio-ingressgateway가 존재하는 주소로는 응답이 정상적으로 오고, 그 외 주소로는 응답 실패 curl -s http://localhost:$IGWHTTP/productpage | grep "Book Details" curl -s --max-time 3 http://192.168.10.101:$IGWHTTP/productpage | grep "Book Details" curl -s --max-time 3 http://192.168.10.102:$IGWHTTP/productpage | grep "Book Details" # 도메인 이름으로 접속 확인 # 설정해둔 퍼블릭 IP로 정상 요청되어 응답 확인 curl -s http://$MYDOMAIN:$IGWHTTP/productpage | grep "Book Details"

# testpc 노드에서 접속 확인 # NodePort를 변수에 할당 export IGWHTTP=<nodeport> echo $IGWHTTP # 도메인 이름을 변수에 할당 export MYDOMAIN=www.jseo.dev echo $MYDOMAIN # /etc/hosts를 열고 클러스터의 각 노드를 퍼블릭 IP로 변경 # $MYDOMAIN의 엔트리도 istio-ingressgateway가 있는 워커 노드의 주소로 변경해야 정상 동작 vi /etc/hosts # 도메인 이름으로 접속 확인 # 설정해둔 퍼블릭 IP로 정상 요청되어 응답 확인 curl -s http://$MYDOMAIN:$IGWHTTP/productpage | grep "Book Details"

# 로컬 pc에서 접속 확인 # NodePort를 변수에 할당 export IGWHTTP=<nodeport> echo $IGWHTTP # 도메인 이름을 변수에 할당 export MYDOMAIN=www.jseo.dev echo $MYDOMAIN # /etc/hosts를 열고 클러스터의 각 노드를 퍼블릭 IP로 변경 # $MYDOMAIN의 엔트리도 istio-ingressgateway가 있는 워커 노드의 주소로 변경해야 정상 동작 vi /etc/hosts # 도메인 이름으로 접속 확인 # 설정해둔 퍼블릭 IP로 정상 요청되어 응답 확인 curl -s http://$MYDOMAIN:$IGWHTTP/productpage | grep "Book Details"

# 실습 확녕에 있는 애드온 파일을 확인하고, 이를 생성 및 배포 tree ~/istio-$ISTIOV/samples/addons/ kubectl apply -f ~/istio-$ISTIOV/samples/addons kubectl rollout status deployment/kiali -n istio-system

# 리소스 확인 kubectl get all,sa,cm -n istio-system kubectl get svc,ep -n istio-system # Kiali Service를 NodePort로 변경 kubectl patch svc -n istio-system kiali -p '{"spec":{"type":"NodePort"}}' # Grafana Service를 Nodeport로 변경 kubectl patch svc -n istio-system grafana -p '{"spec":{"type":"NodePort"}}' # Prometheus Service를 NodePort로 변경 kubectl patch svc -n istio-system prometheus -p '{"spec":{"type":"NodePort"}}'

# Kiali 웹 접속 주소 확인 KIALINodePort=$(kubectl get svc -n istio-system kiali -o jsonpath={.spec.ports[0].nodePort}) echo -e "KIALI UI URL = http://$(curl -s ipinfo.io/ip):$KIALINodePort" # Grafana 웹 접속 주소 확인 GRAFANANodePort=$(kubectl get svc -n istio-system grafana -o jsonpath={.spec.ports[0].nodePort}) echo -e "Grafana URL = http://$(curl -s ipinfo.io/ip):$GRAFANANodePort" # Prometheus 웹 접속 주소 확인 PROMENodePort=$(kubectl get svc -n istio-system prometheus -o jsonpath={.spec.ports[0].nodePort}) echo -e "Prometheus URL = http://$(curl -s ipinfo.io/ip):$PROMENodePort"

# 샘플 파일 확인 cd ~/istio-$ISTIOV/samples/bookinfo/networking # 기본 DestinationRule 적용 kubectl apply -f destination-rule-all.yaml # DestinationRule 확인 kubectl get dr

# 각 Service에 대해 v1의 서브셋이 되도록 VirtualService 적용 kubectl apply -f virtual-service-all-v1.yaml # 아래 VirtualService에 따라 Kiali에서 Reviews의 v2, v3가 사라지는 것 확인 kubectl get vs

# 특정 유저가 접속 시 v2로 라우팅 되도록 VirtualService 적용 kubectl apply -f virtual-service-reviews-test-v2.yaml # 아래 VirtualService에 따라 ProductPage에서 jason으로 접속한 사용자는 v2로만 접속 kubectl get vs

# VirtualService 적용하여 jason 사용자 접속 시 7초 지연 발생 kubectl apply -f virtual-service-ratings-test-delay.yaml

# VirtualService를 적용하여 jason 사용자 접속 시 500 응답 반환 kubectl apply -f virtual-service-ratings-test-abort.yaml

# 리소스 삭제 kubectl delete -f virtual-service-all-v1.yaml

# 기본 VirtualService kubectl apply -f virtual-service-all-v1.yaml

# v1 50 - v3 50 kubectl apply -f virtual-service-reviews-50-v3.yaml

# v1 80 - v2 20 kubectl apply -f virtual-service-reviews-80-20.yaml

# v1 90 - v2 10 kubectl apply -f virtual-service-reviews-90-10.yaml

# 리소스 삭제 kubectl delete -f virtual-service-all-v1.yaml

# Istio 버전 설정 export ISTIO_VERSION=1.23.2 # 네임스페이스 생성 kubectl create namespace istio-io-tcp-traffic-shifting # Auto Injection 설정 kubectl label namespace istio-io-tcp-traffic-shifting istio-injection=enabled # 트래픽 전송에 Sleep이 걸려 있는 앱을 배포 kubectl apply -f ~/istio-$ISTIO_VERSION/samples/sleep/sleep.yaml -n istio-io-tcp-traffic-shifting # v1, v2가 존재하는 TCP Echoing Micro Service kubectl apply -f ~/istio-$ISTIO_VERSION/samples/tcp-echo/tcp-echo-services.yaml -n istio-io-tcp-traffic-shifting

# 모든 TCP 트래픽이 v1으로 가도록 설정 kubectl apply -f ~/istio-$ISTIO_VERSION/samples/tcp-echo/tcp-echo-all-v1.yaml -n istio-io-tcp-traffic-shifting # Ingress Host와 TCP Ingress Port를 변수 지정 export INGRESS_HOST=$(kubectl get po -l istio=ingressgateway -n istio-system -o jsonpath='{.items[0].status.hostIP}') export TCP_INGRESS_PORT=$(kubectl -n istio-system get service istio-ingressgateway -o jsonpath='{.spec.ports[?(@.name=="tcp")].nodePort}') # 20개의 접속 시도 시 모든 트래픽이 v1으로 전송됨을 확인 for i in {1..20}; do \ kubectl exec "$(kubectl get pod -l app=sleep -n istio-io-tcp-traffic-shifting -o jsonpath={.items..metadata.name})" \ -c sleep -n istio-io-tcp-traffic-shifting -- sh -c "(date; sleep 1) | nc $INGRESS_HOST $TCP_INGRESS_PORT"; \ done

# 20% 트래픽이 v2로 가도록 설정 kubectl apply -f ~/istio-$ISTIO_VERSION/samples/tcp-echo/tcp-echo-20-v2.yaml -n istio-io-tcp-traffic-shifting # Ingress Host와 TCP Ingress Port를 변수 지정 export INGRESS_HOST=$(kubectl get po -l istio=ingressgateway -n istio-system -o jsonpath='{.items[0].status.hostIP}') export TCP_INGRESS_PORT=$(kubectl -n istio-system get service istio-ingressgateway -o jsonpath='{.spec.ports[?(@.name=="tcp")].nodePort}') # 20개의 접속 시도 시 모든 트래픽이 v1으로 전송됨을 확인 for i in {1..20}; do \ kubectl exec "$(kubectl get pod -l app=sleep -n istio-io-tcp-traffic-shifting -o jsonpath={.items..metadata.name})" \ -c sleep -n istio-io-tcp-traffic-shifting -- sh -c "(date; sleep 1) | nc $INGRESS_HOST $TCP_INGRESS_PORT"; \ done

# 리소스 삭제삭제 kubectl delete -f ~/istio-$ISTIO_VERSION/samples/tcp-echo/tcp-echo-all-v1.yaml -n istio-io-tcp-traffic-shifting kubectl delete -f ~/istio-$ISTIO_VERSION/samples/tcp-echo/tcp-echo-services.yaml -n istio-io-tcp-traffic-shifting kubectl delete -f ~/istio-$ISTIO_VERSION/samples/sleep/sleep.yaml -n istio-io-tcp-traffic-shifting kubectl delete namespace istio-io-tcp-traffic-shifting

# 기본 VirtualService 설정 cd ~/istio-$ISTIOV/samples/bookinfo/networking kubectl apply -f virtual-service-all-v1.yaml # Reviews Service는 v2만 호출되도록 설정 kubectl apply -f - << EOT apiVersion: networking.istio.io/v1alpha3 kind: VirtualService metadata: name: reviews spec: hosts: - reviews http: - route: - destination: host: reviews subset: v2 EOT # 가장 끝단인 Ratings Service 호출에 2초 지연을 설정함으로써 앞단의 모든 Service에 장애 영향 kubectl apply -f - << EOT apiVersion: networking.istio.io/v1alpha3 kind: VirtualService metadata: name: ratings spec: hosts: - ratings http: - fault: delay: percent: 100 fixedDelay: 2s route: - destination: host: ratings subset: v1 EOT

# HTTP 요청의 타임아웃은 기본적으로 비활성화이지만 Override하여 설정 가능 kubectl apply -f - << EOT apiVersion: networking.istio.io/v1alpha3 kind: VirtualService metadata: name: reviews spec: hosts: - reviews http: - route: - destination: host: reviews subset: v2 timeout: 0.5s EOT

# 리소스 삭제 kubectl delete -f virtual-service-all-v1.yaml

# httpbin 배포 kubectl apply -f ~/istio-$ISTIOV/samples/httpbin/httpbin-nodeport.yaml # 웹 접속 주소 확인 HTTPBHostIP=$(kubectl get pod -l app=httpbin -o jsonpath='{.items[0].status.hostIP}') HTTPBNodePort=$(kubectl get svc httpbin -o jsonpath={.spec.ports[0].nodePort}) echo -e "HTTPBIN UI URL = http://$HTTPBHostIP:$HTTPBNodePort"

# Circuit Breaking을 위한 DestinationRule 생성 # TCP 최대 연결 1개, HTTP 연결 당 요청 1개, 요청 대기 최대 1개 kubectl apply -f - << EOT apiVersion: networking.istio.io/v1alpha3 kind: DestinationRule metadata: name: httpbin spec: host: httpbin trafficPolicy: connectionPool: tcp: maxConnections: 1 http: http1MaxPendingRequests: 1 maxRequestsPerConnection: 1 # keepalive disable outlierDetection: consecutive5xxErrors: 1 interval: 1s baseEjectionTime: 3m maxEjectionPercent: 100 EOT

# httpbin으로 부하를 주입할 fortio 배포 kubectl apply -f ~/istio-$ISTIO_VERSION/samples/httpbin/sample-client/fortio-deploy.yaml kubectl patch svc fortio -p '{"spec":{"type":"NodePort"}}' # curl로 부하 주입 export FORTIO_POD=$(kubectl get pods -l app=fortio -o 'jsonpath={.items[0].metadata.name}') kubectl exec "$FORTIO_POD" -c fortio -- /usr/bin/fortio curl -quiet http://httpbin:8000/get # fortio control UI 웹 접속 주소 확인 FORTIOHostIP=$(kubectl get pod -l app=fortio -o jsonpath='{.items[0].status.hostIP}') FORTIONodePort=$(kubectl get svc fortio -o jsonpath={.spec.ports[0].nodePort}) echo -e "FORTIO UI URL = http://$FORTIOHostIP:$FORTIONodePort/fortio"

# 2 x 10회 반복 kubectl exec "$FORTIO_POD" -c fortio -- /usr/bin/fortio load -c 2 -qps 0 -n 20 -loglevel Warning http://httpbin:8000/get Code 200 : 13 (65.0 %) Code 503 : 7 (35.0 %) # 3 x10회 반복 kubectl exec "$FORTIO_POD" -c fortio -- /usr/bin/fortio load -c 3 -qps 0 -n 30 -loglevel Warning http://httpbin:8000/get Code 200 : 14 (46.7 %) Code 503 : 16 (53.3 %)

# 리소스 삭제 kubectl delete destinationrule httpbin kubectl delete deploy httpbin fortio-deploy kubectl delete svc httpbin fortio