728x90

전체적인 구성

  1. 로컬 PC에서 개발을 한 후 Github에 Push를 합니다.
  2. Github Repository 특정 branch에 push가 되면 Github Action이 동작을 시작합니다.
  3. Github Actions가 Github Container Registry에 소스를 받은 후 Docker 이미지로 빌드를 합니다.
  4. 빌드된 이미지를 EC2에 등록된 Runner가 복사합니다.
  5. 기존 이미지를 삭제하고 새로운 이미지로 실행을 합니다.

흐름도

  • 형상관리 : Git (Github)
  • 빌드 : Docker (Github Action)
  • 서버 : Linux (AWS EC2 micro)

순서

  • Docker로 로컬 테스트
  • Github Actions
  • AWS EC2 생성 및 Docker 설치
  • 자동 배포 테스트

IntelliJ에서 설정

  1. gradle에서 build bootJar 더블클릭하면 build 폴더에 libs에 .jar 파일 생성됨

스프링에서 libs에 스프링부트 2.5.0이후 plain.jar가 만들어지기때문에 꺼두었습니다.

jar {
    enabled = false
}

 

Docker로 로컬 테스트

  • Docker 이미지를 만들기 위해 프로젝트 루트에 Dockerfile을 아래와 같이 생성합니다.
FROM openjdk:11
ARG JAR_FILE=*.jar
COPY ${JAR_FILE} app.jar
ENTRYPOINT ["java","-jar","/app.jar"]

# FROM : Docker Base Image (기반이 되는 이미지, <이미지 이름>:<태그> 형식으로 설정, java8로 코드를 작성했다면 11대신 8로 넣어줘야 합니다.)
# ARG : 컨테이너 내에서 사용할 수 있는 변수를 지정할 수 있다.
# COPY : 위에 선언했던 JAR_FILE 변수를 컨테이너의 app.jar로 복사한다.
# ENTRYPOINT : 컨테이너가 시작되었을 때 스크립트 실행
  • cd 명령어를 통해 jar 파일이 있는 곳으로 터미널 위치를 옮긴다. (cd build/libs)
  • 이미지를 생성 합니다.
docker build -t springio/scrap-spring-boot-docker .
# docker build -t {이미지명} .
  • 생성되었는지 확인
docker images

빌드가 완료되었다면 다음 명령어를 터미널에 입력해 springio/scrap-spring-boot-docker이 생성되었는지 확인한다.

  • 컨테이너 실행하기
docker run -d -p 5000:8080 springio/scrap-spring-boot-docker
# 현재 내 로컬에서 5000port 사용으로 8083으로 변경
  • 로컬에서 실행되는지 테스트


GitHub 설정

  • .dockerignore파일 작성
.idea/
*.iml
*.iws
target/
.sonar/
.sonarlint/
  • 프로필 우측에있는 화살표를 눌러 Settings에 들어간다.

  • Settings 제일 밑 하단에 Developer settings에 들어간다.

  • 왼쪽 메뉴에 Personal access tokens를 누르고 Generate new token 을 클릭한다.

  • 토큰의 유효기간과 권한을 설정합니다.

  • 유효기간은 최대 1년까지 가능합니다.
  • 권한은 workflow, write:packages, delete:packages를 선택합니다.
  1. Generate token을 누르면 토큰이 생성된다.
  2. 생성한 토큰을 복사해서 배포를 진행할 레파지토리로 이동한다.

상위 메뉴의 Settings에 들어가 왼쪽 하단 메뉴의 Secrets의 Actions에 들어간다.

왼쪽 상단에 있는 New repository secret을 누른다.

  • 이름을 지정하고 복사했던 토큰을 붙여넣어준다.

  • dockerHub USERNAME과 PASSWORD를 작성한다.

  • 아래와 같이 workflow 파일을 작성합니다.

이것은 Github Container Registry를 이용해서 docker를 빌드하고 서버에 푸시해주는 역할을 합니다.(.github/workflows/main.yml)

# This workflow uses actions that are not certified by GitHub.
# They are provided by a third-party and are governed by
# separate terms of service, privacy policy, and support
# documentation.
# This workflow will build a Java project with Gradle and cache/restore any dependencies to improve the workflow execution time
# For more information see: https://help.github.com/actions/language-and-framework-guides/building-and-testing-java-with-gradle

name: Java CI with Gradle

on:
  push:
    branches: [ "master" ]
  pull_request:
    branches: [ "master" ]

jobs:
  build:
    runs-on: ubuntu-latest
    steps:
    - uses: actions/checkout@v3
    - name: Set up JDK 11
      uses: actions/setup-java@v3
      with:
        java-version: '11'
        distribution: 'temurin'
    - name: Build with Gradle
      uses: gradle/gradle-build-action@67421db6bd0bf253fb4bd25b31ebb98943c375e1 # 수정해야함
      with:
        arguments: build
    - name: Docker build
      run: |
       docker login -u ${{ secrets.USERNAME }} -p ${{ secrets.PASSWORD }}
       docker build -t spring-cicd .
       docker tag spring-cicd lusida0131/spring-cicd:latest
       docker push lusida0131/spring-cicd:latest
  deploy:
    needs: build  # build 후에 실행되도록 정의
    name: Deploy
    runs-on: [ self-hosted, label-go ] # AWS ./configure에서 사용할 label명
    steps:
      # 3000 -> 80 포트로 수행하도록 지정
      - name: Docker run
        run: |
          docker login -u ${{ secrets.USERNAME }} -p ${{ secrets.PASSWORD }}
          docker stop spring-cicd && docker rm spring-cicd && docker rmi lusida0131/spring-cicd:latest
          docker run -d -p 8080:8080 --name spring-cicd --restart always lusida0131/spring-cicd:latest

workflow파일 설명

on:
  push:
    branches: [ main ]
  • 여러 브랜치에서 개발 후 main 브랜치에 push or 병합될 때만 실행되도록 설정한다.
jobs:
  build:
    runs-on: ubuntu-latest
    steps:
  • Workflow는 다양한 job으로 구성되고 위 yml은 build와 deploy라는 job을 생성한다.
  • runs-on은 어떤 OS에서 실행될지를 지정한다.
- uses: actions/checkout@v3
  • build의 step 첫 번째는 현재 상태의 소스코드를 가상의 컨테이너 안으로 checkout 해주는 역할
- name: Set up docker buildx
        id: buildx
        uses: docker/setup-buildx-action@v1
  • build의 step 두 번째는 가상의 컨테이너 안에 docker가 돌아갈 수 있는 환경을 설치하는 역할
- name: Set up JDK 11
      uses: actions/setup-java@v3
      with:
        java-version: '11'
        distribution: 'temurin'
  • build의 step 두 번째는 JDK 11을 설치한다.
- name: Docker build
      run: |
       docker login -u ${{ secrets.USERNAME }} -p ${{ secrets.PASSWORD }}
       docker build -t spring-cicd .
       docker tag spring-cicd lusida0131/spring-cicd:latest
       docker push lusida0131/spring-cicd:latest
  • build의 step 네 번째는 Secret에 설정해놓은 USERNAME과 PASSWORD로 도커허브에 로그인해서 Docker image를 만들고 push한다.
deploy:
    needs: build  # build 후에 실행되도록 정의
    name: Deploy
    runs-on: [ self-hosted, label-go ] # AWS ./configure에서 사용할 label명
    steps:
      # 3000 -> 80 포트로 수행하도록 지정
      - name: Docker run
        run: |
          docker login -u ${{ secrets.USERNAME }} -p ${{ secrets.PASSWORD }}
          docker stop spring-cicd && docker rm spring-cicd && docker rmi lusida0131/spring-cicd:latest
          docker run -d -p 8080:8080 --name spring-cicd --restart always lusida0131/spring-cicd:latest
  • Deploy는 Docker에 로그인 후 저장되어 있는 Docker image를 이용해 컨테이너를 실행시키는 역할
  • Docker run은 실행 중인 도커 컨테이너를 중지하고 이전 버전인 컨테이너와 이미지를 삭제 후 새로운 이미지로 컨테이너를 run하는 방식이다.
  • runs-on 중 self-hosted는 필수로 써야한다.(이 값을 설정해야 서버에 등록한 runner가 실행된다.)
  • 이 부분에서 어느 Runner(EC2)로 실행할지 지정해줘야 한다.

AWS EC2 생성 및 Docker 설치

  • EC2 보안그룹 편집, 규칙추가 버튼을 누르고 8081번 port를 추가
  • EC2에 Docker 설치 방법
sudo apt-get update 
sudo apt-get install \
    apt-transport-https \
    ca-certificates \
    curl \
    gnupg \
    lsb-release

apt가 HTTPS 프로토콜을 통해서 repository를 사용할 수 있도록 패키지를 설치한다.

curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg

Docker의 공식 GPG key를 추가한다.

echo \
  "deb [arch=amd64 signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/ubuntu \
  $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

apt source list에 repository를 추가한다.

sudo apt-get update
$ sudo apt-get install docker-ce

apt package index를 update하고 Docker를 설치한다.

sudo service docker start # Docker 서비스를 시작합니다.
ps -ef|grep docker # 프로세스 확인 명령어
sudo usermod -a -G docker ubuntu # sudo를 사용하지 않고도 Docker 명령을 실행할 수 있도록 docker 그룹에 ec2-user를 추가합니다.
sudo usermod -aG docker $USER

docker ps 명령어를 실행했을때 아래와 같은 오류가 발생하면 docker.sock 권한을 바꾸어준다.

docker ps
Got permission denied while trying to connect to the Docker daemon socket at unix:///var/run/docker.sock: Get "http://%2Fvar%2Frun%2Fdocker.sock/v1.24/containers/json": dial unix /var/run/docker.sock: connect: permission denied
sudo chmod 666 /var/run/docker.sock  # sudo를 사용하지 않고도 명령을 실행하게 docer.sock 권한을 바꾸어준다.
  • AWS에 Github Runner 설치

해당 Repository에 Settings에 들어가서 왼쪽 메뉴 Actions의 Runners를 클릭한다.

  • Download에 있는 내용, Configure을 EC2서버에 복사해서 한 줄씩 실행시킨다.

하단의 Configure도 위와 동일하게 실행

  • Enter the name of the runner group to add this runner to : 엔터
  • Enter the name of runner : 엔터
  • Configure 진행할 때 Enter any additional labels가 나오면 아래에 있는 label-go를 등록한다.
  • Enter name of work folder : 엔터
deploy:
    needs: build  # build 후에 실행되도록 정의
    name: Deploy
    runs-on: [ self-hosted, label-go ] # AWS ./configure에서 사용할 label명
  • Configure에 ./run.sh는 nohup으로 실행
nohup ./run.sh &
  • Runner 세팅이 끝나면 github의 Settings - Actions - Runner 메뉴에서 등록된 것을 확인할 수 있습니다.

참고 블로그

https://velog.io/@soosungp33/Github-Actions으로-AWS-EC2에-CICD-구축하기

 

Github Actions으로 AWS EC2에 CI/CD 구축하기

AWS EC2에 CI/CD 구축하기

velog.io

https://codegear.tistory.com/84?category=985388

 

배포자동화(CI/CD) - Github Actions/Nuxtjs/Docker/EC2

다음은 이 글의 유튜브 영상입니다. https://youtu.be/E3i9qt0SS-I 프로젝트를 진행할때 많은 시간을 들여야 하는 것 중에 하나가 바로 배포입니다. 형상관리(Git)에 커밋을 하고, 서버에 파일을 업로드

codegear.tistory.com

 

728x90
728x90

최솟값 만들기

https://school.programmers.co.kr/learn/courses/30/lessons/12941

스크린샷 2022-09-22 오후 5 55 22


문제 설명

길이가 같은 배열 A, B 두개가 있습니다. 각 배열은 자연수로 이루어져 있습니다.
배열 A, B에서 각각 한 개의 숫자를 뽑아 두 수를 곱합니다. 이러한 과정을 배열의 길이만큼 반복하며, 두 수를 곱한 값을 누적하여 더합니다. 이때 최종적으로 누적된 값이 최소가 되도록 만드는 것이 목표입니다. (단, 각 배열에서 k번째 숫자를 뽑았다면 다음에 k번째 숫자는 다시 뽑을 수 없습니다.)

예를 들어 A = [1, 4, 2] , B = [5, 4, 4] 라면

  • A에서 첫번째첫 번째 숫자인 1, B에서 첫 번째 숫자인 5를 뽑아 곱하여 더합니다. (누적된 값 : 0 + 5(1x5) = 5)
  • A에서 두번째 숫자인 4, B에서 세 번째 숫자인 4를 뽑아 곱하여 더합니다. (누적된 값 : 5 + 16(4x4) = 21)
  • A에서 세번째 숫자인 2, B에서 두 번째 숫자인 4를 뽑아 곱하여 더합니다. (누적된 값 : 21 + 8(2x4) = 29)

즉, 이 경우가 최소가 되므로 29를 return 합니다.

배열 A, B가 주어질 때 최종적으로 누적된 최솟값을 return 하는 solution 함수를 완성해 주세요.


제한사항

  • 배열 A, B의 크기 : 1,000 이하의 자연수
  • 배열 A, B의 원소의 크기 : 1,000 이하의 자연수

입출력 예

A B answer
[1, 4, 2] [5, 4, 4] 29
[1,2] [3,4] 10

풀이

길이가 같은 두개의 배열이 주어지고 두 배열의 원소를 서로 곱해서 answer이라는 변수에 누적 저장해서 answer 값이 최소가 되는 값을 구하면 되는 문제이다. A, B를 오름차순으로 정렬하면 A는 1, 2, 4가 되고 B는 4, 4, 5가 된다. A에서 오름차순으로 선택하면 1 B에서 큰 수부터 선택하면 5 두 수를 곱해주면 0 + ( 1 * 5 ) = 5 -> 5 + ( 2 * 4) = 13 -> 13 + (4 * 4) = 29가 된다.


코드

import java.util.*;
class Solution
{
    public int solution(int []A, int []B)
    {
        int answer = 0;
        Arrays.sort(A);  // 두 배열을 정렬 해준다.
        Arrays.sort(B);

        for(int i = 0; i < A.length; i++) {
            answer = answer + (A[i] * B[A.length - 1 - i]);  // a는 오름차순으로 선택하고 b는 큰 수 부터 선택헤서 곱해준다.
        }
        return answer;
    }
}

JadenCase 문자열 만들기

(문제 설명 혹은 링크)
https://school.programmers.co.kr/learn/courses/30/lessons/12951

스크린샷 2022-09-23 오후 4 28 38


문제 설명

JadenCase란 모든 단어의 첫 문자가 대문자이고, 그 외의 알파벳은 소문자인 문자열입니다. 단, 첫 문자가 알파벳이 아닐 때에는 이어지는 알파벳은 소문자로 쓰면 됩니다. (첫 번째 입출력 예 참고)
문자열 s가 주어졌을 때, s를 JadenCase로 바꾼 문자열을 리턴하는 함수, solution을 완성해주세요.


제한 조건

  • s는 길이 1 이상 200 이하인 문자열입니다.
  • s는 알파벳과 숫자, 공백문자(" ")로 이루어져 있습니다.
    • 숫자는 단어의 첫 문자로만 나옵니다.
    • 숫자로만 이루어진 단어는 없습니다.
    • 공백 문자가 연속해서 나올 수 있습니다.

입출력 예

s return
"3people unFollowed me" "3people Unfollowed Me"
"for the last week" "For The Last Week"

풀이

이 문제를 봤을 때 비교적 간단한 문제라고 생각하고 풀었습니다. 하지만 문제를 제대로 읽지 않은 탓에 엄청 헤맸습니다. 우선 공백 문자를 보자마자 String []str = s.split(" "); 으로 잘랐습니다. 잘못된 풀이로 풀었을 때 substring(0, 1)을 이용해서 첫 번째 문자를 구하고 toUpperCase()를 이용해 첫 번째 문자를 대문자로 변환해 주었습니다. 또한 substring(1, str[i].length()).toLowerCase()를 이용해서 첫 번째 문자를 제외하고 변환하여 더하였습니다. 하지만 answer를 더해주는 과정에서 마지막 문자열에 공백 문자가 포함됩니다. 따라서 원래 문자열 마지막이 공백일 경우와 아닐 경우에 대한 코드를 작성하였습니다. 하지만 제한 조건에 공백 문자가 연속해서 나올 수 있다는 것을 보고 다시 문제를 풀었습니다. 모든 문자열 소문자로 변경하고 첫 번째 글자인지 판단하는 boolean 변수를 추가해 주었습니다. 문자열만큼 반복해서 for문을 수행하고 만약 공백이 나오면 isFirst를 true로 변경하고 아니면 false를 수행한다. 만약 isFirst가 true일 경우 대문자로 변경한다.


잘못된 코드

public class JadenCase {
    public static void main(String[] args) {
        String s = "for the last week ";
        String []str = s.split(" "); // 공백을 기준으로 문자열 자르기
        String answer = "";

        // 공백을 기준으로 잘려진 문자열의 수만큼 반복
        for(int i = 0; i < str.length; i++) {
            if(str.length == 0) {
                answer += " ";
            }
            else {
                answer += str[i].substring(0, 1).toUpperCase(); // 단어 첫번째 대문자로 변환하여 더하기
                answer += str[i].substring(1, str[i].length()).toLowerCase(); // 첫글자를 제외하고 소문자로 변환하여 더하기
                answer += " "; // 띄어쓰기
            }
        }
        //원래 문자열 마지막이 공백일 경우 그대로 answer 반환
                if(s.substring(s.length() -1, s.length()).equals(" ")) {
               System.out.println(answer);
                }
                //마지막에 공백이 더해져서 그 공백을 제외한 answer값 반환
                else {
              answer = answer.substring(0, answer.length() - 1);
              System.out.println(answer);
                }
    }
}

정확한 코드

class Solution {
    public String solution(String s) {
        String answer = "";
         // 모든 문자열 소문자로 변경
        String[] srr = s.toLowerCase().split("");

        boolean isFirst = true; // 첫번째 글자인지 판단 
        // 문자열 만큼 반복
        for(int i = 0; i < srr.length; i++) {
            // 첫 글자일 경우 대문자로 변경
            if(isFirst) {
                answer += srr[i].toUpperCase(); 
            }
            else {
                answer += srr[i];
            }
            // 공백이 나오면 첫 글자 true로 변경
            if(srr[i].equals(" ")) {
                isFirst = true;
            }
            else {
                isFirst = false;
            } 
        }
        return answer;
    }
}

 

728x90

'알고리즘 > 알고리즘 문제풀이' 카테고리의 다른 글

LeetCode Valid Parentheses, Merge Two Sorted Lists  (0) 2022.10.03
백준) DP, DFS  (0) 2022.08.27
백준) HashMap  (0) 2022.07.23
백준) BFS, 다익스트라  (0) 2022.07.19
백준) 우선순위 큐, DP  (0) 2022.07.18
728x90

Kubernetes 네트워킹 모델

  1. IP 주소에 크게 의존합니다.
  2. 서비스, pod, 컨테이너, 노드는 IP 주소와 포트를 사용하여 통신합니다.
  3. Kubernetes는 트래픽을 올바른 pod로 전달하기 위해 여러 유형의 부하 분산을 제공합니다.

pod 네트워킹

  1. pod는 공유 스토리지와 네트워킹이 포함된 컨테이너 그룹입니다.
  2. Kubernetes의 'pod별 IP' 모델을 기반으로 한다. 이 모델에서는 각 pod에 단일 IP 주소가 할당되고 pod 내의 컨테이너는 해당 IP 주소를 포함하여 동일한 네트워크 네임스페이스를 공유합니다.

pod 네트워킹의 예

  • 기존 애플리케이션에서 클라이언트 액세스를 위해 nginx를 역방향 프록시로 사용하고 있을 수 있습니다.
  • nginx 컨테이너는 TCP 포트 80에서 실행되고 기존 애플리케이션은 TCP 포트 8000에서 실행됩니다.
  • 두 컨테이너 모두 동일한 네트워킹 네임스페이스를 공유하기 때문에 두 컨테이너는 동일한 머신에 설치된 것처럼 보입니다.
  • nginx 컨테이너는 TCP 포트 8000에서 localhost에 대한 연결을 설정하여 기존 애플리케이션에 연결합니다.
  • 단일 pod에서는 이것이 효과적이지만 워크로드는 단일 pod에서 실행되지 않습니다.
  • 워크로드는 서로 통신해야 하는 다양한 애플리케이션으로 구성됩니다.

pod는 서로 어떻게 통신할까

  1. 각 pod에는 고유한 IP 주소가 있습니다 네트워크에 있는 호스트처럼
  2. 노드에서 pod는 노드의 루트 네트워크 네임스페이스를 통해 서로 연결되며 이를 통해 해당 VM에서 pod가 서로를 찾고 연결할 수 있습니다.
  3. 루트 네트워크 네임스페이스는 노드의 기본 NIC에 연결되어 있습니다.
  4. 노드의 VM NIC를 사용하여 루트 네트워크 네임스페이스는 해당 노드에서 트래픽을 전달할 수 있습니다. 즉, pod의 IP 주소를 노드가 연결된 네트워크에서 라우팅 할 수 있어야 한다는 뜻입니다.

노드는 해당 pod의 IP 주소를 어디에서 얻을까

  1. GKE에서 노드는 Virtual Private Cloud 즉, VPC에 할당된 주소 범위에서 pod IP 주소를 가져옵니다.

VPC

  1. VPC는 GCP 내에서 배포하는 리소스에 대한 연결을 제공하는 논리적으로 격리된 네트워크입니다.
  2. VPC는 전 세계 모든 리전의 다양한 IP 서브넷으로 구성될 수 있습니다.
  3. GKE를 배포할 때 리전 또는 영역과 함께 VPC를 선택할 수 있습니다.
  4. 기본적으로 VPC에는 전 세계의 각 GCP 리전에 미리 할당된 IP 서브넷이 있습니다. 서브넷의 IP 주소는 해당 리전에 배포하는 컴퓨팅 인스턴스에 할당됩니다.

Kubernetes의 스토리지 추상화

  1. 볼륨
  2. PersistentVolume

볼륨

  1. 볼륨은 스토리지를 pod에 연결하는 수단입니다.
  2. 어떤 볼륨은 임시적입니다. pod에 연결된 시간 동안에만 유지된다는 뜻
  3. 어떤 볼륨은 영구적입니다 pod보다도 오래 유지될 수 있다는 뜻
  4. 유형에 상관없이 모든 볼륨은 컨테이너가 아닌 pod에 연결됩니다.
  5. pod가 더 이상 노드에 매핑되지 않으면 볼륨도 매핑되지 않습니다.
  6. 영구적인 스토리지를 제공하는 데 활용 가능한 다른 볼륨 유형도 있습니다
    1. 이러한 유형(??)은 개별 pod의 수명보다 오래 지속되어야 하는 데이터에 사용할 수 있습니다.
    2. Kubernetes 클러스터에서는 이러한 볼륨 유형이 NFS 볼륨, Windows 공유 또는 기본 클라우드 제공업체의 영구 디스크에서 지원되는 경우가 많습니다.
    3. 이러한 유형의 볼륨은 블록 스토리지를 포함하거나 네트워크 파일 시스템을 사용합니다.
  7. 장애가 발생한 pod에서는 볼륨이 마운트 해제됩니다.
  8. 이러한 볼륨 중 일부는 pod 생성 이전에 이미 존재할 수 있으며 클레임이나 마운트할 수도 있습니다.
  9. 중요한 것은 볼륨이 pod의 컨테이너에 액세스 가능한 디렉터리라는 것입니다.
    1. 이 디렉터리의 생성 방식과 디렉터리와 그 안의 콘텐츠를 지원하는 매체는 사용된 특정한 볼륨에 의해 결정됩니다.

 10. 볼륨을 컨테이너에 표시하려면 컨테이너의 volumeMounts 필드에 볼륨 이름과 마운트 경로를 지정해야 합니다.

  1. pod 생성 중에 볼륨이 만들어집니다. 볼륨이 만들어지면 컨테이너를 온라인으로 가져오기 전에 pod의 모든 컨테이너에서 사용 가능합니다. 볼륨이 컨테이너에 연결된 후 볼륨의 데이터는 컨테이너 파일 시스템에 마운트 됩니다.
  2. 볼륨은 pod가 실행될 때 마운트 볼륨 디렉터리에 연결됩니다 그런 다음 nginx 컨테이너는 /mnt/vol 디렉터리를 보고 여기에서 데이터를 가져올 수 있습니다.

 11. pod가 삭제되면 함께 지워지는 emptyDir 볼륨의 콘텐츠와 다르게 NFS 볼륨에 저장된 데이터는 pod가 삭제되어도 유지됩니다.

  1. pod가 삭제되면 NFS 볼륨도 삭제되지만 데이터는 지워지지 않습니다.
  2. 마운트 해제되는 것뿐이며 필요하면 새 pod에 다시 마운트 할 수 있습니다.

Kubernetes PersistentVolume 객체

  1. 스토리지 사용을 토대로 스토리지 프로비저닝을 추상화합니다.
  2. Kubernetes 덕분에 마이크로 서비스 아키텍처에서 애플리케이션을 쉽게 확장할 수 있는 구성요소로 분리할 수 있는 것입니다.
  3. 영구 스토리지를 사용하면 장애에 대처하고 데이터 손실 없이 구성요소 예약을 동적으로 변경할 수 있습니다.

애플리케이션 구성요소를 위해 분리된 볼륨을 만들고 유지 관리하는 작업이 애플리케이션 개발자의 몫이어야 할까? 또한 개발자가 애플리케이션의 pod 매니페스트를 수정하지 않고 프로덕션에 배포하기 전에 애플리케이션을 어떻게 테스트할까?

  1. 테스트에서 프로덕션 단계로 나아가기 위해 구성을 변경해야 할 때마다 오류의 위험이 있습니다.
  2. Kubernetes의 PersistentVolume 추상화는 이러한 문제를 모두 해결합니다.
  3. PersistentVolume을 사용하여 클러스터 관리자는 다양한 볼륨 유형을 프로비저닝 할 수 있습니다.
  4. 클러스터 관리자는 사용에 대해 신경 쓰지 않고 스토리지를 프로비저닝 하면 됩니다.
  5. 또한 애플리케이션 개발자는 PersistentVolumeClaim을 사용하여 스토리지 볼륨을 직접 만들거나 유지 관리하지 않고도 프로비저닝 된 스토리지를 쉽게 클레임하고 사용할 수 있습니다.

역할의 분리

PersistentVolume을 사용할 수 있도록 만드는 것은 관리자의 몫이고 애플리케이션에서 이러한 볼륨을 사용하는 것은 개발자의 몫입니다. 이 두 작업 역할은 서로 독립적으로 이루어질 수 있습니다.

애플리케이션 개발자는 PersistentVolumeClaim을 사용할 때 애플리케이션 실행 위치를 신경 쓸 필요가 없습니다. 프로비저닝된 스토리지 용량은 애플리케이션에 의해 클레임 될 수 있는데 실행 위치가 로컬 사이트나 Google Cloud 혹은 다른 클라우드 제공업체든 상관없죠

 

애플리케이션 소유자가 Compute Engine 영구 디스크 스토리지를 사용하려면 무엇이 필요한가?

  1. pod 수준의 볼륨을 사용하는 경우
  2. pod 매니페스트에서 클러스터 수준의 PersistentVolume과 PersistentVolumeClaim을 사용하는 경우
    1. 두 번째 방법이 관리하기 쉽다.
    2. 클라우드 구현을 책임지는 운영팀에서는 PersistentVolume을 사용하기 위해 스토리지 클래스를 정의하고 PersistentVolume의 실제 구현을 관리합니다.
    3. 개발자와 애플리케이션 소유자는 PersistentVolumeClaim을 사용하여 스토리지의 양과 스토리지 클래스를 요청하고 그에 따라 스토리지 유형이 결정됩니다.
    4. 운영팀은 사용하려는 클라우드 서비스를 관리할 수 있으며 애플리케이션 소유자는 특정 구현의 세부사항보다는 애플리케이션이 필요로 하는 것에 집중할 수 있습니다.
    5. Kubernetes 엔진은 PersistentVolume에 대해 이와 동일한 기술을 사용한다.
    6. Google Cloud의 Compute Engine 서비스는 가상 머신 디스크에 영구 디스크를 사용합니다.

영구 디스크

  1. 영구 디스크는 오래 지속되는 스토리지를 제공할 수 있는 네트워크 기반 블록 스토리지입니다.

영구 볼륨 추상화의 두 가지 구성요소

  1. PersistentVolume
  2. PersistentVolumeClaim

영구 볼륨

  1. 클러스터 수준에서 관리되는 내구성이 뛰어난 영구 스토리지 리소스입니다.
  2. 클러스터 리소스는 pod의 수명 주기와 무관하지만 pod는 수명 주기 동안 이러한 리소스를 사용할 수 있습니다. 하지만 pod가 삭제되더라도 영구 볼륨과 해당 데이터는 계속 존재합니다. 볼륨은 Kubernetes에서 관리하며 수동으로 또는 동적으로 프로비저닝 할 수 있습니다.

PersistentVolumenClaim

  1. PersistentVolume을 사용하도록 pod가 만든 요청 및 클레임입니다.
  2. PersistentVolumeClaim 객체 내에서 볼륨 크기, 액세스 모드 및 스토리지 클래스를 정의합니다.
  3. pod는 PersistentVolumeClaim을 사용하여 영구 볼륨을 요청합니다.
  4. 영구 볼륨이 영구 볼륨 신청에 정의된 모든 요구사항과 일치하는 경우 영구 볼륨 신청은 해당 영구 볼륨에 바인딩됩니다. 이제 pod는 이 영구 볼륨에서 스토리지를 사용할 수 있습니다.

스토리지 클래스

  • 이름을 지정한 스토리지 특성의 세트입니다.

스토리지용으로 pod 수준 볼륨을 사용하는 것과 클러스터 수준 영구 볼륨을 사용하는 것의 중요한 차이점은 무엇일까?

  1. 영구 볼륨은 애플리케이션 구성에서 스토리지 관리를 분리할 수 있는 추상화 수준을 제공합니다.
  2. 영구 볼륨의 스토리지는 영구 볼륨 신청과 바인딩되어야 pod에서 액세스 할 수 있습니다.
  3. 이것은 같은 스토리지에 대한 영구 볼륨 매니페스트를 생성하는 방법입니다.

pod의 스토리지 구성을 더 쉽게 관리하기 위해 이것이 어떻게 사용되는가?

  1. 먼저 볼륨 용량을 지정하고 StorageClassName을 지정합니다.
  2. 스토리지 클래스는 영구 볼륨을 구현하는 데 사용되는 리소스입니다.
  3. pod에서 PVC를 정의할 때 PVC는 스토리지 클래스 이름을 사용합니다. 클레임이 성공하려면 PV StorageClassName과 일치해야 합니다.

SSD 영구 디스크를 사용하려는 경우

  1. 이름이 'ssd'인 이 예처럼 새 스토리지 클래스를 생성할 수 있습니다.
  2. ssd라는 이 새로운 스토리지 클래스를 사용하는 PVC는 ssd라는 스토리지 클래스가 있는 PV만 사용합니다. 이 경우 SSD 영구 디스크를 사용합니다.

현대적이고 관리하기 쉬운 방법은 영구 볼륨 추상화를 사용하는 것입니다.

 

이상으로 2022 Cloud Study Jam 쿠버네티스 중급반 과정을 수료하였습니다.

 

728x90
728x90

kubectl 명령어

  • kubectl은 관리자가 Kubernetes 클러스터를 제어하는 데 사용하는 유틸리티입니다. 이를 사용해 제어 영역에 있는 Kube API 서버와 통신할 수 있습니다. kubectl은 명령줄 입력 내용을 API 호출로 전환한 후 선택한 Kubernetes 클러스터 내 Kube API 서버로 전송합니다. kubectl이 작업을 수행하려면 Kubernetes 클러스터의 위치와 사용자 인증 정보에 대한 구성 작업이 필요합니다. 
  • 예를 들어 관리자가 클러스터의 pod 목록을 확인하려 한다고 가정
    1. 적절한 사용자 인증 정보를 사용하여 kubectl을 클러스터에 연결한 후 kubectl get pods 명령어를 실행하면 됩니다.
    2. kubectl은 이 명령어를 API 호출로 전환하고 클러스터 제어 영역 서버에서 HTTPS를 통해 Kube API 서버로 보냅니다.
    3. Kube API 서버는 etcd 쿼리를 통해 요청을 처리합니다.
    4. Kube API 서버는 HTTPS를 통해 kubectl에 결과를 반환합니다.
    5. kubectl은 API 응답을 해석하여 명령 프롬프트에서 관리자에게 결과를 표시합니다.
  • kubectl을 사용하여 클러스터를 구성하려면 먼저 kubectl을 구성해야 합니다.
    1. kubectl은 .kube라는 이름의 숨겨진 폴더에 있는 홈 디렉터리의 파일에 구성을 저장합니다.
    2. 구성 파일에는 클러스터 목록과 각 클러스터에 연결하는 데 사용할 사용자 인증 정보가 포함되어 있습니다.
  • 사용자 인증 정보는 어디서 얻을 수 있을까
    1. GKE의 경우 gcloud 명령어를 통해 서비스에서 사용자 인증 정보를 얻습니다.
  • 구성을 보려면?
    1. 구성 파일을 열거나 kubectl 명령어인 config view를 사용하면 됩니다.
    2. kubectl config view는 kubectl 명령어 자체의 구성에 대해 알려줍니다.
    3. 클러스터 및 워크로드의 구성을 확인하려면 다른 kubectl 명령어를 사용해야 합니다.
    4. kubectl을 사용해 GKE 클러스터에 연결하려면 먼저 특정 클러스터의 사용자 인증 정보를 가져와야 합니다.
  • 사용자 인증 정보를 가져오는 방법
    1. gcloud 명령줄 도구
    2. kubectl을 설치한 다른 환경에서 get credentials gcloud 명령어를 사용하는 것입니다.
  • gcloud get credentials 명령어
    1. 기본적으로 $HOME 디렉터리의 .kube 디렉터리에 있는 구성 파일에 구성 정보를 씁니다.
    2. 다른 클러스터에서 이 명령어를 다시 실행하면 새 클러스터용 사용자 인증 정보가 구성 파일에 업데이트됩니다.
    3. 이 구성 프로세스는 Cloud Shell에서 클러스터당 한 번만 수행하면 됩니다.
    4. .kube 디렉터리와 그 안의 콘텐츠가 $HOME 디렉터리에 유지되기 때문입니다.
  • gcloud 명령어
    1. 인증된 사용자가 명령줄에서 Google Cloud와 상호작용하는 방법입니다.
    2. 권한이 있는 경우 gcloud get-credentials 명령어는 GKE 클러스터에 연결하는 데 필요한 사용자 인증 정보를 제공합니다.
  • kubectl
    • 일반적으로 kubectl은 기존 클러스터의 내부 상태를 관리하기 위한 도구입니다 하지만 kubectl으로는 새 클러스터를 만들거나 기존 클러스터의 형태를 변경할 수 없습니다. 이를 위해서는 gcloud 명령어와 Cloud Console이 인터페이스로 사용되는 GKE 제어 영역이 필요합니다.
    • kube 폴더의 구성 파일이 구성되면 kubectl 명령어가 자동으로 이 파일을 참조하고 사용자 인증 정보를 묻지 않은 채 기본 클러스터에 연결합니다.

kubectl 명령어를 사용하는 방법

명령어 

  1. 수행하려는 작업을 지정합니다. get, describe, logs, exec 등
  2. 정보를 표시하는 명령어도 있고 클러스터의 구성을 변경하는 명령어도 있습니다.

유형

  1. 명령어가 적용되는 Kubernetes 객체를 정의합니다.
  2. 예를 들어 pod, 배포, 노드 또는 기타 객체를 지정할 수도 있고 클러스터 자체를 지정할 수도 있습니다.
  3. '명령어'와 함께 사용되어 어떤 작업을 어떤 유형의 객체에 수행하길 원하는지 kubectl에 알려줍니다.

이름

  1. '유형'에 정의된 객체를 지정합니다.
  2. '이름' 필드가 항상 필요한 것은 아닙니다 특히 정보를 나열하거나 표시하는 명령어를 사용하는 경우에는 그렇죠 예를 들어, 이름을 지정하지 않고 kubectl get pods 명령을 실행하면 모든 pod 목록이 반환됩니다. 이 목록을 필터링하려면 pod 이름을 지정해야 합니다 kubectl get pod my-test-app과 같이 이름을 지정하면 되죠 그러면 kubectl은 my-test-app이라는 이름의 pod에 대한 정보만 반환합니다

일부 명령어

  1. 일부 명령어는 선택 가능한 플래그를 추가로 지원합니다 명령어 끝에 포함할 수 있죠
  2. 출력 형식을 특정 방식으로 지정하는 것과 같은 특별 요청이라고 볼 수 있습니다.
  3. pod의 상태를 보기 위해 사용하는 명령어는 kubectl get pod my-test-app -o=yaml입니다.
  4. 참고로 kubectl에 YAML 형식으로 출력을 명령하는 것은 매우 유용합니다 다른 클러스터에서 다시 만들 수 있도록 Kubernetes 객체의 기존 상태를 YAML 파일로 캡처하려는 경우가 자주 있기 때문이죠
  5. 또한 평소보다 더 많은 정보를 표시하려 할 때도 플래그를 사용할 수 있습니다 예를 들어 kubectl get pods -o=wide 명령어를 실행하면 pod 목록을 넓은 형식으로 표시할 수 있습니다 즉, 목록의 각 pod에서 추가 데이터 열을 볼 수 있습니다.

넓은 형식

  • 넓은 형식에서 주목할 만한 추가 정보로는 각 pod가 실행되는 노드에 대한 정보입니다 kubectl 명령어로 할 수 있는 작업이 많이 있습니다 Kubernetes 객체 생성부터 객체 보기와 삭제 구성 파일 보기와 내보내기까지 가능하다.

kubectl을 구성하거나 --kubeconfig 또는 --context 매개변수를 사용해야 입력한 명령이 의도한 클러스터에서 수행된다는 사실입니다.

  • 배포
    • 배포는 원하는 pod 상태를 설명합니다.
  • 선언적 전략
    • 선언적 전략은 Kubernetes가 이 구성이 클러스터에서 계속 실행되게 만드는 것을 의미합니다.
    • Kubernetes는 배포를 위한 다양한 업데이트 메커니즘도 지원합니다.
  • 배포는 pod의 상태를 선언합니다. 
    • 예를 들어 새로운 컨테이너 이미지로 업데이트하는 것과 같이 pod 사양을 업데이트할 때마다 변경된 배포 버전과 일치하는 새 ReplicaSet가 생성됩니다.

이것이 배포가 제어된 방식으로 업데이트된 pod를 롤 아웃하는 방법입니다. 기존 pod는 이전 ReplicaSet에서 제거되고 새 ReplicaSet의 새로운 pod로 대체되죠

업데이트된 pod가 안정적이지 않은 경우 관리자는 pod를 이전 배포 버전으로 롤백할 수 있습니다.

배포 구성을 수정하여 수동으로 pod를 확장할 수 있습니다. 워크로드를 자동으로 관리하도록 배포를 구성할 수도 있다.

배포는 스테이트리스(Stateless) 애플리케이션용으로 설계되었습니다.

  • 스테이트리스 애플리케이션은 데이터 또는 애플리케이션 상태를 클러스터나 영구 스토리지에 저장하지 않습니다.
  • 스테이트리스 애플리케이션의 전형적인 예는 웹 프런트엔드입니다 일부 백엔드는 데이터가 오랫동안 저장되도록 하는 문제가 있어 이러한 백엔드를 관리하려면 배포가 아닌 Kubernetes 객체를 사용해야 합니다.

원하는 상태는 pod의 특성이 포함된 배포 YAML 파일에 설명되어 있으며 pod를 운영 가능하게 실행하고 수명 주기 이벤트를 처리하는 방법이 함께 제공됩니다.

이 파일을 Kubernetes 제어 영역에 제출하면 배포 컨트롤러가 생성되며 이 컨트롤러는 원하는 상태를 실현하고 계속해서 원하는 상태를 유지하는 역할을 합니다.

  • 컨트롤러
    • 컨트롤러는 Kubernetes에 의해 생성된 루프 프로세스로 클러스터에서 실행되는 객체 또는 객체 집합의 원하는 상태가 관찰된 상태와 일치하도록 하기 위해 일상적인 작업을 처리합니다 이 과정에서 ReplicaSet가 생성됩니다 ReplicaSet는 주어진 시간에 특정 수의 pod 복제본이 실행되도록 하는 컨트롤러입니다.

배포는 상태를 선언하는 pod의 상위 수준 컨트롤러입니다

배포는 배포에 지정된 pod의 특정 버전을 인스턴스화하고 유지하기 위해 ReplicaSet 컨트롤러를 구성합니다 이것은 YAML 형식의 배포 객체 파일의 간단한 예입니다.

spec. template 섹션에서 pod 템플릿은 이 ReplicaSet에 있는 각 pod의 메타데이터와 사양을 정의합니다.

배포의 생명주기

  1. 배포의 '처리 중' 상태
    1. 작업이 수행되고 있음을 나타냅니다.
    2. 여기서 작업은 새 ReplicaSet를 생성하거나 ReplicaSet를 확장 또는 축소하는 것입니다.
  2. 배포의 '완료' 상태
    1. 모든 새 복제본이 최신 버전으로 업데이트되어 사용 가능하며 실행 중인 기존 복제본이 없다는 뜻입니다.
  3. '실패' 상태
    1. 새로운 ReplicaSet 생성을 완료할 수 없을 때 발생합니다.
    2. Kubernetes가 새 pod에 대한 이미지를 가져오지 못한 것일 수 있습니다 또는 리소스 할당량이 작업을 완료하기에 충분하지 않은 것일 수도 있죠 아니면 작업을 시작한 사용자에게 권한이 없을 수도 있습니다.

배포 수정의 버전 관리

  • 여러 롤아웃에 걸쳐 조금씩 여러 군데를 수정하게 되면 수정 버전이 많아지고 관리가 복잡해집니다.
  • 따라서 문제가 발생했을 때 롤백할 버전을 파악하기 어려울 수 있습니다.
  • 어떤 롤아웃에 어떤 작은 수정 사항이 적용되었는지 기억해야 하죠 소스 코드 저장소에 YAML 파일을 보관하는 것

배포를 만들 수 있는 방법

  1. 방금 본 YAML 파일과 같은 매니페스트 파일과 kubectl apply 명령어를 사용하여 선언적으로 배포를 만들 수 있습니다.
  2. 명령줄에서 매개변수를 지정하는 kubectl run 명령어를 사용하여 명령적으로 배포를 만드는 것입니다.
    1. 여기에서 이미지와 태그는 각각 이미지와 컨테이너에서 실행할 이미지 및 버전을 지정합니다.
    2. 라벨은 --key 및 --value 생성기를 사용하여 정의되며 사용할 API 버전을 지정하고 --save-config는 향후에 사용할 수 있도록 구성을 저장합니다.
  3. GCP Console에서 GKE 워크로드 메뉴를 사용하는 것입니다.
    1. 여기에서 컨테이너, 이미지, 버전을 지정하거나 Container Registry에서 직접 선택할 수도 있습니다.
    2. 환경 변수 및 초기화 명령어를 지정할 수 있습니다. 또한 라벨과 함께 애플리케이션 이름과 네임스페이스를 추가할 수도 있습니다.
    3. 배포 마법사의 마지막 페이지에서 YAML 보기 버튼을 사용하여 해당 배포 사양을 YAML 형식으로 볼 수 있습니다.
    4. 배포로 생성된 ReplicaSet는 원하는 수의 포드가 실행되고 특정 시점에 항상 사용 가능하도록 보장합니다.
    5. 포드에 오류가 발생하거나 제거되면 ReplicaSet가 자동으로 새 포드를 시작합니다.

배포 상태와 세부 정보를 검사하는 명령어

  1. kubectl get 및 describe 명령어를 사용하여 배포 상태와 세부정보를 검사할 수 있습니다.
  2. kubectl get deployment 명령어를 사용하여 해당 기간과 함께 배포 내 모든 복제본의 필요, 현재, 최신, 사용 가능 상태를 확인할 수 있습니다.
    1. 필요는 배포 사양에서 원하는 복제본 수를 표시합니다.
    2. 현재는 현재 실행 중인 복제본 수입니다.
    3. 최신은 현재 배포 사양에 따라 완전히 최신 상태인 복제본 수를 표시합니다.
    4. 사용 가능은 사용자가 사용할 수 있는 복제본 수를 표시합니다.
  3. 배포를 검사하는 또 다른 방법은 GCP Console을 사용하는 것입니다.
    1. 배포, 업데이트 기록, 포드 이벤트에 대한 자세한 정보를 확인할 수 있으며 YAML 형식의 라이브 구성도 볼 수 있습니다.

배포 확장

  1. 수동 확장
    1. 복제본의 개수를 정의하여 kubectl 명령어 또는 GCP Console을 사용해 배포를 수동으로 확장할 수 있습니다.
    2. 매니페스트를 수동으로 변경해도 배포가 확장됩니다.
  2. 자동 확장
    1. 원하는 최소 및 최대 pod 개수와 CPI 사용률 임계값을 지정하여 배포를 자동 확장할 수도 있습니다.
    2. kubectl 자동 확장 명령어를 사용하거나 GCP Console에서 바로 자동 확장을 수행할 수도 있습니다 그러면 수평형 pod 자동 확장 처리라는 Kubernetes 객체가 만들어집니다 이 객체는 자동 확장을 수행하여 대상 CPU 사용률에 일치시킵니다.

배포 업데이트

이미지 버전 변경과 같이 배포 포드 사양을 변경하면 자동 업데이트 출시가 발생합니다.

자동 업데이트는 포드 사양이 변경되는 경우에만 해당한다는 점에 유의합니다.

  1. 업데이트된 배포 사양 파일과 함께 kubectl apply 명령어를 사용하는 것입니다.
    1. 이 방법을 사용하면 포드 템플릿 외부의 복제본 수와 같은 배포의 다른 사양을 업데이트할 수 있습니다.
  2. kubectl set 명령어를 사용하는 것입니다.
    1. 이를 통해 이미지, 리소스 또는 선택기 값과 같은 배포의 포드 템플릿 사양을 변경할 수 있습니다.
  3. kubectl edit 명령어를 사용하는 것입니다.
    1. Vim 편집기를 사용하여 사양 파일이 열리며 직접 사양을 변경할 수 있습니다.
    2. 파일을 종료하고 저장하면 kubectl이 업데이트된 파일을 자동으로 적용합니다.
  4. GCP Console을 사용하는 것입니다.
    1. GCP Console에서 배포 매니페스트를 편집하고 이 추가 옵션과 함께 순차적 업데이트를 수행할 수 있습니다.

배포 업데이트 과정

  1. 배포가 업데이트되면 새 복제본 세트를 시작하고 통제된 방식으로 새 포드 세트를 만듭니다.
  2. 첫 번째 새 포드는 새 복제본 세트에서 시작됩니다.
  3. 다음으로 모든 포드가 이전 ReplicaSet에서 삭제됩니다.
  4. 위의 전략은 램프 전략이다. 램프 전략의 장단점
    1. 업데이트가 천천히 출시되어 애플리케이션의 가용성이 보장된다는 장점이 있습니다.
    2. 그러나 이 프로세스는 시간이 걸릴 수 있으며 트래픽이 이전 및 새 포드로 전달되는 방식을 제어할 수 없습니다.

블루/그린 배포 전략

  1. 애플리케이션의 새 버전을 배포하고 배포가 업데이트되는 동안 애플리케이션 서비스가 사용 가능한 상태로 유지되도록 하는 데 유용합니다.
  2. 블루/그린 업데이트 전략을 사용하면 애플리케이션의 새로운 버전과 함께 완전히 새로운 배포가 만들어집니다.
  3. 새 배포의 pod가 준비되면 트래픽을 이전의 블루 버전에서 새로운 그린 버전으로 전환할 수 있습니다.

이전의 블루 버전에서 새로운 그린 버전으로 전환하는 방법

  • Kubernetes 서비스가 사용됩니다.
  • 서비스를 이용하면 선택한 pod를 통해 네트워크 트래픽 흐름을 관리할 수 있습니다.
  • pod 집합은 라벨 선택기를 사용하여 선택됩니다

블루/그린 배포 장단점

  1. 장점은 즉각적인 롤아웃이 가능하고 최신 버전을 전체 사용자층에 출시하기 전에 내부에서 테스트할 수 있다는 것입니다.
    1. 예를 들어, 테스트 사용자 액세스용 별도의 서비스 정의를 사용하는 것이죠
  2. 단점은 배포 프로세스 중에 연구 사용량이 두 배로 늘어난다는 것입니다.

카나리아 배포

  • 카나리아 메서드는 블루-그린 메서드를 기반으로 한 또 다른 업데이트 전략으로 트래픽이 새 버전으로 점진적으로 이동합니다.
  • 카나리아 배포 사용의 주요 이점은 업데이트 중에 초과 리소스 사용량을 최소화할 수 있다는 것입니다.
  • 로터는 점진적이기 때문에 애플리케이션의 모든 인스턴스에 영향을 미치기 전에 문제를 식별할 수 있습니다.
  • 새 버전의 안정성이 확인되면 트래픽의 100%가 새 버전으로 라우팅 됩니다.

새 버전의 안전성이 확인되면 새 버전으로 라우팅 되는데 어떻게 가능한가?

  • 트래픽은 서비스에 정의된 버전을 실행하는 포드로만 전송됩니다.
  • 카나리아 업데이트 전략에서 서비스 선택기는 애플리케이션 라벨을 기준으로 하며 버전을 지정하지 않습니다.
  • 서비스의 이 카나리아 업데이트 전략 버전에서는 버전 라벨과 관계없이 트래픽이 모든 포드로 전송됩니다 이 설정을 사용하면 서비스가 두 배포 모두에서 트래픽을 선택하고 해당 부분으로 보낼 수 있습니다 처음에 새 버전의 배포는 실행되는 복제본 0개로 시작하나 시간 경과에 따라 새 버전이 수직 확장되면서 이전 버전의 배포는 축소되어 결국 삭제될 수 있습니다.

카나리아 업데이트 전략

  • kubectl rollout undo 명령어를 사용하여 롤백합니다.
  • 간단한 rollout undo 명령어는 배포를 이전 버전으로 되돌립니다.
  • 버전 번호를 지정하여 특정 버전으로 롤백할 수 있습니다.
  • 변경사항이 확실하지 않은 경우 kubectl rollout history 명령어를 사용하여 출시 기록을 검사할 수 있습니다.
  • Cloud Console에는 직접 롤백 기능이 없습니다 그러나 Console에서 Cloud Shell을 시작하고 이러한 명령어를 사용할 수 있습니다.
  • Cloud Console에는 요약 및 생성 일과 함께 버전 목록도 표시됩니다 기본적으로 이전 복제본 세트 10개에 대한 세부 정보는 롤백할 수 있도록 유지됩니다 배포 사양에서 업데이트 기록 한도를 지정하여 기본값을 변경할 수 있습니다.

배포 관리

  • 배포를 편집하면 이 작업이 일반적으로 자동 출시를 트리거하는데 사소한 수정사항이 자주 출시되는 환경인 경우 많은 출시가 발생하게 됩니다. 이와 같은 상황에서는 문제와 특정 출시를 연결 짓는 것이 더욱 어렵습니다.
  • kubectl rollouts pause 명령어를 사용하여 일시적으로 출시를 중단하는 게 도움이 됩니다.
    • 일시중지 전 배포의 초기 상태는 기능을 계속하지만 배포에 적합한 새 업데이트는 출시가 전달되는 동안 영향을 미치지 않으며 출시가 재개된 후에만 변경사항이 구현됩니다.
  • 출시를 재개하면 모든 새로운 변경사항이 단일 버전으로 출시됩니다.
  • kubectl delete 명령어를 사용하여 쉽게 삭제할 수 있으며 GCP Console에서 삭제할 수도 있습니다.
  • kubectl rollout status 명령어를 사용하여 출시 상태를 모니터링할 수도 있습니다.
  • Kubernetes는 배포에서 관리하는 모든 리소스, 특히 실행 중인 포드를 삭제합니다.
728x90
728x90

수익 4097번


내가 떠올린 풀이 해설

입력이 많지 않아 BufferedReader보단 Scanner를 사용했습니다. 처음 코드를 작성했을 때 max 값을 0으로 선언을 해주었지만 입력값이 음수일 경우 max 값을 구할 때 max 값이 0이 되므로 max 값을 Integer.MIN_VALUE로 선언해 주어야 합니다. 총수입을 담을 sum 변수를 만들었습니다. 입력의 마지막은 0으로 구분해서 입력 n이 0이면 break 하고 0이 아니면 for 문으로 n 미만까지 for 문을 수행한다. for 문에는 입력 값을 담을 num을 선언해 주었고 입력받은 값을 sum에 누적해서 더합니다. Math.max를 이용해 max와 sum을 비교해 큰 값을 max에 담았습니다. sum의 값이 음수가 되면 sum 값을 0으로 다시 초기화하였습니다.


정확한 풀이

import java.util.*;
public class Baek4097 {
	public static void main(String[] args) {
		Scanner sc = new Scanner(System.in);
		while(true) {
			int n = sc.nextInt();
			int max = Integer.MIN_VALUE; 
			int sum = 0;
			if(n == 0) {
				break;
			}
			else {
				for(int i = 0; i < n; i++) {
					int num = sc.nextInt();
					sum += num;                // -3, 1, 10, 8, 3, 11
					max = Math.max(max, sum);  // 0, 1, 10, 10, 10, 11
					if(sum < 0) {
						sum = 0;
					}
				}
				System.out.println(max);
			}
		}
	}
}

풀이 2

문제 분류가 다이나믹 프로그래밍이어서 DP로 풀어보려 했는데 방법이 떠오르지 않아 DP를 이용해서 푼 풀이를 가져왔습니다. 위의 코드와 차이점은 배열을 이용해서 현재 i의 값과 직전 값과 현재 i의 값을 더한 게 더 클 때 arr[i]의 값을 직전 값과 현재 i의 값으로 바꿔주는 것입니다. DP의 메모리제이션을 이용해서 해결한 것 같습니다.
https://velog.io/@pss407/%EB%B0%B1%EC%A4%804097-%EC%88%98%EC%9D%B5

 

[백준]#4097 수익

문제연종이는 창업했다. 오늘은 창업한지 N일이 되었고, 매일 매일 수익을 적어놓았다.어느 날 연종이는 가장 많이 돈을 번 구간이 언제인지 궁금해졌다.오늘이 창업한지 6일 되었고, 수익이 다

velog.io


정확한 풀이

import java.util.*;

public class Baek4097 {
	public static void main(String[] args) {
		Scanner sc = new Scanner(System.in);
		while(true) {
			int n = sc.nextInt();
			int max = Integer.MIN_VALUE;
			int sum = 0;
			int[] arr = new int[n];
			if(n == 0) {
				break;
			}
			else {
				for(int i = 0; i < n; i++) {
				        int x = sc.nextInt();
	                                arr[i] = x;
                                        if(i > 0) {
	                                       int y = arr[i-1];
                                               if(x + y > x) {   //직전 값과 현재 i의 값을 더한게 더 클 때
	                                          arr[i] = x + y;
                                               }
	                                 }
	                         }
	                         max = Math.max(max, arr[i]);
			}
			System.out.println(max);
		}
	}
}

단지 번호 붙이기 2667번


내가 떠올린 풀이 해설

상하좌우를 탐색할 int 배열 dx, dy를 선언합니다. 지도 크기를 입력받을 n, 2차원 배열의 map, DFS의 visit 배열, 총 단지 수를 구하기 위한 total, 각 단지에 속하는 집의 수를 구하기 위해 cnt를 선언해 주었습니다. BufferedReader를 이용해 입력을 받았습니다. map의 입력은 split를 이용해 잘라서 map의 2차원 배열에 넣어 주었습니다.(split("")[i]의 참고 자료: https://crazykim2.tistory.com/549) 전체 map을 탐색하기 위해 이중 for 문을 이용하였고 map의 (i, j)가 1이고 방문하지 않았다면 총 단지 수와 cnt의 수를 늘려주고 DFS를 호출합니다. DFS에서는 상하좌우 탐색을 진행하면서 cnt를 늘려줍니다. 마지막으로 cnt의 값을 List에 담아줍니다. 각 단지 내 집의 수를 오름차순으로 정렬하여 출력해 주어야 하므로 Collections.sort()를 이용해 정렬하였습니다.


정확한 풀이

import java.util.*;
import java.io.*;
public class Baek2667 {
	static int[] dx = {1, 0 ,0, -1};
	static int[] dy = {0, 1, -1, 0};
	static int n; // 지도 크기 
	static int[][] map;
	static boolean[][] visit;
	static int total = 0;  // 총 단지 수 
	static int cnt;
	static List<Integer> cnts = new ArrayList<>(); // 각 단지에 속하는 집의 수 
	
	public static void main(String[] args) throws IOException {
		BufferedReader br = new BufferedReader(new InputStreamReader(System.in));
		n = Integer.parseInt(br.readLine());
		map = new int[n][n];
		visit = new boolean[n][n];
		
		String str;
		for(int i = 0; i < n; i++) {
			str = br.readLine();
			for(int j = 0; j < n; j++) {
				map[i][j] = Integer.parseInt(str.split("")[j]);
			}
		}
		for(int i = 0; i < n; i++) {
			for(int j = 0; j < n; j++) {
				cnt = 0;
				if(map[i][j] == 1 && !visit[i][j]) {
					total++;
					cnt++;
					dfs(i, j);
					cnts.add(cnt);
				}
			}
		}
		System.out.println(total);
		Collections.sort(cnts);
		for(int i = 0; i < cnts.size(); i++) {
			System.out.println(cnts.get(i));
		}
	}

	private static void dfs(int i, int j) {
		visit[i][j] = true;
		for(int k = 0; k < 4; k++) {
			int nx = dx[k] + i;
			int ny = dy[k] + j;
			if(nx >= 0 && nx < n && ny >= 0 && ny < n) {
				if(!visit[nx][ny] && map[nx][ny] == 1) {
					cnt++;
					dfs(nx, ny);
				}
			}
		}
	}
}

오늘의 회고

요즘 스터디와 공모전으로 너무 바빠서 코딩 테스트 문제를 풀지 못했더니 많이 까먹은 것 같습니다. 이제 곧 하반기 채용 시작인데 다시 코딩 테스트 공부를 좀 해야겠습니다. 알고리즘 너무 어려워 이번에 알고리즘 스터디에 참여하게 되었는데 다들 실력이 좋으셔서 놀랐습니다. 분발하자

728x90
728x90

Kubernetes의 작동 방식을 파악하기 위한 선행 개념

  1. Kubernetes 객체 모델
    1. Kubernetes가 관리하는 각 항목은 객체로 표시되며 이러한 객체의 속성과 상태를 확인하고 변경할 수 있습니다.
    2. Kubernetes 객체는 클러스터에서 실행 중인 항목의 상태 (원하는 상태 및 현재 상태)를 나타내는 영구 항목으로 정의됩니다.
    3. 다양한 종류의 객체는 컨테이너화 된 애플리케이션 사용 가능한 리소스, 해당 동작에 영향을 미치는 정책을 나타냅니다.
  2. 선언적 관리 원칙
    1. Kubernetes를 사용한다면 관리되고 있는 객체에 대해 원하는 상태를 지정해야 합니다.
    2. Kubernetes가 객체를 해당 상태로 전환하여 유지하게 됩니다.(감시 루프 사용)

Kubernetes 객체의 두 가지 중요한 요소

  1. 만들려는 각 객체에 대해 '객체 사양'을 Kubernetes에 제공합니다 이 사양에 원하는 특성을 제공하여 객체의 원하는 상태를 정의합니다.
    1. '객체 상태'는 Kubernetes 제어 영역에서 제공하는 객체의 현재 상태입니다.
    2. 각 객체는 Kubernetes가 호출하는 특정 유형 또는 종류입니다.
  2. 'Kubernetes 제어 영역'이란 여러 시스템 프로세스를 가리키며 이 프로세스들의 상호작용을 통해 Kubernetes 클러스터가 작동합니다.

포드란?

  1. 포드는 표준 Kubernetes 모듈의 기본 구성 요소이며 배포 가능한 가장 작은 Kubernetes 객체입니다. Kubernetes 시스템에서 실행 중인 모든 컨테이너가 포드입니다.
  2. 포드는 컨테이너가 위치한 환경을 구현하며 해당 환경은 하나 이상의 컨테이너를 수용할 수 있습니다.
  3. 포드에 컨테이너가 두 개 이상 있는 경우 긴밀하게 결합되어 네트워킹 및 스토리지를 포함한 리소스를 공유합니다.
  4. Kubernetes는 각 포드에 고유한 IP 주소를 할당합니다. 포드 내의 모든 컨테이너는 네트워크 네임스페이스를 공유하며 여기에는 IP 주소 및 네트워크 포트가 포함됩니다.
  5. 동일한 포드 내의 컨테이너는 로컬 호스트 127.0.0.1을 통해 통신할 수 있습니다.
  6. 포드는 컨테이너 간에 공유할 스토리지 볼륨 모음을 지정할 수 있습니다.

https://kubernetes.io/ko/docs/concepts/workloads/pods/

 

파드

운영 수준의 컨테이너 오케스트레이션

kubernetes.io

포드의 간단한 예

  1. nginx 웹 서버 인스턴스 3개가 각각 컨테이너에서 항상 실행 중인 상태로 필요하다고 가정한다.
  2. Kubernetes는 선언적 관리 원칙을 구현합니다. 객체를 선언하여 nginx 컨테이너에 이러한 객체를 나타냅니다. 어떤 종류의 객체일까요? 바로 포드입니다. 이제 Kubernetes가 이러한 포드를 실행하고 유지하는 작업을 맡습니다. 하지만 포드는 자가 복구되지 않는다는 점에 주의하세요 모든 nginx 웹 서버를 유지하는 동시에 하나의 팀으로 함께 작동하기를 원한다면 더 정교한 종류의 객체를 사용하도록 요청할 수 있습니다.
  3. Kubernetes에 원하는 상태, 즉 항상 실행 중인 3개의 nginx로 구성된 상태를 지정했다고 가정합시다.
  4. 해당 상태를 나타내는 하나 이상의 객체를 만들고 유지하도록 Kubernetes에 지시하여 이 작업을 실행했습니다 그러면 Kubernetes는 원하는 상태를 현재 상태와 비교합니다 3개의 nginx 컨테이너에 대한 선언이 완전히 새로운 선언이라고 가정하면 현재 상태가 원하는 상태와 일치하지 않으므로 Kubernetes, 정확히 말하면 Kubernetes의 제어 영역이 상황을 해결할 것입니다 선언한 객체에서는 실행 중이어야 하는 포드의 수가 3개인데 현재 0개가 실행 중이므로 3개가 되도록 시작합니다 또한 Kubernetes 제어 영역은 클러스터의 상태를 지속적으로 모니터링하여 선언된 상태와 현재를 끊임없이 비교하고 필요에 따라 상태를 수정합니다.

Kubernetes 클러스터

  • 클러스터에는 컴퓨터가 필요합니다. 요즘 클러스터를 구성하는 컴퓨터는 일반적으로 가상 머신입니다.
  • 한 컴퓨터를 '제어 영역'이라고 하고 다른 컴퓨터를 간단히 '노드'라고 합니다. 노드의 역할은 포드를 실행하는 것이며 제어 영역의 역할은 전체 클러스터를 조정하는 것입니다.
  • 몇 가지 중요한 Kubernetes 구성요소가 제어 영역에서 실행됩니다.
  • 사용자가 직접 상호작용하는 단일 구성요소는 kube-APIserver이며 이 구성요소의 역할은 클러스터의 상태를 보거나 변경하는 명령어를 수락하는 것으로 여기에는 포드 실행이 포함됩니다.

kube-APIserver

kubectl 명령어

이 명령어의 역할은 kube-APIserver에 연결하고 Kubernetes API를 사용하여 통신하는 것입니다 kube-APIserver는 또한 수신된 요청을 인증하고 요청의 승인 여부와 유효성을 확인하며 허용 제어를 관리합니다.

etcd

실제로 클러스터 상태에 대한 모든 쿼리 또는 변경은 kube-APIserver로 보내져야 합니다.

etcd는 클러스터의 데이터베이스입니다 이는 클러스터의 상태를 안정적으로 저장하는 역할을 합니다 여기에는 모든 클러스터 구성 데이터와 많은 동적 정보(클러스터의 일부인 노드, 실행해야 하는 포드, 실행 위치)가 포함됩니다 사용자는 etcd와 직접 상호작용하지 않습니다. kube-APIserver가 시스템의 나머지 부분을 대신하여 데이터베이스와 상호작용합니다.

kube-scheduler

포드를 노드에 예약하는 역할을 합니다 이를 위해 각 개별 포드의 요구사항을 평가하고 가장 적합한 노드를 선택합니다.

노드에서 포드를 시작하는 작업

하지만 실제로 노드에서 포드를 시작하는 작업은 수행하지 않습니다. 대신 노드에 아직 할당되지 않은 포드 객체를 발견할 때마다 노드를 선택하고 해당 노드의 이름을 포드 객체에 작성합니다. 그러면 시스템의 또 다른 구성요소가 포드를 시작하는 역할을 합니다.

kube-scheduler는 포드 실행 위치를 어떻게 결정할까요?

  • kube-scheduler는 모든 노드의 상태를 파악하고 하드웨어, 소프트웨어, 정책을 기반으로 포드가 실행될 수 있는 위치에 대해 여러분이 정의한 제약조건도 준수합니다.
  • 예를 들어 특정 포드에 대해 메모리 용량이 일정 수준인 노드에서만 실행되도록 지정할 수 있습니다 또한 어피니티 사양을 정의하여 포드 그룹이 동일한 노드에서 실행되도록 할 수도 있고 안티 어피니티 사양으로 포드가 동일한 노드에서 실행되지 않게 할 수도 있습니다.

kube-controller-manager

  • kube-APIserver를 통해 클러스터 상태를 지속적으로 모니터링합니다 클러스터의 현재 상태가 원하는 상태와 일치하지 않을 때마다 kube-controller-manager는 원하는 상태를 달성하기 위해 변경을 시도합니다 이를 '컨트롤러 관리자'라고도 하는데 많은 Kubernetes 객체가 컨트롤러라는 코드 루프에 의해 관리되기 때문입니다 이러한 코드 루프는 해결 프로세스를 처리합니다.
  • 다른 종류의 컨트롤러에는 시스템 수준의 책임이 있습니다 예를 들어 노드 컨트롤러의 역할은 노드가 오프라인 상태일 때 모니터링하고 응답하는 것입니다.

kube-cloud-manager

  • 기본 클라우드 제공업체와 상호작용하는 컨트롤러를 관리합니다.
  • 예를 들어 Kubernetes 클러스터를 Google Compute Engine에서 수동으로 시작하면 kube-cloud-manager는 필요할 때 부하 분산기 및 스토리지 볼륨과 같은 Google Cloud 기능을 가져오는 역할을 합니다.
  • 각 노드는 제어 영역 구성요소의 작은 그룹도 실행합니다.
  • 예를 들어 각 노드는 Kubelet을 실행합니다. Kubelet은 각 노드에 있는 Kubernetes의 에이전트와 같습니다. kube-APIserver가 노드에서 포드를 시작하려고 하면 해당 노드의 Kubelet에 연결됩니다. Kubelet은 컨테이너 런타임을 사용하여 포드를 시작하고 준비 프로브 및 활성 프로브를 포함한 수명 주기를 모니터링하고 Kube-APIserver에 다시 보고합니다.
  • 컨테이너 런타임은 컨테이너 이미지에서 컨테이너를 시작하는 방법을 아는 소프트웨어입니다.

Google Kubernetes Engine 관련 개념

  • Kubernetes 클러스터를 직접 설정하는 작업은 아주 복잡합니다. 다행히 오픈소스 명령어 kubeadm으로 클러스터 초기 설정의 대부분을 자동화할 수 있습니다. 그러나 노드가 실패하거나 노드 유지보수가 필요한 경우 관리자가 수동으로 응답해야 합니다.
  • 사용자의 관점에서 보면 훨씬 더 간단합니다. GKE는 사용자를 대신하여 모든 제어 영역 구성요소를 관리합니다. GKE는 IP 주소를 노출하고 그 주소로 모든 Kubernetes API 요청을 사용자가 보내지만 GKE가 사용자를 대신하여 모든 제어 영역 인프라를 프로비저닝하고 관리합니다. 또한 별도의 제어 영역을 추상화합니다.

노드

  • 모든 Kubernetes 환경에서 노드는 Kubernetes 자체가 아닌 클러스터 관리자가 외부에서 만듭니다.
  • GKE는 이 프로세스도 자동화합니다 Compute Engine 가상 머신 인스턴스를 시작하고 노드로 등록합니다. Cloud Console에서 바로 노드 설정을 관리할 수 있습니다.
  • 노드에 설정된 시간당 요금이 부과됩니다.(제어 영역 제외) 노드는 Compute Engine에서 실행되므로 클러스터를 만들 때 노드 머신 유형을 선택할 수 있습니다.

https://kubernetes.io/ko/docs/concepts/architecture/nodes/

 

노드

쿠버네티스는 컨테이너를 파드내에 배치하고 노드 에서 실행함으로 워크로드를 구동한다. 노드는 클러스터에 따라 가상 또는 물리적 머신일 수 있다. 각 노드는 컨트롤 플레인에 의해 관리되며

kubernetes.io

노드 머신

  • 기본적으로 노드 머신 유형은 n1-standard-1이며 가상 CPU 1개와 3.75GB의 메모리를 제공합니다.
  • 일반적으로 최대 96개의 가상 CPU 코어를 사용할 수 있으며 이는 가상 머신으로서는 다소 큰 편에 속합니다 노드의 코어 수와 메모리 용량은 맞춤 설정할 수 있으며 CPU 플랫폼을 선택할 수 있습니다 노드 또는 노드 풀에 대한 기본 최소 CPU 플랫폼을 선택할 수 있으므로 노드 성능을 개선할 수 있습니다 GKE는 절대로 사용자가 지정한 것보다 오래된 CPU 플랫폼을 사용하지 않고 더 최신 플랫폼을 선택하는 경우 비용은 지정된 플랫폼과 동일합니다.

노드 풀

  • 여러 노드 머신 유형을 선택하려면 여러 노드 풀을 만들면 됩니다. 노드 풀은 클러스터 내 노드의 하위집합으로 메모리 용량 또는 CPU 세대와 같은 구성을 공유합니다. 또한 노드 풀을 통해 손쉽게 워크로드가 클러스터 내의 올바른 하드웨어에서 실행되도록 할 수 있습니다. 원하는 노드 풀로 워크로드의 레이블을 지정하기만 하면 됩니다. 노드 풀은 Kubernetes 기능이 아니라 GKE 기능입니다.
  • 오픈소스 Kubernetes 내에서 유사한 메커니즘을 구축할 수 있지만 이 경우 직접 유지 관리해야 합니다 이 노드 풀 수준에서 자동 노드 생성, 자동 노드 복구 클러스터 자동 확장을 사용 설정할 수 있습니다.
  • 여기에는 주의할 점이 있습니다 각 노드의 CPU 및 메모리 일부는 노드가 클러스터의 일부로 작동하게 하는 GKE와 Kubernetes 구성요소를 실행하는 데 필요합니다 예를 들어 15GB의 메모리가 있는 노드를 할당하면 15GB 모두를 포드에서 사용할 수는 없습니다.

클러스터

  • 클러스터는 단일 Google Cloud 컴퓨팅 영역에서 시작되며 하나의 노드 풀에 3개의 동일한 노드가 있습니다 노드 수는 클러스터 생성 중 또는 생성 후에 변경할 수 있습니다.
  • 더 많은 노드를 추가하고 애플리케이션의 여러 복제본을 배포하면 애플리케이션의 가용성이 일정 수준까지는 향상됩니다.

GKE 리전 클러스터

  • 전체 컴퓨팅 영역이 다운됬을 때 GKE 리전 클러스터를 사용하면 이 문제를 해결할 수 있습니다.
  • 리전 클러스터에는 클러스터에 대한 단일 API 엔드포인트가 있습니다. 그러나 제어 영역과 노드는 한 리전 내의 여러 Compute Engine 영역에 분산되어 있습니다. 리전 클러스터는 애플리케이션의 가용성이 단일 리전 내의 여러 영역에서 유지되도록 합니다.
  • 또한 제어 영역의 가용성도 유지되므로 애플리케이션과 관리 기능 모두가 몇몇 영역이 손실되어도 유지됩니다. (전체 영역 손실 시 유지되지 않습니다)
  • 기본적으로 리전 클러스터는 3개의 영역에 분산되어 있고 각 영역에는 제어 영역 1개와 노드 3개가 있습니다. 이 수는 늘리거나 줄일 수 있습니다.
  • 영역 클러스터를 빌드한 후에는 리전 클러스터로 변환할 수 없으며 그 반대의 경우도 마찬가지입니다.
  • 리전 별 또는 영역별 GKE 클러스터를 비공개 클러스터로도 설정할 수 있습니다. 전체 클러스터, 즉 제어 영역 및 해당 노드는 공개 인터넷에서 숨김 처리됩니다.

Kubernetes 객체 관리

  • 모든 Kubernetes 객체는 고유한 이름과 고유 식별자로 구분됩니다.
  • Kubernetes가 만들고 유지할 객체를 매니페스트 파일을 사용하여 정의했습니다.

매니페스트 파일

이는 일반 텍스트 파일입니다. YAML 또는 JSON 형식으로 작성할 수도 있습니다. YAML은 사람이 읽기 쉽고 수정이 덜 번거롭다. 이 YAML 파일은 포드에 대한 원하는 상태 즉 이름과 실행할 특정 컨테이너 이미지를 정의합니다.

매니페스트 파일의 특정 필수 필드

  • apiVersion은 객체를 만드는 데 사용되는 Kubernetes API 버전을 나타냅니다 Kubernetes 프로토콜은 이전 버전과의 호환성을 유지할 수 있도록 버전이 지정됩니다.
  • kind는 원하는 객체를 정의합니다.
  • metadata는 객체를 식별할 수 있도록 이름, 고유 ID, 네임스페이스(선택사항)를 사용합니다. 동일한 YAML 파일에 여러 관련 객체를 정의할 수 있으며 권장사항이기도 합니다. 하나의 파일이 여러 파일보다 관리하기가 쉽다.
  • YAML 파일은 버전 관리 저장소에 저장해야 합니다. 이 방법을 사용하면 변경사항을 쉽게 추적 및 관리하고 필요할 때 해당 변경사항을 취소할 수 있습니다. 이는 클러스터를 다시 만들거나 복원해야 하는 경우에도 큰 도움이 됩니다.
  • Kubernetes 객체를 만들 때 이름을 문자열로 지정합니다. 이름은 고유해야 합니다. 특정 종류의 객체 하나만 한 Kubernetes 네임스페이스에서 특정 이름을 가질 수 있습니다. 그러나 객체가 삭제되면 이름을 다시 사용할 수 있습니다. 이름에는 영숫자 문자, 하이픈, 마침표를 사용할 수 있으며 최대 문자 길이는 253자입니다.
  • 클러스터의 수명 주기 중에 만든 모든 객체에는 Kubernetes에서 생성된 고유 ID(UID)가 할당됩니다 즉, 클러스터의 수명 주기 중에는 두 객체에 한 UID가 할당되지 않습니다.
  • 라벨은 키-값 쌍이며, 이를 사용하여 생성 중이나 생성 후에 객체를 태그 합니다 라벨은 객체와 객체의 하위 집합을 식별하고 구성하는 데 도움이 됩니다. 예를 들어 'app'이라는 라벨을 만들고 이 객체가 속한 애플리케이션을 값으로 지정할 수 있습니다.
  • 라벨에 특정 값이 있는 모든 리소스 또는 특정 값이 없는 모든 리소스 또는 사용자가 제공하는 집합에 값이 있는 모든 리소스를 요청할 수 있습니다.
  • 200개 이상의 YAML 섹션을 관리하는 것은 매우 어렵겠죠 또 다른 문제가 있습니다. 포드는 스스로 복구되지 않고 영원히 실행되도록 설계된 것도 아닙니다. 포드는 일회성, 임시적 용도로 설계되었습니다. 이러한 이유로 Kubernetes에서 실행하는 항목을 관리하는 데에는 개별 포드를 지정하는 것보다 더 효과적인 방법이 있습니다. 이와 같은 설정을 통해 애플리케이션의 고가용성을 수평적 확장과 함께 유지할 수 있습니다. 그보다는 컨트롤러 객체를 선언하여 포드의 상태를 관리하게 할 수 있습니다.

https://kubernetes.io/ko/docs/concepts/overview/working-with-objects/kubernetes-objects/

 

쿠버네티스 오브젝트 이해하기

이 페이지에서는 쿠버네티스 오브젝트가 쿠버네티스 API에서 어떻게 표현되고, 그 오브젝트를 어떻게 .yaml 형식으로 표현할 수 있는지에 대해 설명한다. 쿠버네티스 오브젝트 이해하기 쿠버네티

kubernetes.io

배포

  • 배포는 웹 서버와 같이 수명이 긴 소프트웨어 구성요소에 적합하며 특히 구성요소를 그룹으로 관리하려는 경우에 더욱 적합합니다.
  • 이 예시에서 kube-scheduler가 배포용 포드를 예약할 때 kube-APIserver에 알립니다.
  • 이러한 변경사항은 컨트롤러 특히 배포 컨트롤러가 지속적으로 모니터링합니다. 배포 컨트롤러가 nginx 포드 3개를 모니터링하고 유지합니다. 이 포드 중 하나가 실패하면 배포 컨트롤러는 현재 상태와 원하는 상태의 차이를 인식하고 새 포드를 시작하여 문제를 해결하려고 합니다. 각 포드에 여러 YAML 매니페스트 또는 파일을 사용하는 대신 단일 배포 YAML을 사용하여 동일한 컨테이너의 복제본 3개를 시작했습니다. 배포는 정의된 포드 집합이 지정된 시간에 실행되도록 합니다. 객체 사양 내에서 원하는 복제본 포드의 개수 포드 실행 방법 이러한 포드 내에서 실행할 컨테이너, 마운트 할 볼륨을 지정하게 됩니다. 이러한 템플릿을 기반으로 컨트롤러는 클러스터 내에서 원하는 포드 상태를 유지합니다.

프로젝트

  • 작업을 하다 보면 아마 여러 프로젝트에 단일 클러스터를 사용하게 될 것입니다 동시에 프로젝트 또는 팀을 기반으로 리소스 할당량을 유지하는 것이 중요합니다.
  • 각 Kubernetes 클러스터는 하나의 GCP 프로젝트에 연결되어 있는데 이 프로젝트는 공식적 의미의 프로젝트입니다 이를 통해 IAM 정책이 적용되고 비용이 청구되는 것입니다.

네임스페이스

  • 어떻게 클러스터의 모든 작업을 체계적으로 정리할 수 있을까요? Kubernetes를 사용하면 단일 물리적 클러스터를 '네임스페이스'라고 하는 여러 가상 클러스터로 추상화할 수 있습니다.
  • 네임스페이스는 포드, 배포, 컨트롤러 등 리소스 이름 지정 범위를 제공합니다.
  • 동일한 네임스페이스에는 중복된 객체 이름을 사용할 수 없습니다 동일한 이름(nginx)으로 포드 3개를 만들 수 있지만 동일한 네임스페이스를 공유하지 않는 경우에만 가능합니다.
  • 네임스페이스 'Test'에서 동일한 이름('nginx Pod')으로 포드를 하나 더 만드는 것은 허용되지 않습니다.
  • 객체 이름은 모든 네임스페이스가 아닌 한 네임스페이스 내에서만 고유하면 됩니다. 네임스페이스를 사용하면 클러스터 전체에 리소스 할당량을 적용할 수도 있습니다. 이러한 할당량은 네임스페이스 내의 리소스 사용량 한도를 정의합니다.
  • 배포 사본을 빠르게 테스트해 보기 위해 사용한다고 가정해 봅시다 새 네임스페이스에서 이름 충돌 없이 테스트를 간단하게 수행할 수 있습니다 .
  • 워크로드 리소스는 기본적으로 이 네임스페이스를 사용합니다.
  • 네임스페이스를 만들 때 네임스페이스에 리소스를 적용하려면 명령줄 네임스페이스 플래그를 사용하거나 리소스에 대한 YAML 파일에 네임스페이스를 지정할 수 있습니다.

Kube-system 네임스페이스

  • Kubernetes 시스템 자체에서 만든 객체를 포함합니다.
  • kubectl 명령어를 사용하면 기본적으로 Kube-system 네임스페이스의 항목이 제외되지만 콘텐츠를 확인하도록 명시적으로 선택할 수 있습니다.
  • Kube-public 네임스페이스는 모든 사용자가 읽을 수 있도록 공개된 객체를 포함합니다. Kube-public은 클러스터에서 실행되는 모든 객체에 정보를 배포하기 위한 도구입니다. 반드시 사용할 필요는 없지만 클러스터에서 실행되는 모든 객체가 동일한 목표와 관련이 있고 공통 정보가 필요한 경우 특히 유용할 수 있습니다.

서비스

서비스는 지정된 포드에 대한 로드 밸런싱 액세스를 제공합니다. 다음의 세 가지 주요 유형이 있다.

  1. 클러스터IP: 이 내에서만 액세스 할 수 있는 IP 주소에 서비스를 노출합니다.
  2. NodePort: 클러스터에 있는 각 노드의 IP 주소에 서비스를 표시합니다.
  3. 로드 밸런서: 다음에서 제공하는 로드 밸런싱 서비스를 사용하여 서비스를 외부에 노출합니다.

Google Kubernetes Engine에서 로드 밸런서는 지역 네트워크 로드에 대한 액세스를 제공합니다.

기본적으로 구성 균형을 조정합니다. 전역 HTTP(S) 부하 분산에 접근하려면 구성, 수신 개체를 사용할 수 있습니다.

컨트롤러 개체 간의 관계

  1. ReplicaSets
  2. Deployments
  3. Replication Controllers
  4. StatefulSets
  5. DaemonSets
  6. Jobs

ReplicaSet 컨트롤러는 모든 Pods의 모집단이 서로 동일하도록 보장한다. 배포를 통해 ReplicaSet 및 Pods에 대한 선언적 업데이트를 수행할 수 있습니다. 실제로 Deployments는 선언적 목표를 달성하기 위해 자체 ReplicaSet을 관리합니다. 가장 일반적으로 Deployments 개체로 작업할 수 있도록 을 지정합니다. Deployments 기능을 사용하면 필요에 따라 ReplicaSet을 사용하여 Pod를 생성, 업데이트, 롤백 및 확장할 수 있습니다. 예를 들어 Deployments의 롤링 업그레이드를 수행할 때 두 번째 ReplicaSet을 만든 다음 새 ReplicaSet의 포드 수를 늘립니다. 원본 ReplicaSet의 포드 수를 줄입니다. 복제 컨트롤러는 ReplicaSets 및 Deployments는 하지만 더 이상 사용하지 않는 것이 좋습니다. Deployments는 유용한 기능을 제공하기 때문입니다. 로컬 상태를 유지하는 애플리케이션을 배포해야 하는 경우 StatefulSet이 더 나은 옵션입니다. StatefulSet은 포드가 동일한 컨테이너 사양을 사용한다는 점에서 배포와 유사합니다. 배포를 통해 생성된 ID에는 영구 ID가 부여되지 않습니다. 대조적으로 Pods는 StatefulSet을 사용하여 생성된 것은 안정적인 네트워크 ID와 함께 고유한 영구 ID를 가지고 있다. 클러스터 내의 모든 노드 또는 선택한 노드에서 특정 팟을 실행해야 하는 경우는 DaemonSets. DaemonSet은 특정 Pod가 항상 모든 부분 집합 또는 일부 부분 집합에서 실행되도록 보장합니다. 새 노드가 추가되면 DaemonSet이 자동으로 해당 노드에 Pods를 설정합니다. 다른 프로세스에 유용한 서비스를 제공하는 무중단 프로세스입니다. Kubernetes cluster는 DaemonSet을 사용하여 fluentd와 같은 로깅 에이전트가 의 모든 노드에서 실행되도록 할 수 있습니다. 작업 컨트롤러는 태스크를 실행하는 데 필요한 하나 이상의 포드를 생성합니다. 작업이 완료되면, 그러면 Job이 모든 팟을 종료합니다. 관련 컨트롤러는 CronJob으로, 팟을 실행한다.

Migrate for Anthos

  • Google Cloud의 컨테이너화 된 배포로 가져오기 위한 도구입니다.
  • 프로세스가 자동화되어 있다 워크로드는 온프레미스이거나 다른 클라우드 제공업체에 있을 수 있습니다. 앞서 말씀드렸듯이 Migrate for Anthos는 자동화되어 있으며 속도도 매우 빠릅니다. 대부분의 마이그레이션은 10분 이내에 완료되며 한 번에 애플리케이션 데이터를 마이그레이션 하거나 또는 애플리케이션이 활성화될 때까지 클라우드로 스트리밍 하는 방식 중에서 선택할 수 있습니다.
728x90
728x90

엔티티 식별자 생성 방식

식별자 생성 방식

  • 직접 할당
    • @Id 설정 대상에 직접 값 설정
      • 사용자가 입력한 값, 규칙에 따라 생성한 값 등
      • 예) 이메일, 주문 번호
    • 저장하기 전에 생성자 할당, 보통 생성 시점에 전달
  • 식별 칼럼 방식
    • DB의 식별 칼럼에 매핑(예, MySQL 자동 증가 칼럼)
      • db가 식별자를 생성하므로 객체 생성 시에 식별 값을 설정하지 않음
    • 설정 방식
      • @GeneratedValue(strategy = Generation.Type.IDENTITY) 설정
    • Insert 쿼리를 실행해야 식별자를 알 수 있음
      • EntityManager#persist() 호출 시점에 Insert 쿼리 실행
      • persist() 실행할 때 객체에 식별자 값 할당됨
  • 시퀀스 사용 방식
    • 시퀀스 사용해서 식별자 생성
      • JPA가 식별자 생성 처리 → 객체 생성 시에 식별 값을 설정하지 않음
    • 설정 방식
      • @SequenceGenerator로 시퀀스 생성기 설정
      • @GeneratedValue로 generator로 시퀀스 생성기 지정
    • EntityManager#persist() 호출 시점에 시퀀스 사용
      • persist() 실행할 때 객체에 식별자 값 할당됨
      • Insert 쿼리는 실행하지 않음
  • 테이블 사용 방식
    • 테이블을 시퀀스처럼 사용
      • 테이블에 엔티티를 위한 키를 보관
      • 해당 테이블을 이용해서 다음 식별자 생성
    • 설정 방식
      • @TableGenerator로 테이블 생성기 설정
      • @GeneratedValue의 generator로 테이블 생성기 지정
    • EntityManager#persist() 호출 시점에 테이블 사용
      • persist() 할 때 테이블을 이용해서 식별자 구하고 이를 엔티티에 할당
      • Insert 쿼리는 실행하지 않음
    • 식별자를 생성할 때 사용할 때 테이블 구조
      • 엔티티 이름 칼럼
      • 식별자 보관 칼럼

https://www.youtube.com/watch?v=Xw9uTs72SVo&list=PLwouWTPuIjUi9Sih9mEci4Rqhz1VqiQXX&index=5 

@Embeddable

  1. 엔티티가 아닌 타입을 한 개 이상의 필드와 매핑할 때 사용
    1. 예 : Adress, Money 등 매핑
  2. 엔티티의 한 속성으로 @Embeddable 적용 타입 사용
@Embeddable
public class Adress {
	@Column(name = "addr1")
	private String address1;
	@Column(name = "addr2")
	private String address2;
	@Column(name = "zipcode")
	private String zipcode;
	
	protected Address() {
	}
	... 생성자, getter 생략

	@Entitiy
	@Table(name = "hotel_info")
	public class Hotel {
		@Id
		@Column(name = "hotel_id")
		private String id;
		....
		@Embedded
		private Adress adress;

같은 @Embeddable 타입 필드가 두 개면?

문제점
@Entity
public class Employee {
	@Id
	private String id;
	@Embedded
	private Address homeAddress;
	@Embedded
	private Address workAddress;
}
서로 같은 컬럼에 매핑이되어서 엔티티메니저팩토리를 초기화할 때 에러가 난다.
해결법
@Entity
public class Employee {
	@Id
	private String id;
	@Embedded
	private Address homeAddress;
	@AttributeOverrides({
		@AttributeOverride(name = "address1", column = @Column(name = "waddr1")),
		@AttributeOverride(name = "address2", column = @Column(name = "waddr2")),
		@AttributeOverride(name = "zipcode", column = @Column(name = "wzipcode"))
	}) 
	@Embedded
	private Address workAddress;
}

정리

  • @Embeddable을 사용하면 모델을 더 잘 표현할 수 있음
  • 개별 속성을 모아서 이해 → 타입으로 더 쉽게 이해
    • (addr1, addr2, zipcode)를 모아서 ‘이게 주소구나’ → ‘주소’네

https://www.youtube.com/watch?v=WtS5IszIueA&list=PLwouWTPuIjUi9Sih9mEci4Rqhz1VqiQXX&index=6 

@Embeddable 다른 테이블에 매핑하기

다른 테이블에 값을 저장할 때

  • @SecondaryTable + 테이블명
@Embeddable
public class Intro {
	@Column(table = "writer_intro", name = "content_type")
	private String contentType;
	
	@Column(table = "writer_intro")
	private String content;
	...
}

@Entity
@SecondaryTable(name = "writer_intro", 
	pkJoinColumns = @PrimaryKeyJoinColumn(
		name = "writer_id", // writer_intro 테이블 칼럼
		referencedColumnName = "id" // writer 테이블 칼럼
	)
)
public class Writer {
	...
	@Embedded
	private Intro intro;
}
  • @SecondaryTable + @AttributeOverride
@Embeddable
public class Address {
	@Column(name = "addr1")
	private String address1;
	@Column(name = "addr2")
	private String address2;
	@Column(name = "zipcode")
	private String zipcode;
}

@Entity
@SecondaryTables({
	@SecondaryTable(name = "writer_address", 
		pkJoinColumns = @PrimaryKeyJoinColumn(
			name = "writer_id",
			referencedColumnName = "id"
	),
	...
})
public class Writer {
	....
	@Embedded
	@AttributeOverrides({
		@AttributeOverride(name = "address1", 
			column = @Column(table= "writer_address", name = "addr1")),
		@AttributeOverride(name = "address2", 
			column = @Column(able= "writer_address", name = "addr2")),
		@AttributeOverride(name = "zipcode", 
			column = @Column(nable= "writer_address"))
	})
	private Address address; 	

정리

  • @SecondaryTable
    • 다른 테이블에 저장된 데이터를 @Embeddable로 매핑 가능
    • 다른 테이블에 저장된 데이터가 개념적으로 밸류(값)일 때 사용
      • 1 - 1 관계인 두 테이블을 매핑할 때 종종 출현

https://www.youtube.com/watch?v=3_sdQGfL2Lg&list=PLwouWTPuIjUi9Sih9mEci4Rqhz1VqiQXX&index=7 

값 컬렉션 Set 매핑

  • 단순 값 Set 매핑
@Entity
@Table(name = "role")
public class Role {
	@Id
	private String id;
	private String name;
	
	@ElementCollection
	@CollectionTable(
		name = "role_perm",
		joinColumns = @JoinColumn(name = "role_id")
	)
	@Column(name = "perm")
	private Set<String> permission = new HashSet<>();

정리

  • 컬렉션 테이블을 이용한 값 set 매핑
    • @ElementCollection과 @CollectionTable이면 끝

https://www.youtube.com/watch?v=lQ4-kVeHVGk&list=PLwouWTPuIjUi9Sih9mEci4Rqhz1VqiQXX&index=8 

값 컬렉션 List 매핑

  • 단순 값 List 매핑
@Entity
@Table(name = "question")
public class Question {
	@Id
	private String id;
	private String text;

	@ElementCollection
	@CollectionTable(
		name = "question_choice",
		joinColumns = JoinColumn(name = "question_id")
	)
	@OrderColumn(name = "idx")
	@Column(name = "text")
	private List<String> choices;

정리

  • 컬렉션 테이블을 이용한 값 List 매핑
    • @ElementCollection과 @CollectionTable, @OrderColumn이면 끝

https://www.youtube.com/watch?v=Wq4B5RpIeAY&list=PLwouWTPuIjUi9Sih9mEci4Rqhz1VqiQXX&index=9 

값 컬렉션 Map 매핑

  • 앞에 Set하고 동일
@Entity
@Table(name = "doc")
public class Role {
	@Id
	private String id;
	private String name;
	private String content;
	@ElementCollection
	@CollectionTable(
		name = "doc_prop",
		joinColumns = @JoinColumn(name = "doc_id")
	)
	@MapKeyColumn(name = "name")
	@Column(name = "value")
	private Map<String, String> props = new HashMap<>();

정리

  • 컬렉션 테이블을 이용한 값 Map 매핑
    • @ElementCollection과 @CollectionTable, @MapKeyColumn이면 끝

https://www.youtube.com/watch?v=CPIgicoqLnM&list=PLwouWTPuIjUi9Sih9mEci4Rqhz1VqiQXX&index=10 

 

728x90
728x90

영속 단위 기준으로 초기화

EntitiyManagerFactory emf = Persistence.createEntityManagerFactory("jpabegin");

persistence.xml 파일에 정의한 영속 단위 기준으로 초기화

필요한 자원 생성

emf.close();

팩토리 닫음

사용한 자원 반환

EntityManager로 DB 연동

EntityManager entityManager = emf.createEntityManager(); //EntityManager 생성
EntityTransaction transaction = entityManager.getTransaction(); //EntityTransaction 구함
try {
	transaction.begin();  // 트렌젝션 시작
	...entityManager로 DB 작업
	transaction.commit(); // 트렌젝션 커밋
} catch (Exception ex) {
	transaction.rollback(); // 트렌젝션 롤백
} finally {
	entityManager.close(); // 엔티티매니저 닫음
}

저장과 쿼리 실행 시점

transaction.begin();
User user = new User("user@user.com", "user", LocalDateTime.now());
entityManager.persist(user);
log.info("EntityManager.persist 호출함");
transaction.commit();
log.info("EntityTransaction.commit 호출함");

persist때 insert쿼리문이 실행되지 않고 commit 시점에 insert 쿼리가 실행된다.

수정도 commit 시점에 알맞게 실행된다.

영속 컨텍스트

EntityManager 단위로 영속 컨텍스트 관리

커밋 시점에 영속 컨텍스트의 변경 내역을 DB에 반영(변경 쿼리 실행)

정리

기본구조

  • EntityManagerFactory 초기화
  • DB 작업이 필요할 때마다
    • EntityManager 생성
    • EntityManager로 DB 조작
    • EntityTransactio으로 트렌젝션 관리
  • 하지만 스프링과 연동할 때는
    • 대부분 스프링이 대신 처리하므로 매핑 설정 중심으로 작업

영속성 컨텍스트

  • 엔티티를 메모리에 보관
  • 변경을 추적해서 트렌젝션 커밋 시점에 DB에 반영

https://www.youtube.com/watch?v=7ljqL8ThUts&list=PLwouWTPuIjUi9Sih9mEci4Rqhz1VqiQXX&index=2 

엔티티 CRUD 처리

영속 컨텍스트는 트렌젝션 범위 안에서 유지가 된다.

EntityManager가 제공하는 메서드 이용

  • persist() : 저장
  • find(클래스, 식별자) : 조회
    • 엔티티 타입, ID 타입이 맞아야 함
    • 일치하지 않으면 익셉션
  • 수정 : 트렌젝션 범위 내에서 변경된 값을 자동 반영
  • remove() : 삭제, find메서드로 읽어온 객체를 전달해야 된다.
  • merge()

https://www.youtube.com/watch?v=kmCKAwOie_I&list=PLwouWTPuIjUi9Sih9mEci4Rqhz1VqiQXX&index=3 

엔티티 매핑

  1. 기본 어노테이션
    1. @Entity : 엔티티 클래스에 설정, 필수
    2. @Table : 매핑할 테이블 지정
      1. 애노테이션을 생략하면 클래스 이름과 동일한 이름에 매핑
      2. 속성
        1. name : 테이블 이름(생략 하면 클래스 이름과 동일한 이름)
        2. catalog : 카탈로그 이름 (예, MySQL DB 이름)
        3. schema : 스키마 이름 (예, 오라클 스키마 이름)
    3. @Id : 식별자 속성에 설정, 필수
    4. @Column : 매핑할 칼럼명 지정
      1. 지정하지 않으면 필드명/프로퍼티명 사용
    5. @Enumerated : enum 타입 매핑할 때 설정
      1. 설정 값
        1. EnumType.ORDINAL(기본값) : enum타입의 값의 순서를 저장
          1. 문자열 타입 칼럼에 매핑
        2. EnumType.STRING : enum 타입 값 이름을 저장
          1. 숫자 타입 칼럼에 매핑
    6. @Temporal : java.util.Date, java.util.Calender 매핑
      1. 자바 8 시간/날짜 타입 등장 이후로 거의 안 씀
    7. @Basic : 기본 지원 타입 매핑(거의 안 씀)

엔티티 클래스 제약 조건(스펙 기준)

  1. @Entity 적용해야 함
  2. @Id 적용해야 함
  3. 인자 없는 기본 생성자 필요
  4. 기본 생성자는 public이나 protected여야 함
  5. 최상의 클래스여야 함
  6. final이면 안됨

접근 타입

  1. 두 개의 접근 타입
    1. 필드 접근 : 필드 값을 사용해서 매핑
    2. 프로퍼티 접근 : getter/setter 메서드를 사용해서 매핑
  2. 설정 방법
    1. @Id 애노테이션을 필드에 붙이면 필드 접근
    2. @Id 애노테이션을 getter 메서드에 붙이면 프로퍼티 접근
    3. @Access 애노테이션을 사용해서 명시적으로 지정
      1. 클래스 / 개별 필드에 적용 가능
      2. @Access(AccessType.PROPERTY) / @Access(AccessType.FIELD)
    4. 개인적으로 필드 접근 선호
      1. 불필요한 setter 메서드를 만들 필요 없음

https://www.youtube.com/watch?v=SbMJVuv8Iyo&list=PLwouWTPuIjUi9Sih9mEci4Rqhz1VqiQXX&index=4 

 

 

728x90

+ Recent posts