반응형

고기 대신 SW 한점/Public Cloud 28

Kubernets 구조, Yaml file 이해하기

►Kubernetes 구조 쿠버네티스의 핵심 개념을 한 줄로 표현하자면, 계속해서 원하는 상태를 만들기 위해 현재 상태를 바꾸는 플랫폼입니다. 예를 들어 내가 원하는 컨테이너를 쿠버네티스에 알려주면 (Desired State) 쿠버네티스는 계속해서 Current State(현재상태) 를 체크합니다. 단순히 컨테이너 뿐만 아니라 네임스페이스나 네트워크, 스토리지 같은 부분도 동일하게 동작합니다. 쿠버네티스는 가장 먼저 클러스터 구조를 이해할 필요가 있습니다. 클러스터는 여러 대의 컴퓨터가 모여서 같은 목적으로 수행되는 컴퓨터들의 집합이라고 볼 수 있는데, 이때 클러스터 전체를 관리하는 컨트롤러로서 마스터가 존재하고, 컨테이너가 배포되는 물리적인 머신을 노드라고 하게 됩니다. 마스터에는 kube-api-se..

AWS Site to Site VPN 연결해 보기

AWS Site to Site VPN란? AWS Site-To-Site VPN은 IPsec VPN 서비스입니다. 운영환경에 이용하기 적합하지는 않지만, 이를 이용하면 온프렘과 네트워크를 연결하고 테스트 환경을 쉽게 구축 할 수 있습니다. 아래와 같이 가상의 온프렘을 AWS VPC와 EC2를 이용해 구축하고, TransitGateway를 통해 VPN과 연결합니다. 기본적으로 Amazon VPC에서 시작하는 인스턴스는 원격 네트워크와 통신할 수 없습니다. AWS Site-to-site VPN 연결을 통해 트래픽을 전달하도록 라우팅을 구성하여 VPC에서 원격 네트워크에 대한 액세스를 활성화 할 수 있습니다. 1. 개념 VPN 연결 : 온프레미스 장비와 VPC간의 보안 연결 VPN 터널 : 데이터가 고객 네트워..

AWS CloudFront 뽀개기

1. AWS CloudFront? Amazon CloudFront는 .html, .css, .js 및 이미지 파일과 같은 정적 및 동적 웹 콘텐츠를 사용자에게 더 빨리 배포하도록 지원하는 웹 서비스 udFront는 엣지 로케이션이라고 하는 데이터 센터의 전 세계 네트워크를 통해 콘텐츠를 제공 CloudFront를 통해 서비스하는 콘텐츠를 사용자가 요청하면 지연 시간이 가장 낮은 엣지 로케이션으로 요청이 라우팅되므로 가능한 최고의 성능으로 콘텐츠가 제공 1.1 콘텐츠를 전송하도록 CloudFront를 설정하는 방법 설명 1 Amazon S3 버킷 또는 고유 HTTP 서버와 같은 오리진 서버(S3버킷 또는 웹서버)를 지정 2 오리진 서버에 파일을 업로드 Amazon S3 버킷을 오리진 서버로 사용할 경우 객..

Kafka,카푸카 알아보기

Kafka는 무엇? Kafka는 서버 클러스터 내에서 데이터 스트림을 레코드로 유지하는 방식으로 작동하는 브로커 기반 솔루션입니다. Kafka 서버는 여러 데이터 센터에 분산되어 있을 수 있으며 여러 서버 인스턴스에 걸쳐 레코드 스트림(메시지)을 토픽으로 저장하여 데이터 지속성을 제공할 수 있습니다. 토픽은 레코드 또는 메시지를 키, 값 및 타임 스탬프로 구성된 일련의 튜플, 변경 불가능한 Python 객체 시퀀스로 저장합니다. KAFKA의 주요 개념 Kafka는 오늘날 시장에서 가장 빠르게 성장하는 오픈 소스 메시징 솔루션 중 하나입니다. 이는 주로 분산 시스템에 우수한 로깅 메커니즘을 제공하는 아키텍처 기반 설계 패턴 때문입니다. 실시간 로그 스트리밍을 위해 특별히 제작된 Apache Kafka는 다..

AWS Secrets Manager 사용하기

K8S는 Secrets라는 리소스를 통해서 애플리케이션에 필요로하는 민감한 정보를 저장하고 관리할 수 있는 인터페이스를 제공하고 있습니다. 하지만 Kubernetes의 Secrets는 AWS Secrets Manager와 같은 외부 Secret 관리 system과 연동되지 않기 때문에 외부 Secret관리 System이 가지고 있는 기능들을 활용하지 못한다는 단점이 있습니다. K8s의 External Secrets는 이런 단점을 보완하기 위해 만들어진 System 입니다. kubernetes-external-secrets github : GitHub - external-secrets/kubernetes-external-secrets: Integrate external secret management sy..

Glue, Athena를 활용한 Data 정합성 구성

마이크로서비스간 데이터 동기화를 위해 Kafka를 활용한 CDC 구현과 그 구현의 데이터 정합성을 검사하기 위해서 RDS PostgreSQL의 Table을 S3로 복사하고 이를 Athena로 쿼리할 수 있도록 구성하는 방법을 설명합니다. 먼저 타깃 DB로의 데이터를 옮길 필요가 있을 때 흔히 CDC와 함께 고려되는 것은 ETL 솔루션인데 그것이 어떤 것인지 간단히 알아보도록 합시다. CDC와 ETL은 소스 DB의 데이터를 선별해 타깃 DB로 옮긴다는 방식에서는 같지만, 두 솔루션의 용도와 목적은 판이하게 다릅니다. CDC는 Changed Data Capture의 약자로 데이터베이스의 변경된 내용만 추출하여 다른 시스템 간 데이터 복제 및 활용을 할 수 있게 하는 솔루션입니다. 반면 ETL은 추출, 변환,..

AWS Certified Cloud Practitioner 시험 범위

AWS Certified Cloud Practitioner 시험의 준비 상태를 평가하는 방법에 대해 정리합니다. AWS Certified Cloud Practitioner 자격증을 취득하려면 응시자가 특정 직무 역할과 관계없이 AWS Cloud에 대한 전반적인 지식을 입증해야 합니다. 이 과정을 통해 시험과 관련된 여러 가지 주제 영역에 대해서 살펴보고, 각 영역이 AWS Cloud Practitioner 역할 및 특정 학습 분야에 어떻게 연결되는지 알아보아야 합니다. 또한 시험에서 테스트하는 개념 확인하도록 합시다. AWS Certified Cloud Practitioner가 되면 어떤 이점이 있는지 확인해 보도록 합시다. 우선 이 시험은 AWS cloud에 대해 전반적으로 이해하고 있는 사람들을 대상..

[AWS] External Secrets

kubernetes-external-secrets github : GitHub - external-secrets/kubernetes-external-secrets: Integrate external secret management systems with Kubernetes Example Architecture) NodeJS 기반의 ExternalSecrets CRD를 통해 Backend의 Secret 저장소들과 연동 AWS Secrets Manager, AWS Parameter Store, Hashicorp Vault, AKS, GKS, Alibaba 등의 Secret Manager와 연동 ex) kubernetes-external-secrets/examples at master · external-se..

Autoscaling+HPA - Kubernets Probes with Sprint Boot App

Configure Liveness, Readiness, and Startup Probes Configure Liveness, Readiness and Startup Probes This page shows how to configure liveness, readiness and startup probes for containers. The kubelet uses liveness probes to know when to restart a container. For example, liveness probes could catch a deadlock, where an application is running, but unable t kubernetes.io 각 노드에서 Agent 방식으로 동작하는 kubel..

Autoscaling+HPA - Instance Type Profiling

https://docs.aws.amazon.com/ko_kr/eks/latest/userguide/choosing-instance-type.html Amazon EC2 인스턴스 유형 선택 - Amazon EKS Amazon EKS에 최적화된 v20220406 이상의 Amazon Linux 2 AMI를 사용하는 경우 최신 AMI로 업그레이드하지 않고도 새 인스턴스 유형을 사용할 수 있습니다. 이러한 AMI의 경우 AMI는 eni-max-pods.txt 파일에 나열 docs.aws.amazon.com 인스턴스 타입 결정 시 고려사항 노드 그룹의 인스턴스 수 - 일반적으로 더 적고 큰 인스턴스를 구성하는 것을 권장합니다. DaemonSet(각 노드별로 생성되는 Pod) 가 많은 경우는 특히 해당 Pod에서 리..

반응형