오늘도 지식 한점!

마이크로서비스간 데이터 동기화를 위해 Kafka를 활용한 CDC 구현과 그 구현의 데이터 정합성을 검사하기 위해서 RDS PostgreSQL의 Table을 S3로 복사하고 이를 Athena로 쿼리할 수 있도록 구성하는 방법을 설명합니다. 먼저 타깃 DB로의 데이터를 옮길 필요가 있을 때 흔히 CDC와 함께 고려되는 것은 ETL 솔루션인데 그것이 어떤 것인지 간단히 알아보도록 합시다. CDC와 ETL은 소스 DB의 데이터를 선별해 타깃 DB로 옮긴다는 방식에서는 같지만, 두 솔루션의 용도와 목적은 판이하게 다릅니다. CDC는 Changed Data Capture의 약자로 데이터베이스의 변경된 내용만 추출하여 다른 시스템 간 데이터 복제 및 활용을 할 수 있게 하는 솔루션입니다. 반면 ETL은 추출, 변환,..

AWS Certified Cloud Practitioner 시험의 준비 상태를 평가하는 방법에 대해 정리합니다. AWS Certified Cloud Practitioner 자격증을 취득하려면 응시자가 특정 직무 역할과 관계없이 AWS Cloud에 대한 전반적인 지식을 입증해야 합니다. 이 과정을 통해 시험과 관련된 여러 가지 주제 영역에 대해서 살펴보고, 각 영역이 AWS Cloud Practitioner 역할 및 특정 학습 분야에 어떻게 연결되는지 알아보아야 합니다. 또한 시험에서 테스트하는 개념 확인하도록 합시다. AWS Certified Cloud Practitioner가 되면 어떤 이점이 있는지 확인해 보도록 합시다. 우선 이 시험은 AWS cloud에 대해 전반적으로 이해하고 있는 사람들을 대상..

kubernetes-external-secrets github : GitHub - external-secrets/kubernetes-external-secrets: Integrate external secret management systems with Kubernetes Example Architecture) NodeJS 기반의 ExternalSecrets CRD를 통해 Backend의 Secret 저장소들과 연동 AWS Secrets Manager, AWS Parameter Store, Hashicorp Vault, AKS, GKS, Alibaba 등의 Secret Manager와 연동 ex) kubernetes-external-secrets/examples at master · external-se..

초등학생 여권이 필요하여 여권사진이 필요하여 동네 근처 여권사진이 가능한 스튜디오(?)를 검색하고 그중에서 저렴한 곳을 찾았습니다. 아저씨 한분이 하시는 곳이지만... 손님이 꽤 많았거든요... 어떻게 해서 사진을 촬영하고 나름 포토샵을 통해서 보정을 하고, 사진을 받아 구청에 여권 만들기 위해 접수를 하였습니다. 접수자가 사진이 너무 깨끗하고, 머리 윗부분이 너무 정돈이 잘되어 있어 과한 포토샵으로 보인다고 접수 거부의 자세를 취하였습니다. 어떻게 약간의 설득을 시켜 접수는 하였지만... 확인자가 보고 접수 거부시 전화가 올것이라는 얘기를 들었습니다. 그래서 여권사진이 어떤 상태여야 하는지를 확인하는 글을 쓰고자 합니다. 외교부 여권 안내(https://www.passport.go.kr/new/issu..

Configure Liveness, Readiness, and Startup Probes Configure Liveness, Readiness and Startup Probes This page shows how to configure liveness, readiness and startup probes for containers. The kubelet uses liveness probes to know when to restart a container. For example, liveness probes could catch a deadlock, where an application is running, but unable t kubernetes.io 각 노드에서 Agent 방식으로 동작하는 kubel..

https://docs.aws.amazon.com/ko_kr/eks/latest/userguide/choosing-instance-type.html Amazon EC2 인스턴스 유형 선택 - Amazon EKS Amazon EKS에 최적화된 v20220406 이상의 Amazon Linux 2 AMI를 사용하는 경우 최신 AMI로 업그레이드하지 않고도 새 인스턴스 유형을 사용할 수 있습니다. 이러한 AMI의 경우 AMI는 eni-max-pods.txt 파일에 나열 docs.aws.amazon.com 인스턴스 타입 결정 시 고려사항 노드 그룹의 인스턴스 수 - 일반적으로 더 적고 큰 인스턴스를 구성하는 것을 권장합니다. DaemonSet(각 노드별로 생성되는 Pod) 가 많은 경우는 특히 해당 Pod에서 리..

우리은행이 거래은행이라 우리은행의 경우입니다. 유튜브나 티스토리 같이 AdSense를 연동할 수 잇는 채널을 가지고 있으며, 구글 애드센스 계정에서 자동인출을 한번도 받아본 적이 없는 경우를 위해 작성한 포스트 입니다. 유튜브의 경우 미국에서 시청하는 기록에 대해서는 미국 세금을 떼고 준다고 하네요, 어찌보면 합리적이다라고 생각도 되지만... 사업자로 등록된 유튜버는 미국으로부터 발생하는 광고 수익의 10%만 징수합니다. 개인 자격으로 신청해서 수익이 발생하는 경우는 30%의 세금을 징수하게 됩니다. 결국 사업자 신청해서 비용처리라도 하시는게 좋을 듯.... 애드센스 결제수단 추가하기 만약 결재 정보가 들어가 있지 않으면 위와 같은 오류가 표시되어 있습니다. >로그인 후 AdSense에 접속하셨다면 왼쪽..

PostgreSQL JDBC에서 제공하는 Simple Connection Fail-over 기능, AWS PostgreSQL JDBC(현재 public preview)에 구현된 Fail-over 사용 또는 Amazon RDS Proxy로 conncetion 관리를 할수 있습니다. Option 1: PostgreSQL JDBC PostgreSQL JDBC에서는 Simple Connection Fail-over를 지원하고 있습니다. Connection fail-over를 지원하기 위해 여러 endpoint를 쉼표로 구분하여 JDBC URL에 정의할 수 있습니다. 드라이버는 연결이 성공할 때까지 순서대로 node에 대해 각각 한 번 연결을 시도합니다. 아무 것도 성공하지 못하면 정상적인 연결 예외가 발생합니다..

https://istio.io/latest/docs/tasks/observability/ Observability Demonstrates how to collect telemetry information from the mesh. istio.io Observability vs Monitoring 외부 신호와 특성만 보고 시스템 안정적으로 동작하는지 확인하고 문제가 발생했을때 언제 잘못되었는지 어떤 이유인지 파악하기 위해 측정되는 시스템의 특성을 Observability라 얘기합니다. Observability는 런타임 동작을 변경할 수 있는 시스템에 대한 제어를 구현하는 데 중요합니다. 클라우드 인프라와 어플리케이션에서 생성하는 로그와 이벤트, 메트릭 등 모든것을 기록하고 관찰하는 것을 의미합니다. Obs..

클라우드 환경으로 빠른 전환이 이루어지고 있고, 그에 따른 기회와 위협도 증가하고 있는 상태입니다. 기존 보안 체계의 바깥의 클라우드 환경과 SaaS 애플리케이션 및 새롭게 도입되는 다양한 앱에 대한 IT 서포트의 어려움도 존재합니다. 또한 인증 시스템 파편화로 단일 아이덴티티 스토어 부재와 인증 시스템 개발에 따른 앱 도입 프로젝트 지연이 있습니다. 이러한 사항들이 기업 변화에 무거운 부담이 되고 새로운 보안 환경 및 요구사항 대응에 어려움을 겪게 됩니다. 또한 복잡한 고객 가입 절차가 존재하고, 고객에 대한 통합 뷰가 없으며, 이에 따른 인증 시스템 개발로 인한 시장 접근 지연이 발병하고 보안 및 컴플라이언스 리스크가 존재하는 등 파편화된 고객 아이덴티티 관리가 필요하며, 이런 솔루션을 제공하는 것인..