Google Kubernetes Engine (GKE)에 helm 차트를 활용해서 airflow 배포를 하는 법에 대해서 포스팅하려고 합니다. 코드는 아래 github에서 확인할 수 있습니다. https://github.com/mjs1995/muse-data-engineer/blob/main/blog/gcp/gke_airflow.md helm차트를 활용한 Apache Airflow 배포 Google Kubernetes Engine (GKE)에 helm 차트를 활용해서 airflow 배포를 하는 법에 대해서 포스팅하려고 합니다. gcloud는 Google Cloud Platform(GCP) 리소스를 관리하고 조작하는 데 사용되는 커맨드 라인 인터페이스(CLI) 도구입니다. gcloud 명령어를 사용하면 G..
테라폼으로 airflow helm차트를 배포하던 중에 에러가 발생했습니다. 에러가 발생된 소스 코드입니다. provider "kubernetes" { host = google_container_cluster.primary.endpoint token = data.google_client_config.default.access_token cluster_ca_certificate = base64decode( google_container_cluster.primary.master_auth[0].cluster_ca_certificate ) 이는 프로바이더의 host 주소가 이상하다고 나온 에러였습니다. mun_js@cloudshell:~/terraform-airflow-gke (ggke-401900)$ terra..
IaC(Infrastructure as Code) IaC란 코드를 작성 및 실행하여 인프라를 생성, 배포, 수정, 정리하는 것을 말합니다. 코드형 인프라스트럭처는 물리적 하드웨어 구성이나 인터페이스 구성 도구가 아닌 기계가 읽을 수 있는 정의 파일들을 통한 컴퓨터 데이터 센터의 관리 및 프로비저닝 과정으로 관리되는 IT 인프라스트럭처는 베어 메탈 서버 등의 물리 장비와 가상 머신 및 관련 구성 리소스를 모두 구성합니다. 수동 프로세스가 아닌 스크립트나 선언형 정의를 사용할 수 있으나 이 용어는 선언적 접근을 제고하기 위해 사용되는 일이 더 많습니다. IaC를 구성하는 정의 파일은 JSON, YAML, XML 혹은 자체적으로 사용하는 도메인 특화 언어 DSL(Domain Specific Language)로..
PR 내용 본 포스팅에서는 Python-mysql-replication 프로젝트에 기여한 경험을 공유하고 있습니다. 문서 업데이트, 버그 수정, 그리고 기능 개발 세 가지 분야에서의 기여 과정과 결과를 소개하고자 합니다. docs: Update README to add Featured Books Add Featured Section in README Update README Featured Section with AWS Blog on RDS, XA Transactions Remove duplicated Affected columns output in UpdateRowsEvent Developed UserVarEvent and Added Statement-Based Logging Test Enhance T..
PR 내용 본 포스팅에서는 Python-mysql-replication 프로젝트에 기여한 경험을 공유하고 있습니다. 문서 업데이트, 버그 수정, 그리고 기능 개발 세 가지 분야에서의 기여 과정과 결과를 소개하고자 합니다. docs: Update README to add Featured Books Add Featured Section in README Update README Featured Section with AWS Blog on RDS, XA Transactions Remove duplicated Affected columns output in UpdateRowsEvent Developed UserVarEvent and Added Statement-Based Logging Test Enhance T..
오픈소스 컨트리뷰션 아카데미는 언어, 개발문화, 시작의 두려움으로 인해 높게만 느껴지던 오픈소스에 대한 진입장벽을 허물고 선배 개발자와 함께 서로의 컨트리뷰톤을 응원하며 참여,오픈,공유,협업하는 오픈소스 문화를 직접 경험할 수 있는 멘토링 프로그램입니다. 2023 오픈소스 컨트리뷰션 아카데미를 참가하면서 python-mysql-repllication프로젝트의 멘티로 참가하게 되었습니다. 약 3달간의 여정으로 온/오프라인 모임을 통해서 오픈소스 기여를 하였습니다. 참여 계기는 데이터 엔지니어링에 관심이 있는 다양한 분들과 협업을 하면서 개발 문화와 오픈소스에 기여하는 방식을 보고자 지원을 하였습니다. 또한 프로젝트 운영을 하면서 binlog 파일에 대해 이슈가 있었고 CDC에 관심이 있어서 세미나를 다니던..
이 책은 Python 코드 포매팅과 Docstring에 대해서 실무를 하게 될 일이 있어 읽게 되었습니다. 현재는 오픈소스 기여를 하고 있는 데 있어서 많은 도움이 되었습니다. 이 책의 독자는 이미 객체지향 소프트웨어 디자인 원리에 어느 정도 익숙하고 코드를 작성해본 경험이 있는 사람을 대상으로 하고 있으며 파이썬 3.9 버전의 새로운 기능에 맞춰 코드와 내용이 업데이트되어 있습니다. 책에서는 클린 코드로서의 코드 포매팅과 좋은 코드의 특징 그리고 객체 지향 디자인에 대해서 소스코드를 통해 세세하게 알려주고 있습니다. 또한 파이썬의 리팩토링과 유닛 테스트에 대한 부분도 자세하게 설명하고 있어서 많은 도움이 되었습니다. 이 책을 통해서 프로퍼티, assertion , 데코레이터, 제너레이터, 이터레이터, ..
Infrastructure-as-Code (IaC)에 대해 공부하다가 테라폼에 알게 되었고 GCP kubernetes의 교육을 들으러 갔을 때 책을 쓰신 역자님을 만나 테라폼에 대해 궁금하게 되어 읽게 되었습니다. 이 책은 코드를 관리하는 모든 사람을 위한 것으로 시스템 관리자, 운영 엔지니어, 릴리스 엔지니어, 사이트 안전성 엔지니어, 데브옵스 엔지니어, 인프라 개발자, 풀스택 개발자, 엔지니어링 관리자 및 CTO가 포함됩니다. 이 책의 목표는 왜 테라폼을 사용하려 하는지, 워크플로에 어떻게 적용할 것인지, 그리고 어떤 모범 사례가 가장 잘 작동하는지에 대해 논의함으로써 테라폼을 제대로 운영할 수 있도록 하는 것입니다. 책을 읽으면서 코드형 인프라를 왜 사용하는지 알게 되었으며 테라폼에 대해 전반적인 ..