티스토리

융무의 기술블로그

검색하기

블로그 홈

융무의 기술블로그

mjs1995.tistory.com/m

개인 공부를 하는곳입니다.

구독자: 22

방명록 방문하기

주요 글 목록

AWS Certified Security - Specialty(SCS-C02) 합격 후기 AWS All Certification을 준비하면서 마지막 자격증인 SCS에 대해서 공부하였습니다. 그동안 공부해 왔던 내용들과 겹치는 부분들이 있어서 수월하게 준비를 하였던 거 같습니다.시험 범위자세한 내용은 AWS Certified Security - Specialty(SCS-C02) 시험 안내서를 참고하시는 게 좋을 거 같습니다.섹션시험 비율도메인 1: 위협 감지 및 인시던트 대응14%도메인 2: 보안 로깅 및 모니터링18%도메인 3: 인프라 보안20%도메인 4: Identity and Access Management16%도메인 5: 데이터 보호18%도메인 6: 관리 및 보안 거버넌스14%합계100%공부 방법시험 안내서에 나온 AWS 내용에 대해서 FAQ를 적극 활용하였으며, Exam Prep Of.. 공감수 1 댓글수 0 2024. 6. 18.
AWS Certified SysOps Administrator - Associate(SOA-C02) 합격 후기 AWS All Certification을 준비하면서 SOA에 대해 공부하였습니다. 그전에 공부했던 AWS 자격증덕에 시험을 빠르게 진행하였습니다. AWS 공인 시스템 운영 관리자 시험은 현재 시험 실습이 포함되지 않고 65개의 선다형 문제와 복수 응답 문제로 구성되어 있습니다.시험 범위자세한 내용은 AWS Certified SysOps Administrator – Associate AWS 공인 시스템 운영 관리자 – 어소시에이트 (SOA-C02) 시험 안내서를 참고하시는 게 좋을 거 같습니다.섹션시험 비율영역 1: 모니터링, 로깅 및 문제 해결20%영역 2: 안정성 및 비즈니스 연속성16%영역 3: 배포, 프로비저닝 및 자동화18%영역 4: 보안 및 규정 준수16%영역 5: 네트워킹 및 콘텐츠 전송18%.. 공감수 0 댓글수 0 2024. 6. 11.
AWS Certified Advanced Networking - Specialty(ANS-C01) 합격 후기 올해는 AWS 자격증을 하나씩 준비하려는 목표를 세우면서 ANS-C01을 공부하기로 하였습니다. 네트워크에 대한 딥다이브를 하기 위해 5월 연휴기간 동안 네트워크 공부를 진행하였습니다.시험 범위자세한 내용은 AWS Certified Advanced Networking - Specialty(ANS-C01) 시험 안내서를 참고하시는 게 좋을 거 같습니다.섹션시험 비율도메인 1: 네트워크 설계30%도메인 2: 네트워크 구현26%도메인 3: 네트워크 관리 및 운영20%도메인 4: 네트워크 보안, 규정 준수 및 거버넌스24%합계100% 공부 방법시험 안내서에 나온 AWS 내용에 대해서 FAQ를 적극 활용하였으며, AWS Certified Advanced Networking - Specialty Official P.. 공감수 0 댓글수 0 2024. 5. 29.
AWS Certified DevOps Engineer - Professional (DOP-C02) 합격 후기 DVA-C02 시험을 붙은 후에 DevOps에 대해서 바로 공부하고자 시험을 진행했습니다. Data Engineer에 대해서 공부하면서 DevOps나 MLOps, LLMOps 등 관련하여 데이터 엔지니어는 어디까지 관여를 할 지에 대해서 많은 관심을 가지고 있었고 관련하여 서적이나 테크블로그를 계속 봐왔던 게 이번에 AWS 시험을 준비하는 데 있어서 많은 도움이 되었습니다.시험 범위 자세한 내용은 AWS Certified DevOps Engineer - Professional(DOP-C02) 시험 안내서를 참고하시는 게 좋을 거 같습니다.섹션시험 비율도메인 1: SDLC 자동화22%도메인 2: 구성 관리 및 IaC17%도메인 3: 탄력적인 클라우드 솔루션15%도메인 4: 모니터링 및 로깅15%도메인 5:.. 공감수 0 댓글수 0 2024. 5. 11.
AWS Certified Developer - Associate(DVA-C02) 합격 후기 AWS 자격증을 하나씩 공부하면서 이번에는 AWS Certified Developer - Associate(DVA-C02) 시험을 진행했습니다.시험 범위자세한 내용은 AWS Certified Developer - Associate(DVA-C02) - 시험 안내서를 참고하시는 게 좋을 거 같습니다.섹션시험 비율도메인 1: AWS 서비스를 사용한 개발32%도메인 2: 보안26%도메인 3: 배포24%도메인 4: 문제 해결 및 최적화18%합계100% 공부 방법시험 안내서에 나온 AWS 내용에 대해서 FAQ를 적극 활용하였으며, AWS Certified Developer - Associate Official Practice Question Set를 통해서 시험에 나오는 유형에 대해서 살펴보며 모르는 내용을 채워나.. 공감수 1 댓글수 0 2024. 5. 4.
AWS Certified Data Engieer - Associate(DEA-C01) 합격 후기 MLS 취득 후에 Data Engieer - Associate 자격증을 공부하였습니다. 평소에 ML과 DE에 개념을 꾸준히 공부하고 있어서 DEA-C01 관련해서 준비를 하는데 수월했습니다.시험 범위 자세한 내용은 AWS Certified Data Engineer - Associate(DEA-C01) 시험 안내서를 참고하시는 게 좋을 거 같습니다.섹션시험 비율도메인 1: 데이터 수집 및 변환34%도메인 2: 데이터 저장소 관리26%도메인 3: 데이터 운영 및 지원22%도메인 4: 데이터 보안 및 거버넌스18%합계100%시험 콘텐츠는 다음과 같습니다.도메인 1: 데이터 수집 및 변환1.1 데이터 수집을 수행합니다.1.2 데이터를 변환하고 처리합니다.1.3 데이터 파이프라인을 오케스트레이션합니다.1.4 프로.. 공감수 1 댓글수 0 2024. 4. 26.
AWS Certified Machine Learning - Specialty(MLS-C01) 합격 후기 SAP 자격증을 취득한 후, AWS 자격증도 하나씩 공부해 보기로 결정했습니다. 기존에 머신러닝 관련 지식이 있어서, Machine Learning Specialty(MLS) 자격증 준비를 수월하게 진행했습니다. 시험 범위 자세한 내용은 AWS Certified Machine Learning - Specialty(MLS-C01) 시험 안내서를 참고하시는 게 좋을 거 같습니다. 섹션 시험 비율 도메인 1: 데이터 엔지니어링 20% 도메인 2: 예비 데이터 분석 24% 도메인 3: 모델링 36% 도메인 4: Machine Learning 구현 및 운영 20% 합계 100% 공부 방법 시험 안내서에 나온 AWS 내용에 대해서 FAQ를 적극 활용하였으며, Exam Prep Official Practice Que.. 공감수 1 댓글수 0 2024. 4. 21.
AWS Certified Solutions Architect - Professional (SAP-C02) 합격 후기 AWS 관련 프로젝트에 참여할 기회가 있었습니다. 비록 AWS 경험은 있었지만, 주니어로서 어필할 수 있는 부분이 제한적이라는 것을 느꼈습니다. 이러한 경험을 바탕으로, 다음에 참여하게 될 프로젝트에서 보다 전문적인 지식으로 기여하고자 하는 마음이 커졌습니다. 이를 실현하기 위해 자격증 취득을 통한 전문 지식 습득을 목표로 삼았습니다. 때마침 AWSKRUG에서 자격증 스터디 모집 공고를 보고, "어떤 자격증이든 1달 안에 취득할 의지만 있다면"이라는 문구에 자극받아 시작하게 되었습니다. SAA 공부 경험을 바탕으로 SAP에도 도전하기로 마음먹고, 곧장 디스코드 링크를 클릭했습니다. Join the AWS KRUG 자격증 소모임 Discord Server! Check out the AWS KRUG 자격증 .. 공감수 3 댓글수 0 2024. 3. 25.
AWS Certified Solutions Architect - Associate (SAA-C03) 합격 후기 AWS EMR 데이터 파이프라인을 운영하면서 다루었던 스킬 셋에 대해서 정리를 할 겸 시험을 보게 되었습니다. 시험을 보게 된 계기는 "AWS상에서 EMR에서 spark를 이용해서 대용량 데이터 처리를 하였고 EC2 상에서 Airflow를 활용하여 오케스트레이션을 개발 및 운영하였고 AWS EKS의 추천모델을 위해서 전처리 경험이 있습니다."라고 하는 것보다 "AWS 어쏘 자격증 하나 있습니다. AWS에 대해서 기본은 다룰 줄 압니다."라고 말하는 게 편하게 때문이었습니다. AWS SAA-C03 합격 후기를 남기고자 합니다. 시험 범위 AWS의 자격증은 다음과 같습니다. 현재 Data Analytics와 Database, SAP on AWS가 24.4월 이후로 만료가 되는것으로 알고 있습니다. 이번에 시.. 공감수 2 댓글수 3 2024. 2. 12.
[GKE] Trino를 사용하여 MinIO에 저장된 데이터 쿼리하기(3) - Trino 설치 및 연동 플랫폼을 운영하면서 실제로 플랫폼 환경을 구축해보고 싶어 쿠버네티스 상에서 데이터 파이프라인을 구축하려고 합니다. [GKE] Trino를 사용하여 MinIO에 저장된 데이터 쿼리하기(1) - Hive Metastore MySQL로 구성 [GKE] Trino를 사용하여 MinIO에 저장된 데이터 쿼리하기(2) - Hive Metastore 배포 [GKE] Trino를 사용하여 MinIO에 저장된 데이터 쿼리하기(3) - Trino 설치 및 연동 Trino와 MinIO 설정 MinIO 설정 MinIO 클라이언트 초기 설정 MinIO 클라이언트(mc)를 사용해 MinIO 서비스에 접속합니다. kubectl port-forward pod/minio 9000 9090 -n minio-dev ./mc alias s.. 공감수 0 댓글수 1 2024. 1. 11.
[GKE] Trino를 사용하여 MinIO에 저장된 데이터 쿼리하기(2) - Hive Metastore 배포 플랫폼을 운영하면서 실제로 플랫폼 환경을 구축해보고 싶어 쿠버네티스 상에서 데이터 파이프라인을 구축하려고 합니다. 원천 데이터 소스의 경우 환경을 먼저 구축한 뒤에 데이터를 배치하려고 합니다. [GKE] Trino를 사용하여 MinIO에 저장된 데이터 쿼리하기(1) - Hive Metastore MySQL로 구성 [GKE] Trino를 사용하여 MinIO에 저장된 데이터 쿼리하기(2) - Hive Metastore 배포 [GKE] Trino를 사용하여 MinIO에 저장된 데이터 쿼리하기(3) - Trino 설치 및 연동 Dockerfile 생성 Hive Metastore를 실행하기 위한 Docker 이미지를 만들기 위한 Dockerfile을 작성합니다. 하둡과 hive, mysql 커넥터의 경우 링크에서.. 공감수 0 댓글수 1 2024. 1. 7.
[GKE] Trino를 사용하여 MinIO에 저장된 데이터 쿼리하기(1) - Hive Metastore MySQL로 구성 플랫폼을 운영하면서 실제로 플랫폼 환경을 구축해보고 싶어 쿠버네티스 상에서 데이터 파이프라인을 구축하려고 합니다. 원천 데이터 소스의 경우 환경을 먼저 구축한 뒤에 데이터를 배치하려고 합니다. [GKE] Trino를 사용하여 MinIO에 저장된 데이터 쿼리하기(1) - Hive Metastore MySQL로 구성 [GKE] Trino를 사용하여 MinIO에 저장된 데이터 쿼리하기(2) - Hive Metastore 배포 [GKE] Trino를 사용하여 MinIO에 저장된 데이터 쿼리하기(3) - Trino 설치 및 연동 Hive Metastore를 MySQL에 설정하고, Trino를 사용하여 MinIO에 저장된 데이터에 대한 쿼리를 실행하는 방법에 대해 포스팅하려고 합니다. Hive Metastore와 .. 공감수 0 댓글수 1 2023. 12. 31.
[GCP] GKE의 Apache Airflow에 minio 연동하기 MinIO는 고성능, 오픈소스 객체 스토리지 서비스로, 클라우드 네이티브 환경에서 매우 유용합니다. 이번 포스팅에서는 Kubernetes 클러스터 상에서 Airflow와 MinIO를 연동하는 과정을 단계별로 살펴보겠습니다. MinIO 설치 및 설정 먼저, Kubernetes 클러스터에 MinIO를 설치해야 합니다. MinIO는 쿠버네티스 Pod로 실행되며, 이를 위해 YAML 파일을 사용하여 필요한 리소스를 정의합니다. MinIO 설치를 위한 minio-dev.yaml 파일 예시입니다. apiVersion: v1 kind: Namespace metadata: name: minio-dev --- apiVersion: v1 kind: Pod metadata: labels: app: minio name: mi.. 공감수 0 댓글수 1 2023. 11. 19.
[GCP] GKE에서 Prometheus와 Grafana로 클러스터 모니터링 구축하기 Google Kubernetes Engine(GKE) 상에서 Prometheus와 Grafana를 사용하여 클러스터의 모니터링을 설정하려고 합니다. 이를 통해 실시간으로 클러스터 상태를 감시하고, 성능 지표를 시각화해 보겠습니다. 모니터링을 위한 네임스페이스 생성 모니터링에 사용될 별도의 네임스페이스를 생성합니다. 네임스페이스는 리소스 관리와 분리를 통해 보다 체계적인 환경 관리에 도움을 줍니다. $ kubectl create ns monitor namespace/monitor created Helm 리포지토리 추가 및 확인 Prometheus와 Grafana를 설치하기 위해 Helm 차트 리포지토리를 추가합니다. Helm은 쿠버네티스 패키지 관리자로, 차트(chart)라고 불리는 패키지 형식을 사용하여.. 공감수 0 댓글수 0 2023. 11. 12.
[GCP] GKE의 Apache Airflow에 Slack 연동하기 앞의 포스팅에서 GKE 상에서 Airflow를 배포하였습니다. 이제 Slack 알림을 설정하는 법을 포스팅하려고 합니다. [GCP] GKE에 Apache Airflow 배포 Google Kubernetes Engine (GKE)에 helm 차트를 활용해서 airflow 배포를 하는 법에 대해서 포스팅하려고 합니다. 코드는 아래 github에서 확인할 수 있습니다. https://github.com/mjs1995/muse-data-engineer/blob/main/blog/gcp mjs1995.tistory.com Webhooks 생성 및 Slack으로 결과 전달하기 Webhooks 생성하기 slack api웹사이트에 접속해서 Webhook URL을 생성합니다. Slack으로 알림 전달 Apache Air.. 공감수 1 댓글수 0 2023. 11. 5.
[GCP] GKE에 Terraform을 활용한 Airflow 배포 테라폼을 활용해서 gke 클러스터를 생성하고 airflow helm차트를 배포해보려고 합니다. 코드는 아래서 확인 가능 합니다. https://github.com/mjs1995/muse-data-engineer/blob/main/blog/gcp/gke_airflow.md 서비스 계정 생성 및 역할 부여 Service account 란 사용자를 대신하여 작업을 수행하는, 프로젝트에 연결된 Google 계정이며 이러한 Service account 에는 사용자와 동일한 방식으로 역할과 권한을 할당 할 수 있습니다. 테라폼 명령을 실행하기 전에 아래 역할(Role)을 가지고 있는 Service account를 생성합니다. 서비스 계정 관리자 (roles/iam.serviceAccountAdmin) : 서비스 계.. 공감수 0 댓글수 1 2023. 10. 30.
[GCP] GKE에 Apache Airflow 배포 Google Kubernetes Engine (GKE)에 helm 차트를 활용해서 airflow 배포를 하는 법에 대해서 포스팅하려고 합니다. 코드는 아래 github에서 확인할 수 있습니다. https://github.com/mjs1995/muse-data-engineer/blob/main/blog/gcp/gke_airflow.md helm차트를 활용한 Apache Airflow 배포 Google Kubernetes Engine (GKE)에 helm 차트를 활용해서 airflow 배포를 하는 법에 대해서 포스팅하려고 합니다. gcloud는 Google Cloud Platform(GCP) 리소스를 관리하고 조작하는 데 사용되는 커맨드 라인 인터페이스(CLI) 도구입니다. gcloud 명령어를 사용하면 G.. 공감수 0 댓글수 0 2023. 10. 22.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.