DVA-C02 시험을 붙은 후에 DevOps에 대해서 바로 공부하고자 시험을 진행했습니다. Data Engineer에 대해서 공부하면서 DevOps나 MLOps, LLMOps 등 관련하여 데이터 엔지니어는 어디까지 관여를 할 지에 대해서 많은 관심을 가지고 있었고 관련하여 서적이나 테크블로그를 계속 봐왔던 게 이번에 AWS 시험을 준비하는 데 있어서 많은 도움이 되었습니다.시험 범위 자세한 내용은 AWS Certified DevOps Engineer - Professional(DOP-C02) 시험 안내서를 참고하시는 게 좋을 거 같습니다.섹션시험 비율도메인 1: SDLC 자동화22%도메인 2: 구성 관리 및 IaC17%도메인 3: 탄력적인 클라우드 솔루션15%도메인 4: 모니터링 및 로깅15%도메인 5:..
AWS 자격증을 하나씩 공부하면서 이번에는 AWS Certified Developer - Associate(DVA-C02) 시험을 진행했습니다.시험 범위자세한 내용은 AWS Certified Developer - Associate(DVA-C02) - 시험 안내서를 참고하시는 게 좋을 거 같습니다.섹션시험 비율도메인 1: AWS 서비스를 사용한 개발32%도메인 2: 보안26%도메인 3: 배포24%도메인 4: 문제 해결 및 최적화18%합계100% 공부 방법시험 안내서에 나온 AWS 내용에 대해서 FAQ를 적극 활용하였으며, AWS Certified Developer - Associate Official Practice Question Set를 통해서 시험에 나오는 유형에 대해서 살펴보며 모르는 내용을 채워나..
MLS 취득 후에 Data Engieer - Associate 자격증을 공부하였습니다. 평소에 ML과 DE에 개념을 꾸준히 공부하고 있어서 DEA-C01 관련해서 준비를 하는데 수월했습니다.시험 범위 자세한 내용은 AWS Certified Data Engineer - Associate(DEA-C01) 시험 안내서를 참고하시는 게 좋을 거 같습니다.섹션시험 비율도메인 1: 데이터 수집 및 변환34%도메인 2: 데이터 저장소 관리26%도메인 3: 데이터 운영 및 지원22%도메인 4: 데이터 보안 및 거버넌스18%합계100%시험 콘텐츠는 다음과 같습니다.도메인 1: 데이터 수집 및 변환1.1 데이터 수집을 수행합니다.1.2 데이터를 변환하고 처리합니다.1.3 데이터 파이프라인을 오케스트레이션합니다.1.4 프로..
SAP 자격증을 취득한 후, AWS 자격증도 하나씩 공부해 보기로 결정했습니다. 기존에 머신러닝 관련 지식이 있어서, Machine Learning Specialty(MLS) 자격증 준비를 수월하게 진행했습니다. 시험 범위 자세한 내용은 AWS Certified Machine Learning - Specialty(MLS-C01) 시험 안내서를 참고하시는 게 좋을 거 같습니다. 섹션 시험 비율 도메인 1: 데이터 엔지니어링 20% 도메인 2: 예비 데이터 분석 24% 도메인 3: 모델링 36% 도메인 4: Machine Learning 구현 및 운영 20% 합계 100% 공부 방법 시험 안내서에 나온 AWS 내용에 대해서 FAQ를 적극 활용하였으며, Exam Prep Official Practice Que..
AWS 관련 프로젝트에 참여할 기회가 있었습니다. 비록 AWS 경험은 있었지만, 주니어로서 어필할 수 있는 부분이 제한적이라는 것을 느꼈습니다. 이러한 경험을 바탕으로, 다음에 참여하게 될 프로젝트에서 보다 전문적인 지식으로 기여하고자 하는 마음이 커졌습니다. 이를 실현하기 위해 자격증 취득을 통한 전문 지식 습득을 목표로 삼았습니다. 때마침 AWSKRUG에서 자격증 스터디 모집 공고를 보고, "어떤 자격증이든 1달 안에 취득할 의지만 있다면"이라는 문구에 자극받아 시작하게 되었습니다. SAA 공부 경험을 바탕으로 SAP에도 도전하기로 마음먹고, 곧장 디스코드 링크를 클릭했습니다. Join the AWS KRUG 자격증 소모임 Discord Server! Check out the AWS KRUG 자격증 ..
AWS EMR 데이터 파이프라인을 운영하면서 다루었던 스킬 셋에 대해서 정리를 할 겸 시험을 보게 되었습니다. 시험을 보게 된 계기는 "AWS상에서 EMR에서 spark를 이용해서 대용량 데이터 처리를 하였고 EC2 상에서 Airflow를 활용하여 오케스트레이션을 개발 및 운영하였고 AWS EKS의 추천모델을 위해서 전처리 경험이 있습니다."라고 하는 것보다 "AWS 어쏘 자격증 하나 있습니다. AWS에 대해서 기본은 다룰 줄 압니다."라고 말하는 게 편하게 때문이었습니다. AWS SAA-C03 합격 후기를 남기고자 합니다. 시험 범위 AWS의 자격증은 다음과 같습니다. 현재 Data Analytics와 Database, SAP on AWS가 24.4월 이후로 만료가 되는것으로 알고 있습니다. 이번에 시..
EMR Jupter lab 노트북에서 스파크 커널을 사용할때 한국어 문자가 표시되지 않는 문제가 발생했었다. 최근 log4J 이슈로 인해 EMR 클러스터를 재배포를 하고 5.30.1에서 5.30.2로 버전 업데이트를 하고 emr 노트북에서 pyspark를 이용하여 ETL 프로세스를 진행하는 데 있어서 폰트이슈가 생겼다. 이를 해결하고자 emr 서버에서 fc-list확인, locale 언어 변경 등 다양한 방법을 시도해본 결과 오류가 버전업데이트 시 설정값 문제에 있는것으로 파악되었다. 주피터 노트북에서 프레임워크를 위한 인코딩으로 ISO-8895-1이 EMR version 5.30.2에 default로 되어있어서 한글 font를 사용하려면 UTF-8 encoding으로 지정을 해줘야한다. 해결 방법은 E..
데이터 엔지니어 실무를 하면서 AWS EMR, S3, Athena, Glue, EC2 등등 자연스럽게 인프라와 클라우드 쪽에도 관심이 많이 생기고 업무를 하면서 생소한 용어가 많다 보니 AWS에 대해 공부를 하게 되었던 거 같습니다. 시험 준비를 하면서 시험 후기를 남기려고 합니다. 1. 시험종류 aws Cloud Practitioner는 클라우드 기초 자격증으로서 Solution Architect를 준비하기 전에 기초 개념을 공부하는데 많은 도움이 될 거 같아서 시험을 보았으며 시험을 합격하면 aws 시험 50% 할인쿠폰을 줘서 경제적으로 이로운 점이 있습니다. 2. 공부 방법 일단 aws 클라우드 실무경험은 5개월 정도 있는 거 같으며 통계학이 base다 보니 전공지식은 없었습니다. 시험 준비를 하는..