EMR Jupter lab 노트북에서 스파크 커널을 사용할때 한국어 문자가 표시되지 않는 문제가 발생했었다. 최근 log4J 이슈로 인해 EMR 클러스터를 재배포를 하고 5.30.1에서 5.30.2로 버전 업데이트를 하고 emr 노트북에서 pyspark를 이용하여 ETL 프로세스를 진행하는 데 있어서 폰트이슈가 생겼다. 이를 해결하고자 emr 서버에서 fc-list확인, locale 언어 변경 등 다양한 방법을 시도해본 결과 오류가 버전업데이트 시 설정값 문제에 있는것으로 파악되었다. 주피터 노트북에서 프레임워크를 위한 인코딩으로 ISO-8895-1이 EMR version 5.30.2에 default로 되어있어서 한글 font를 사용하려면 UTF-8 encoding으로 지정을 해줘야한다. 해결 방법은 E..

AWS에서 애플리케이션 EC2, EMR, Athena 등 AWS 관련해서 데이터 엔지니어 업무를 수행하고 있는데 운영을 하는 데 있어서 구축 과정과 실제로 경험을 해보고자 책을 읽게 되었습니다. 클라우드에 대해 더 자세하게 알 수 있으며 특히 AWS의 다양한 서비스를 실습을 통해 할 수 있다는 점이 좋았고 요금 관련해서 자세하게 설명이 되어있어서 부담을 가질 필요가 없었습니다. AWS CCP 준비를 할때 백서와 함께 읽었는데 많은 도움이 되었던 거 같습니다. 각 용어의 정의와 개념에 대해 이해하기 편했고 클라우드나 인프라적인 측면에서 스킬업이 많이 되었습니다. AWS에서 서버를 구축해서 다양한 서비스의 기초를 익히는데 도움이 되었던거 같습니다. 책을 읽으면서 이 책을 읽게 된 이유가 너무 와닿았던 에필로..