스파크를 공부하면서 스파크 완벽 가이드를 본격적으로 읽기 전에 실무에서 도움이 되는 책을 고민하다가 스파크를 다루는 기술을 사서 읽었다. - 아파치 스파크에서부터 스파크의 기초, 스파크 애플리케이션, 스파크 API, 스파크 SQL, 스파크 스트리밍, 스파크 ML,DL,GraphX, 스파크옵스, 스파크 클러스터, YARN 클러스터, 메소스 클러스터 등 스파크에 관한 전반적인 개념과 원리에 대해 배울 수 있어서 좋았고 각 장마다 실습코드가 있어서 많은 도움이 되었던거 같았다 - 실무에서 쓰던 YARN 클러스터나, 스파크 SQL, 배치에 대해서 전체적인 틀을 잡아줘서 좋았고 앞으로의 공부 방향에 대해 다듬을 수 있어서 좋았다. - 이 책은 다양한 스파크 기능에 대한 유용한 지식을 전달하고 있으며 코드 설명을 ..

데이터 엔지니어링 공부를 하면서 빅데이터에 대해 전반적인 구조를 익힐 수 있는 기술서로 추천하고 싶은 책이다. - 데이터 분석가가 데이터에서 가치 있는 정보를 추출한다면 데이터 엔지니어는 시스템의 구축 및 운용, 자동화 등을 담당한다. 이 책에서 다루는 것은 데이터 활용 방법이 아니라 데이터 처리를 어떻게 시스템화하는가에 대한 문제로 데이터 처리과정에서 사용되는 소프트웨어와 데이터베이스, 프로그래밍 언어와 시각화 도구 등의 특징을 정리하여 데이터를 효율 높게 취급하기 위한 기초를 먼저 설명하고 워크플로우 관리와 스트림 처리 등의 데이터 처리 기술을 자세히 알려주고 있다. - 데이터 엔지니어 업무를 수행하면서 빅데이터의 기초 지식에 대해 많이 구글링을 하고 있습니다. 데이터 수집 시 데이터 전송 방식에 대..

HeidiSQL을 이용하여서 Database를 만드는 법부터 시작하겠습니다. 그 다음 MariaDB로 csv파일을 쉽게 불러들이는 방법에 대해 설명하고자 합니다. -마우스 우클릭 후 데이터베이스를 누릅니다 -encoding을 위해서 euckr_bin을 선택합니다 -새로 만든 exam_db를 마우스 우클릭한다음에 테이블을 만들어 줍니다 -먼저 새롭게 풀더를 지정해서 데이터 파일을 넣어준 다음에 테이블에 csv형태에 맞춰서 수정합니다 - 풀더안에 있는 csv형태와 똑같은 테이블을 만든 다음에 MariaDB를 이용하여 csv파일을 불러들어오려고 합니다. - MariaDB를 실행시킨 다음에 DB 비밀번호를 입력합니다 - show databases; : 현재 database들을 보여줍니다. - use exam_d..