Hive 메타스토어 데이터베이스 초기화 중에 발생한 'Table 'CTLGS' already exists' 오류는, Hive 메타스토어 스키마 초기화 과정 중 이미 존재하는 테이블에 대한 처리를 시도할 때 발생할 수 있습니다. Error: Table 'CTLGS' already exists (state=42S01,code=1050) com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Table 'CTLGS' already exists 에러를 확인해 보니 메타스토어 데이터베이스가 이미 일부 스키마 구조를 가지고 있었습니다. mysql> select * from CTLGS; +---------+------+--------------------------+..
Airflow의 작업자(worker) 및 트리거(triggerer) 파드가 Pending 상태에 머무는 에러가 발생하여 이를 해결하고자 합니다. Airflow 환경을 GKE 클러스터에 구축한 후, 특정 Airflow 컴포넌트들이 실행되지 않는 문제가 발생했습니다. gcloud container clusters create gke-airflow \ --machine-type e2-medium \ --num-nodes 1 \ --region "asia-northeast3" \ --min-nodes 1 \ --max-nodes 3 파드 상태를 확인했을 때, airflow-worker-0 및 airflow-triggerer-0 파드들이 Pending 상태에 머물고 있었습니다. mun_js@cloudshell:~..
테라폼으로 airflow helm차트를 배포하던 중에 에러가 발생했습니다. 에러가 발생된 소스 코드입니다. provider "kubernetes" { host = google_container_cluster.primary.endpoint token = data.google_client_config.default.access_token cluster_ca_certificate = base64decode( google_container_cluster.primary.master_auth[0].cluster_ca_certificate ) 이는 프로바이더의 host 주소가 이상하다고 나온 에러였습니다. mun_js@cloudshell:~/terraform-airflow-gke (ggke-401900)$ terra..
Spark Streaming 관련해서 에러가 발생하였습니다. 에러는 아래 포스팅과 관련 있습니다. https://mjs1995.tistory.com/275 [Spark Streaming] py4j.protocol.Py4JJavaError: An error occurred while calling o121.start.: java.lang.IllegalStateException: Rpc spark-submit 명령어를 실행시켰을 때 아래와 같은 에러가 발생했 습니다. py4j.protocol.Py4JJavaError: An error occurred while calling o121.start. : java.lang.IllegalStateException: RpcEnv has been stopped 이 에러..
spark-submit 명령어를 실행시켰을 때 아래와 같은 에러가 발생했 습니다. py4j.protocol.Py4JJavaError: An error occurred while calling o121.start. : java.lang.IllegalStateException: RpcEnv has been stopped 이 에러는 Spark Streaming job을 실행할 때 발생할 수 있는 에러로 Spark Streaming job이 동작하는 동안 RPC (Remote Procedure Call) 환경이 멈춘 경우 발생합니다. 이 에러를 해결하려면 Spark job이 제대로 종료되지 않아서 이전 실행 중에 생성된 RPC 환경이 아직 실행 중인 경우도 있을 수 있어서 이전 Spark job을 종료하고 다시..
Error gcp의 vm에 원격연결을 하려고 했는데 Permission denied (publickey) 에러가 발생하였습니다. 이 경우 메타데이터와 ssh 키의 정보 모두 일치하였으나 연동이 안되었으며 원인은 공간 부족으로 ssh 접근이 막힌 케이스입니다. 스케일 업 스토리지 디스크 관리에서 해당 디스크를 들어간 뒤에 수정을 눌러줍니다. 그 후 스케일 업 해줍니다. 새 인스턴스 생성 스케일업이 안되면 신규 인스턴스를 생성해 줍니다. 백업을 위해 스냅샷 페이지에 들어간 뒤에 스냅샷 만들기를 클릭해 줍니다. VM 인스턴스에서 인스턴스 만들기를 클릭해 줍니다. 부팅 디스크 변경을 클릭해 주고 만들어놓은 스냅샵과 연결해 준 뒤에 인스턴스를 실행해 줍니다. Reference https://stackoverflo..
ERROR 로컬 터미널에서 GCP의 VM으로 연결을 하고 사이드프로젝트를 진행을 하는데 ssh 연결이 안 되었습니다. timed out 에러가 발생하여서 vm 인스턴스를 종료한 뒤에 수정을 누르고 자동화 부분에 해당 코드를 입력하고 인스턴스를 다시 시작합니다. #! /bin/bash sudo ufw allow 22 위 경우에도 에러가 해결이 안 될 때가 있는데 인스턴스 정지 후 다시 시작하면 ip가 종종 바뀌게 되는데 이때 다시 수정을 해주고 연결을 해주면 됩니다. 먼저 기존에 VM인스턴스 외부 IP를 이용해서 접속이 잘 되는지 확인해 봅니다. ssh -i ~/.ssh/gcp {ssh키 생성시 입력한 ID}@{VM 생성시 외부IP} 연결은 잘 되고 있으며 기존에 설정해 놨던 config에서 설정값을 바꿔..
가상머신을 실행하기 위해 >vagrant up 명령어를 실행했는데 다음과 같은 에러가 발생하였다. Command: ["startvm", "49836682-e977-4861-a38c-51936ccf242e", "--type", "headless"] Stderr: VBoxManage.exe: error: Failed to get device handle and/or partition ID for 0000000001340e90 (hPartitionDevice=0000000000000aa5, Last=0xc0000002/1) (VERR_NEM_VM_CREATE_FAILED) VBoxManage.exe: error: Details: code E_FAIL (0x80004005), component ConsoleWr..