Hive 메타스토어 데이터베이스 초기화 중에 발생한 'Table 'CTLGS' already exists' 오류는, Hive 메타스토어 스키마 초기화 과정 중 이미 존재하는 테이블에 대한 처리를 시도할 때 발생할 수 있습니다. Error: Table 'CTLGS' already exists (state=42S01,code=1050) com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Table 'CTLGS' already exists 에러를 확인해 보니 메타스토어 데이터베이스가 이미 일부 스키마 구조를 가지고 있었습니다. mysql> select * from CTLGS; +---------+------+--------------------------+..

Airflow의 작업자(worker) 및 트리거(triggerer) 파드가 Pending 상태에 머무는 에러가 발생하여 이를 해결하고자 합니다. Airflow 환경을 GKE 클러스터에 구축한 후, 특정 Airflow 컴포넌트들이 실행되지 않는 문제가 발생했습니다. gcloud container clusters create gke-airflow \ --machine-type e2-medium \ --num-nodes 1 \ --region "asia-northeast3" \ --min-nodes 1 \ --max-nodes 3 파드 상태를 확인했을 때, airflow-worker-0 및 airflow-triggerer-0 파드들이 Pending 상태에 머물고 있었습니다. mun_js@cloudshell:~..

테라폼으로 airflow helm차트를 배포하던 중에 에러가 발생했습니다. 에러가 발생된 소스 코드입니다. provider "kubernetes" { host = google_container_cluster.primary.endpoint token = data.google_client_config.default.access_token cluster_ca_certificate = base64decode( google_container_cluster.primary.master_auth[0].cluster_ca_certificate ) 이는 프로바이더의 host 주소가 이상하다고 나온 에러였습니다. mun_js@cloudshell:~/terraform-airflow-gke (ggke-401900)$ terra..

Error gcp의 vm에 원격연결을 하려고 했는데 Permission denied (publickey) 에러가 발생하였습니다. 이 경우 메타데이터와 ssh 키의 정보 모두 일치하였으나 연동이 안되었으며 원인은 공간 부족으로 ssh 접근이 막힌 케이스입니다. 스케일 업 스토리지 디스크 관리에서 해당 디스크를 들어간 뒤에 수정을 눌러줍니다. 그 후 스케일 업 해줍니다. 새 인스턴스 생성 스케일업이 안되면 신규 인스턴스를 생성해 줍니다. 백업을 위해 스냅샷 페이지에 들어간 뒤에 스냅샷 만들기를 클릭해 줍니다. VM 인스턴스에서 인스턴스 만들기를 클릭해 줍니다. 부팅 디스크 변경을 클릭해 주고 만들어놓은 스냅샵과 연결해 준 뒤에 인스턴스를 실행해 줍니다. Reference https://stackoverflo..

Problem SessionNotCreatedException: Message: session not created: This version of ChromeDriver only supports Chrome version 84 selenium으로 크롤링을 하려고 했는데 다음과 같이 에러가 나타났을때 해결 방법이다. Solution 1. 크롬을 열고 설정에서 도움말을 들어간 뒤에 Chrome 정보를 들어간다 2.자신의 크롬 버전을 확인한뒤에 업데이트를 하고 다시시작한다. 3.http://chromedriver.chromium.org/downloads 사이트에 들어가서 크롬드라이버를 자신의 크롬버전이랑 맞는 버전을 다운받는다 Downloads - ChromeDriver - WebDriver for Chrom..