카이도스의 Tech Blog

2024.02.15 - [Rancher k8s] - Rancher K8s 구성 - 1(DNS) Rancher K8s 구성 - 1(DNS) IDC에도 K8s 사용이 필요해서 Rancher K8s 통해 구성진행하였다. 2024.02.15 - [Rancher k8s] - Rancher K8s 구성 - 2(HAproxy) Rancher K8s 구성 - 2(HAproxy) 2024.02.15 - [Rancher k8s] - Rancher K8s 구성 - 1(DNS) Rancher K8s 구성 - 1(DNS) djdakf1234.tistory.com 2024.02.15 - [Rancher k8s] - Rancher K8s 구성 - 2(HAproxy) Rancher K8s 구성 - 2(HAproxy) 2024.02...

2024.02.15 - [Rancher k8s] - Rancher K8s 구성 - 1(DNS) Rancher K8s 구성 - 1(DNS) IDC에도 K8s 사용이 필요해서 Rancher K8s 통해 구성진행하였다. 2024.02.15 - [Rancher k8s] - Rancher K8s 구성 - 2(HAproxy) Rancher K8s 구성 - 2(HAproxy) 2024.02.15 - [Rancher k8s] - Rancher K8s 구성 - 1(DNS) Rancher K8s 구성 - 1(DNS) djdakf1234.tistory.com 2024.02.15 - [Rancher k8s] - Rancher K8s 구성 - 2(HAproxy) Rancher K8s 구성 - 2(HAproxy) 2024.02...

2024.02.15 - [Rancher k8s] - Rancher K8s 구성 - 1(DNS) Rancher K8s 구성 - 1(DNS) IDC에도 K8s 사용이 필요해서 Rancher K8s 통해 구성진행하였다. 스펙 vm 통해 구성(PROXMOX) jenkins, haproxy, master(8vcore, mem 8G, os 200G) worker(16vcore. mem 32G, os 200G, data 1T) https://rancher-ui.internal.xg.com admin / xgk8stes djdakf1234.tistory.com 2024.02.20 - [Rancher k8s] - Rancher K8s 구성 - 3(Master, Worker) HAproxy VIP 구성 # hostname..

IDC에도 K8s 사용이 필요해서 Rancher K8s 통해 구성진행하였다. 2024.02.15 - [Rancher k8s] - Rancher K8s 구성 - 2(HAproxy) Rancher K8s 구성 - 2(HAproxy) 2024.02.15 - [Rancher k8s] - Rancher K8s 구성 - 1(DNS) Rancher K8s 구성 - 1(DNS) IDC에도 K8s 사용이 필요해서 Rancher K8s 통해 구성진행하였다. 스펙 vm 통해 구성(PROXMOX) jenkins, haproxy, master(8vcore, mem 8G, os 200G) worker(16 djdakf1234.tistory.com 스펙 vm 통해 구성(PROXMOX) jenkins, haproxy, master(..

2023.09.01 - [Hadoop] - Hadoop 클러스터 설치 Hadoop 클러스터 설치 최근 회사에서 Hadoop 에코시스템 도입을 결정했다.. 갑작스럽게 클러스터 환경을 구성해야해서 엄청난 삽질을 통해 겨우 구성을 완료했다..ㅠㅠ 일단 레퍼런스가 너무 없다.. 그래서 셋팅한 내용 djdakf1234.tistory.com 현재 구축해서 사용중인 Hadoop 구성도이다. Namenode * N 개 Airflow, Kafka, Mongodb 는 클러스터 구성 Psql은 M/R Hive metastore, airflow db(psql) 별도 서버로 구축 - Psql m/s 구성 spark-submit용 서버 별도 생성(하둡 서버에서 직접 작업 X) Airflow까지는 구성도에 포함 하둡 클러스터는 D..

2024.02.04 - [Airflow] - Airflow docker cluster 구성 - 1 Airflow docker cluster 구성 - 1 2024.02.09 - [Airflow] - Airflow docker cluster 구성 - 2 Airflow docker cluster 구성 - 2 2024.02.04 - [Airflow] - Airflow docker cluster 구성 - 1 Airflow docker cluster 구성 - 1 Airflow 버전 : 2.8.1 Ubuntu 22.04 LTS Airflow Executor : CeleryExecu djdakf1234.tistory.com Airflow 버전 : 2.8.1 Ubuntu 22.04 LTS Airflow Executor ..

2024.02.09 - [Airflow] - Airflow docker cluster 구성 - 2 Airflow docker cluster 구성 - 2 2024.02.04 - [Airflow] - Airflow docker cluster 구성 - 1 Airflow docker cluster 구성 - 1 2024.02.09 - [Airflow] - Airflow docker cluster 구성 - 2 Airflow docker cluster 구성 - 2 2024.02.04 - [Airflow] - Airflow docker cluster 구성 - 1 Airflow doc djdakf1234.tistory.com Airflow 버전 : 2.8.1 Ubuntu 22.04 LTS Airflow Executor ..

airflow 설치방법은 크게 3가지.(로컬, 도커, 클라우드 이용해 사용하는 방법) airflow 사용시 Executor가 크게 4가지 방법이있다. - 링크1 [Airflow] Executor의 종류와 사용가이드라인 알아보기(Sequential, Local, Celery, Kubernetes) Airflow Executor란? executor란 작업자들에게 작업을 실행 시키는 역할을 한다. 종류로는 SequentialExecutor, LocalExecutor, CeleryExecutor, KubernetesExecutor등이 있다. LocalExecutor는 병렬처리까지만 가능하고 클러스 magpienote.tistory.com sequential Executors default executor이다. ..