카이도스의 Tech Blog

airflow 설치방법은 크게 3가지.(로컬, 도커, 클라우드 이용해 사용하는 방법) airflow 사용시 Executor가 크게 4가지 방법이있다. - 링크1 [Airflow] Executor의 종류와 사용가이드라인 알아보기(Sequential, Local, Celery, Kubernetes) Airflow Executor란? executor란 작업자들에게 작업을 실행 시키는 역할을 한다. 종류로는 SequentialExecutor, LocalExecutor, CeleryExecutor, KubernetesExecutor등이 있다. LocalExecutor는 병렬처리까지만 가능하고 클러스 magpienote.tistory.com sequential Executors default executor이다. ..

NFS 설치 - main # 설치 sudo apt update sudo apt install -y nfs-kernel-server # 공유 디렉터리 설정 sudo mkdir -p /data/nfs_server sudo chown -R nobody:nogroup /data/nfs_server # 권한 설정 sudo vi /etc/exports /data/nfs_server 10.10.0.0/16(rw,sync,no_root_squash) # 재기동 sudo exportfs -a sudo systemctl restart nfs-kernel-server.service NFS 설치 client # 설치 sudo apt update sudo apt install -y nfs-common # 공유 디렉터리 확인 s..

Redis Exporter 설치 # Redis 서버 접속 # go 다운로드 wget https://go.dev/dl/go1.20.2.linux-amd64.tar.gz sudo tar -xvf go1.20.2.linux-amd64.tar.gz sudo mv go /usr/local # 환경변수 cat ~/.bashrc export GOROOT=/usr/local/go export GOPATH=$HOME/go export PATH=$GOPATH/bin:$GOROOT/bin:$PATH EOT source ~/.bashrc go version # Git 소스 다운로드 git clone https://github.com/oliver006/redis_exporter.git cd redis_exporter go bu..

환경 : ubuntu 22.04 설치 # 설치 및 확인 curl -fsSL https://packages.redis.io/gpg | sudo gpg --dearmor -o /usr/share/keyrings/redis-archive-keyring.gpg echo "deb [signed-by=/usr/share/keyrings/redis-archive-keyring.gpg] https://packages.redis.io/deb $(lsb_release -cs) main" | sudo tee /etc/apt/sources.list.d/redis.list sudo apt-get update sudo apt-get install -y redis redis-server --version Redis server v..

백업이 없거나 모두 문제생길때 레플리카셋으로 구성했을 경우, oplog 통해 복구한다. # oplog 덤프 mongodump --host IP --username admin --password admin -d local -c oplog.rs -o oplogDump --authenticationDatabase=admin mkdir ~/data/backup cp oplogDump/local/oplog.rs.bson ~/data/backup/oplog.bson # 복구 db 및 collection 사전 생성 use DB; db.createCollection 컬렉션 # oplog 복구 mongorestore --host IP --username admin --password admin --oplogReplay ..

Mongodb - bakcup(cron) mongodb 백업 스크립트는 아래와 같다. /back 디렉터리에 nfs or s3 or 백업디스크를 마운트해두고 아래 스크립트 진행한다. 중요한 데이터라면 백업을 2중 3중으로 해둔다.(본인의 경우 1차는 레플리카셋 구성, 2차는 nfs에 백업, 3차는 pbs 백업) # back 디렉터리 마운트후 진행(dev/sdc1) # 폴더 생성 mkdir -p /data/backup_script && cd /data/backup_script # backup_db.sh 스크립트 작성 vi /data/backup_script/backup_mongodb.sh --------------------------------------- #!/bin/sh find /back/mongod..

mongodb_exporter 설치 # 설치 sudo su - wget https://github.com/percona/mongodb_exporter/releases/download/v0.40.0/mongodb_exporter-0.40.0.linux-64-bit.deb dpkg -i mongodb_exporter-0.40.0.linux-64-bit.deb # 환경설정 cd /etc/systemd/system/ vi mongodb_exporter.service [Unit] Description=Prometheus MongoDB Exporter Documentation=https://github.com/percona/mongodb_exporter After=network.target [Service] Typ..

mongodump # 기존 서버에서 덤프 진행 mkdir -p mongo_back && cd mongo_back mongodump --out ~/mongo_back --host 127.0.0.1 --port 27017 ## 레플리카셋에서는 아래명령어로 진행 mongodump --out ~/mongo_back --host 127.0.0.1 --port 27017 -u admin -p 'admin' # 이전할 서버로 백업 본 복사 scp -i ~/키파일 -r mongo_back/ ubuntu@IP:/data/ scp -i ~/키파일 -r mongo_back/ ubuntu@IP:/data/ # 접속해서 데이터 확인 cd /data/ ll total 8 drwxr-xr-x 4 ubuntu ubuntu 39 Oc..