PROXMOX - 운영 노하우 및 회고

현재 회사에 입사 후 많은 일들이 있었지만 그 중에서 PROXMOX란 가상화 오픈소스를 접하고 운영하며 느꼈던 노하우 및 회고를 하고자 한다.

---

전 회사는 호스팅 회사였고 vm도 제공을 했었기 떄문에 가상화 솔루션을 많이 다뤘었다. 
기존 솔루션들의 단점은 관리자 입장에서 사용성에 불편함이 많았다. UI, 사용성등이 많이 불편. 스펙의 한계도 명확

하지만 PROXMOX란 솔루션을 접하고 직접 구축부터 운영을 계속해오면 많이 놀랐다.
무료인데 이렇게 많은 기능과 편의성을 제공해준다는게 너무나도 감사할 정도였다.
다시 호스팅 회사나, 일반 회사여도 많은 서버 수요가 필요하다면 PROXMOX를 사용할 생각이 들기문이다.

아, px 쓰면서 최강 장점 중 하나는 자잘한 서비스 단위로 세분화해서 서버 운영가능해서 서버가 지저분해지지 않음.
api, db, airflow 등등. 보통 단일서버에 이것저것 설치해서 쓰지만 안그래도 됨 ㅎㅎ

각설하고, 운영 노하우는 아래와 같다.

---

PROXMOX  운영 노하우

PROXMOX 서버

1. 대역 별로 클러스터 구성, PBS 통해 백업 및 복제를 통해 타 대역 마이그레이션한다.(같은 대역은 클러스트 내에서 복제 활용)

2. 권장 스펙(네트워크는 10G 이상 추천)
아래 스펙 이상으로 구성시 서비스마다 다르겠지만 대역폭의 한계, 리소스 낭비 등이 있을수있다.

• 32C, mem 512~640G, disk(ssd or nvme)
• 64C. mem 1024~1280G, disk(ssd or nvme)
• 128C, mem 2048~2560G, disk(ssd or nvme)

3. VMID, IP 관리 계획을 잘 짜야한다.(당연한 얘기)

4. PX 서버 호스트네임 형식 잘 정하기
모니터링 시 원활하게 파악 및 관리 하기 위해
ex) px-r1-1(px서버, 랙번호, 몇번째 구성 서버)
      pbs-r1-1(pbs 서버, 랙번호, 몇번째 구성 서버)

5. 알람은 자유지만 나는 자빅스, 그라파나 연동해서 사용중이다.
자빅스는 알람 받는 용도로 주로 활용, 대시보드는 그라파나 활용(proxmox는 influxdb 활용해서 연동해야한다.)

자빅스 템플릿, 그라파나는 아래 그림 참고

6. cpu 타입은 host로, mem, storage 용량은 보수적으로 할당.
PROXMOX의 최강장점이 공유가 너무 잘되어 vm 갯수를 엄청 많이 생성할 수 있다.
보통 서버 할당을해도 24시간 리소스를 쓰는경우는 없다. PROXMOX는 구성한 리소스를 vm에서 극한으로 쉐어해서 쓴다.(엄청 편하고 리소스 낭비가 거의 없다)
하지만 메모리의 경우 다들 알다시피 사용하다보면 할당된 메모리를 캐시/버퍼 로 잡고있다.(크론으로 초기화하는 스크립트 걸어도 되지만 어찌됐든 불편)
스토리지의 경우 4T를 할당해도 실제 사용중인 만큼만 인식하기 때문에 할당 자체는 상관없지만 복제나 기타 작업시 할당된 용량으로 일단 잡고 시작하기 때문에 엄청 불편. 사용중 늘려주는건 편하니까 보수적으로 진행하자.

---

PBS(Proxmox Backup Server) 서버

1. 권장 스펙

• 8 or 16C, mem 32 o 64G, disk(HDD)

2. 네임스페이스 분할활용
나는 아래와 같이 분할했다.(보관 기간 기준)

• week(일 백업, 주 단위 보관)
• month(주 백업, 월 단위 보관)
• year(월 백업, 년 단위 보관)

3. px 서버들에 마운트해서 사용시에 백업권한만 주고 모든 편집, 백업관리등은 PBS 서버에서 한다.

4. 보관기간, 검증 job들 만들어서 관리.

5. 베어메탈로 구성해도 되지만 vm으로 구성하는게 편하긴함.