카이도스의 Tech Blog
Hadoop 구성도 설명 본문
728x90
반응형
2023.09.01 - [Hadoop] - Hadoop 클러스터 설치
Hadoop 클러스터 설치
최근 회사에서 Hadoop 에코시스템 도입을 결정했다.. 갑작스럽게 클러스터 환경을 구성해야해서 엄청난 삽질을 통해 겨우 구성을 완료했다..ㅠㅠ 일단 레퍼런스가 너무 없다.. 그래서 셋팅한 내용
djdakf1234.tistory.com
현재 구축해서 사용중인 Hadoop 구성도이다.
- Namenode * N 개
- Airflow, Kafka, Mongodb 는 클러스터 구성
- Psql은 M/R
- Hive metastore, airflow db(psql) 별도 서버로 구축 - Psql m/s 구성
- spark-submit용 서버 별도 생성(하둡 서버에서 직접 작업 X)
- Airflow까지는 구성도에 포함
- 하둡 클러스터는 Disk Type별로 구성(Nvme, Ssd, Hdd 등)
- Copy수는 2로 진행(데이터노드 증가 → Erasure coding)
- Spark는 Yarn으로 실행
728x90
반응형
'Hadoop' 카테고리의 다른 글
| Hadoop 클러스터 - 스터디 (0) | 2024.01.15 |
|---|---|
| Hadoop 클러스터 - 하둡/스파크 명령어 테스트 (0) | 2024.01.15 |
| Hadoop 클러스터 - HA 테스트, Datanode 추가/삭제 (0) | 2023.09.01 |
| Hadoop 클러스터 설치 (0) | 2023.09.01 |
'Hadoop' Related Articles
more
Comments