카이도스의 Tech Blog

2023.09.01 - [Hadoop] - Hadoop 클러스터 설치 Hadoop 클러스터 설치 최근 회사에서 Hadoop 에코시스템 도입을 결정했다.. 갑작스럽게 클러스터 환경을 구성해야해서 엄청난 삽질을 통해 겨우 구성을 완료했다..ㅠㅠ 일단 레퍼런스가 너무 없다.. 그래서 셋팅한 내용 djdakf1234.tistory.com 현재 구축해서 사용중인 Hadoop 구성도이다. Namenode * N 개 Airflow, Kafka, Mongodb 는 클러스터 구성 Psql은 M/R Hive metastore, airflow db(psql) 별도 서버로 구축 - Psql m/s 구성 spark-submit용 서버 별도 생성(하둡 서버에서 직접 작업 X) Airflow까지는 구성도에 포함 하둡 클러스터는 D..

하둡 관련 설명 더보기 설정값 hdfs-site.xml : 하둡 파일시스템(HDFS)과 관련된 환경 정보를 설정 hadoop-env.sh : • Hadoop을 실행하는 쉘스크립트 파일, JDK Path, Classpath, 데몬 옵션 등 설정 core-site.xml : HDFS와 Mapreduce에서 공통적으로 사용할 정보들을 설정, hdfs-site와 mapred-site의 공통 설정 부분 mapred-site.xml : MapReduce의 어플리케이션 정보를 설정 yarn-site.xml : Resource Manager, Node Manager 정보를 설정 yarn-env.sh : YARN을 실행하는 쉘스크립트 파일 프로세스 QuorumPeerMain : 주키퍼 NodeManager : 하둡 인프..

하둡 명령어 테스트 더보기 # 하둡 확인 hdfs dfs -mkdir /test hdfs dfs -ls / Found 2 items drwxr-xr-x - ubuntu supergroup 0 2023-08-04 12:58 /test drwxrwx--- - ubuntu supergroup 0 2023-08-04 12:55 /tmp hdfs dfs -put /data/hadoop/LICENSE.txt /test/ hdfs dfs -ls /test Found 1 items -rw-r--r-- 3 ubuntu supergroup 15217 2023-08-04 12:59 /test/LICENSE.txt yarn jar /data/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-..

2023.09.01 - [Hadoop] - Hadoop 클러스터 설치1 Hadoop 클러스터 설치1 최근 회사에서 Hadoop 에코시스템 도입을 결정했다.. 갑작스럽게 클러스터 환경을 구성해야해서 엄청난 삽질을 통해 겨우 구성을 완료했다..ㅠㅠ 일단 레퍼런스가 너무 없다.. 그래서 셋팅한 내용 djdakf1234.tistory.com HA 테스트 : Namenode, Yarn 더보기 1. 네임노드 # 상태확인 hdfs haadmin -getServiceState namenode1 active hdfs haadmin -getServiceState namenode2 standby jps 51777 NameNode 52802 DFSZKFailoverController 51492 JournalNode 53847..

보호되어 있는 글입니다.