[Hadoop][Solution] Namenode Format 후 Datanode 가 실행되지 않을 때 (Datanode process is not running)

• Enviornment : CentOS 7.8
• Hadoop ver : 3.3.1

 

Problem)

Namenode Format이후 datanode가 실행이 되지 않는 문제

Solution)

Namenode는 format을 해주었지만 관련 임시파일은 tmp폴더에 남아있기 때문에 충돌 발생한 것입니다.
때문에 Namenode, Datanode가 실행되고 있는 모든 서버에서 해당 폴더를 지워줌으로서 해결할 수 있습니다.


① Stop Hadoop
Namenode가 실행되고 있는 서버에서 진행한다.

[sandbox@test-master01 ~]$ $HADOOP_HOME/sbin/stop_all.sh

② tmp dir 초기화
core-site.xml에 지정해준 tmp directory 를 초기화한다.
default 경로는 '/tmp/hadoop-"USERNAME"' 로 USERNAME은 Hadoop process를 실행시킨 계정명이다.
저의 경우 sandbox계정으로 실행했기 때문에 아래와 같은 폴더를 초기화하였다.

[sandbox@test-master01 ~]$ sudo rm -r /tmp/hadoop-sandbox/*

③ namenode format 진행

[sandbox@test-master01 ~]$ $HADOOP_HOME/bin/hadoop namenode -format

(Or $HADOOP_HOME/bin/hdfs namenode -format)

④ Hadoop restart

[sandbox@test-master01 ~]$ $HADOOP_HOME/sbin/start_all.sh

출처:
https://stackoverflow.com/questions/11889261/datanode-process-not-running-in-hadoop