10

Hadoop 껐다가 키기

 

NameNode에서 끄기

cd ~/hadoop/hadoop-3.2.2

sbin/stop-all.sh

 

컴퓨터 전부 찌꺼기폴더 삭제

rm -rf ~/hadoopTmpData

 

NameNode에서 하둡 시스템 포맷

bin/hadoop namenode -format

bin/hadoop datanode -format

 

NameNode에서 켜기

sbin/start-all.sh

 

 

Hadoop

HDFS(Hadoop Distributed File System)

실제로는 20GB짜리 HDD 2개

Hadoop은 2개를 묶어서 40GB 하나의 공간으로 사용

 

빅데이터 분석은 실시간으로 할 수 없음

Hadoop은 HDFS에 있는 파일을 분석

내가 HDFS에 파일을 올려줘야함

 

NameNode의 HDD - 분석용파일, 프로그램

DataNode의 HDD - x

HDFS - 분석용 파일

 

알드라이브로 파일 업로드

.jar파일과 분석용.txt 파일 두개

위치 hadoop/hadoop-3.2.2

 

HDFS 확인

현재 위치

cd ~/hadoop/hadoop-3.2.2

 

bin/hadoop fs -ls HDFS경로

bin/hadoop fs -ls / (최상위 경로 확인)

 

HDFS로 분석용 파일 업로드

현재 위치

cd ~/hadoop/hadoop-3.2.2

 

bin/hadoop fs -put 뭐를 HDFS경로

sherlock.txt를 HDFS 최상위에 업로드

bin/hadoop fs -put shelock.txt /

실행

현재 위치

cd ~/hadoop/hadoop-3.2.2

 

bin/hadoop jar 뭐를

bin/hadoop jar wc2.jar

 

실행하면 결과폴더/part-r-00000로 결과파일을 만들어줌

 

결과파일 가져오기

bin/hadoop fs -get HDFS에있는뭐를 NN의어디로

bin/hadoop fs -get /sherlockResult/part-r-00000 sResult.txt

 

NN에 있는 결과파일을 알드라이브로 Window로 가져오기

 

 

Exception의 경우

만약에 exception 메세지가 나온다면

java 파일 수정하고 

다시 jar 파일 만들어서 보낸뒤 

 

실행할때 결과폴더가 없어야함

다시 돌리고 싶다면

bin/hadoop fs -rm -r HDFS경로

bin/hadoop fs -rm -r /sherlockResult

경로에 있는 result 파일 지우고 나서 다시 실행

 

 

실행

bin/hadoop jar wc3.jar /sherlock.txt /shResult

 

결과파일 가져오기

bin.hadoop fs -get /shResult/part-r-00000 shResult.txt

 

내일할꺼