9. Hadoop - 맛보기

텍스트 파일 분석 해보기

인코딩 방식은 UTF-8

 

분석할 파일을 Window에서 만듬

알드라이브를 통해 NameNode에 업로드

업로드 위치는 hadoop/hadoop-3.2.2

 

분석할 파일과 .jar 파일을 같이 올린다.

 

 

cd hadoop/hadoop-3.2.2

 

분석용 파일을 하둡이 만들어 쓰는 가상공간(HDFS)에 가져다 놓아야함

bin/hadoop fs -ls /  (HDFS 최상위 폴더에 뭐가 있나 확인)

 

분석용 파일을 여기로 올림

bin/hadoop fs -put 파일명.txt /

 

샘플 프로그램 실행

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.2.jar wordcount /mar03.txt /mar03Result

 

HDFS에 있는 결과 파일 L로 가져오기

bin/hadoop fs -get /mar03Result/part-r-00000 mar03Result.txt

 

L에 있는거 알드라이브로 Window로 가져오기

 

'Hadoop' 카테고리의 다른 글

h  (0)	2021.03.05
10  (0)	2021.03.04
8. Hadoop - Hadoop 설치 하기  (0)	2021.03.03
7. Hadoop - 종료관련  (0)	2021.03.02
시험 관련  (0)	2021.03.02