[Hadoop] WordCount 예제 (1) 실습

---

WordCount 예제를 통해 설치한 하둡에 문제가 없는지 확인해본다.

- 하둡에서 이 용도로 사용하라고 만들어놓은 예제파일을 활용.

 

순서

1. 예제 파일을 저장할 Hadoop 디렉토리 생성

2. 디렉토리가 잘 생성되었는지 확인

3. 예제파일을 input으로 저장

4. hadoop README.txt 사용

5. wordCount 예제 실행

6. 파일을 다운받아서 실행

---

1. 예제 파일을 저장할 Hadoop 디렉토리 생성

 

 [root@server01 ~]# hadoop fs -mkdir /input

- mkdir (make directory) : 디렉토리를 생성하는 명령어

---

2. 하둡 파일 시스템의 디렉토리 목록을 확인한다

[root@server01 ~]# hadoop fs -ls /

---

3. 예제파일을 input으로 저장

---

 

4. hadoop README.txt 사용

---

5. wordCount 예제 실행

[root@server01 ~]# hadoop jar hadoop-mapreduce-examples-2.10.1.jar wordcount /input /output

 

input으로 받은 내용을 output으로 나오도록 저장한다

​

파일이 잘 만들어진 결과를 확인할 수 있다.

---

6. 파일을 다운받아서 실행

 

[root@server01 ~]# hdfs dfs -get /output/part-r-00000 ./

get 으로 파일을 다운로드.

 

-

 

cat 으로 다운받은 파일을 확인

다운로드한 파일을 내 컴퓨터의 원하는 위치에 가져오고, 실행해본다

 

---

 

 

ftp 폴더 리스트에서

f5 새로고침 하면 'part-r-00000'파일을 확인할 수 있다

​

파일을 끌고 오면

내가 원하는 위치에 복사할 수 있다.

​

다운받은 파일의 내용도

메모장 등의 프로그램을 확인할 수 있다.

 

 

만들어진 파일