하둡 정리

ㅁ 하둡 실행을 위해 virtual machine 여러 개를 실행시킨다.

 

ㅁ 하둡 서비스 시작 : start-all.sh (재부팅시 stop 실행 후 명령어 실행)

ㅁ 하둡 서비스 종료 : stop-all.sh

ㅁ 하둡 서비스 확인 : jps(nodemanager, datanode, jps가 출력되면 실행완료)

 

ㅁ 하둡 폴더 생성 및 데이터 입력 접두어 (hadoop fs -)

- 폴더 생성 : mkdir /폴더[경로]

- 폴더 삭제 : rm -r /폴더[경로]

- 파일 집어넣기 : put 파일이름.확장자 /폴더[경로]

- 디렉터리 내 파일 확인 : ls /폴더[경로]

 

ㅁ 이클립스 설치

- vm에서 웹브라우저 실행 후 http://www.eclipse.org 접속

- eclips download(tar.gz 64bit)

- (/home/hadoop)에 압축해제

 

ㅁ 이클립스 실행

- (/eclipse)에서 eclipse 실행

- 패키지 생성 - 자바파일 생성(다운받은 파일 코드 복&붙)

- 라이브러리 추가

- build.xml 생성

- build.xml 우클릭 - Run As - Ant Build

- 생성된 jar 파일 경로 확인

- jar파일이 있는곳에서 실행 - hadoop jar (jar파일명).jar 패키지.클래스명 /(input 경로) /(output 경로)

 

ㅁ 자바 컴파일 : hadoop com.sun.tools.javac.Main (컴파일 할 자바파일).java

ㅁ Jar 파일 생성 : jar cf (생성될 jar파일 명).jar (포함시킬 클래스파일).class

ㅁ 맵 리듀스 실행 : (hadoop jar (jar파일명).jar 패키지.클래스명 /(input 경로) /(output 경로)

- 실행 시 output 폴더가 있다면 삭제 필요 : hadoop fs -rm -r /폴더[경로]

 

ㅁ 생성 폴더 확인 : hadoop fs -ls 파일경로 (_SUCESS 파일은 성공적으로 실행되었다고 알려주는 파일)

ㅁ 생성 파일 확인 : hadoop fs -cat 파일경로/파일명

 

ㅁ 공유폴더 설정 뒤 재부팅 후에는 다시 마운트가 필요하다.

1. 폴더 생성 : sudo mkdir /폴더[경로]

2. 특정 폴더 마운트 : sudo mount -t vboxsf (공유 받을 폴더) /(공유 할 폴더[windows])

※sudo가 안먹힐 경우 su로 루트권한을 얻어 실행

 

ㅁ 하둡 업로드 확인 big01:50070/explorer.html