Ubuntu에 Hadoop Single Cluster Pseudo Distributed Operation 설치 하기
안녕하십니까. 이번 포스팅에서는 Ubuntu에 Hadoop Single Cluster를 Pseudo Distributed Operation으로 설치를 하고 word count 예제를 다루려고 합니다. hadoop 참고 링크 : https://hadoop.apache.org/docs/r3.2.0/hadoop-project-dist/hadoop-common/SingleCluster.html#Pseudo-Distributed_Operation Hadoop 다운로드 Apache Download Mirrors 에서 Hadoop을 다운로드 받습니다.. 저는 편의상 home 밑에 hadoop 폴더로 이름을 변경하였습니다. SSH 설치 확인 아래와 같이 SSH를 설치 합니다. 아마 localhost를 접속하기 위함인듯 합니다. $ sudo apt-get install ssh $ sudo apt-get install pdsh Java 설치 하기 자바를 설치 하고 etc/hadoop/hadoop-env.sh 아래에 설치한 java 위치를 아래처럼 한줄 추가해 줍니다. $JAVA_HOME/bin/java 위치에 java가 있어야 동작 합니다. # set to the root of your Java installation export JAVA_HOME=/usr/java/latest 이상이 없다면 아래 커맨드에서 에러가 발생하지 않습니다. $ bin/hadoop 설정 파일 etc/hadoop/core-site.xml라는 위치에 아래 파일을 생성 합니다. <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration>