Docker로 Hadoop 설치하기

Centos image로 container 생성

docker run -it --name hadoop-base centos

yum update

yum update를 하니 다음과 같은 에러가 발생했다.

아래 커맨드로 해결

sed -i 's/mirrorlist/#mirrorlist/g' /etc/yum.repos.d/CentOS-Linux-*
sed -i 's|#baseurl=http://mirror.centos.org|baseurl=http://vault.centos.org|g' /etc/yum.repos.d/CentOS-Linux-*

다시 yum update

yum update
yum install wget -y
yum install vim -y

yum install java-1.8.0-openjdk-devel.x86_64 -y

reference에서는 java~~~.x86_64로 설치를 진행하니 다음과 같은 에러가 발생했다.

다음 커맨드를 통해 어떤 java 파일을 다운받으면 되는지 확인했다.

yum search jdk

yum install java-1.8.0-openjdk-devel.aarch64

Java가 잘 설치 됐는지 확인.

java -version

Java 경로 확인

which java
readlink -f <JAVA_PATH>

환경변수 설정을 위해 텍스트 편집기로 스크립트 파일 오픈.

vim ~/.bashrc

아래 내용을 추가한다.

JAVA_HOME path 설정 시 위에 자바 경로 확인 시 나온 결과 경로를 입력한다.

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.312.b07-2.el8_5.aarch64
export PATH=$PATH:$JAVA_HOME/bin
export JAVA_OPTS="-Dfile.encoding=UTF-8"
export CLASSPATH="."

아래 부터는 reference를 그대로 따라하면서 에러가 발생하지 않았다.

Hadoop 설치

하둡 홈으로 사용할 디렉토리 생성

mkdir /hadoop_home
cd /hadoop_home

하둡 install

wget https://mirrors.sonic.net/apache/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz
tar xvzf hadoop-3.3.1.tar.gz

스크립트 파일을 텍스트 편집기로 연다.

vim ~/.bashrc

아래 내용을 추가한다.

export HADOOP_HOME=/hadoop_home/hadoop-3.3.1
export HADOOP_CONFIG_HOME=$HADOOP_HOME/etc/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source 명령어로 스크립트 실행

source ~/.bashrc

하둡이 잘 설치 됐는지 확인

hadoop version

 

---

References

[1] https://mungiyo.tistory.com/16

[Hadoop] 도커(Docker)로 하둡 설치하기 (Standalone)

[2] https://chhanz.github.io/linux/2022/02/04/dnf-error-centos-8/

[Linux] CentOS 8: Failed to download metadata for repo 'appstream'

[3] https://serverfault.com/questions/875836/how-to-install-java-1-8-0-openjdk-java-1-8-0-openjdk-devel-on-centos-7

How to install java-1.8.0-openjdk & java-1.8.0-openjdk-devel on CentOS-7