[spark] 아파치 스파크 설치 및 환경설정

1. 테스트환경

• VM 3대로 구성하였습니다.
• 각각의 메모리는 8GB 입니다.
• CentOS 6.9 를 사용하였습니다.
• Hadoop 2.7.4 클러스터를 구축해놓은 상태입니다.

2. Spark 2.4.3 설치

• 아래 사이트에 접속하여 Spark 바이너리 파일을 다운로드 받습니다.

cd /home/sunny
wget https://www.apache.org/dyn/closer.lua/spark/spark-2.4.3/spark-2.4.3-bin-hadoop2.7.tgz

 

• 압축을 해제합니다.

tar -xvzf spark-2.4.3-bin-hadoop2.7.tgz  
mv spark-2.4.3-bin-hadoop2.7 spark

 

• 환경변수를 설정합니다.

vim /home/sunny/.bashrc

export YARN_CONF_DIR=/home/sunny/hadoop/etc/hadoop
export SPARK_HOME=/home/sunny/hadoop/spark
export PATH=$PATH:$SPARK_HOME/bin

source /home/sunny/.bashrc

3. Spark 예제 어플리케이션 제출

• pi 값을 구하는 스파크 예제 어플리케이션을 제출합니다.

spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode cluster ~/spark/examples/jars/spark-examples*.jar 10