본문 바로가기
BigData 기술/Spark

[spark] 아파치 스파크 설치 및 환경설정

by 잇서니 2019. 6. 24.
반응형

1. 테스트환경

  • VM 3대로 구성하였습니다.
  • 각각의 메모리는 8GB 입니다.
  • CentOS 6.9 를 사용하였습니다.
  • Hadoop 2.7.4 클러스터를 구축해놓은 상태입니다.

2. Spark 2.4.3 설치

  • 아래 사이트에 접속하여 Spark 바이너리 파일을 다운로드 받습니다.

cd /home/sunny
wget https://www.apache.org/dyn/closer.lua/spark/spark-2.4.3/spark-2.4.3-bin-hadoop2.7.tgz

 

  • 압축을 해제합니다.
tar -xvzf spark-2.4.3-bin-hadoop2.7.tgz  
mv spark-2.4.3-bin-hadoop2.7 spark

 

  • 환경변수를 설정합니다.

vim /home/sunny/.bashrc

export YARN_CONF_DIR=/home/sunny/hadoop/etc/hadoop
export SPARK_HOME=/home/sunny/hadoop/spark
export PATH=$PATH:$SPARK_HOME/bin

source /home/sunny/.bashrc

3. Spark 예제 어플리케이션 제출

  • pi 값을 구하는 스파크 예제 어플리케이션을 제출합니다.
spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode cluster ~/spark/examples/jars/spark-examples*.jar 10
반응형

댓글