반응형 BigData 기술37 [spark] 아파치 스파크 설치 및 환경설정 1. 테스트환경 VM 3대로 구성하였습니다. 각각의 메모리는 8GB 입니다. CentOS 6.9 를 사용하였습니다. Hadoop 2.7.4 클러스터를 구축해놓은 상태입니다. 2. Spark 2.4.3 설치 아래 사이트에 접속하여 Spark 바이너리 파일을 다운로드 받습니다. cd /home/sunny wget https://www.apache.org/dyn/closer.lua/spark/spark-2.4.3/spark-2.4.3-bin-hadoop2.7.tgz 압축을 해제합니다. tar -xvzf spark-2.4.3-bin-hadoop2.7.tgz mv spark-2.4.3-bin-hadoop2.7 spark 환경변수를 설정합니다. vim /home/sunny/.bashrc export YARN_CON.. 2019. 6. 24. 이전 1 ··· 4 5 6 7 다음 반응형