반응형
목차
- 1. 작업 디렉토리 생성
- 2.Dockerfile 작성
- 3.도커이미지 빌드
- 4.Dockerhub에 도커이미지 업로드
- (1) 도커허브에 Repository 만들기
- (2) 도커이미지 이름 변경
- (3) 도커이미지 업로드
- 5.spark-hadoop-cluster 구동
- (1) 컨테이너 구동
- (2) 클러스터 구동
- (3) 클러스터 구동 테스트
- 6.github와 연동
- (1) 작업디렉토리 github와 연동
- (2) Dockerhub autobuild 적용
- 개선할 사항
docker로 spark-hadoop-cluster 만들기_sunny.pdf
0.60MB
참고링크
https://kadensungbincho.tistory.com/45
[Hands On] 도커 기반 하둡 살펴보기 (HDFS, YARN, MapReduce, Hive)
처음 하둡을 공부하려고 했을 때, 하둡이 무엇이고 정확히는 무엇인지 실체를 알기 어려웠습니다. 더욱 어려웠던 부분은, 책과 이론적인 내용들은 많은 자료가 있었으나 직접 튜토리얼을 진행
kadensungbincho.tistory.com
https://eng.uber.com/hadoop-container-blog/
Containerizing Apache Hadoop Infrastructure at Uber
Introduction As Uber’s business grew, we scaled our Apache Hadoop (referred to as ‘Hadoop’ in this article) deployment to 21000+ hosts in 5 years, to support the various analytical and machine learning use cases. We built a team with varied expertise
eng.uber.com
반응형
'BigData 기술 > Spark' 카테고리의 다른 글
| histogram in spark (scala) using zeppelin (4) | 2020.06.23 |
|---|---|
| jupyter 노트북에서 pyspark 사용하기 (2) | 2020.04.28 |
| spark history 서버 설정 및 구동 (4) | 2020.04.22 |
| [spark] 리눅스 환경에서 maven + spark + scala (920) | 2019.06.28 |
| [spark] 아파치 스파크 클러스터 종류 (2) | 2019.06.27 |
댓글