티스토리

차곡차곡

검색하기

블로그 홈

차곡차곡

it-sunny-333.tistory.com/m

잇서니 님의 블로그입니다.

구독자: 18

방명록 방문하기

반응형

주요 글 목록

RDS -> Spark(AWS EMR) -> Neo4jDB 0. 네트워크 구성 (VPC 생성) 탄력적 ip 생성 (public IP) VPC 생성 Subnet (Public, Private) 생성 EMR EC2 보안그룹에서 인바운드 규칙 편집 (노트북에서 EMR EC2에 접속하기 위해 필요함) 1. EMR 구성 소프트웨어 구성 hadoop, spark, zeppeplin, hue, oozie 멀티마스터 구성 멀티마스터 체크 시 알아서 zookeeper 구성될 것임 AWS Glue 데이터 카탈로그 설정 Hive metastore 기반 인스턴스 구성 마스터(NN, RM, ZK, zeppelin), 코어(DN, NM), 태스크(NM) 코어 최소 1개는 필요함. yarn 띄울 때 필요한 라이브러리를 DN에 저장해야 하기 때문임 온디맨드 유형 / 스팟 유형 소프트웨어 설.. 공감수 0 댓글수 4 2021. 8. 15.
[spark] spark에서 phoenix 테이블 읽고쓰기 (scala) spark에서 zookeeper를 통해 phoenix 테이블에 접근하는 방법을 정리한다. 1. Spark에서 Phoenix 테이블 읽기 import org.apache.spark.sql.SQLContext import org.apache.spark.sql.SaveMode val sqlContext = new SQLContext(sc) val df = sqlContext.load("org.apache.phoenix.spark",Map("table" -> "SUNNY_TEST", "zkUrl" -> "10.220.193.119:2181")) df.show() // orc로 지정안하면 디폴트가 파케이파일포맷. // 그럼 hive 파일 포맷 아니라면서 에러 뜸 df.write.mode(SaveMode.Overw.. 공감수 1 댓글수 8 2021. 1. 14.
[spark] spark streaming + kafka 개요 spark-in-action 책을 보면서 공부한 내용을 정리한다. 스파크 스트리밍에서 kafka 토픽(orders) 데이터를 읽어서 kafka 토픽(metrics)에 결과를 전송해본다. 스파크 스트리밍이란? (Spark Streaming) 스파크 스트리밍(Spark Streaming)은 다양한 데이터 소스(Kafka, HDFS 등)로부터 데이터를 받아서 실시간 스트리밍 처리를 한다. 스트리밍 데이터를 구조적으로(테이블 형태) 사용하려면 Spark Structurec Streaming을 사용한다. DStream 스파크 스트리밍에서 사용할 수 있도록 재구성한 데이터 형태를 Discretized Stream 혹은 DStream이라고 한다. StreamingContext 스파크 스트리밍에서 사용하는 객체이.. 공감수 0 댓글수 547 2020. 8. 10.
SPARK에서 저장소(HDFS, Hive 등)에 접근하는 방식 SPARK에서 저장소(HDFS, Hive 등)에 접근하는 방식 (1) 저장소 바로 접근 HDFS, S3 등의 저장소를 지원한다. (2) hive metastore hive metastore를 통해 저장소에 접근한다. 저장소에 저장된 hive 테이블을 사용할 수 있다. (3) spark thrift server jdbc/odbc 프로토콜을 통해 접속한다. 이후 metastore를 통해 저장소에 접근한다. 저장소에 저장된 hive 테이블을 사용할 수 있다. 참고링크 Using Spark SQL - Hortonworks Data Platform Using SQLContext, Apache Spark SQL can read data directly from the file system. This is usefu.. 공감수 1 댓글수 745 2020. 7. 31.
[Spark] Spark 예제 - 데이터 로딩, 조인, 필터링, 정렬 샘플데이터 data_products (상품데이터) 1#ROBITUSSIN PEAK COLD NIGHTTIME COLD PLUS FLU#9721.89#10 상품ID#상품이름#가격#수량? data_transaction (구매데이터) 2015-03-30#6:55 AM#51#68#1#9506.21 일자#시간#고객id#상품id#구매수량#가격 데이터 로딩 및 준비 //구매데이터 로딩 val tranFile = sc.textFile("/spark-in-action/ch04_data_transactions.txt") val tranData = tranFile.map(_.split("#")) //상품목록 로딩 val products = sc.textFile("/spark-in-action/ch04_data_product.. 공감수 0 댓글수 4 2020. 7. 10.
[Spark] Spark 예제 - 고객별 구매횟수, 구매금액 등 구해보기 (count, sum, sort) 샘플데이터 2015-03-30#6:55 AM#51#68#1#9506.21 일자#시간#고객id#상품id#구매수량#가격 파일 로딩 및 고객 ID 별로 데이터 재생성하기 val tranFile = sc.textFile("/spark-in-action/ch04_data_transactions.txt") val tranData = tranFile.map(x => x.split("#")) //val tranData = tranFile.map(_.split("#")) // key : 고객ID, value : 구매기록 배열 var transByCust = tranData.map(tran => (tran(2).toInt, tran)) // transByCust.foreach(println) // (51,[Ljava.la.. 공감수 0 댓글수 4 2020. 7. 6.
[Spark] Spark 예제 - json 데이터에서 원하는 데이터만 추출 테스트환경 zeppelin 0.8.1 spark 2.4.0 예제 github 이벤트 관련 json 데이터를 사용한다. push 횟수가 많은 순서대로 이름을 추출하고 정렬한다. 그 중에서 특정 명단에 있는 사람들만 뽑는다. 코드 %spark //최종버전 import scala.io.Source.fromFile object App { def main(args : Array[String]) { // git push 횟수가 많은 순서대로 이름을 뽑는다. val inputPath = "/spark-in-action/2015-03-01-23.json" val ghLog = spark.read.json(inputPath) val pushes = ghLog.filter("type = 'PushEvent'") val g.. 공감수 1 댓글수 2 2020. 6. 25.
[spark] 파일 한 줄씩 읽기 (scala fromFile) 테스트환경 zeppelin 0.8.1 spark 2.4.0 코드 %spark import scala.io.Source.fromFile // fromFile : hdfs 경로 안됨. 로컬 경로만 가능 val empPath = "/root/sunny/spark-in-action/ghEmployess.txt" val employees = Set() ++ ( for{ line employees.contains(user) val isEmployee = spark.udf.register("isEmpUdf", isEmp) // udf 사용하기 sql("""select isEmpUdf("NathanNg") as isEmpUdf from orderedTable limit 1""").show() 공감수 0 댓글수 4 2020. 6. 24.
histogram in spark (scala) using zeppelin 스파크로 히스토그램을 만들고 그래프까지 그려본다. 실행 환경은 zeppelin 이다. 1. 샘플데이터 처리 %spark // collect : 단일 배열으로 바꿈 val lines = sc.textFile("/spark-in-action/client-ids.log") val idsStr = lines.map(line => line.split(",")) idsStr.collect // flatMap : 모든 배열 요소를 단일 컬렉션으로 만든다. (엔터 없애기) val ids = lines.flatMap(_.split(",")) ids.collect ids.collect.mkString(";") val intIds = ids.map(_.toInt) intIds.collect val uniqueIds = in.. 공감수 0 댓글수 4 2020. 6. 23.
jupyter 노트북에서 pyspark 사용하기 윗 글에서 docker로 spark-hadoop-cluster를 구성했다. 여기에 jupyter 노트북을 붙여서 pyspark를 사용해본다. jupyter 노트북 역시 도커 컨테이너를 사용할 것이당. 1. jupyter용 도커 컨테이너 생성 docker run -it --name jupyter -h jupyter --net mycluster sunnydockerhub/sunny-spark-hadoop-cluster:latest spark-hadoop-cluster 가 기본으로 구성된 이미지를 사용했다. 2. python3 & jupyter 설치 yum install -y python3-pip pip3 install jupyter python3-pip은 다른 hadoop cluster 컨테이너에도 설치해야.. 공감수 1 댓글수 2 2020. 4. 28.
docker로 spark-hadoop-cluster 구축하기 목차 1. 작업 디렉토리 생성 2.Dockerfile 작성 3.도커이미지 빌드 4.Dockerhub에 도커이미지 업로드 (1) 도커허브에 Repository 만들기 (2) 도커이미지 이름 변경 (3) 도커이미지 업로드 5.spark-hadoop-cluster 구동 (1) 컨테이너 구동 (2) 클러스터 구동 (3) 클러스터 구동 테스트 6.github와 연동 (1) 작업디렉토리 github와 연동 (2) Dockerhub autobuild 적용 개선할 사항 참고링크 https://kadensungbincho.tistory.com/45 [Hands On] 도커 기반 하둡 살펴보기 (HDFS, YARN, MapReduce, Hive) 처음 하둡을 공부하려고 했을 때, 하둡이 무엇이고 정확히는 무엇인지 실체를 .. 공감수 0 댓글수 4 2020. 4. 24.
spark history 서버 설정 및 구동 spark 기본 UI는 spark application이 종료되면 접속할 수 없다. 이전 application 로그를 확인하기 위해서 spark history 서버를 사용한다. ./$SPARK_HOME/conf/spark-defaults.conf 설정 spark.master spark://:7077 spark.eventLog.enabled true spark.eventLog.dir hdfs:///sparklog spark.history.fs.logDirectory hdfs:///sparklog spark.history.provider org.apache.spark.deploy.history.FsHistoryProvider spark application 로그를 hdfs에 저장하는 설정이다. hdfs에 /.. 공감수 0 댓글수 4 2020. 4. 22.
[spark] 리눅스 환경에서 maven + spark + scala IDE를 사용하지 않고, 리눅스 터미널 환경에서 메이븐 빌드를 하는 과정입니다. scala로 짜여진 스파크 프로그램을 실행하는 것까지 해보겠습니다. 1. 메이븐, 스칼라 설치 및 설정 테스트 환경 JAVA : openJDK 1.8 SPARK 2.4.3 CentOS 6.9 메이븐을 설치합니다. #다운로드 받을 디렉토리로 이동합니다. cd /usr/share #바이너리 파일을 다운받습니다. wget http://apache.mirror.cdnetworks.com/maven/maven-3/3.6.1/binaries/apache-maven-3.6.1-bin.tar.gz #압축을 풀어 설치합니다. tar xvzf apache-maven-3.6.1-bin.tar.gz 메이븐 공식 홈페이지 : https://mave.. 공감수 1 댓글수 920 2019. 6. 28.
[spark] 아파치 스파크 클러스터 종류 1. 스파크 로컬 모드 간단한 테스트를 할 때 유용합니다. 로컬 머신에서만 스파크가 구동됩니다. 클라이언트 JVM에 driver 1개와 executor 1개씩만 생성하는 형태입니다. 그래도 executor는 스레드를 여러 개 생성하여 태스크를 병렬로 실행할 수 있습니다. spark-shell이나 spark-submit 으로 로컬모드를 수행할 때는 --master 매개변수 값을 아래와 같이 설정합니다. 매개변수 값 설명 local[n] 스레드 n개를 사용하여 1개의 executor를 실행 local 스레드 1개를 사용하여 1개의 executor를 실행 (local[1]) local[*] 로컬머신의 CPU 코어개수와 동일하게 스레드를 생성하여 1개의 executor를 실행 local[,] 스레드 n개를 사용.. 공감수 1 댓글수 2 2019. 6. 27.
[spark] 아파치 스파크 설치 및 환경설정 1. 테스트환경 VM 3대로 구성하였습니다. 각각의 메모리는 8GB 입니다. CentOS 6.9 를 사용하였습니다. Hadoop 2.7.4 클러스터를 구축해놓은 상태입니다. 2. Spark 2.4.3 설치 아래 사이트에 접속하여 Spark 바이너리 파일을 다운로드 받습니다. cd /home/sunny wget https://www.apache.org/dyn/closer.lua/spark/spark-2.4.3/spark-2.4.3-bin-hadoop2.7.tgz 압축을 해제합니다. tar -xvzf spark-2.4.3-bin-hadoop2.7.tgz mv spark-2.4.3-bin-hadoop2.7 spark 환경변수를 설정합니다. vim /home/sunny/.bashrc export YARN_CON.. 공감수 1 댓글수 2 2019. 6. 24.

반응형

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.