RDS -> Spark(AWS EMR) -> Neo4jDB
0. 네트워크 구성 (VPC 생성) 탄력적 ip 생성 (public IP) VPC 생성 Subnet (Public, Private) 생성 EMR EC2 보안그룹에서 인바운드 규칙 편집 (노트북에서 EMR EC2에 접속하기 위해 필요함) 1. EMR 구성 소프트웨어 구성 hadoop, spark, zeppeplin, hue, oozie 멀티마스터 구성 멀티마스터 체크 시 알아서 zookeeper 구성될 것임 AWS Glue 데이터 카탈로그 설정 Hive metastore 기반 인스턴스 구성 마스터(NN, RM, ZK, zeppelin), 코어(DN, NM), 태스크(NM) 코어 최소 1개는 필요함. yarn 띄울 때 필요한 라이브러리를 DN에 저장해야 하기 때문임 온디맨드 유형 / 스팟 유형 소프트웨어 설..
2021. 8. 15.
[BFS/DFS] 4방향 탐색
# 2차원 배열 map은 모두 정수 타입 숫자들로 채워져 있다. 여기서 0은 바다를 뜻하고 0 이외의 값은 땅을 뜻한다. map에 몇 개의 섬이 있는지 반환하는 함수를 구현하라. # map = [ [ 1, 1, 0, 0, 0 ], # [ 1, 0, 0, 0, 0 ], # [ 0, 0, 0, 1, 0 ], # [ 0, 1, 0, 0, 0 ], # [ 1, 1, 1, 0, 0 ] ] # the return value should be 3 def search_bfs(i,j,map): global result #맨 처음 위치 q = [] q.append((i,j)) check[i][j] = True while q: x,y = q.pop(0) #bfs for k in range(4) : #4방향 이동 nx, ny..
2021. 4. 5.
