본문 바로가기
반응형

BigData 기술/Hadoop11

[HDFS] 네임노드 SafeMode 켜지는 경우 네임노드 시작 과정 fsimage를 메모리에 로딩 editlog를 읽어 fsimage에 반영 (체크포인팅) 데이터노드가 블록리포트를 보내줌 safemode에 진입하고, 데이터노드가 보내준 블록리포트 정보를 토대로 블록 복제수가 일정 수준까지 만족했는지 확인한다. 만족했으면 safemode에서 빠져나온다. ... 아래 글에 네임노드 시작과정을 자세하게 정리해두었다. 네임노드 SafeMode 시 HDFS 읽기는 가능하다. HDFS 쓰기가 불가능하다. 네임노드 SafeMode는 언제 켜질까? 1) 네임노드를 시작할 때 블록 복제수가 일정 수준(dfs.namenode.safemode.threshold-pct = 0.999f)을 만족하는지 확인 되어야 safemode를 빠져나온다. 예를 들어 전체 블록수가 900.. 2020. 7. 14.
[YARN] 필수개념 YARN 이란 클러스터 리소스를 관리하기 위한 컴포넌트 YARN 구성요소 Resource Manager (RM) 클라이언트의 작업 요청을 받음 Application Master 를 구동함 Application Master의 추가 리소스 요청을 받음 클러스터당 1개가 구동됨 운영환경에서 보통 HA 구성을 함 Node Manager (NM) 컨테이너를 구동함 컨테이너 사용을 모니터링하고, RM에게 알림 노드당 1개씩 구동됨 보통 데이터노드와 노드매니저가 같은 서버에서 구동됨 Application Master (AM) NM과 통신하면서 application을 실행함 추가 리소스가 필요하면 RM에게 요청함 어플리케이션당 1개씩 구동됨 (hive, spark 등) YARN 리소스 할당 과정 (1) client가 .. 2019. 10. 30.
[HDFS] 데이터노드 추가/삭제/디스크고장 조치 데이터노드 추가 common /etc/hosts yum (yum pluigin 설치, repo 파일 배포 등) package 설치 (jdk, python 등) system 설정 (java_home, selinux 해제 등) user 설정 (root계정, ndap계정 ssh-key 생성) ssh (key 배포) ndap package 설치 (mysql-connector, hive, ndap) hadoop datanode (설치, dir 생성) nodemanager(설치, dir 생성) hbase, phoenix, spark ... 설치 및 라이브러리 심볼릭링크 등 mysql 계정, 비번, 권한 conf hadoop, hive 등 설정파일 배포 추가할 노드 아래 파일에 추가하고 hdfs dfsadmin -r.. 2019. 10. 30.
HDFS 주요 개념 - 네임노드, 데이터노드 HDFS는 네임노드(master)와 데이터노드(slave)로 구성되어 있으며 데이터를 분산 저장하는 파일시스템입니다. Hadoop의 핵심이기도 합니다. 이 글에서는 HDFS의 특징과 네임노드, 데이터노드의 주요 특징을 정리합니다. 1. HDFS 특성 scale out 블록을 복제하여 저장하므로 하나 서버가 장애가 나도 영향도가 적음 하둡은 원래부터 배치 프로세싱을 위해 디자인됨 worm (write-once-read-many) 오직 하나의 주체만 파일을 쓸 수 있다. 동시쓰기 x 파일 쓰기에 대한 사용권(lease) 개념이 적용된다. 클라이언트는 파일쓰기를 위해 일정 기간의 사용권을 얻어야 한다. 그 동안 다른 클라이언트는 해당 파일쓰기를 할 수 없다. update는 불가능하며 append 개념이 적용됨.. 2019. 10. 28.
[HDFS] 네임노드 개념과 HA(High Availability, 고가용성) 구성 네임노드 장애가 나도 서비스에 문제가 발생하지 않도록 하는 네임노드 HA 구성에 대해 알아보겠습니다. 그 전에 네임노드의 역할, 네임노드 디렉토리 구조, 체크포인팅 개념을 먼저 정리하겠습니다. 1. 네임노드의 역할 (1) 메타데이터 관리 기본적으로 메타데이터는 메모리에 로딩해놓는다. fsimage 파일 어떤 시점에서 HDFS 메타데이터에 대한 스냅샷 파일이다. 가장 최근에 체크포인팅(fsimage + edits => fsimage)을 한 시점까지의 메타데이터를 갖고 있다. 파일 퍼미션, 엑세스 시간, HDFS 파일 위치, HDFS 블록 메타정보가 기록되어 있다. dfs.namenode.name.dir 경로에 저장이 된다. (디스크에도 저장) 네임노드 시작할 때 fsimage를 메모리에 로딩한다. edit.. 2019. 10. 15.
반응형

티스토리툴바