반응형 BigData 기술/HBase,Phoenix3 Phoenix 연결방식 차이 (Thick / Thin) phoenix driver에는 크게 2가지 종류가 있다. 1. Thick 클라이언트가 zookeeper를 통해 HBase에 직접 붙는 방식이다. 클라이언트와 아래 컴포넌트 간 통신이 되어야 한다. - zookeeper (2181) - HBase master (16000) - HBase region server (16020) 2. Thin 클라이언트가 phoenix query server를 통해 phoenix에 접속하는 방식이다. phoenix query server를 별도로 구성하여 실행하여야 한다. 클라이언트는 phoenix query server(8765)와 통신만 되면 된다. 참고) python으로 phoenix에 접속하는 경우 query server를 통해 phoenix에 접속하는 python d.. 2021. 11. 19. HBase Start Process (HBase 2.2) - Region Assign HBase Cluster 시작 과정을 정리하면서 Region 할당이 어떤 과정으로 이루어지는지 알아보고자 한다. HBase Restart시 간헐적으로 발생하는 비정상 현상 원인을 파악하고자 한다. HBase 2.2+ 변경사항 HBase 2.2+ uses a new Procedure form assiging/unassigning/moving Regions. It does not process HBase 2.1 and 2.0’s Unassign/Assign Procedure types. HBase Master 로그를 확인하며 HBase Cluster 시작 과정을 파악하였다. 1. 프로세스 시작 및 Zookeeper 연결 2. WAL 처리 Recover lease on hdfs (MasterProcWALs/7.. 2021. 9. 8. [HBase] 데이터 Read/Write 과정 (memstore, WAL, HFile) HDFS는 데이터를 읽을 때 랜덤 엑세스가 아니고 Full scan을 한다. 그리고 update가 불가하며 append만 가능하다. HBase는 HDFS에 있는 데이터를 랜덤 엑세스 하게 해주고 데이터를 update 할 수 있게 해준다. 구성 Master HBase 설정파일과 Region Server들의 정보를 관리한다. Zookeeper Master의 Active를 선정한다. Client는 META테이블(hbase:meta)을 갖고 있는 Region Server의 정보를 Zookeeper를 통해 얻는다. znode: /hbase/meta-region-server Master와 Region Server 모두 Zookeeper와 세션을 맺는다. Region Server 하나 이상의 region들을 관리한다.. 2021. 3. 23. 이전 1 다음 반응형
