본문 바로가기
반응형

전체 글147

[MySQL] replication 깨짐 복구 (ERROR 1062) MySQL replication 구성(master-slave)은 slave가 master의 내용을 계속해서 sync를 맞추는 형태입니다. replication 과정은 이 글에 정리해두었습니다. 그럼 replication이 깨질 때 어떻게 해야 할까요? 우선 replication 상태를 확인해보겠습니다. show master status \G; master가 어떤 binlog 파일에 몇 번째(pos) 사항을 기록하고 있는지 확인할 수 있습니다. show slave status \G; slave가 master의 어떤 binlog파일의 몇 번째(Log_pos) 사항을 읽고 처리하는지 확인할 수 있습니다. slave는 master의 binlog의 어떤 시점(pos)을 읽고 실행합니다. master의 pos와 s.. 2021. 1. 15.
MySQL Replication 이해하기 (Master - Slave) MySQL을 사용할 때 이중화 구성(Master - Slave)을 하는 경우가 많습니다. 데이터가 날아가는 것을 방지하기 위해서입니다. 이러한 이중화 구성을 이해하기 위해 Replication 과정을 정리하고자 합니다. 1. Master와 Slave의 역할 Master는 등록/수정/삭제 쿼리 요청이 있을시 Binarylog를 생성하여 Slave로 전달합니다. Slave는 Master의 정보를 복제해놓는 역할을 담당합니다. 또한 읽기 쿼리 요청을 담당합니다. (select) 쿼리 요청을 분담함으로써 DB 부하를 분산할 수 있습니다. 2. Replication 과정 (1) Client가 쓰기 쿼리 작업을 요청합니다. 쓰기 쿼리요청은 Master DB가 받습니다. (2) Master는 변경사항을 Binary .. 2021. 1. 14.
[spark] spark에서 phoenix 테이블 읽고쓰기 (scala) spark에서 zookeeper를 통해 phoenix 테이블에 접근하는 방법을 정리한다. 1. Spark에서 Phoenix 테이블 읽기 import org.apache.spark.sql.SQLContext import org.apache.spark.sql.SaveMode val sqlContext = new SQLContext(sc) val df = sqlContext.load("org.apache.phoenix.spark",Map("table" -> "SUNNY_TEST", "zkUrl" -> "10.220.193.119:2181")) df.show() // orc로 지정안하면 디폴트가 파케이파일포맷. // 그럼 hive 파일 포맷 아니라면서 에러 뜸 df.write.mode(SaveMode.Overw.. 2021. 1. 14.
Spring 공지사항 게시판 만들기 - (3) 공지사항 목록 (List) 혼자 이해한 내용이니 혹시 잘못된 부분이 있을시 댓글 남겨주시면 감사하겠습니다 :) 공지사항 목록 기능의 핵심은 페이징처리인 것 같습니다. 목록 정보를 가져와 보여주는 것은 공지사항 보기 기능과 비슷한 로직입니다. (공지사항 등록,공지사항 보기기능은 이전 글을 참고해주세요.) 그래서 페이징 처리 위주로 포스팅을 하겠습니다. 페이징 처리를 하는 객체를 따로 만들고, Controller에서 해당 객체를 생성하고 호출하는 형태입니다. 이 외에 service, DAO, mapper 등의 흐름은 공지사항 등록, 보기와 동일합니다. pageSize 한 페이지에 5개씩 데이터를 리스팅할 것입니다. pageBlock 페이지 블록 사이즈는 5개로 하였습니다. 페이지가 5개씩 나뉜다고 보면 됩니다. ... Controll.. 2021. 1. 12.
Spring 공지사항 게시판 만들기 - (2) 공지사항 보기(View) 혼자 이해한 내용이니 혹시 잘못된 부분이 있을시 댓글 남겨주시면 감사하겠습니다 :) Controller 구현 공지사항 등록 기능은 이 글을 참고해주세요 Controller 코드 (src/main/java/net/admins/controller/BoardNoticeAdminsController.java) @Controller public class BoardNoticeAdminsController { @Resource(name = "boardNoticeAdminsService") private BoardNoticeAdminsService BoardNoticeAdminsService; // Promoter 공지사항 View @RequestMapping(value = "/admins/promoter/board.. 2021. 1. 12.
HTTPS (SSL) 통신과정(handshake) 그림으로 이해하기 SSL(Secure Sockets Layer)이란암호화 기반의 통신 프로토콜이다. HTTPS는 HTTP에 SSL이 결합된 개념이다. SSL 주요 특징SSL 인증서를 통해 클라이언트와 서버 간의 통신을 보증한다.암호화된 데이터를 주고 받는다. 주로 대칭키(공개키) 방식, 비대칭키(비밀키) 암호화방식이 사용된다.SSL 통신과정은 handshake라는 과정을 거친다. (handshake -> 데이터전송 -> 세션종료) SSL 통신과정 (handshake 과정)브라우저에 URL(https://~~)을 입력하여 접속한 이후의 과정이라고 보면 된다. 1) 클라언트 -> 서버클라이언트는 랜덤데이터를 만들어 서버에 보낸다.클라이언트에서 사용 가능한 암호화방식들을 서버에 보낸다.2) 서버 -> 클라이언트서버 또한 랜덤데.. 2021. 1. 11.
[Ansible-playbook 예제] MariaDB 설치 및 user, schema 생성하기 개요 MariaDB 을 구축하고, MariaDB 서비스를 구동하고, 쿼리를 실행하는 playbook을 작성해보겠습니다. ansible-playbook의 기본 구조는 여기에 정리해놓았습니다. 아래와 같은 구조로 playbooks를 구성하겠습니다. - sunny-mariadb-playbooks - hosts - install-mariadb.yml - roles - mariadb - meta - tasks - templates - my.cnf - files - maria_init - tasks - group_vars 1. hosts 파일 작성 vim ./sunny-mysql-playbooks/hosts [mariadb-client] sunny1.test.com sunny2.test.com sunny3.test.. 2021. 1. 8.
[mysql] 마스킹처리하는 함수 만들고 실행하기 문자열, 마스킹처리 시작위치, 마스킹처리 끝위치, 마스킹 문자를 입력하면 문자열을 마스킹처리 해주는 함수를 만들어보겠습니다. MASK("잇서니티스토리블로그", 3, 7, "*" ) 함수를 수행하면 잇서니****블로그로 출력될 것입니다. 1. 함수 생성 DELIMITER // DROP FUNCTION IF EXISTS mwav.MASK// /** * Returns a new string that is masked by given character. * The masked portion begins at the specified P_BEGIN_INDEX and extends to the character at index P_END_INDEX - 1. * Thus, the lenght of the masked.. 2021. 1. 8.
DataNode failed volumes 원인 및 해결법 hadoop 2.7.4 테스트 클러스터 운영 중에 2대의 데이터노드가 shutdown 됐던 적이 있었습니다. 디스크 고장으로 인해 데이터노드 volume에 문제가 생긴 것이 원인이었습니다. 원인 파악 1. 데이터노드 로그(/var/log/hadoop-hdfs/hadoop-hdfs-datanode-mnode4.dev.com.log)를 확인해보니 데이터노드의 volume(/data1/hdfs/data)에 문제가 생겼다네요. (참고) 데이터노드는 volume(로컬디스크)에 block 데이터를 저장합니다. 2018-05-29 10:53:44,775 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode:mnode4.dev.com:50010 :DataXceiver erro.. 2021. 1. 7.
반응형

티스토리툴바