반응형 전체 글151 LDAP 계정 비밀번호 정책 설정하기 LDAP 은 평소에 작업할 일이 거의 없는데,최근 보안 요건을 맞추느라 비밀번호 정책을 셋팅해야 했다. 오래된 기술이라 그런지gemini 와 함께 했는데삽질을 하긴 했지만 결국엔 해냄 ㅎㅎㅎ 패스워드 정책을 이렇게 바꿔야 했다.패스워드 자릿수: 12자리 이상로그인 실패 횟수에 따른 잠김 시간: 5회 실패 시 30분 잠금 권고최근 사용한 4개 비밀번호 재사용 제한대문자, 소문자, 숫자, 특수문자 중에 3종류 이상 조합 작업은 꽤나 간단하다. 2가지만 해주면 된다.1. LDAP의 ppolicy 설정 변경패스워드 자릿수, 로그인 실패 횟수에 따른 잠김 시간, 최근 사용한 비밀번호 개수 제한 설정2. 패스워드 체크 모듈 변경 및 설정패스워드 조합 설정 1. LDAP의 ppolicy 설정 변경update_ppo.. 2026. 2. 28. trino에서 pinot로 gRPC 쿼리할 때 데이터 건수가 누락되는 현상 트리노에서 피노테이블을 조회하는데피노 브로커 타임아웃이 발생해서임의로 브로커 쿼리가 아닌 gRPC 쿼리가 실행되도록 변경했었다.-- 트리노의 select distinct 쿼리는 pinot group by 쿼리로 변환되므로 aggregation 쿼리로 인식되는 듯.-- aggretation pushdown 을 비활성화 하는 옵션을 적용하면 grpc로 실행됨.set session pinot.aggregation_pushdown_enabled=false;SELECT DISTINCT feature_nm FROM pinot.default.profile_base WHERE feature_nm != 'null'; 그런데, gRPC 쿼리로 실행하니까쿼리 건수가 일부 누락되었다. (트리노 쿼리는 정상처리) pinot 서.. 2026. 2. 28. impala insert overwrite (동적파티션, 정적파티션) impala 에서 insert overwrite 를 할 때,동적파티션을 사용하냐, 정적파티션을 사용하냐에 따라 동작방식이 조금 다르다.0건인 파티션을 Insert Overwrite 하여 기존 파티션을 0건으로 만들고 싶으면 정적파티션을 사용해야 한다.정적파티션 사용시, select 컬럼에 파티션컬럼(yyyymmdd)을 제외한 나머지 컬럼을 직접 명시해줘야 한다. INSERT OVERWRITE 구문overwrite 되는 데이터는 삭제되는 방식The INSERT INTO syntax appends data to a table. The existing data files are left as-is, and the inserted data is put into one or more new data files... 2026. 2. 28. iceberg 테이블에 데이터 파일 로딩하는 방법 Iceberg 테이블에 데이터 파일을 직접 로딩하는 방법을 정리해본다.hdfs 에 저장되어 있는 parquet 파일을 iceberg 테이블에 insert 하는 게 목적이다. 방법은 여러가지가 있는데, 그 중에서impala의 load data 명령어를 사용해본다.load data 수행시 해당 경로의 파일은 없어짐load data 경로에 파티션 디렉토리까지 명시할 필요 없음Load data 수행시 아이스버그가 데이터파일의 파티션을 인식해서 알아서 저장해줌. (하나의 파케파일에 파티션 여러개여도 파티션 자동 인식)load data 경로에 하위 디렉토리가 있으면 에러발생cannot contain non-hidden subdirectoriesload data 수행시 내부적으로는 temp 테이블을 생성/삭제 하는.. 2026. 2. 23. Apache Iceberg 기본 개념, 테이블 구조 요즘 세미나를 듣거나, 기술 블로그를 보면 Iceberg를 많이 사용하는 것 같다.지금 회사에서도 Iceberg를 도입해서 운영 단계로 넘어온 상태이다. 데이터레이크라고 해서 대규모, 다양한 유형의 데이터를 한 곳에 모아서 사용하게 되면서이에 적합한 테이블 포맷인 Iceberg를 더 많이 사용하게 되는 것 같다. Apache Iceberg 란?.Iceberg는 넷플릭스에서 개발한 테이블 포맷이다.spark, impala, hive, trino 등 다양한 엔진에서 사용할 수 있다.Iceberg 테이블은 메타데이터를 파일 형태로 관리하기 때문에 좀 더 빠르고 효율적인 쿼리가 가능하다. impala 테이블을 iceberg 포맷으로 만든다고 해보자.sotred as iceberg 구문만 넣어주면 된다.crea.. 2025. 1. 24. Apache Pinot (아파치 피노) 간단한 소개. 실시간 OLAP Apache Pinot 의 아키텍처와 기능들, 그리고 테스트하면서 알게된 것들을 정리해보려 한다. (얼마만에 쓰는 블로그인가) 우선 피노의 개념을 가볍게 훑어보고 가자. 큰 개념은 다른 분산시스템과 비슷하다. (쪼개서 저장하고, 여러대가 데이터를 처리함) 공식문서 짱! https://pinot.apache.org/ Apache Pinot™: Realtime distributed OLAP datastore | Apache Pinot™Pluggable indexing Pluggable indexing technologies - Sorted Index, Bitmap Index, Inverted Index, StarTree Index, Bloom Filter, Range Index, Text Search Ind.. 2023. 4. 28. [putty] 윈도우에서 리눅스 서버(EC2) 접속하는 방법 putty (푸티)를 사용하여 윈도우에서 리눅스 서버(EC2)에 접속하는 방법을 정리합니다. 1) putty를 다운로드 받아주세요. https://putty.softonic.kr/download 2) EC2를 생성할 때 만든 key 파일을 putty에서 사용할 수 있도록 변환해줍니다. key 파일이란 AWS 리눅스 서버에 접속할 때 사용하는 인증용 파일이다. * key파일이 있어야만 AWS 서버에 접속할 수 있으므로 보관 유의 다운로드 받은 key(pem) 파일을 ppk 형태로 변환해주는 과정입니다. putty를 설치했으면 puttygen이라는 프로그램도 같이 설치됩니다. puttygen을 실행하여 pem 파일을 load하고 ppk로 변환된 파일을 저장합니다. 3) EC2의 퍼블릭 IP 혹은 DNS로 서.. 2022. 2. 19. Phoenix 연결방식 차이 (Thick / Thin) phoenix driver에는 크게 2가지 종류가 있다. 1. Thick 클라이언트가 zookeeper를 통해 HBase에 직접 붙는 방식이다. 클라이언트와 아래 컴포넌트 간 통신이 되어야 한다. - zookeeper (2181) - HBase master (16000) - HBase region server (16020) 2. Thin 클라이언트가 phoenix query server를 통해 phoenix에 접속하는 방식이다. phoenix query server를 별도로 구성하여 실행하여야 한다. 클라이언트는 phoenix query server(8765)와 통신만 되면 된다. 참고) python으로 phoenix에 접속하는 경우 query server를 통해 phoenix에 접속하는 python d.. 2021. 11. 19. HBase Start Process (HBase 2.2) - Region Assign HBase Cluster 시작 과정을 정리하면서 Region 할당이 어떤 과정으로 이루어지는지 알아보고자 한다. HBase Restart시 간헐적으로 발생하는 비정상 현상 원인을 파악하고자 한다. HBase 2.2+ 변경사항 HBase 2.2+ uses a new Procedure form assiging/unassigning/moving Regions. It does not process HBase 2.1 and 2.0’s Unassign/Assign Procedure types. HBase Master 로그를 확인하며 HBase Cluster 시작 과정을 파악하였다. 1. 프로세스 시작 및 Zookeeper 연결 2. WAL 처리 Recover lease on hdfs (MasterProcWALs/7.. 2021. 9. 8. 이전 1 2 3 4 ··· 17 다음 반응형
