반응형 전체 카테고리147 DHCP ignore MAC Address (dhcpd.conf) DHCP (Dynamic Host Configuration Protocol) DHCP는 네트워크에 사용되는 IP주소를 DHCP서버가 중앙집중식으로 관리하는 클라이언트/서버 모델을 사용한다. DHCP 클라이언트는 네트워크 부팅과정에서 DHCP서버에 IP주소를 요청하고 IP를 할당 받는다. 뿐만 아니라, 서브넷마스크, 게이트웨이 주소, DNS 주소도 할당해준다. 일반적으로 같은 대역대에서 작동한다. MAC주소 기반으로 통신한다. 동일한 LAN 안에서 MAC주소를 통해 통신한다. (스위칭 O, 라우팅 X) 다른 대역대에서도 작동하려면 DHCP relay를 사용한다. (다른 대역대 통신을 위한 랜카드가 추가로 필요하겠다.) DHCP 설정 특정 Mac Address 를 가진 Server에는 DHCP로 IP를 할당.. 2020. 7. 2. [Spark] Spark 예제 - json 데이터에서 원하는 데이터만 추출 테스트환경 zeppelin 0.8.1 spark 2.4.0 예제 github 이벤트 관련 json 데이터를 사용한다. push 횟수가 많은 순서대로 이름을 추출하고 정렬한다. 그 중에서 특정 명단에 있는 사람들만 뽑는다. 코드 %spark //최종버전 import scala.io.Source.fromFile object App { def main(args : Array[String]) { // git push 횟수가 많은 순서대로 이름을 뽑는다. val inputPath = "/spark-in-action/2015-03-01-23.json" val ghLog = spark.read.json(inputPath) val pushes = ghLog.filter("type = 'PushEvent'") val g.. 2020. 6. 25. [spark] 파일 한 줄씩 읽기 (scala fromFile) 테스트환경 zeppelin 0.8.1 spark 2.4.0 코드 %spark import scala.io.Source.fromFile // fromFile : hdfs 경로 안됨. 로컬 경로만 가능 val empPath = "/root/sunny/spark-in-action/ghEmployess.txt" val employees = Set() ++ ( for{ line employees.contains(user) val isEmployee = spark.udf.register("isEmpUdf", isEmp) // udf 사용하기 sql("""select isEmpUdf("NathanNg") as isEmpUdf from orderedTable limit 1""").show() 2020. 6. 24. [spark] spark 2.4 incompatibility with commons-lang3 in Zeppelin 시스템 개요 zeppelin 0.8.1 spark 2.4.0 현상 zeppelin 에서 spark-sql을 사용할 때 (yarn client 모드), select 쿼리가 수행되지 않는다. spark-sql CLI에서는 정상적으로 수행된다. 에러 내용 java.io.InvalidClassException: org.apache.commons.lang3.time.FastDateParser; local class incompatible: stream classdesc serialVersionUID = 2, local class serialVersionUID = 3 원인 spark는 commons-lang2.jar 을 사용하고 zeppelin의 spark interpreter는 commons-lang3.jar 를.. 2020. 6. 23. histogram in spark (scala) using zeppelin 스파크로 히스토그램을 만들고 그래프까지 그려본다. 실행 환경은 zeppelin 이다. 1. 샘플데이터 처리 %spark // collect : 단일 배열으로 바꿈 val lines = sc.textFile("/spark-in-action/client-ids.log") val idsStr = lines.map(line => line.split(",")) idsStr.collect // flatMap : 모든 배열 요소를 단일 컬렉션으로 만든다. (엔터 없애기) val ids = lines.flatMap(_.split(",")) ids.collect ids.collect.mkString(";") val intIds = ids.map(_.toInt) intIds.collect val uniqueIds = in.. 2020. 6. 23. [docker] 도커 컨테이너 <-> 호스트 간 파일 복사 1. 호스트 -> 도커 컨테이너 docker cp : 2. 도커 컨테이너 -> 호스트 docker cp : 2020. 6. 22. 이전 1 ··· 11 12 13 14 15 16 17 ··· 25 다음 반응형
