반응형 Side Project19 [AWS] 패스트캠퍼스 강의에서 사용했던 AWS 대표 서비스 8가지 패스트캠퍼스 강의를 들으며 사용했던 AWS 서비스를 정리한다. 어떤 용도인지 이해하고, 나중에 적재적소에 활용해보자. (언젠가) 1) RDS RDB를 손쉽게 구축할 수 있는 서비스이다. MySQL, MariaDB, Oracle 등 원하는 RDB를 선택할 수 있다. 또한, 리소스도 설정할 수 있다. (메모리, CPU 등) DB 인스턴스를 생성하면 endpoint가 생성된다. endpoint URL을 통해 DB에 접근한다. 2) S3 AWS의 저장소이다. 버킷 단위로 생성한다. 버킷 이름은 유일하다. 각 버킷 내에서 디렉토리 구조로 파일을 저장한다. 3) Dynamo DB key-value 기반의 DB이다. 4) Lambda 별도의 서버 없이 코드(python, java 등)를 수행할 수 있다. Lambda.. 2020. 9. 27. [python] boto3를 통해 AWS 서비스와 연동하기 (boto3 예시 2가지) python으로 AWS 서비스를 사용하고 싶다면, boto3 패키지를 쓰면 됩니다. boto3의 사용 예시 2가지를 정리해보려고 합니다. 그 전에 AWS CLI를 설정해둔 상태여야 합니다. AWS CLI 설정하는 방법은 따로 정리해두었습니다. boto3를 설치하지 않았다면, pip install boto3 를 실행하여 설치합니다. 1) S3에 파일 넣기 import boto3 import pandas as pd # 딕셔너리 -> DataFrame -> parquet 파일로 변환 top_tracks = {'id': ['35q0DyRH5bIXDoFGWJBjmC'], 'artist_id': '0kRAVpQhUUArA8UnYwEdeZ', 'name': ['Lonely Night'], 'popularity': [.. 2020. 9. 27. [python] 파일 한 줄씩 읽어서 저장하기 제가 좋아하는 아티스트 리스트 입니다. 음색 좋은 아티스트들이 좋당. 노래 주제가 다양하면 더 좋고! 사운드클라우드에서 커버곡 듣는 것도 좋으다! 폴킴 스텔라장 아이유 크러쉬 태연 치즈 ed sheeran 악동뮤지션 이하이 오왠 G-DRAGON 지코 창모 박원 볼빨간사춘기 10cm 권진아 김필 혁오 적재 BTS 수지 아무튼! python으로 아티스트를 하나씩 불러와서 저장하고 싶다면? (갑자기 IT냄새 풍기기) import csv artists = [] with open("artist_list.csv","r", encoding="utf-8") as f: raw = csv.reader(f) for row in raw: artists.append(row[0]) artist라는 배열에 제가 좋아하는 아티스트들.. 2020. 9. 27. [python] spotify API 호출하여 json 데이터 받아오고 처리하기 개요 python을 사용하여 spotify API 를 호출하여 json 데이터를 받아온다. 이 데이터를 원하는 형태로 처리한다. Spotify API 인증 방식 대부분의 API 호출은 인증이 필요하다. 본 포스팅에서는 아래와 같은 인증방식(client_credentials)을 사용한다. API를 호출할 때 client_id, client_secret, grant_type(=client_credentials) 값을 넘겨준다. 그러면 spotify가 access_token을 준다. 이후 API를 호출할 때 header에 access_token 값을 포함하여 요청하면 된다. client_id, client_secret 값은 spotify app을 생성하여 발급받는다. python requests 패키지 pyt.. 2020. 9. 17. [python] python으로 mysql connect 하기 1. pymysql 패키지 설치 pip3 install pymysql 2. connection 정보를 변수에 저장하기 host = "mysql.hostname.com" port = 3306 database = "test" username = "sunny" password = "sunny123" 연결할 mysql 서버의 host, port 를 저장한다. 또한 접근할 database명, user, password를 저장한다. 당연히 해당 user가 database 권한이 있어야 접근 가능하다. 3. connection 생성하기 conn = pymysql.connect(host, user=username, passwd=password, db=database, port=port, use_unicode=True,.. 2020. 8. 29. 패스트캠퍼스 데이터 엔지니어링 강의 왜 이 강의를 들으려고 하나유? 인프라 관련 업무만 하다보니 데이터 처리하는 분야도 배워보고 싶어서 사내 교육비를 활용해보고 싶어서 ( 교육이수증 발급 가능 ) 클라우드를 제대로 사용해본 적이 없는데 이 기회에 AWS 접해보고 싶어서 강의로만 끝나는 게 아니라 챗봇 개발 프로젝트까지 제공해줘서 직접 해보는 맛이 있을 것 같아서 교육과정 블로그에 정리할 컨텐츠 Python python으로 mysql connect 하기 python으로 API 호출하여 json 데이터 받아오고 처리하기 csv 파일 데이터를 하나씩 읽어서 처리하기 boto3를 통해 AWS 서비스랑 연동하기 AWS 해당 강의에서 사용하는 AWS 서비스들 간단하게 정리 RDS, S3, Athena, lambda, EMR, DynamoDB, API.. 2020. 8. 23. 이전 1 2 3 4 다음 반응형
