패스트캠퍼스 데이터 엔지니어링 강의

 

 

왜 이 강의를 들으려고 하나유?

• 인프라 관련 업무만 하다보니 데이터 처리하는 분야도 배워보고 싶어서
• 사내 교육비를 활용해보고 싶어서 ( 교육이수증 발급 가능 )
• 클라우드를 제대로 사용해본 적이 없는데 이 기회에 AWS 접해보고 싶어서
• 강의로만 끝나는 게 아니라 챗봇 개발 프로젝트까지 제공해줘서 직접 해보는 맛이 있을 것 같아서

 

 

교육과정

[패스트캠퍼스]-교육과정소개서-데이터-엔지니어링.pdf

0.63MB

 

 

블로그에 정리할 컨텐츠

 

Python

• python으로 mysql connect 하기
• python으로 API 호출하여 json 데이터 받아오고 처리하기
• csv 파일 데이터를 하나씩 읽어서 처리하기
• boto3를 통해 AWS 서비스랑 연동하기

 

AWS

• 해당 강의에서 사용하는 AWS 서비스들 간단하게 정리
  • RDS, S3, Athena, lambda, EMR, DynamoDB, API Gateway, Cloud Watch
• 프리티어 과금 주의사항
• AWS 접근인증 (엑세스키, IAM 사용자 등) 설정하기

 

Spotify 데이터

• 데이터 분류 (artists, albums 등 각 주제의 속성값까지 정리)
• 데이터 모델링 (ch6)

 

최종

• AWS 기반의 챗봇 개발 미니 프로젝트 
  • 아키텍처
  • 개발 코드
  • 개선 사항/연결 과제 아이디어

• 완강 후 느낀점