1. EC2 가 뭘까? aws 의 EC2 는 Elastic Computing Cloud 의 약자다. 쉽게 말해 aws 의 서버를 빌려오는 것인데, EC2 (가상머신) 을 비롯해 EBS (가상 드라이브에 데이터 업로드) ELB (분산처리), ASG (오토 스케일링 그룹) 으로 기능이 하나의 서비스로 구성되어있다. 이는 클라우드 전체가 작동하는 방식을 이해하기 좋은 공부다! 클라우드를 쓴다는 것 자체가 필요할 때 마다 서버를 빌려오는 개념이기 때문. EC2 의 경우 환경설정에서 먼저 - 어떤 환경에서 개발할건지 - CPU (computing power) 는 어느정도인지 - 필요한 Ram 은 어느 정도인지 - 필요한 스토리지는 (EBS&EFS, EC2) 어느정도인지 - 네트워크는 어떻게 하고 싶은지 (속도 등..

aws 에서는 클라우드 서비스의 수십가지 기능들을 제공한다. 해당 시리즈의 포스팅에서는 Data Analytics Enginner 로서 알아야 하고, 쓸 줄 알아야 하는 aws 생태계의 기본적인 기능들을 다루고 이를 증명할 수 있는 자격증을 취득하는 과정을 기록하려고 한다. 본 시리즈는 감사하게도 강의를 협찬해주신 udemy 의 이 코스를 기반으로 작성했으며, 배운 내용들을 정리하고, 실습한 내용들을 잊지 않으려고 적어두는 포스팅이다. IAM 은 한마디로 요약하자면 AWS 상에서 어떤 활동을 하려는 사용자에게 권한을 부여하고 관리하는 도구! 보안과 유저 행동을 관리할 수 있는 가장 기본적인 서비스! 0. Intro 먼저 AWS 에서가장 먼저 알고 넘어가야 하는 기능은 바로 IAM 이다. 근데 IAM 에 ..

유저 DB, 경영정보 테이블 등 변동이 심한 DB 는 어떻게 관리하면 좋을까? 예를 들어, 어떤 회사의 A 직원이 개발팀에서 근무하다 마케팅팀으로 옮겼다면? DB 정보를 업데이트하고 지우기 위해서 단순히 INSERT INTO 라던지 DELETE 구문을 이용해 개발팀_table 과 마케팅팀_table 의 DB 를 수정한다면 인원이 늘어남에 따라 관리가 복잡해짐은 물론이며, 과거의 데이터를 트래킹하기 어렵다는 치명적인 한계가 있다. 이럴 때 사용하는 SQL 로직으로 SCD (Slowly Changing Dimension).. 라는 녀석이 있다. 데이터 엔지니어링 분야에서 자주 쓰이는 로직과 문법인데, SCD type 1 - 6 까지 경우에 따라 다양하게 적용할 수 있다. 지금부터 SCD 로직을 적용하는 경우..

데이터를 다루다 보면 과거의 데이터를 수정할 일이 생긴다. 에어플로우에서 이 작업을 할 수 있게 도와주는걸 backfill 이라 부르고 catchup 기능으로 이걸 구현할 수 있는데, DB 를 직접 sql 구문을 이용해 수정하기도 한다. 이때 사용되는 몇가지 sql 구문들을 살펴보자 1. upsert 방법 upsert 는 말 그대로 update + insert 방법이다. 스키마의 key 값을 검사해 중복이 있다면 업데이트, 중복이 없다면 insert 를 해주는 방법인데, 이 문법으로 구현할 수 있다 INSERT INTO [TABLE] #업데이트 할 테이블 ( [COLUMN1] #업데이트 할 컬럼 , [COLUMN2] , [COLUMN3] ) VALUES ( [VALUE1] #업데이트 될 값 , [VALU..