전체 글

데이터를 다루다 보면 과거의 데이터를 수정할 일이 생긴다. 에어플로우에서 이 작업을 할 수 있게 도와주는걸 backfill 이라 부르고 catchup 기능으로 이걸 구현할 수 있는데, DB 를 직접 sql 구문을 이용해 수정하기도 한다. 이때 사용되는 몇가지 sql 구문들을 살펴보자 1. upsert 방법 upsert 는 말 그대로 update + insert 방법이다. 스키마의 key 값을 검사해 중복이 있다면 업데이트, 중복이 없다면 insert 를 해주는 방법인데, 이 문법으로 구현할 수 있다 INSERT INTO [TABLE] #업데이트 할 테이블 ( [COLUMN1] #업데이트 할 컬럼 , [COLUMN2] , [COLUMN3] ) VALUES ( [VALUE1] #업데이트 될 값 , [VALU..

* 해당 게시글은 airflow 설치와 local 에서 작동이 잘 되고있는 상태라고 가정하고 작성한 글입니다. 혹시 설치부터 막힌다면 이전에 포스팅한 글을 참고해주세요! 에어플로우로 데이터 처리 자동화 작업을 해보려 한다. 에어플로우는 웬만한 3rd party 제품과의 연결을 지원하는데, 나는 익숙하게 사용하는 GCP 를 이용해보려고 한다. 먼저 gcp 에 가입을 해준다. 뭐라도 쓰려면 일단 무료 평가판을 구매해야 하는데, 실습을 위한 용량은 충분히 제공하기 때문에 걱정하지 않아도 됨. GCP > BigQuery 에 들어와서 데이터 세트 만들기를 눌러준다 아이디를 설정하고 세트를 만들고 나면 다음과 같은 화면이 뜬다 점 세개를 누르면 정보들을 확인할 수 있다 이번에는 클라우드 스토리지 > 버킷 으로 넘어..

Kafka 를 공부하면서 IT 기업들이 어떤식으로, 어떤 프로젝트에서 Kafka 를 사용하는지 궁금해져 테크블로그들을 뒤져 찾아봤다. 재밌게 읽었던 테크블로그 아티클들 모음 1. 리디 https://ridicorp.com/story/how-to-use-kafka-in-ridi/ 리디에서 Kafka를 사용하는 법 - 리디주식회사 RIDI Corporation 2020년부터 리디는 내부 API를 활용하던 마이크로 서비스들 간의 통합을 점차 분산 데이터 스트리밍 플랫폼 'Apache Kafka' 기반으로 옮겨가고 있습니다. 리디는 Kafka를 어떻게 활용하고 있을까요? ridicorp.com 2. 라인 https://engineering.linecorp.com/ko/blog/how-to-use-kafka-in..

1. 원래 우리는 데이터 파이프라인을 어떻게 만들었나 Kafka 가 있기 전의 전통적인 데이터 아키텍쳐는 Rest API 처럼 Api 요청을 보내고, 데이터를 받아와서 Data Lake 를 구축하곤 하는 방식을 주로 사용했었다. 그런데, 이 방식은 데이터 파이프라인이 복잡해지면 복잡해질수록 신뢰도가 점점 떨어지고, 저 연결고리가 복잡하다면 어떤 에러가 발생했을 때, 어디에서 에러가 나는지 모니터링하기도 어렵다는 단점이 있다. 그래서 이 복잡도를 낮춰줄 중간 단계로서 Kafka 가 등장한 것인데,... 쉽게 생각해 Data Lake 에 넘어가기 전 단계에 이 프로세스들을 한데로 연결할 중간 고리를 만들었다고 생각하면 된다 이렇게 파이프라인을 구축하면, 복잡도가 선형적으로 상승하기 때문에 확장성이 좋고, 새..

*본 포스팅은 구글 데이터 사이언티스트 출신인 DataInterview 님의 유튜브 영상을 참고해 만들어졌습니다 a/b 테스트는 기본적으로 a와 b 옵션 중 우리 프로덕트를 개선하기 위해 어떤 선택을 할 것이냐는 문제를 수치를 이용해 의사결정을 내리기 위한 과정 중 하나다. 지금까지 내가 알고 있던 a/b 테스트 메트릭은 그저.. 랜덤한 집단인 a 그룹과 b 그룹에 각각 a 행동과 b 행동을 하고, 클릭율, 전환율, 오픈율과 같은 수치를 이용해 뭐가 더 나은 것인지 판단하는 것이다. 그런데, 항상 궁금했던 점이 있다. "어디까지가 통계적으로 유의미한 지표인가", 만약 메트릭들을 비교했을 때 수치상으로 5프로 정도의 차이가 났다면 이는 통계적으로 유의미한 결과인가? , "p-value 만 참고해 의사결정을..

아직 우리나라 기업들은 쓰는 곳을 많이 보진 못한 것 같은데, 너무나 어마어마해서 놀라웠던 자동 스크래핑 Sass 툴 하나를 소개하겠다! 바로 Brightdata https://brightdata.com/ Bright Data - The World's #1 Web Data Platform Award winning proxy networks, powerful web scrapers, and ready-to-use datasets for download. Welcome to the world's #1 web data platform. brightdata.com 대충 홈페이지를 들어가 보면 이런 영역으로 사업을 전개중인 것 같다. 스크래핑 자동화 툴이 대표적인 툴이고, 그들이 만든 데이터를 팔고 대시보드 구성..