Data Engineering/Airflow

[Programmers DE study] 5주차 세션 개념 및 흐름 익숙해지기

벽을넘다 2021. 2. 13. 00:59

-프로그래머스 강의 5주차 종료

-OLTP(외부 데이터 베이스, source의 개념, postgresql등)에서 airflow scheduler 이용해 AWS S3로 저장(중간에 파일 생성해서 복사 하는 과정)후 원하는 -형태로 출력할 수 있는 작업장의 기능을 하는 OLAP(redshift, data warehouse)로 데이터 흐름을 만드는 연습. 

            

            (airflow)      (airflow)     

-OLTP     ->     S3      ->     OLAP

 

-Udemy 강의로 복습

-다시 설치하고 개념 정리하기

강의는 airflow ui 설명 중, 터미널엔 webserver와 scheduler가 돌아가는 중.