Data Engineering/Airflow
[Programmers DE study] 5주차 세션 개념 및 흐름 익숙해지기
벽을넘다
2021. 2. 13. 00:59
-프로그래머스 강의 5주차 종료
-OLTP(외부 데이터 베이스, source의 개념, postgresql등)에서 airflow scheduler 이용해 AWS S3로 저장(중간에 파일 생성해서 복사 하는 과정)후 원하는 -형태로 출력할 수 있는 작업장의 기능을 하는 OLAP(redshift, data warehouse)로 데이터 흐름을 만드는 연습.
(airflow) (airflow)
-OLTP -> S3 -> OLAP
-Udemy 강의로 복습
-다시 설치하고 개념 정리하기
강의는 airflow ui 설명 중, 터미널엔 webserver와 scheduler가 돌아가는 중.