ABOUT ME

-

Today
-
Yesterday
-
Total
-
  • [Programmers DE study] 5주차 세션 개념 및 흐름 익숙해지기
    Data Engineering/Airflow 2021. 2. 13. 00:59

    -프로그래머스 강의 5주차 종료

    -OLTP(외부 데이터 베이스, source의 개념, postgresql등)에서 airflow scheduler 이용해 AWS S3로 저장(중간에 파일 생성해서 복사 하는 과정)후 원하는 -형태로 출력할 수 있는 작업장의 기능을 하는 OLAP(redshift, data warehouse)로 데이터 흐름을 만드는 연습. 

                

                (airflow)      (airflow)     

    -OLTP     ->     S3      ->     OLAP

     

    -Udemy 강의로 복습

    -다시 설치하고 개념 정리하기

    강의는 airflow ui 설명 중, 터미널엔 webserver와 scheduler가 돌아가는 중.

    'Data Engineering > Airflow' 카테고리의 다른 글

    [Programmers DE study] Final assignment  (0) 2021.02.19
Designed by Tistory.