날마다 풍요로운 감수성 날마다 풍요로운 감수성

실무에서 유용할 dag 직접 만들어보기. 물론 지금까지 짰던 코드를 재배치 하는 정도이다. redshift에 있는 raw data를 다시 불러와 sql 로 summary테이블을 만드는 것. 이 작업은 다른 부서와 협업시 효율을 위한 일이다. 쿼리만 짜서 넣으면 자동으로 테이블이 생성되어 생성된 테이블 안에서 자유롭게 분석할 수 있기 때문이다. 개념 이해를 마치고 실습에 들어갔다. 결코 쉽지 않다. 이전 기억을 끄집어 내야 했다. user_session_channel 테이블을 이용하기로 헀다. 적당히 조건을 걸어 주고 대그 실행 시 자동으로 테이블이 만들어지도록 해 주었다. dag는 정상 실행 됐지만 내 schema에 테이블이 생성되지 않았다. 왜지? commit을 잊고 있었다. 다시 떠올리는 transa..

-프로그래머스 강의 5주차 종료 -OLTP(외부 데이터 베이스, source의 개념, postgresql등)에서 airflow scheduler 이용해 AWS S3로 저장(중간에 파일 생성해서 복사 하는 과정)후 원하는 -형태로 출력할 수 있는 작업장의 기능을 하는 OLAP(redshift, data warehouse)로 데이터 흐름을 만드는 연습. (airflow) (airflow) -OLTP -> S3 -> OLAP -Udemy 강의로 복습 -다시 설치하고 개념 정리하기 강의는 airflow ui 설명 중, 터미널엔 webserver와 scheduler가 돌아가는 중.