티스토리

날마다 풍요로운 감수성
검색하기

블로그 홈

날마다 풍요로운 감수성

enthusiastic7.tistory.com/m

벽을넘다 님의 블로그입니다.

구독자
3
방명록 방문하기
공지 축! 블로그 탄생! 모두보기

주요 글 목록

  • [Programmers DE study] Final assignment 실무에서 유용할 dag 직접 만들어보기. 물론 지금까지 짰던 코드를 재배치 하는 정도이다. redshift에 있는 raw data를 다시 불러와 sql 로 summary테이블을 만드는 것. 이 작업은 다른 부서와 협업시 효율을 위한 일이다. 쿼리만 짜서 넣으면 자동으로 테이블이 생성되어 생성된 테이블 안에서 자유롭게 분석할 수 있기 때문이다. 개념 이해를 마치고 실습에 들어갔다. 결코 쉽지 않다. 이전 기억을 끄집어 내야 했다. user_session_channel 테이블을 이용하기로 헀다. 적당히 조건을 걸어 주고 대그 실행 시 자동으로 테이블이 만들어지도록 해 주었다. dag는 정상 실행 됐지만 내 schema에 테이블이 생성되지 않았다. 왜지? commit을 잊고 있었다. 다시 떠올리는 transa.. 공감수 0 댓글수 0 2021. 2. 19.
  • [Programmers DE study] 5주차 세션 개념 및 흐름 익숙해지기 -프로그래머스 강의 5주차 종료 -OLTP(외부 데이터 베이스, source의 개념, postgresql등)에서 airflow scheduler 이용해 AWS S3로 저장(중간에 파일 생성해서 복사 하는 과정)후 원하는 -형태로 출력할 수 있는 작업장의 기능을 하는 OLAP(redshift, data warehouse)로 데이터 흐름을 만드는 연습. (airflow) (airflow) -OLTP -> S3 -> OLAP -Udemy 강의로 복습 -다시 설치하고 개념 정리하기 강의는 airflow ui 설명 중, 터미널엔 webserver와 scheduler가 돌아가는 중. 공감수 0 댓글수 0 2021. 2. 13.
    문의안내
    • 티스토리
    • 로그인
    • 고객센터

    티스토리는 카카오에서 사랑을 담아 만듭니다.

    © Kakao Corp.