전체 글
-
210311 TILTIL/202103 2021. 3. 12. 00:21
1. 영어 my school doesn’t look good because the structure seems just have the same type 2. datacamp 테이블 만들 때 create table table name( column name, type, constraint ) 3. 파이썬 f string 쓰자, 작은 것부터 refactoring 4. cracking the tech career @@@BUT TECH ISN’T UNIVERSALLY THE BEST, AND IT’S NOT FOR EVERYONE@@@
-
210220 TILTIL/202102 2021. 2. 21. 01:42
[실리날아 DE] 마무리, 다시 보고 정리해야 함 transaction의 중요성, airflow dag 생성 시 param, config 활용해 업무 효율 높이기 기억에 남음. connentions, variables는 물론 [자료구조 알고리즘] 데이터 간 관계, 적용할 수 있는 함수나 명령을 뜻하는 자료구조, 문제 해결을 위한 절차, 방법, 명령어 등을 뜻하는 알고리즘 파이썬 자료구조는 대표적으로 문자형(string), 배열(list), 사전(dictionary). 선형배열에서 쓰이는 내장함수는 append, pop, insert, del 등이 있음. 빅오표기법에 의해 append와 pop은 O(1)으로 표기, 리스트 길이에 구애 받지 않고 실행 속도가 일정하다는 뜻 insert와 del은 안에서 돌아..
-
[Programmers DE study] Final assignmentData Engineering/Airflow 2021. 2. 19. 20:10
실무에서 유용할 dag 직접 만들어보기. 물론 지금까지 짰던 코드를 재배치 하는 정도이다. redshift에 있는 raw data를 다시 불러와 sql 로 summary테이블을 만드는 것. 이 작업은 다른 부서와 협업시 효율을 위한 일이다. 쿼리만 짜서 넣으면 자동으로 테이블이 생성되어 생성된 테이블 안에서 자유롭게 분석할 수 있기 때문이다. 개념 이해를 마치고 실습에 들어갔다. 결코 쉽지 않다. 이전 기억을 끄집어 내야 했다. user_session_channel 테이블을 이용하기로 헀다. 적당히 조건을 걸어 주고 대그 실행 시 자동으로 테이블이 만들어지도록 해 주었다. dag는 정상 실행 됐지만 내 schema에 테이블이 생성되지 않았다. 왜지? commit을 잊고 있었다. 다시 떠올리는 transa..
-
210212 TILTIL/202102 2021. 2. 13. 01:06
[독서] -스웨덴 관련 책, 공교육에 관하여 -빈곤의 연대기, 신자유주의 폐해, 민영화 등 [계획] -프로그래머스 강의 다시듣기, 과제하기 계획 완료 -영문이력서 만들기, 취업 관련 코칭받기 일정 확정 [어학] -듀오링고 영어, 스웨덴어 30분 학습 완료 -원서 읽는 시간, 양 늘려야 함(데이터 직무 또는 it 관련) [DE] -프로그래머스 5주차 강의 다시보기 완료, 과제 시작 -Udemy airflow 강의 수강 시작, 설치 -노션 이력서 영문 변환 시작 [이후 일정] -2월 17일 미용실, 이후 사진 촬영 계획 세우기
-
[Programmers DE study] 5주차 세션 개념 및 흐름 익숙해지기Data Engineering/Airflow 2021. 2. 13. 00:59
-프로그래머스 강의 5주차 종료 -OLTP(외부 데이터 베이스, source의 개념, postgresql등)에서 airflow scheduler 이용해 AWS S3로 저장(중간에 파일 생성해서 복사 하는 과정)후 원하는 -형태로 출력할 수 있는 작업장의 기능을 하는 OLAP(redshift, data warehouse)로 데이터 흐름을 만드는 연습. (airflow) (airflow) -OLTP -> S3 -> OLAP -Udemy 강의로 복습 -다시 설치하고 개념 정리하기 강의는 airflow ui 설명 중, 터미널엔 webserver와 scheduler가 돌아가는 중.
-
[programmers DE study] - create, insert 연습Data Engineering/SQL 2021. 1. 26. 00:06
수업 중 내용을 복습하던 중 스키마에 테이블을 만들고 컬럼을 설정한 후 null값을 직접 넣어 count를 해보고 싶다는 생각이 들었다. postico를 켜고 바로 해봤지만 오류. 스터디 슬랙 창에 문의해서 다른 분의 도움을 받았지만 쿼리를 맞게 입력했음에도 계속 에러가 났다. 아직 해결하지 못 했다. 이상한 것은 다른 분이 똑같은 postico환경에서 실행했을 땐 null 값이 들어갔다는 것이다. 무엇이 문제인가. 내일 다시 알아봐야 겠다.
-
210119 TILTIL/202101 2021. 1. 20. 00:57
SQL - DATACAMP로 연습 중. oracle이 아닌 다른 sql 문법도 공부해야 한다. -inner, left, right, full join -join using 절 PYTHON -numpy 기본 -쉬운 것에 머무르면 지루해진다. -클래스와 알고리즘을 다시 가열차게! DATABASE -실리날아 수업 숙제 제출 완료, 리뷰를 기다린다. -깃허브를 실전처럼 쓸 수 있어 좋다. -역시 리눅스 해야 한다. -javascript, mongoDB, mariaDB도 결국은 하게 될 것 같다. -데이터 품질 구매함. 독서 -타게 엘란더 꾸준히 읽고 있다. 스웨덴을 더 잘 알고 싶다. -가치의 모든 것. 경제를 너무 몰랐다. 지금이라도 시작해서 다행