Study Note/dbt

호수와 창고: 의료 데이터는 어디에 저장될까?

안녕하세요! 오늘은 데이터 저장소의 두 거물, Data Lake와 Data Warehouse의 차이를 알아보겠습니다. 병원 데이터를 다루다 보면, "이 영상 데이터는 어디서 가져와요?" 혹은 "지난달 환자 통계는 어디 있어요?"라는 질문을 하게 되는데요. 그 답이 바로 여기에 있습니다. 1. Data Lake : 날 것 그대로의 저장소 위 그림의 왼쪽(파란색)을 봐주세요.정의: 데이터를 원래의 형태(Raw format) 그대로 저장하는 중앙 저장소입니다.특징 (Schema-on-Read): 데이터를 저장할 때는 규칙이 없습니다. 나중에 읽을 때(Read) 스키마를 정의합니다.의료 현장 예시:비정형 데이터: MRI, X-ray 이미지, 내시경 비디오.반정형 데이터: 환자 바이탈 사인(ECG) 로그 JSON..

[dbt 입문] 한 방에 이해하기: 왜 모두가 dbt를 쓰는가?

안녕하세요! 오늘은 모던 데이터 스택의 핵심, dbt(data build tool)에 대해 이야기해보려 합니다. 의료 데이터 분석가로서 SQL로 환자 데이터를 뽑다 보면 이런 고민 해보신 적 없나요? "어? 지난달 재입원율 쿼리 어디 저장해뒀지?" "김 연구원님이 뽑은 환자 수랑 내가 뽑은 환자 수가 왜 다르지?" (알고 보니 status='active' 조건 하나 차이...) "이 테이블, 누가 언제 만든 건지 믿을 수 있는 건가?" 이런 'SQL 지옥'에서 우리를 구원해 줄 도구가 바로 dbt입니다. 1. dbt가 뭔가요? (The "T" in ELT)데이터를 분석하기 위해 우리는 보통 ELT (Extract - Load - Transform) 과정을 거칩니다.Extract (수집): 병원 EMR, ..