Study Note

[Airflow] Python 함수 인자

def regist(name,sex): print(name) print(sex) regist('sdd','man') - 일반적인 함수 인자 방법 - 호출하는 로직에서 몇 개의 파라미터를 넘길지 모를떄는 어떻게해야하나..? 1. *arg def regist(name,sex,*args): print(type(args)) country = args[0] if len(args)>=1 else None city = args[1] if len(args)>=2 else None regist('soo','man') regist('soo','man','korea','seoul') - args로 들어온 값은 튜플로 저장 - args에서 값을 꺼낼 때는 인덱스를 이용(ex:args[0],args[1]) - args라는 이름..

[Airflow] 파이썬 오퍼레이터

- 라이브버리 from airflow.operators.python import PythonOperator (패키지명) / (오퍼레티터명(클래스)) - 어떤 역할을 하는 오퍼레이터인가? 정의된 파이썬 함수를 실행시키는것이며, 가장 많이 사용되는 오퍼레이터 - 파이썬 모듈 오퍼레이터 종류 패키지 오퍼레이터 의미 airflow.operators.python PythonOperator - 어떤 파이썬 함수를 실행시키기 위한 오퍼레이터 BranchPythonOperator - 파이썬 함수 실행 결과에 따라 task를 선택적으로 실행시킬 때 사용되는 오퍼레이터 ShortCircuitOperator - 파이썬 함수 실행 결과에 따라 후행 Task를 실행하지 않고 종료시킬 수 있는 오퍼레이터 PythonVirtual..

[Airflow] E-mail 오퍼레이터

- 이메일 전송해주는 오퍼레이터 email_t1 = EmailOperator( task_id="email_t1", to='ooooo@naver.com', subject="Airflow 처리결과", html_content='정상 처리되었습니다. ' - 사전 셋팅 작업 1) 구글 메일 서버 사용 2) G-mail -> 설정 -> 모든 설정보기 -> 전달 및 POP/IMAP -> IMAP 사용 3) 구글 계정관리 -> 보안 -> 2단계 인증 -> 앱비밀번호 셋팅 - Docker-compose.yaml 편집 (environment 항목에 추가) AIRFLOW__SMTP__SMTP_HOST:'stmp.gmail.com' AIRFLOW__SMTP__SMTP_USER:'{gmail 계정}' AIRFLOW__SMTP_..

[Airflow] Task 연결하기

Task 연결 방법 - Task 연결 방법 종류 1) >>, > 후 t1 >> t2 t1 >> t3 t2 >> t4 t3 >> t4 t5 >> t4 장점 : 단순한게 연결하면 한다 단점 : 코드만 봤을때 어떻게 연결되어있는지 한눈에 잘 안들어온다. 2) Code 작성 t1 >> [t2,t3] >> t4 t5 >> t4 [t4,t7] >> t6 >> t8 Airflow 실습 from airflow import DAG import pendulum import datetime from airflow.operators.empty import EmptyOperator with DAG( dag_id = 'dags_conn_test', schedule= None, start_date=pendulum.datetime(..

[Airflow] Cron 스캐줄

Cron 스케줄 개념 - task가 실행되어야 하는 시간(주기)을 정하기 위한 다섯개의 필드로 구성된 문자열 - 다섯개의 필드 : {분} {시} {일} {월} {요일} 특수문자 의미 * 모든 값 - 범위 지정 , 여러 값 지정 / 중간값 지정 L 마지막 값(일, 요일에만 설정 가능) - 일에 L 입력시 해당 월의 마지막 일 의미 - 요일에 L입력시 토요일 의미 # 몇 번째 요일인지 지정 Cron schedule 의미 비고 15 2*** 매일 02시 15분 0 **** 매시 정각 001 ** 매월 1일 0시 0분 10 1**1 매주 월요일 1시 10분 0: 일요일, 1:월요일, 2:화요일, 3:수요일, 4:목요일, 5:금요일, 6:토요일 */30 **** 삼십분마다 (0분,30분) * / * "/" 왼쪽은..

넘파이를 사용한 백터 표현

# 김도형의 데이터 사이언스 스쿨에서 설명되지 않는 코드들 정리 사이킷런 패키지에서 제공하는 MNIST 숫자 이미지를 활용 plt.figure(figsize=(8,2)) for i in range(8): plt.subplot(1,8, i+1) plt.imshow(d[i], interpolation='nearest',cmap=plt.cm.bone_r) plt.grid(False); plt.xticks([]); plt.yticks([]) 1. subplot(행,열,서브플롯) - 행 : 전체 영역의 행수를 표현 -> 지금 현재 코드에서는 1개의 행 - 열 : 전체 영역의 열수를 나타냄 -> 지금 현재 코드에서는 8개의 열이 있음 - 서브플롯 : 그려지는 서브플롯 위치를 결정 반복문을 통하여 i+1를통하여 1부..

[R] 기초 표

formula (규정식 사용) - for-mula의 틸테 표시 즉 ~의 왼쪽에는 우리가 그룹별로 나누고자 하는 변수(grouping variable)의 이름을 작성해주고 ~의 오른쪽에는 표의 열이 되는 변수(row variables)의 이름을 작성 - ~의 오른쪽에는 마침표 "."를 쓸 수 있는데 이것은 열 전부를 뜻한다. mytable(Dx~.,data=acs) # Dx 변수에 대한 테이블을 생성(Dx 변수의 값과 해당 값이 빈도를 계산) mytable(sex~age+Dx,data=acs) # sex 변수를 age 와 DX 변수로 예측 연속형 변수의 통계 방법(method) - 연속형 변수는 정규분포하는 것으로 간주하고 통계처리를 한다. 1. 정규분포 하는 것으로 간주하고 분석한다. 표에는 평균과 표준..

Level 0 - 머쓱이보다 키 큰 사람

문제 머쓱이는 학교에서 키 순으로 줄을 설 때 몇 번째로 서야 하는지 궁금해졌습니다. 머쓱이네 반 친구들의 키가 담긴 정수 배열 array와 머쓱이의 키 height가 매개변수로 주어질 때, 머쓱이보다 키 큰 사람 수를 return 하도록 solution 함수를 완성해보세요. 제한사항 1. 1 ≤ array 의 길이 ≤ 100 2. 1 ≤ height의 길이 ≤ 200 3. 1 ≤ array 의 원소 ≤ 200 입출력 예 array height result [149,180,192,170] 167 3 [180,120,140] 190 0 내가 푼 풀이 def solution(array,height): answer = 0 for i in array: if i > height : answer +=1 return..