[Airflow] Task 연결하기

Task 연결 방법

 

- Task 연결 방법 종류

   1) >>, << 사용하기 (Airflow 공식 추천 방식)

   2) 함수 사용하기

 

 

ex) DAG 연결 상태

---

1 )Code 작성

 

선 >> 후

t1 >> t2

t1 >> t3

t2 >> t4

t3 >> t4

t5 >> t4

 

장점 : 단순한게 연결하면 한다

단점 : 코드만 봤을때 어떻게 연결되어있는지 한눈에 잘 안들어온다.

 

2) Code 작성

 

t1 >> [t2,t3] >> t4

t5 >> t4

[t4,t7] >> t6 >> t8

 

---

Airflow 실습

from airflow import DAG
import pendulum
import datetime
from airflow.operators.empty import EmptyOperator

with DAG(
    dag_id = 'dags_conn_test',
    schedule= None,
    start_date=pendulum.datetime(2024,4,3,tz='Asia/Seoul'),
    catchup=False
) as dag :
    
    t1 = EmptyOperator(
        task_id="t1"
    )
    
    t2 = EmptyOperator(
        task_id="t2"
    )

    t3 = EmptyOperator(
        task_id="t3"
    )

    t4 = EmptyOperator(
        task_id="t4"
    )

    t5 = EmptyOperator(
        task_id="t5"
    )
    
    t6 = EmptyOperator(
        task_id="t6"
    )
    
    t7 = EmptyOperator(
        task_id="t7"
    )

    t8 = EmptyOperator(
        task_id="t8"
    )

    t1 >> [t2,t3] >> t4
    t5 >> t4
    [t4,t7] >> t6 >> t8

 

Airflow DAG