https://github.com/hosose/DE/tree/aws GitHub - hosose/DE at awsContribute to hosose/DE development by creating an account on GitHub.github.com 끝인 줄 알았지만 연재는 계속 되었답니다.... ㅋㅋㅋㅋ다시 달려보시죠 아직 할게 많았군요. 1. 실무 비즈니스 시나리오: 신규 고객 자동 AI 신용평가 시스템핀테크 및 금융 도메인에서는 매일 수많은 신규 고객이 회원가입을 하거나 기존 고객의 소득/대출 정보가 갱신됩니다.하지만 실시간으로 모든 AI/ML 모델 추론을 웹 서버 트래픽 안에서 수행하면 서버 부하가 급증하고 응답 지연이 발생할 수 있습니다.따라서 실무에서는 매일 자정(배치 주기)에 다음과 같..
https://github.com/hosose/DE/tree/airflow GitHub - hosose/DE at airflowContribute to hosose/DE development by creating an account on GitHub.github.com 1. Why Multi-DAG Architecture? (단일 DAG vs Multi-DAG)단일 DAG에 수집, 정제, 적재 작업을 모두 몰아넣으면 관리하기 쉽지만 다음과 같은 문제가 발생합니다.특정 단계(예: DB 적재) 실패 시 전체 파이프라인을 재실행해야 함데이터 수집 전담 팀과 정제/분석 팀의 소스코드 충돌모듈화 및 재사용 불가능Multi-DAG 아키텍처는 Extract DAG, Transform DAG, Load DAG를 각각 ..
https://github.com/hosose/DE/tree/airflow GitHub - hosose/DE at airflowContribute to hosose/DE development by creating an account on GitHub.github.com 1. 실전 시나리오 개요스마트 팩토리의 오븐 센서에서 10개의 측정 데이터(온도 및 생성 시간)가 수집되어 파일 형태로 적재된다고 가정합니다.우리는 이 데이터를 정제하고, 단위 변환 파생변수(섭씨 ➔ 화씨)를 추가한 뒤 MySQL 데이터 웨어하우스에 자동 적재하는 ETL 파이프라인을 구축합니다.flowchart LR create_table[SQLExecuteQueryOperator1. MySQL 테이블 생성] --> extract[P..
https://github.com/hosose/DE/tree/airflow GitHub - hosose/DE at airflowContribute to hosose/DE development by creating an account on GitHub.github.com 1. Cron 스케줄링 및 Jinja 템플릿 (03_basics_context_jinja.py)Airflow에서는 스케줄 매개변수로 숏컷 프리셋(@daily, @hourly) 외에 표준 Cron 표현식(분 시 일 월 요일)을 제공합니다. 또한 명령어나 쿼리에 동적 날짜 변수를 파라미터화할 수 있도록 Jinja 템플릿 및 Macros 기능을 지원합니다.dags/03_basics_context_jinja.py의 주요 코드입니다.from air..
실습 소스 : https://github.com/hosose/DE/tree/airflow GitHub - hosose/DE at airflowContribute to hosose/DE development by creating an account on GitHub.github.com 1. Apache Airflow 핵심 개념 정리DAG (Directed Acyclic Graph): 방향성 비순환 그래프로, 파이프라인의 작업 순서와 의존성을 정의합니다.Operator: 실행할 개별 작업의 주체 (예: Bash 셸 실행, Python 함수 호출, SQL 실행 등).Task: Operator가 DAG 내에서 실제 정의된 상태 (노드).TaskInstance: 특정 시간/스케줄에 할당되어 실행된 Task의 실제..
1. 실습 환경 아키텍처 구성https://github.com/hosose/DE/tree/airflow GitHub - hosose/DE at airflowContribute to hosose/DE development by creating an account on GitHub.github.com 실습 전 파일을 받아보고 싶으시다면 위의 github에 접속하여 실습을 진행해보아요. 데이터 엔지니어링 실습을 위해 독립적이고 재현 가능한 로컬 시스템을 구축합니다.Docker Compose를 사용하여 Apache Airflow 클러스터, MySQL RDBMS DB, FastAPI microservice를 한 번에 띄웁니다.┌────────────────────────────────────────────────..
