https://github.com/hosose/DE/tree/aws GitHub - hosose/DE at awsContribute to hosose/DE development by creating an account on GitHub.github.com 1. 실무 비즈니스 시나리오: 이벤트 기반(Event-Driven) 데이터 파이프라인데이터 엔지니어링 환경에서 모든 데이터가 정해진 시간(예: 매일 자정, 매시간 정각)에 딱 맞춰 들어오지는 않습니다.모빌리티 서비스 (예: 쏘카, 그린카): 고객이 차량을 반납하고 외관 사진을 업로드하는 즉시 AI 파손 판독 파이프라인이 동작해야 합니다.스마트 팩토리 / IoT: 센서 장비에서 주기적/비주기적으로 생성되는 덤프 데이터가 S3에 도착하는 순간 즉시 정제 및..
1. 왜 클라우드 데이터 레이크의 중심으로 Amazon S3를 사용하는가?온프레미스 파일 서버나 단일 데이터베이스(RDBMS)에 방대한 원천 데이터를 계속 적재하면 디스크 용량 한계와 I/O 병목이 발생합니다.Amazon S3 (Simple Storage Service)는 다음과 같은 이유로 현대 데이터 엔지니어링의 핵심 데이터 레이크(Data Lake) 저장소로 사용됩니다:99.999999999% (11 9s)의 압도적인 데이터 내구성무제한 객체 스토리지 용량 및 자동 확장성강력한 빅데이터 생태계 연계 (AWS Athena, Glue, EMR/Spark, Redshift, Snowflake 등)저렴한 비용과 유연한 수명주기(Lifecycle) 티어링 정책이번 8편에서는 Terraform(IaC)을 통해..
https://github.com/hosose/DE/tree/aws GitHub - hosose/DE at awsContribute to hosose/DE development by creating an account on GitHub.github.com 끝인 줄 알았지만 연재는 계속 되었답니다.... ㅋㅋㅋㅋ다시 달려보시죠 아직 할게 많았군요. 1. 실무 비즈니스 시나리오: 신규 고객 자동 AI 신용평가 시스템핀테크 및 금융 도메인에서는 매일 수많은 신규 고객이 회원가입을 하거나 기존 고객의 소득/대출 정보가 갱신됩니다.하지만 실시간으로 모든 AI/ML 모델 추론을 웹 서버 트래픽 안에서 수행하면 서버 부하가 급증하고 응답 지연이 발생할 수 있습니다.따라서 실무에서는 매일 자정(배치 주기)에 다음과 같..
https://github.com/hosose/DE/tree/airflow GitHub - hosose/DE at airflowContribute to hosose/DE development by creating an account on GitHub.github.com 1. Why Multi-DAG Architecture? (단일 DAG vs Multi-DAG)단일 DAG에 수집, 정제, 적재 작업을 모두 몰아넣으면 관리하기 쉽지만 다음과 같은 문제가 발생합니다.특정 단계(예: DB 적재) 실패 시 전체 파이프라인을 재실행해야 함데이터 수집 전담 팀과 정제/분석 팀의 소스코드 충돌모듈화 및 재사용 불가능Multi-DAG 아키텍처는 Extract DAG, Transform DAG, Load DAG를 각각 ..
https://github.com/hosose/DE/tree/airflow GitHub - hosose/DE at airflowContribute to hosose/DE development by creating an account on GitHub.github.com 1. 실전 시나리오 개요스마트 팩토리의 오븐 센서에서 10개의 측정 데이터(온도 및 생성 시간)가 수집되어 파일 형태로 적재된다고 가정합니다.우리는 이 데이터를 정제하고, 단위 변환 파생변수(섭씨 ➔ 화씨)를 추가한 뒤 MySQL 데이터 웨어하우스에 자동 적재하는 ETL 파이프라인을 구축합니다.flowchart LR create_table[SQLExecuteQueryOperator1. MySQL 테이블 생성] --> extract[P..
https://github.com/hosose/DE/tree/airflow GitHub - hosose/DE at airflowContribute to hosose/DE development by creating an account on GitHub.github.com 1. Cron 스케줄링 및 Jinja 템플릿 (03_basics_context_jinja.py)Airflow에서는 스케줄 매개변수로 숏컷 프리셋(@daily, @hourly) 외에 표준 Cron 표현식(분 시 일 월 요일)을 제공합니다. 또한 명령어나 쿼리에 동적 날짜 변수를 파라미터화할 수 있도록 Jinja 템플릿 및 Macros 기능을 지원합니다.dags/03_basics_context_jinja.py의 주요 코드입니다.from air..
