https://github.com/hosose/LOG_GEN GitHub - hosose/LOG_GENContribute to hosose/LOG_GEN development by creating an account on GitHub.github.com 이 시리즈에서는 AWS Fargate와 Terraform(IaC)을 활용하여 실무 수준의 대용량 로그 생성기 & 트래픽 시뮬레이터를 처음부터 끝까지 직접 구축해 봅니다. 첫 번째 시간인 1편에서는 "도대체 로그 생성기가 왜 필요한지"와 "실무에서 통하는 표준 로그 데이터는 어떻게 설계해야 하는지"를 쌩초보의 눈높이에 맞춰 하나씩 차근차근 알아보겠습니다!1. 데이터 엔지니어에게 '로그 생성기'가 왜 필요할까요?초보자가 가장 많이 하는 고민"카프카(Kafk..
https://github.com/hosose/DE/tree/aws GitHub - hosose/DE at awsContribute to hosose/DE development by creating an account on GitHub.github.com 1. 실무 비즈니스 시나리오: 이벤트 기반(Event-Driven) 데이터 파이프라인데이터 엔지니어링 환경에서 모든 데이터가 정해진 시간(예: 매일 자정, 매시간 정각)에 딱 맞춰 들어오지는 않습니다.모빌리티 서비스 (예: 쏘카, 그린카): 고객이 차량을 반납하고 외관 사진을 업로드하는 즉시 AI 파손 판독 파이프라인이 동작해야 합니다.스마트 팩토리 / IoT: 센서 장비에서 주기적/비주기적으로 생성되는 덤프 데이터가 S3에 도착하는 순간 즉시 정제 및..
1. 왜 클라우드 데이터 레이크의 중심으로 Amazon S3를 사용하는가?온프레미스 파일 서버나 단일 데이터베이스(RDBMS)에 방대한 원천 데이터를 계속 적재하면 디스크 용량 한계와 I/O 병목이 발생합니다.Amazon S3 (Simple Storage Service)는 다음과 같은 이유로 현대 데이터 엔지니어링의 핵심 데이터 레이크(Data Lake) 저장소로 사용됩니다:99.999999999% (11 9s)의 압도적인 데이터 내구성무제한 객체 스토리지 용량 및 자동 확장성강력한 빅데이터 생태계 연계 (AWS Athena, Glue, EMR/Spark, Redshift, Snowflake 등)저렴한 비용과 유연한 수명주기(Lifecycle) 티어링 정책이번 8편에서는 Terraform(IaC)을 통해..
https://github.com/hosose/DE/tree/aws GitHub - hosose/DE at awsContribute to hosose/DE development by creating an account on GitHub.github.com 끝인 줄 알았지만 연재는 계속 되었답니다.... ㅋㅋㅋㅋ다시 달려보시죠 아직 할게 많았군요. 1. 실무 비즈니스 시나리오: 신규 고객 자동 AI 신용평가 시스템핀테크 및 금융 도메인에서는 매일 수많은 신규 고객이 회원가입을 하거나 기존 고객의 소득/대출 정보가 갱신됩니다.하지만 실시간으로 모든 AI/ML 모델 추론을 웹 서버 트래픽 안에서 수행하면 서버 부하가 급증하고 응답 지연이 발생할 수 있습니다.따라서 실무에서는 매일 자정(배치 주기)에 다음과 같..
https://github.com/hosose/DE/tree/airflow GitHub - hosose/DE at airflowContribute to hosose/DE development by creating an account on GitHub.github.com 1. Why Multi-DAG Architecture? (단일 DAG vs Multi-DAG)단일 DAG에 수집, 정제, 적재 작업을 모두 몰아넣으면 관리하기 쉽지만 다음과 같은 문제가 발생합니다.특정 단계(예: DB 적재) 실패 시 전체 파이프라인을 재실행해야 함데이터 수집 전담 팀과 정제/분석 팀의 소스코드 충돌모듈화 및 재사용 불가능Multi-DAG 아키텍처는 Extract DAG, Transform DAG, Load DAG를 각각 ..
https://github.com/hosose/DE/tree/airflow GitHub - hosose/DE at airflowContribute to hosose/DE development by creating an account on GitHub.github.com 1. 실전 시나리오 개요스마트 팩토리의 오븐 센서에서 10개의 측정 데이터(온도 및 생성 시간)가 수집되어 파일 형태로 적재된다고 가정합니다.우리는 이 데이터를 정제하고, 단위 변환 파생변수(섭씨 ➔ 화씨)를 추가한 뒤 MySQL 데이터 웨어하우스에 자동 적재하는 ETL 파이프라인을 구축합니다.flowchart LR create_table[SQLExecuteQueryOperator1. MySQL 테이블 생성] --> extract[P..
