안녕하세요! 이번 시리즈에서는 데이터 엔지니어링의 전체 생명주기(Lifecycle)를 살펴보고, 실제 데이터가 발생하여 파이프라인을 타고 처리되는 전 과정을 아키텍처와 함께 구축해 보는 포스팅을 진행하고자 합니다. 첫 번째 편에서는 데이터 엔지니어링의 전체 라이프사이클 8가지 요소를 정리하고, 수집 파이프라인을 테스트하기 위한 k6 + ECS Fargate + FastAPI 기반 트래픽/로그 제너레이터(Traffic & Log Generator)를 설계해 보겠습니다.1. 데이터 엔지니어링 라이프사이클 (Data Engineering Lifecycle)데이터 파이프라인을 설계하기 전에 전체 데이터의 흐름을 이해하는 것은 매우 중요합니다. 데이터 엔지니어링 라이프사이클은 크게 6가지 메인 단계와 전 과정을 ..
https://github.com/hosose/steam_insight_ci GitHub - hosose/steam_insight_ciContribute to hosose/steam_insight_ci development by creating an account on GitHub.github.comhttps://github.com/hosose/steam_insight_cd GitHub - hosose/steam_insight_cdContribute to hosose/steam_insight_cd development by creating an account on GitHub.github.com Steam Insight 프로젝트를 마치며 팀 차원에서 진행했던 개발 과정, 기술적 도전, 그리고 잘했던 점과..
https://pabeba.tistory.com/304이전 시간에 그냥 장황하게 글을 작성하고... 떠나버렸죠. 저도 열심히 분석하고 글을 다시 써보려고 합니다. 이 글의 목적이 운영 가능한(Production-Ready) 고가용성 인프라 구축에 대한 글이라는 것을 계속 생각하면서 코드를 분석해보아요. 1. 기본 환경 및 변수 정의 파일📄 provider.tfterraform { required_version = ">=1.0" required_providers { aws = { source = "hashicorp/aws" version = "~>6.0" } }}provider "aws" { region = var.region default_tags { tag..
이 글을 시작하기 전 말씀드리고 싶은 것이 있습니다. 저조차도 아직 이 내용이 제대로 이해가 되지 않습니다. 그렇기 때문에 용기 내어 글을 올려봅니다. 왜냐하면 이 글을 작성하면서 이 글을 작성했다는 제 자신이 부끄럽지 않기 위해 더 공부할 예정입니다.그러니 이상한 내용이 있다면 말씀해주세요.ㅎㅎ 오늘은 단일 서버나 단순 VPC 구성을 넘어, 실제 운영(Production) 환경에서 바로 적용할 수 있는 운영 가능한(Production-Ready) 고가용성 인프라 구축 가이드를 작성해 보려고 합니다. 테라폼(Terraform)을 활용해 Multi-AZ(다중 가용 영역) 기반의 3-Tier 웹 아키텍처를 완벽하게 자동화 구축하는 실습을 정리했습니다.1. V1 아키텍처 개요 및 특징우리가 구축할 V1 아키텍..
오늘은 저번 시간에 작성한 Terraform 내용을 분석하는 시간을 가지겠습니다.1. 전체 아키텍처 및 프로바이더 설정가장 먼저 테라폼 버전과 사용할 AWS 프로바이더를 정의합니다.terraform { required_version = ">= 1.0" required_providers { aws = { source = "hashicorp/aws" version = "~> 6.0" } }}provider "aws" { region = var.region}AWS Provider v6.0 사용: 최신 AWS 프로바이더 버전을 지정하여 신규 기능 및 최신 API 호환성을 확보했습니다.지역(Region) 변수화: var.region을 사용하여 기본 리전(ap-northeast..
https://pabeba.tistory.com/301 지난 포스팅에서 커스텀 VPC와 퍼블릭 서브넷(Public Subnet)의 기본 뼈대를 만든 데 이어, 오늘은 보안의 핵심인 프라이빗 서브넷(Private Subnet)을 구축하고, 외부 패키지 설치를 위한 NAT 게이트웨이(NAT Gateway) 연동 및 Web-WAS-DB 3-Tier 보안 그룹 체계를 테라폼(Terraform)으로 구현해 보겠습니다. 1. 목표 시스템 아키텍처우리가 구축할 네트워크 아키텍처는 외부 인터넷 망과 직접 통신하는 Public 영역과, 외부 직접 접근이 전면 차단된 안전한 Private 영역으로 명확히 나뉩니다. Internet ..
