지난 2부에서는 NumPy 배열을 만드는 여러 가지 방법과 reshape()에 대해 공부했습니다. 이번 3부에서는 NumPy를 사용하는 가장 큰 이유 중 하나인 배열 연산에 대해 살펴보려고 합니다.NumPy를 처음 공부하면서 개인적으로 가장 신기했던 부분이 바로 이것이었습니다.arr + 10arr * 10 처음에는 조금 이상하게 느껴졌습니다.“배열 하나에 숫자 하나를 더했는데 어떻게 배열 안의 모든 숫자가 바뀌는 걸까요?” 일반적인 파이썬 리스트에서는 이렇게 동작하지 않기 때문입니다. 그런데 NumPy에서는 배열 전체를 대상으로 계산하는 것이 아주 자연스럽습니다.그리고 여기서 한 단계 더 나가면 서로 크기가 다른 배열끼리도 일정한 조건을 만족하면 계산할 수 있습니다. 이때 등장하는 개념이 바로브로드캐스팅..
지난 글에서는 NumPy가 왜 필요한지, 그리고 NumPy의 핵심 자료구조인 ndarray가 무엇인지 살펴봤습니다.이번에는 한 단계 더 들어가서 NumPy 배열을 실제로 어떻게 만드는지 공부해보려고 합니다.처음 NumPy를 배우다 보면 배열 하나를 만드는 함수가 생각보다 많아서 조금 당황하게 됩니다.np.array()np.asarray()np.arange()np.zeros()np.ones()np.empty()np.eye()np.identity()np.random.randn() 처음에는 이런 생각이 들었습니다.“그냥 np.array() 하나만 있으면 되는 것 아닌가?” 그런데 하나씩 살펴보니 각 함수마다 사용하는 목적이 조금씩 달랐습니다. 그리고 이번 글에서 개인적으로 가장 중요하다고 느낀 부분은 resh..
요즘 데이터 관련 공부를 시작하면서 NumPy를 처음 제대로 접하게 되었습니다. 사실 처음에는 조금 의문이 들었습니다.“파이썬에는 리스트가 있는데 굳이 NumPy라는 걸 또 배워야 하나?”숫자를 여러 개 저장하는 거라면 그냥 리스트에 넣으면 되고, 반복문으로 계산하면 되는 것 아닌가 싶었습니다. 그런데 공부를 조금 해보니 NumPy는 단순히 숫자를 담는 또 하나의 자료구조가 아니었습니다. Pandas를 비롯한 데이터 분석 도구부터 머신러닝, 딥러닝까지 이어지는 과정에서 꽤 중요한 기반 역할을 하고 있었습니다. 이번 글에서는 NumPy 문법부터 바로 들어가기보다는 먼저,데이터를 처리할 때 어떤 것을 고려해야 하는지NumPy, Pandas, Polars, Spark는 무엇이 다른지NumPy가 왜 빠른지nda..
https://github.com/hosose/LOG_GEN/tree/bronze GitHub - hosose/LOG_GEN at bronzeContribute to hosose/LOG_GEN development by creating an account on GitHub.github.com 안녕하세요! "Fargate와 Terraform으로 만드는 대용량 로그 생성기" 시리즈의 제6편입니다. 앞선 1~5편에서는 AWS Fargate와 CloudWatch Logs를 이용해 가상 로그를 생성하고 확인하는 애플리케이션 운영/디버깅 관점의 시스템을 구축했습니다. 이번 6편부터는 본격적인 데이터 엔지니어링(Data Engineering)의 세계로 진입합니다!로그를 단순히 콘솔에 찍는 것에 그치지 않고, 메달리온..
안녕하세요! "Fargate와 Terraform으로 만드는 대용량 로그 생성기" 시리즈의 마지막인 제5편에 오신 것을 환영합니다. 앞선 편들에서 우리는 다음과 같은 내용들을 배웠습니다.1~3편: 파이썬(Python)과 통계학(포아송/지수분포)을 활용해 4대 도메인의 리얼한 트래픽 및 오염 데이터를 생성하는 원리4편: 테라폼(Terraform) 코드를 이용해 AWS VPC, ECR, ECS Fargate 등 클라우드 인프라를 자동으로 생성하는 방법이제 이번 5편에서는 우리가 작성한 파이썬 코드를 도커(Docker) 컨테이너로 포장하고, 스크립트 단 한 줄로 AWS Fargate에서 수백~수만 건의 로그를 대량 생성하는 1-Click 실행 파이프라인을 완성해 보겠습니다. 초보자분들도 쉽게 따라오실 수 있도..
안녕하세요! "Fargate와 Terraform으로 만드는 대용량 로그 생성기" 시리즈의 제4편입니다. 1~3편에서 완성한 파이썬 로그 생성기 코드를 이제 클라우드(AWS) 환경에 올려볼 차례입니다.하지만 AWS 웹 콘솔에 들어가서 마우스로 클릭-클릭하며 서버를 만드는 방식은 실수하기 쉽고, 재현이 불가능하며, 시간이 오래 걸립니다. 그래서 우리는 인프라를 한 줄의 코드로 정의하고 관리하는 IaC (Infrastructure as Code, 코드형 인프라) 도구인 테라폼(Terraform)을 사용합니다. 이번 4편에서는 infra/ 폴더 아래의 모든 테라폼 파일들을 하나씩 뜯어보며, AWS의 핵심 네트워크와 서버리스 컨테이너 환경이 어떻게 코드로 만들어지는지 알아보겠습니다! 1. 왜 EC2가 아니라 '..
