데이터수집처리 1탄 : https://pabeba.tistory.com/276데이터수집처리 2탄 : https://pabeba.tistory.com/277 오늘은 마지막으로 데이터를 적재해 보겠습니다.앞서 진행된 데이터 추출(Extract) 및 변환(Transform) 단계를 거쳐 생성된 최종 데이터를 영구적인 저장 매체(파일, 데이터베이스 등)에 보관하는 적재(Load) 단계에 대한 가이드입니다.파이썬의 데이터 분석 라이브러리인 pandas를 활용하면 리스트 형태의 데이터를 표(Table) 형태의 DataFrame으로 변환할 수 있으며, 내장 메서드를 통해 CSV 파일이나 RDBMS(관계형 데이터베이스)로 간편하게 적재할 수 있습니다. 1. 데이터프레임(DataFrame) 변환파이썬의 딕셔너리를 요소로..
이번 시간에는 데이터 엔지니어로서 꼭 해야하는 데이터 수집, 처리, 적재ETL( Extract , Transform , Load )에 대하여 알아봅시다.데이터 추출을 위해 NAVER Devoloper 에서 api 를 빌려올 예정입니다.NAVER Devoloper API 사용법 1. NAVER Devoloper 입장https://developers.naver.com/main/ NAVER Developers네이버 오픈 API들을 활용해 개발자들이 다양한 애플리케이션을 개발할 수 있도록 API 가이드와 SDK를 제공합니다. 제공중인 오픈 API에는 네이버 로그인, 검색, 단축URL, 캡차를 비롯 기계번역, 음developers.naver.com 2. NAVER Devoloper 로그인 3. Applicatio..