ETL

코딩 개발/Python

Python - 데이터수집처리 (feat. 네이버 finance 환율) 2

저번 시간에 이어서 이제 위에 있는 메타 정보를 가져와보겠습니다. https://pabeba.tistory.com/276 1. 메타 정보 추출 목적개별 통화의 환율 데이터(매매기준율, 미화환산율 등)만으로는 해당 데이터의 기준 시점과 제공처를 정확히 식별할 수 없습니다. 데이터의 무결성과 시계열 분석을 보장하기 위해 기준 시간, 고시 은행, 고시 회차와 같은 메타 정보(Meta Data)를 별도로 추출하여 개별 데이터 셋에 병합해야 합니다.2. Part 1: 타겟 사이트 접속 (요청 및 응답)환율 상세 정보와 메타 정보가 존재하는 페이지가 다를 경우,메타 정보를 제공하는 별도의 URL에 HTTP GET 요청을 보내 HTML 응답을 획득해야 합니다.import urllib.request as reqfrom..

코딩 개발/Python

Python - 데이터 수집, 처리, 적재 (ETL) (feat. NAVER Developer 어플리케이션 사용 법, Google Colab에서 API 사용)

이번 시간에는 데이터 엔지니어로서 꼭 해야하는 데이터 수집, 처리, 적재ETL( Extract , Transform , Load )에 대하여 알아봅시다.데이터 추출을 위해 NAVER Devoloper 에서 api 를 빌려올 예정입니다.NAVER Devoloper API 사용법 1. NAVER Devoloper 입장https://developers.naver.com/main/ NAVER Developers네이버 오픈 API들을 활용해 개발자들이 다양한 애플리케이션을 개발할 수 있도록 API 가이드와 SDK를 제공합니다. 제공중인 오픈 API에는 네이버 로그인, 검색, 단축URL, 캡차를 비롯 기계번역, 음developers.naver.com 2. NAVER Devoloper 로그인 3. Applicatio..

호소세
'ETL' 태그의 글 목록