css selector

코딩 개발/Python

Python - 데이터수집처리 (feat. 네이버 finance 환율) 2

저번 시간에 이어서 이제 위에 있는 메타 정보를 가져와보겠습니다. https://pabeba.tistory.com/276 1. 메타 정보 추출 목적개별 통화의 환율 데이터(매매기준율, 미화환산율 등)만으로는 해당 데이터의 기준 시점과 제공처를 정확히 식별할 수 없습니다. 데이터의 무결성과 시계열 분석을 보장하기 위해 기준 시간, 고시 은행, 고시 회차와 같은 메타 정보(Meta Data)를 별도로 추출하여 개별 데이터 셋에 병합해야 합니다.2. Part 1: 타겟 사이트 접속 (요청 및 응답)환율 상세 정보와 메타 정보가 존재하는 페이지가 다를 경우,메타 정보를 제공하는 별도의 URL에 HTTP GET 요청을 보내 HTML 응답을 획득해야 합니다.import urllib.request as reqfrom..

코딩 개발/Python

Python - 데이터수집처리 (feat. 네이버 finance 환율) 1

네이버 finance 환율 웹 화면에서 데이터를 가져오는 법을 알아보겠습니다.(네이버님들 혹시 트래픽이 너무 많이 잡혀 문제가 되면 글을 숨김처리하겠습니다. 근데 보러 오는 사람이 별로 없어서 그럴 일은 없을 것 같습니다.... ㅠ) 데이터 분석이나 자동화 프로젝트를 진행하다 보면, 필요한 데이터를 항상 깔끔한 형태의 Open API로 얻을 수 있는 것은 아닙니다. 때로는 우리가 직접 웹사이트에 접속해서 화면에 보이는 정보를 긁어와야(Scraping) 하는 경우가 발생하죠.오늘은 Open API가 제공되지 않는 환경에서 BeautifulSoup(BS4)를 활용하여 웹 데이터를 추출(Extract)하고 변환(Transform)하는 ETL 파이프라인 구축 방법을 알아보겠습니다. 1. 웹 스크래핑(Scrapi..

호소세
'css selector' 태그의 글 목록