본문 바로가기

코딩 연습/코딩배우기160

로또 당첨번호 회차별 엑셀 저장(파이썬 크롤링) 로또 당첨번호를 확인하는 웹 페이지(동행복권)에 대한 파이썬 크롤링을 하는 김에 이전 포스팅(동행복권 로또 당첨번호 추출하는 파이썬 크롤링 코딩)에 이어서 이번에는 지정된 범위의 회차별 로또 당첨번호를 csv 파일로 저장하는 코드를 작성해보았다. 동행복권 로또 당첨번호를 CSV 파일로 저장하기 csv 모듈을 추가한 후 당첨번호를 추출하는 함수 일부를 수정하고, csv 객체에 추출된 당첨번호를 writerow() 메서드를 활용하면 저장이 된다. [크롤링 소스 코드] import requests from bs4 import BeautifulSoup import csv def lottery_resust(fr, to): try: int(fr) int(to) except ValueError as e: print(.. 2022. 3. 30.
동행복권 로또 당첨번호 추출하는 파이썬 크롤링 코딩 동행복권 로또 당첨번호 추출하는 파이썬 크롤링 코드를 만들어보았다. 네이버 지식인에 올라온 내용인 [vscode 파이썬 코딩 도와주세요. 로또 몇몇회 치고 버튼누르면 그 회 로또번호 나오게끔 (GUI로) 부탁합니다ㅠㅠ]을 가지고 작성한 코드이다. 네이버 지식인 요구 - 동행복권 로또 당첨번호 추출 파이썬으로 동행 복권 로또 당첨번호를 추출하는 내용이었는데, tkinter GUI에서 로또 회차를 입력하고 버튼을 누르면 requetst와 beautifiulsoup로 당첨번호와 보너스 번호를 추출하고 그 내용을 표시해달라는 요구사항이었다. 로또 당첨번호 추출은 함수로 다시 만들었고, 파이썬 tkinter 부분은 요구자의 코드를 그대로 두고 일부만 추가하였다. 소스 코드 from tkinter import * .. 2022. 3. 29.
크롤링 도구 셀레니움(selenium) 업그레이드 웹 크롤링에서 많이 사용하는 도구인 셀레니움(selenium)이 수개월 전에 업그레이드되었고 HTML 요소를 찾는 부분이 변경되었다고 하는데... 크롤링 도구 셀레니움(selenium) 4 알아보기 파이썬으로 크롤링할때 자주 사용하고 있었던 selenium이 버전 3에서 버전 4로 한 단계 기능 향상을 이루었다고 한다. 그에 맞추어서 파이썬 크롤링에서 자주 사용하는 selenium 드라이버의 설치와 HTML 요소 추출 메서드의 변경 내역, 그리고 크롬 드라이버를 생성하여 간단하게 구글 검색을 해보는 방법으로 변경 내역을 정리해본다. 셀레니움 설치는 기존과 같이 하면 되고, 설치는 pip install selenium 또는 pip install selenium==4.0.0 업그레이드는 pip install.. 2022. 3. 25.
네이버 지식인 명예의전당 질문 키워드 추출(with 파이썬 크롤링) 네이버 지식인(지식iN)의 명예의 전당 영역에 있는 질문 키워드에 대해 파이썬 크롤링으로 추출해보았다. 연도별 100개 키워드가 있고, 월별 질문 개수와 최대 질문 월이 라인 그래프에 표시되어있다. (단, 당해연도는 월별 집계만 됨) 네이버 지식iN 질문 키워드 추출해보기 지식iN 페이지 개발자도구(F12)로 보기 파이썬 크롤링 소스 코드 import requests from bs4 import BeautifulSoup from datetime import date def naver_knowledge(fr_years, to_years, months): today_year = date.today().year today_month = date.today().month if fr_years < 2010 or .. 2022. 3. 23.
폴더 파일리스트 추출하여 엑셀에 저장하고, 파일명 바꾸기(파일이름 일괄변경 포함) 지정한 폴더에 있는 파일을 읽어와서 엑셀에 저장하는 코드와, 불러들인 파일명에 대응하여 주어진 이름(엑셀에 '변경 파일명' 컬럼 이용)으로 파일 이름을 바꾸는 코드를 만들어봤다. ◆ 지정 폴더 내 파일들을 읽고 파일명을 엑셀에 저장하기 먼저, 탐색기 폴더(위 이미지 참고)에 있는 파일 리스트를 읽어오는 코드는 다음과 같다. [소스 코드] Tkinter로 만든 실행 파일(exe) 다운로드 import pathlib import openpyxl def read_files(dir_path, filename): wb = openpyxl.Workbook() ws = wb['Sheet'] # wb.active xl_filename = filename + '.xlsx' ws.cell(1, 1).value = 'No'.. 2022. 3. 15.
국민 내일배움카드 'K-디지털 기초역량훈련' 내용과 파이썬으로 과정명 크롤링하기 직장을 다니든 안 다니든 자기 계발을 국가가 지원하는 제도인 '국민내일배움카드'를 들어보았을 것이다. 이 카드를 활용하는 사이트인 '직업훈련포털 HRD-Net(https://www.hrd.go.kr)'의 'K-디지털 기초역량 훈련'에 대해서 알아보고, 해당 과정의 웹 페이지 내용(과정명 등)에 대해 크롤링(스크래핑)하는 연습을 해보려고 한다. 'K-디지털 기초역량훈련' 내용과 과정명 등에 대한 크롤링해보기 K-디지털 기초역량훈련 K-디지털 기초역량 훈련은 디지털 분야에서 일하고 싶은 비전공자의 디지털 기초역량을 습득을 위해 기초 코딩, 웹·앱 개발 등을 입문 과정부터 배우도록 지원하는 제도로, 업무와 훈련을 병행할 수 있도록 100% 원격으로 진행되며, 국민내일배움카드 지원금액 이외로 1인당 50만 원까.. 2022. 3. 11.
파이썬 pyshorteners 라이브러리로 단축 URL(단축 링크) 만들기 유튜브 영상 주소(URL), 쿠팡 파트너스 등 제휴 마케팅 사이트의 긴 주소(URL)를 네이버 블로그, SNS, 이메일, 문자메시지 등에 삽입할 수 있도록 파이썬 pyshorteners 라이브러리 활용하여 단축 URL을 만드는 방법을 설명하려고 한다. 파이썬 라이브러리로 단축 URL 만들어보기 네이버 블로그, SNS 등에 쿠팡 파트너스 등의 제휴 마케팅 사이트 주소(광고 배너 링크나 키워드 링크 URL 등)를 넣으면 검색에서 불이익을 받는 경우가 있다고 하여 긴 URL을 짧게 만드는 단축 URL을 많이 사용한다. 그런데, 단축 URL을 사용할 때 주의해야 할 점이 있다. 한 번 사용하고 버릴 단축 URL이라면 상관없지만, 중요한 사이트이거나 계속해서 사용할 경우에는 이름이 있거나 오랜 기간 서비스를 하고.. 2022. 2. 16.
juso.go.kr 도로명 주소, 엑셀로 분리하는 방법을 파이썬으로 해보기 juso.go.kr의 도로명 주소를 보면, 형태가 4가지로 나오는데 '건물번호'까지만 있는 것과 괄호 안에 동명칭, 건물 명칭이 있는 것, 그리고 괄호 안에 동명칭만 있거나 동명칭은 없고 건물 명칭만 있는 것 등이다. 도로명 주소를 엑셀을 이용해 주소를 구분(분리)하는 방법도 있지만, 파이썬의 openpyxl 라이브러리 사용하여 빠르게 분리하는 방법도 있다. 파이썬으로 도로명 주소 분리해보기 먼저, 괄호 안에 동명칭이나 건물 명칭이 있는 것은 엑셀로 쉽게 분리할 수 있으니 그 부분은 분리했다고 하고, 건물번호까지 각각을 분리하는 방법을 코드로 구현해보았다. ☞ "강원도 속초시 미시령로3359번길 9(교동, 현대아파트)"에서 (교동, 현대아파트) 부분은 괄호 부분을 find() 함수로 찾아서 mid() 등.. 2022. 2. 9.
juso.go.kr에서 파이썬으로 도로명주소 등 추출 juso 사이트의 검색란에 '고양시 아파트'처럼 키워드를 입력하여 우편주소, 도로명 주소, 도로명 영문주소, 지번 주소를 추출해보는 파이썬 크롤링 연습용 코드를 작성해봤다. 파이썬으로 juso 사이트에서 주소 추출하기 juso.go.kr의 검색란에 검색 키워드(예로, 고양시 아파트)를 입력하고 검색하면 도로명주소와 지번주소, 영문과 국문 변환, 우편번호 등을 확인할 수 있다. 여기서 도로명주소와 지번주소, 영문 도로명주소, 우편번호 등을 파이썬으로 크롤링해볼 것이다. 일단, 주소(URL)를 살펴보면, https://www.juso.go.kr/support/AddressMainSearch.do?currentPage=1&countPerPage=10&&searchType=HSTRY&searchKeyword=고.. 2022. 2. 2.
파이썬으로 아파트 관련 기본 정보 추출해보기(공공데이터포털 API 사용법) 아파트 관련 정보가 필요하여 공공데이터 포털(data.go.kr)에서 국토교통부 공동주택 기본 정보제공 서비스에 대한 오픈 API 활용신청 후 파이썬으로 코딩 후 데이터를 추출해보았다. 공공데이터 포털 API 사용해 아파트 정보 추출 공공데이터 포털에서 추출한 공동주택 관련 기본 정보제공 서비스에는 2가지 서비스가 있는데, 1) 공동주택 기본 정보조회 단지 코드를 이용해 단지명, 법정동 주소, 분양 형태, 난방방식, 건축물대장상 연면적, 동수, 세대수, 시공사, 시행사, 관리사무소 연락처, 관리사무소 팩스, 홈페이지 주소, 단지 분류, 도로명주소, 호수, 관리방식, 복도 유형, 사용승인일, 관리비 부과면적, 전용면적별 세대 현황, 단지 전용면적합, 법정동 코드를 조회할 수 있는 공동주택 기본 정보제공 서.. 2022. 1. 24.

티스토리툴바