네이버 뉴스 크롤링 - 기사 제목과 링크(URL) 추출

네이버에서 기사를 검색하기 위해 키워드를 입력하고 뉴스 탭을 클릭한 경우, 관련도순으로 나오는 1페이지 기사를 추출하는 크롤링 코드임. 기사 일자와 기사 제목, 그리고 기사 원문 링크 주소(URL)를 추출하여 텍스트 파일로 저장한다.  

 

 

네이버 뉴스 기사 제목과 링크 주소(URL) 추출 [파이썬 크롤링]

 

[파이썬 소스 코드]

from bs4 import BeautifulSoup
import requests
from datetime import datetime

def naver_news(keyword):
    header = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.67 Safari/537.36'
    }

    url = f'https://search.naver.com/search.naver?where=news&sm=tab_jum&query={keyword}'

    response = requests.get(url, headers=header)
    soup = BeautifulSoup(response.text, 'html.parser')

    news_lis = soup.select('#main_pack > section > div > div.group_news > ul > li')
    print(len(news_lis))

    newsday = datetime.today().strftime('%Y%m%d%H%M%S')
    filename = 'naver_news_' + newsday + '.txt'

    with open(filename, 'w') as f:
        f.write(f'\n{"="*50}\n{datetime.today().strftime("[%Y년 %m월 %d일] <" + keyword + "> 관련도순 네이버 뉴스 검색")}\n{"="*50}\n')

    for li in news_lis:
        news_day = li.find('span', class_='info').text.strip()
        title = li.find('a', class_='news_tit')['title']
        a_href = li.find('a', class_='news_tit')['href']
        print(news_day)
        print(title)
        print(a_href)

        with open(filename, 'a') as f:
            f.write(f'\n[{news_day}]\n{title}\n{a_href}\n')


naver_news('케스코')

• 네이버 기사를 추출하여 텍스트 파일로 저장함

 

 

 

 

[실행 결과]

10
6일 전
창호전문기업 케스코, 2년 연속 국토부 '그린리모델링' 우수 사업자 선정
https://www.news1.kr/articles/?4677171
5일 전
창호전문기업 케스코, 국토부 '그린리모델링' 우수 사업자 2년 연속 선정
http://www.gvalley.co.kr/news/articleView.html?idxno=603607
2021.09.30.
케스코, 에너지절약전문기업 사업자 등록
http://www.asiaa.co.kr/news/articleView.html?idxno=60104
2021.09.29.
케스코, 에너지절약전문기업(ESCO) 사업자 등록
http://www.sentv.co.kr/news/view/602079
2021.09.28.
주식회사 케스코, 에너지절약전문기업(ESCO) 사업자 등록
https://www.sedaily.com/NewsView/22RN21RTFG
2021.04.01.
케스코, '2021 대한민국 명품브랜드 대상' 건설 창호 부문 수상
https://www.asiatoday.co.kr/view.php?key=20210401001019249
2021.03.31.
케스코, ‘대한민국 명품브랜드 대상’ 건설 창호 부문 수상
http://www.ajunews.com/view/20210331100647582
2021.02.23.
케스코물산, 디지털 압축력 측정기 ‘KP-3000’ 판매개시
http://www.electimes.com/article.php?aid=1614062638212964011
2021.02.18.
‘창호교제 시공사업 정착에 기여’ 케스코, ‘2020년 그린리모델링 우수 사업자’
http://news.heraldcorp.com/view.php?ud=20210218000736
2021.02.17.
창호시공업체 케스코, ‘2020년 그린리모델링 우수 사업자’ 선정
https://www.etoday.co.kr/news/view/1995550