네이버 연관검색어 추출하기 [파이썬 크롤링]

아래 이미지처럼 네이버 검색 결과 페이지 하단에 있는 연관검색어 10개 키워드를 파이썬 크롤링으로 추출하는 코드이다. PC와 모바일 페이지 html 소스코드가 다르기 때문에 2가지 형태 모두 추출할 수 있도록 작성했다. 

 

 

네이버 검색 결과 페이지에서 연관검색어 추출해보기

 

[파이썬 소스 코드]

import requests
from bs4 import BeautifulSoup

##네이버 연관검색어
def naver_related_keyword(keyword):
    ## 모바일 환경에서
    url = 'https://m.search.naver.com/search.naver?query=' + keyword
    headers = {'User-Agent': ('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36(KHTML, like Gecko) Chrome/86.0.4240.75 Safari/537.36')}
    
    rel_response = requests.get(url, headers=headers)
    soup = BeautifulSoup(rel_response.text, 'html.parser')
    a_tags = soup.select('div#_related_keywords_aside > div > div > div > a')
    
    if len(a_tags):
        for a in a_tags:
            print(a.text.strip())
    else:
        print('\n네이버 연관검색어 없음!!\n')
    
    print('='*50)

    ## PC 환경에서
    url = 'https://search.naver.com/search.naver?where=nexearch&sm=top_hty&fbm=1&ie=utf8&query=' + keyword
    rel_response = requests.get(url, headers=headers)
    soup = BeautifulSoup(rel_response.text, 'html.parser')
    lis = soup.select('#nx_footer_related_keywords > div > div.related_srch > ul > li')
    
    if len(lis):
        for li in lis:
            print(li.text.strip())
    else:
        print('\n네이버 연관검색어 없음!!\n')
        

naver_related_keyword('렌트카')

 

 

 

[실행 결과]

제주 롯데렌트카
제주패스렌트카
돌하루팡 렌트카
괌 렌트카
제주속으로 렌트카
울릉도 렌트카
여수 렌트카
경주 렌트카
렌트카제주
하와이 렌트카
==============================
제주 롯데렌트카
제주패스렌트카
돌하루팡 렌트카
괌 렌트카
제주속으로 렌트카
울릉도 렌트카
여수 렌트카
경주 렌트카
렌트카제주
하와이 렌트카

 

 

※ 관련 포스팅 더보기

네이버 검색 키워드 자동완성어 추출