[파이썬 크롤링] 네이버쇼핑 카테고리 추출해보기

네이버 쇼핑에 상품 등록 시 다른 쇼핑몰의 카테고리를 알고 싶을 때 여러 대표 키워드를 입력하여 실행하면 카테고리를 일괄적으로 추출할 수 있도록 하는 코드임 

 

 

네이버 쇼핑에서 키워드로 카테고리 추출하기

selenium과 크롬 드라이버를 이용하여 추출하기 때문에 크롬 드라이버 운영 환경을 만들고 실행한다.

• 크롬 브라우저 URL 입력란에 "chrome://settings/help" 입력 후 엔터를 치면 크롬 브라우저(Chrome)의 현재 버전(버전 103.0.5060.134(공식 빌드) (64비트) 라고 가정)을 확인할 수 있다.
• 크롬 드라이버(ChromeDriver) 다운로드 : https://chromedriver.chromium.org/downloads
• ChromeDriver 103.0.5060.134 클릭하면 되는데, 딱 맞는 버전이 없으면 버전 103.0.xxxx.xxx에서 xxxx부분 또는 xxx부분 보다 바로 밑 숫자로 된 것을 클릭한다.
• 본인의 PC 운영체제(윈도우 환경이면 chromedriver_win32.zip)에 맞는 것을 다운로드하여 압축을 풀고, 코딩 중인 파일이 있는 폴더에 chromedriver.exe 파일을 복사해서 넣는다.

 

[파이썬 소스 코드]

from selenium import webdriver
from selenium.webdriver.common.by import By
import time


def chrome_driver():
    options = webdriver.ChromeOptions()
    options.add_argument("headless")  # 웹 브라우저를 시각적으로 띄우지 않는 headless chrome 옵션
    options.add_experimental_option('detach', True)
    options.add_experimental_option("excludeSwitches", ["enable-logging"])  # 개발도구 로그 숨기기
    user_agent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.75 Safari/537.36'
    options.add_argument(f'user-agent={user_agent}')
    options.add_argument("start-maximized") # 창 크기 최대로
    options.add_argument("disable-infobars")
    options.add_argument("--disable-extensions")
    driver = webdriver.Chrome('./chromedriver.exe', options=options)
    return driver


def shopping_category():
    driver = chrome_driver()
    keywords = ['샷시', '샤시', '창호']
    for keyword in keywords:
        url = f'https://search.shopping.naver.com/search/all?query={keyword}&frm=NVSHATC'
        driver.get(url)
        time.sleep(1.5)
        
        ul_tag = driver.find_element(By.CLASS_NAME, 'list_basis')
        lis = ul_tag.find_elements(By.CSS_SELECTOR, 'div > div > li')
        # print(f'상품수: {len(lis)}개')

        print(f'keyword: {keyword}')
        for li in lis:
            try:
                title = li.find_element(By.CLASS_NAME, 'basicList_title__3P9Q7').text.strip()
                if len(li.find_elements(By.CLASS_NAME, 'ad_ad_stk__12U34')):
                    title = '[AD] ' + title  # 광고노출상품
                print(title)
        
                category = ''
                category_div = li.find_element(By.CLASS_NAME, 'basicList_depth__2QIie').find_elements(By.TAG_NAME, 'span')
                for categ in category_div:
                    # print(categ.text)
                    category += categ.text.strip() + '>'

                category = category[:-1]
                print(f'카테고리: {category}\n')            
            except:
                continue
        
        print('='*50)

    driver.close()

shopping_category()

※ 네이버 쇼핑 해당 페이지 전체 리스트를 추출해야 할 경우에는 selenium의 페이지 스크롤 기능을 활용하면 됨

 

 

 

[실행 결과]

keyword: 샷시
[AD] 발코니샷시 KCC창호 셀프견적 주문제작
카테고리: 가구/인테리어>DIY자재/용품>리모델링>창문/창호/새시

[AD] LG, KCC 등 창호/샷시/샤시 교체 무료실측 및 시공
카테고리: 가구/인테리어>DIY자재/용품>리모델링>창문/창호/새시

[AD] LX하우시스 샤시 슈퍼로이 이중창(외창)슈퍼세이브 S3-235
카테고리: 가구/인테리어>DIY자재/용품>리모델링>창문/창호/새시

[AD] X하우시스 샤시 슈퍼로이 이중창(외창)슈퍼세이브 S5-250
카테고리: 가구/인테리어>DIY자재/용품>리모델링>창문/창호/새시

홈레일 깨진 샷시레일수리 샷시로라 샤시레일보수 찬바람119 본사
몰
카테고리: 가구/인테리어>DIY자재/용품>리모델링>창문/창호/새시

==================================================
keyword: 샤시
[AD] 창호 제작 KCC창호 셀프견적 주문제작
카테고리: 가구/인테리어>DIY자재/용품>리모델링>창문/창호/새시

[AD] LG, KCC 등 창호/샷시/샤시 교체 무료실측 및 시공
카테고리: 가구/인테리어>DIY자재/용품>리모델링>창문/창호/새시

[AD] LX하우시스 샤시 슈퍼로이 이중창(외창)슈퍼세이브 S3-235
카테고리: 가구/인테리어>DIY자재/용품>리모델링>창문/창호/새시

홈레일 깨진 샷시레일수리 샷시로라 샤시레일보수 찬바람119 본사
몰
카테고리: 가구/인테리어>DIY자재/용품>리모델링>창문/창호/새시

샷시수리 Kcc LG 현대롤라 한화 샷시보수 호환 로라 방충망레일 레
일보강 샤시 부자재
카테고리: 가구/인테리어>DIY자재/용품>리모델링>창문/창호/새시

==================================================
keyword: 창호
알파인 Alpine 2중 무격자 창호 Single Slide 미닫이창 SL_4050
카테고리: 가구/인테리어>DIY자재/용품>리모델링>창문/창호/새시

아파트베란다 샷시교체 인천샷시공사 그린창호샷시 KCC샷시
카테고리: 가구/인테리어>DIY자재/용품>리모델링>창문/창호/새시

하이샤시롤러 창호로라 호차 샷시호차 창문롤러
카테고리: 가구/인테리어>DIY자재/용품>리모델링>창문/창호/새시

범퍼형 샤시 스토퍼 충격 방지/베란다/창문/창호고정
카테고리: 가구/인테리어>DIY자재/용품>리모델링>창문/창호/새시

레일 매입형 140B 샤시 스토퍼 LG하이샤시 KCC창호
카테고리: 가구/인테리어>DIY자재/용품>리모델링>창문/창호/새시

==================================================