-
네이버 쇼핑 상세페이지 태그 추출코딩 연습/파이썬 크롤링 2022. 7. 7. 23:35반응형
네이버 쇼핑 상세페이지 내에 있는 태그를 추출하는 연습 코드. 스마트스토어에 상품 등록 시 상세페이지 내에 태그를 입력할 때 어떤 키워드를 사용하는지 체크할 때 유용할 것 같아서 만들어 봄
스마트스토어 상품 등록 시 상세페이지 내 키워드 또는 태그 입력 시 유용
[파이썬 소스 코드]
import requests from bs4 import BeautifulSoup import time import random def nshopping_detail_tag(keywords): url = f'https://search.shopping.naver.com/search/all?query={keywords}&frm=NVSHATC' response = requests.get(url) soup = BeautifulSoup(response.text, 'html.parser') lis = soup.find('ul', class_='list_basis').find_all('li') nshop_cnt = 1 for li in lis: try: div_title = li.find('div', class_='basicList_title__3P9Q7') # 상품명 title = div_title.text.strip() print(f'\nshop_cnt: {nshop_cnt}\n상품 제목:{title}') nshop_cnt += 1 # 쇼핑몰 등급 (파워, 빅파워, 프리미엄) div_grade = li.find('span', class_='basicList_grade__LMHXE').text ## 상세페이지 태그 추출 if div_grade in ('파워', '빅파워', '프리미엄'): a_tag = div_title.find('a') # 상품 상세페이지 링크 response = requests.get(a_tag['href']) time.sleep(random.uniform(0.2, 0.7)) soup = BeautifulSoup(response.text, 'html.parser') # 태그 추출 위해 <meta> 태그 스크래핑 metas = soup.find('meta', {'name':'keywords'}).get('content').split('/')[0].split(',')[:-1] print(f'상세페이지 태그:\n{metas}') time.sleep(random.uniform(0.3, 1)) except: continue nshopping_detail_tag('샷시수리')
- 네이버 쇼핑 리스트 URL은 https://search.shopping.naver.com/search/all?query=샷시수리&frm=NVSHATC 이고,
- 파워, 빅파워, 프리미엄 등급 상세 페이지만을 대상으로 추출하도록 하였으며,
- 네이버 쇼핑 첫 페이지에서 추출하는 리스트는 상단 광고를 포함하여 4~6개 정도인데 각 페이지의 태그를 추출하기 때문에 이 정도이면 어떤 태그 키워드를 사용하는지 알 수 있을 것임
- 상세페이지 태그는 meta 태그 내에 있는 keyword를 대상으로 추출함
[실행 결과]
shop_cnt: 1 상품 제목:샤시스토퍼, 충격방지, 창호고정, 창문수리부속 shop_cnt: 2 상품 제목:창문 샷시보수용레일 10mm 1.5M 무료절단 아파트 베란다 거실샷시레일 파손 교체 수리 상세페이지 태그: ['샷시문', '샷시철물', '샷시부속', '레일부속', '샷시수리', '샷 시레일', '샷시수리용품', '창문수리', '창호부속', '창문레일'] shop_cnt: 3 상품 제목:샷시 레일 보수 아파트 베란다 창문 부속 보수 교체 파 손 샤시 롤러 로라 수리 보강 시공 상세페이지 태그: ['샷시문', '샷시철물', '샷시부속', '레일부속', '창호보수자재', '샷시수리', '샤시시공', '창문레일', '샷시수리용품', '셀프시공 '] shop_cnt: 4 상품 제목:샷시수리 Kcc LG 현대롤라 한화 샷시보수 호환 로라 방 충망레일 레일보강 샤시 부자재 상세페이지 태그: ['샷시수리', '샤시수리', '샷시보수', '샤시보수', '샷시레일', '샤시레일', '샷시롤러', '창문', '물구멍방충망'] shop_cnt: 5 상품 제목:샷시수리 로라교체 /광주 전라 제주 /하이샷시 깨진샷시 LG KCC 샤시보수 레일보강 상세페이지 태그: ['광주샷시수리', '전라도샷시수리', '제주도샷시수리', '광주샷시 레일보수', '전라도샤시레일파손', '제주샷시레일파손수리', '전라 도샷시레일보강', '제주샤시레일보강', '광주샤시레일보강', '광주 깨진샷수리']
반응형'코딩 연습 > 파이썬 크롤링' 카테고리의 다른 글
네이버 쇼핑 상품 리스트 추출 후 엑셀 저장 (0) 2022.07.12 [파이썬 크롤링] 네이버쇼핑 카테고리 추출해보기 (0) 2022.07.11 네이버 쇼핑 관련 자동완성어, 연관검색어, 추천키워드 추출 (0) 2022.07.03 네이버 연관검색어 추출하기 [파이썬 크롤링] (0) 2022.07.02 네이버 검색 키워드 자동완성어 추출 (0) 2022.06.29