파이썬 크롤링(Crawling) - 셀레니움(Selenium) 연습 #2

 

■ 네이버 웹툰(comic.naver.com) 제목(title) 스크래핑

from selenium import webdriver
import time

chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument('--headless')

wd = webdriver.Chrome('C:/Temp/chromedriver.exe', options = chrome_options)

url = 'https://comic.naver.com/index.nhn'
wd.get(url)

## 메인페이지의 웹툰 제목들
for title in wd.find_elements_by_class_name('title'):
    print(title.text)



[실행 결과]

컷툰
삼국지톡
오늘의 순정망화
윌유메리미
호랑이 들어와요
자판귀
한림체육관
실험학교
정신과심리만화 by 팔호광장
쌍둥이의 시간
이래서 애들은
158동 진상부부
역사만화단편선
대공녀는 거기에 없었다
소환진이 좀 이상해 보이는 건 기분 탓이겠지
날개 부러진 새의 노래
이탄국의 자청비[독점]
해피 엔딩까지 한 걸음 [컬러연재]
평행우주[독점]
허세로 레벨업 하기!
용맥무신
특수요원 무림으로 가다

## 장르별 탭 부분에 대해, div class 내 ul태그 하나와 각 ul태그에 여러 li태그가 있고,
## li태그에 a태그로 장르 제목이 링크되어 있으나, href는 #임

## <a href="#" id="episode" title="에피소드">에피소드</a>
## <a href="#" id="omnibus" title="옴니버스">옴니버스</a>.....

genre_ul = wd.find_element_by_class_name('tab_gr')
genre_list = genre_ul.find_elements_by_tag_name('a')  ## list

for genre in genre_list:
    genre.click()  ## 장르 탭 부분 클릭
    time.sleep(1)  ## 클릭 후 화면 전환에 필요한 interval
    print('[', genre.text, ']')  ## 클릭한 장르별 탭 명칭 출력
    
    
    ## 추출할 제목 등 내용은 장르 탭의 <a href='#'>에 링크된 만화들의 내용(탭 부분)과 
    ## 동위 ul태그 밑에 li>div 태그 내에 있음 (wd에서 찾음)
    
    genre_reco_list = wd.find_elements_by_class_name('genreRecomInfo2')
    #print(genre_reco_list)
    
    for genre_reco in genre_reco_list:
        title_class = genre_reco.find_element_by_class_name('title')
        title = title_class.find_element_by_tag_name('a').text
        user = genre_reco.find_element_by_class_name('user').text
        print('\t', title, '-', user)
    

[실행 결과]

[ 에피소드 ]
	 삼국지톡 - 무적핑크 / 이리
	 오늘의 순정망화 - 손하기
	 윌유메리미 - 마인드C
	 호랑이 들어와요 - 배세혁 / 유은
	 자판귀 - 윤정민
	 한림체육관 - 혜성 / 이석재
[ 옴니버스 ]
	 2020 호랑 공포 단편선 - 호랑
	 히어로메이커 - 빤쓰
	 결혼생활 그림일기 - 은꼼지
	 내일 - 라마
	 AI가 세상을 지배한다면 - POGO / HOOPA
	 먹이 - 외눈박이 / 박수봉
[ 스토리 ]
	 악마와 계약연애 - 장진 / 움비
	 바른연애 길잡이 - 남수
	 관계의 종말 - 김용키
	 정년이 - 서이레 / 나몬
	 빅맨 - 하하영
	 그놈은 흑염룡 - 혜진양
[ 일상 ]
	 윌유메리미 - 마인드C
	 결혼생활 그림일기 - 은꼼지
	 독립일기 - 자까
	 닥터앤닥터 육아일기 - 닥터베르
	 오늘의 노담망(望)화 - 손하기
	 웰캄투실버라이프 - 솔녀
[ 개그 ]
	 오늘의 순정망화 - 손하기
	 필살VS로맨스 - 구르
	 조선홍보대행사 조대박 - 김양수
	 사장님을 잠금해제 - 박성현
	 모죠의 일지 - 모죠
	 후덜덜덜 남극전자 - 김민혁
[ 판타지 ]
	 호랑이 들어와요 - 배세혁 / 유은
	 신의 언어 - 장래혁
	 도를 아십니까 - 이건 / 요엘
	 하루만 네가 되고 싶어 - 삼
	 오파츠 - 성진 / 부겸
	 언메이크 - 박화랑
[ 액션 ]
	 저세상 클라스! - 꾀돌이
	 사신소년 - 류
	 신도림 - 오세형
	 헬58 - 장성준
	 한림체육관 - 혜성 / 이석재
	 보살님이 캐리해! - 성코 / 콩자
[ 드라마 ]
	 정년이 - 서이레 / 나몬
	 랜덤채팅의 그녀! - 박은혁
	 체크포인트 - 송가 / 은소
	 은주의 방 2~3부 - 노란구미
	 올가미 - 해무리
	 그날 죽은 나는 - 이언
[ 순정 ]
	 악마와 계약연애 - 장진 / 움비
	 바른연애 길잡이 - 남수
	 그놈은 흑염룡 - 혜진양
	 여신강림 - 야옹이
	 빛빛빛 - 수진
	 오피스 누나 이야기 - 김자네 / 와삭바삭
[ 감성 ]
	 숲속의 담 - 다홍
	 연우의 순정 - 이솔
	 안녕 나의 모모로 - 켄타
	 드로잉 레시피 - 꼬모소이
	 나의 첫번째 새벽 - 신매
	 우리는 요정! - 억수씨
[ 스릴러 ]
	 관계의 종말 - 김용키
	 자판귀 - 윤정민
	 안식의 밤 - 연제원
	 원주민 공포만화 - 원주민
	 후기 - 조석
	 완벽한 가족 - 냥빠 / 주은
[ 시대극 ]
	 삼국지톡 - 무적핑크 / 이리
	 장씨세가 호위무사 - 조형근 / 김인호
	 이중첩자 - 피숙혜 / 옆집찰스
	 몽홀 - 장태산
	 칼부림 - 고일권
	 조선방랑야사 - 가현
[ 스포츠 ]
	 빅맨 - 하하영
	 윈드브레이커 - 조용석
	 가비지타임 - 2사장
	 탑코너 - 윤성 / 라군
	 미드나잇 체이서 - 석재윤
	 불릿 6미리 - 김도근
     

 

[참고] 이수안컴퓨터연구소