Python 크롤링 - BeautifulSoup로 네이버 검색어 크롤링

 

이전 글들처럼

Beautifulsoup와 request 라이브러리 두개를 사용한다.

 

없다면

pip install beautifulsoup4

pip install requests

콘솔창에 입력하여  설치해주어야 한다.

 

 

네이버에 아무 검색어나 입력한 뒤에 VIEW 탭으로 가본다.

 

이 때의 URL을 활용한다.

 

크롤링할 데이터는, 글 제목이랑 글 링크이다.

글 제목에 대한 링크를 가져와보면, class가 api_txt_lines total_tit _cross_trigger 이렇게 세 가지가 포함되어 있음을 확인할 수 있다.

코드 내에서 ctrl + F 또는 cmd + F를 통해, 이를 그대로 검색하여서, 블로그 제목들을 가리키고 있는지 검토해 볼 수도 있다.

 

아무튼 이 클래스 정보를 활용하여 진행하면 되겠다.

 

 

beautfiulsoup에서 select를 이용한 검색과 find를 이용한 검색이 있는데

둘의 차이는 아래 주석에 넣어놓았다.

from bs4 import BeautifulSoup as bs
import requests


base_url = 'https://search.naver.com/search.naver?where=view&sm=tab_jum&query='

search = input('검색어를 입력하세요 : ')

url = base_url + search

page = requests.get(url)
soup = bs(page.text, 'html.parser')

# 둘은 같은 결과
# dt = soup.find_all(class_='api_txt_lines total_tit _cross_trigger')
dt = soup.select('.api_txt_lines.total_tit._cross_trigger') #select에서는 css방식으로 검색. class는 css에서 점으로 표시하며, id는 #임


for d in dt:
    print(d.text) # 태그(<>) 밖의 내용이므로 text
    print(d.attrs['href']) # 태그 안의 attr 가져올 때 사용하는 방법
    print()

 

실행결과

검색어를 입력하세요 : 검색어입력
드라마 정주행 추천 검블유(검색어를입력하세요www) 무슨 내용?
https://blog.naver.com/0purelop0/222452182641

<환혼>이재욱, 검색어를 입력하세요 시절
https://blog.naver.com/i__memory/222814318741

네이버카페에서 검색어를 입력하면..
https://cafe.naver.com/xst/572624?art=ZXh0ZXJuYWwtc2VydmljZS1uYXZlci1zZWFyY2gtY2FmZS1wcg.eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJjYWZlVHlwZSI6IkNBRkVfVVJMIiwiY2FmZVVybCI6InhzdCIsImFydGljbGVJZCI6NTcyNjI0LCJpc3N1ZWRBdCI6MTY2OTgyMjY0MjIzMn0.Xwz37JHSW65M3U3GTPQuMKoQPC8Khk8yifOiBe66okY

티빙/넷플릭스 로맨스 한국드라마 추천 : tvN 검색어를 입력하세요 WWW, 이번 생은 처음이라 (정주행 강추 ^_^)
https://blog.naver.com/alsk1130/222755353014

야놀자가 숙소 상세 화면을 개선한 이유
https://post.naver.com/viewer/postView.naver?volumeNo=34432171&memberNo=6457418&vType=VERTICAL

tvN 드라마 검색어를 입력하세요 WWW 시청 후기
https://blog.naver.com/iuminousflux/222885042835

tvN 드라마 - 검색어를 입력하세요 WWW - 2019년 (검블유)
https://blog.naver.com/reimelt/222582224603

[Day 141] Beyond Monet, bloomer’s, Love Hard, 검색어를 입력하세요 WWW
https://blog.naver.com/tinaplus/222611383871

한국•드라마 - 검색어를 입력하세요 WWW (2019)
https://blog.naver.com/eyj2019/222791459932

네이X 검색어 입력딜레이 있으신분?
https://cafe.naver.com/anycallusershow/4093540?art=ZXh0ZXJuYWwtc2VydmljZS1uYXZlci1zZWFyY2gtY2FmZS1wcg.eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJjYWZlVHlwZSI6IkNBRkVfVVJMIiwiY2FmZVVybCI6ImFueWNhbGx1c2Vyc2hvdyIsImFydGljbGVJZCI6NDA5MzU0MCwiaXNzdWVkQXQiOjE2Njk4MjI2NDIyMzd9.HM5GYztLRhjV1MG97ipBAJbdao1MMrXjbHR_BI3OSU4

[영화] 미스 슬로운 / 검색어를 입력하세요 www (검블유) / 권도은 / 스물다섯 스물하나 / 표절 논란에 대해...
https://blog.naver.com/kjia76/222687176113

인기글이 없으니 검색어 입력만 하게 됨
https://cafe.naver.com/jaegebal/3493795?art=ZXh0ZXJuYWwtc2VydmljZS1uYXZlci1zZWFyY2gtY2FmZS1wcg.eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJjYWZlVHlwZSI6IkNBRkVfVVJMIiwiY2FmZVVybCI6ImphZWdlYmFsIiwiYXJ0aWNsZUlkIjozNDkzNzk1LCJpc3N1ZWRBdCI6MTY2OTgyMjY0MjIzOH0.Mb3szd71DfIBE9NIWnPjWIMk9-gfrbOmPnau551TCHs

네이버 (검색어 입력시)검색창 내려옴 !?
https://cafe.naver.com/appleiphone/7670992?art=ZXh0ZXJuYWwtc2VydmljZS1uYXZlci1zZWFyY2gtY2FmZS1wcg.eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJjYWZlVHlwZSI6IkNBRkVfVVJMIiwiY2FmZVVybCI6ImFwcGxlaXBob25lIiwiYXJ0aWNsZUlkIjo3NjcwOTkyLCJpc3N1ZWRBdCI6MTY2OTgyMjY0MjIzOH0.UfOLfC8mRWDoP0iSgWi80hhQKrwwrRL1rVmPr74Gueo

검색어를 입력하세요 www
https://cafe.naver.com/masanmam/5980079?art=ZXh0ZXJuYWwtc2VydmljZS1uYXZlci1zZWFyY2gtY2FmZS1wcg.eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJjYWZlVHlwZSI6IkNBRkVfVVJMIiwiY2FmZVVybCI6Im1hc2FubWFtIiwiYXJ0aWNsZUlkIjo1OTgwMDc5LCJpc3N1ZWRBdCI6MTY2OTgyMjY0MjIzOH0.2fJKNO8AyUTq79nm9AwYbbKDReKEe-51IwtycGyCMGg

[드라마] 검색어를 입력하세요 WWW
https://blog.naver.com/suna5514/222931318004

검색어를 입력하세요 WWW(2019) - 마이 라이프
https://blog.naver.com/hoja216/222463922764

네이버 실시간 검색어
https://cafe.naver.com/bk1009/5205677?art=ZXh0ZXJuYWwtc2VydmljZS1uYXZlci1zZWFyY2gtY2FmZS1wcg.eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJjYWZlVHlwZSI6IkNBRkVfVVJMIiwiY2FmZVVybCI6ImJrMTAwOSIsImFydGljbGVJZCI6NTIwNTY3NywiaXNzdWVkQXQiOjE2Njk4MjI2NDIyNDB9.zhFKekizJWBYnyG89TD2O3J_brvSIfUTcxpMUG-YZjU

쿠팡 상품명 검색어 입력시 주의해야할 사항 필수!★
https://blog.naver.com/wjddmsapf/222927260317

[넷플리스 추천] 검색어를 입력하세요 WWW
https://blog.naver.com/chokyojin/222901749908

*1월2일혹시 같은시간에 검색어 입력은 어떨까요 (의견부탁드립니다)
https://cafe.naver.com/preventionchildabuse/50491?art=ZXh0ZXJuYWwtc2VydmljZS1uYXZlci1zZWFyY2gtY2FmZS1wcg.eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJjYWZlVHlwZSI6IkNBRkVfVVJMIiwiY2FmZVVybCI6InByZXZlbnRpb25jaGlsZGFidXNlIiwiYXJ0aWNsZUlkIjo1MDQ5MSwiaXNzdWVkQXQiOjE2Njk4MjI2NDIyNDF9.5vr6gsyFWS3fWN2rjbKP8oiHuxZlNqQMUkR4gwo-Ltk

검색어를 입력하세요 www
https://blog.naver.com/myuni77/222860945372

[명장면/명대사/영상] 검색어를 입력하세요 WWW 6화 : 그 일상이 내가 되면.
https://blog.naver.com/byminah/222852041467

검색어를 입력하세요 WWW
https://blog.naver.com/sso_long/222462552909

검색어를 입력하세요: WWW
https://blog.naver.com/yeddo0_0/222923755998

크롬 검색어 두 글자 중복 입력 오류 근본적인 해결 방법 / How to resolve duplicate errors in...
https://blog.naver.com/drparksc/222273896352

자동완성 서비스가 검색어 입력을 더 쉽고 편리하게 도와주도록 개선됩니다
https://blog.naver.com/naver_search/222862076450

'안산동산교회 아동학대' 를 구글과 네이버에 검색어로 입력하고 있습니다.
https://cafe.naver.com/preventionchildabuse/85044?art=ZXh0ZXJuYWwtc2VydmljZS1uYXZlci1zZWFyY2gtY2FmZS1wcg.eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJjYWZlVHlwZSI6IkNBRkVfVVJMIiwiY2FmZVVybCI6InByZXZlbnRpb25jaGlsZGFidXNlIiwiYXJ0aWNsZUlkIjo4NTA0NCwiaXNzdWVkQXQiOjE2Njk4MjI2NDIyNDN9.-NfJkk1OPEQ-EZkpX41u4mjJFihsi_Pd2StbcmQyiYU

검색어를 입력하세요 www 기억하고 싶은 명대사 (feat.스튜디오드래곤)
https://blog.naver.com/lilyj1209/222544747147

검색어를 입력하세요 WWW
https://cafe.naver.com/mjann/3220072?art=ZXh0ZXJuYWwtc2VydmljZS1uYXZlci1zZWFyY2gtY2FmZS1wcg.eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJjYWZlVHlwZSI6IkNBRkVfVVJMIiwiY2FmZVVybCI6Im1qYW5uIiwiYXJ0aWNsZUlkIjozMjIwMDcyLCJpc3N1ZWRBdCI6MTY2OTgyMjY0MjI0NX0.gQH_RfsYkGGcmXeZTkvx_zBy7PDf2YuVShqwVLeoVMk

넷플릭스 한국 드라마 추천 정주행 검블유 WWW 검색어를 입력하세요
https://blog.naver.com/shinminju625/222843691546


Process finished with exit code 0