[Python & Ruby]
Python 크롤링 - BeautifulSoup로 네이버 검색어 크롤링
Hevton
2022. 12. 1. 00:37
반응형
이전 글들처럼
Beautifulsoup와 request 라이브러리 두개를 사용한다.
없다면
pip install beautifulsoup4
pip install requests
콘솔창에 입력하여 설치해주어야 한다.
네이버에 아무 검색어나 입력한 뒤에 VIEW 탭으로 가본다.
이 때의 URL을 활용한다.
크롤링할 데이터는, 글 제목이랑 글 링크이다.
글 제목에 대한 링크를 가져와보면, class가 api_txt_lines total_tit _cross_trigger 이렇게 세 가지가 포함되어 있음을 확인할 수 있다.
코드 내에서 ctrl + F 또는 cmd + F를 통해, 이를 그대로 검색하여서, 블로그 제목들을 가리키고 있는지 검토해 볼 수도 있다.
아무튼 이 클래스 정보를 활용하여 진행하면 되겠다.
beautfiulsoup에서 select를 이용한 검색과 find를 이용한 검색이 있는데
둘의 차이는 아래 주석에 넣어놓았다.
from bs4 import BeautifulSoup as bs
import requests
base_url = 'https://search.naver.com/search.naver?where=view&sm=tab_jum&query='
search = input('검색어를 입력하세요 : ')
url = base_url + search
page = requests.get(url)
soup = bs(page.text, 'html.parser')
# 둘은 같은 결과
# dt = soup.find_all(class_='api_txt_lines total_tit _cross_trigger')
dt = soup.select('.api_txt_lines.total_tit._cross_trigger') #select에서는 css방식으로 검색. class는 css에서 점으로 표시하며, id는 #임
for d in dt:
print(d.text) # 태그(<>) 밖의 내용이므로 text
print(d.attrs['href']) # 태그 안의 attr 가져올 때 사용하는 방법
print()
실행결과
검색어를 입력하세요 : 검색어입력
드라마 정주행 추천 검블유(검색어를입력하세요www) 무슨 내용?
https://blog.naver.com/0purelop0/222452182641
<환혼>이재욱, 검색어를 입력하세요 시절
https://blog.naver.com/i__memory/222814318741
네이버카페에서 검색어를 입력하면..
https://cafe.naver.com/xst/572624?art=ZXh0ZXJuYWwtc2VydmljZS1uYXZlci1zZWFyY2gtY2FmZS1wcg.eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJjYWZlVHlwZSI6IkNBRkVfVVJMIiwiY2FmZVVybCI6InhzdCIsImFydGljbGVJZCI6NTcyNjI0LCJpc3N1ZWRBdCI6MTY2OTgyMjY0MjIzMn0.Xwz37JHSW65M3U3GTPQuMKoQPC8Khk8yifOiBe66okY
티빙/넷플릭스 로맨스 한국드라마 추천 : tvN 검색어를 입력하세요 WWW, 이번 생은 처음이라 (정주행 강추 ^_^)
https://blog.naver.com/alsk1130/222755353014
야놀자가 숙소 상세 화면을 개선한 이유
https://post.naver.com/viewer/postView.naver?volumeNo=34432171&memberNo=6457418&vType=VERTICAL
tvN 드라마 검색어를 입력하세요 WWW 시청 후기
https://blog.naver.com/iuminousflux/222885042835
tvN 드라마 - 검색어를 입력하세요 WWW - 2019년 (검블유)
https://blog.naver.com/reimelt/222582224603
[Day 141] Beyond Monet, bloomer’s, Love Hard, 검색어를 입력하세요 WWW
https://blog.naver.com/tinaplus/222611383871
한국•드라마 - 검색어를 입력하세요 WWW (2019)
https://blog.naver.com/eyj2019/222791459932
네이X 검색어 입력딜레이 있으신분?
https://cafe.naver.com/anycallusershow/4093540?art=ZXh0ZXJuYWwtc2VydmljZS1uYXZlci1zZWFyY2gtY2FmZS1wcg.eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJjYWZlVHlwZSI6IkNBRkVfVVJMIiwiY2FmZVVybCI6ImFueWNhbGx1c2Vyc2hvdyIsImFydGljbGVJZCI6NDA5MzU0MCwiaXNzdWVkQXQiOjE2Njk4MjI2NDIyMzd9.HM5GYztLRhjV1MG97ipBAJbdao1MMrXjbHR_BI3OSU4
[영화] 미스 슬로운 / 검색어를 입력하세요 www (검블유) / 권도은 / 스물다섯 스물하나 / 표절 논란에 대해...
https://blog.naver.com/kjia76/222687176113
인기글이 없으니 검색어 입력만 하게 됨
https://cafe.naver.com/jaegebal/3493795?art=ZXh0ZXJuYWwtc2VydmljZS1uYXZlci1zZWFyY2gtY2FmZS1wcg.eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJjYWZlVHlwZSI6IkNBRkVfVVJMIiwiY2FmZVVybCI6ImphZWdlYmFsIiwiYXJ0aWNsZUlkIjozNDkzNzk1LCJpc3N1ZWRBdCI6MTY2OTgyMjY0MjIzOH0.Mb3szd71DfIBE9NIWnPjWIMk9-gfrbOmPnau551TCHs
네이버 (검색어 입력시)검색창 내려옴 !?
https://cafe.naver.com/appleiphone/7670992?art=ZXh0ZXJuYWwtc2VydmljZS1uYXZlci1zZWFyY2gtY2FmZS1wcg.eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJjYWZlVHlwZSI6IkNBRkVfVVJMIiwiY2FmZVVybCI6ImFwcGxlaXBob25lIiwiYXJ0aWNsZUlkIjo3NjcwOTkyLCJpc3N1ZWRBdCI6MTY2OTgyMjY0MjIzOH0.UfOLfC8mRWDoP0iSgWi80hhQKrwwrRL1rVmPr74Gueo
검색어를 입력하세요 www
https://cafe.naver.com/masanmam/5980079?art=ZXh0ZXJuYWwtc2VydmljZS1uYXZlci1zZWFyY2gtY2FmZS1wcg.eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJjYWZlVHlwZSI6IkNBRkVfVVJMIiwiY2FmZVVybCI6Im1hc2FubWFtIiwiYXJ0aWNsZUlkIjo1OTgwMDc5LCJpc3N1ZWRBdCI6MTY2OTgyMjY0MjIzOH0.2fJKNO8AyUTq79nm9AwYbbKDReKEe-51IwtycGyCMGg
[드라마] 검색어를 입력하세요 WWW
https://blog.naver.com/suna5514/222931318004
검색어를 입력하세요 WWW(2019) - 마이 라이프
https://blog.naver.com/hoja216/222463922764
네이버 실시간 검색어
https://cafe.naver.com/bk1009/5205677?art=ZXh0ZXJuYWwtc2VydmljZS1uYXZlci1zZWFyY2gtY2FmZS1wcg.eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJjYWZlVHlwZSI6IkNBRkVfVVJMIiwiY2FmZVVybCI6ImJrMTAwOSIsImFydGljbGVJZCI6NTIwNTY3NywiaXNzdWVkQXQiOjE2Njk4MjI2NDIyNDB9.zhFKekizJWBYnyG89TD2O3J_brvSIfUTcxpMUG-YZjU
쿠팡 상품명 검색어 입력시 주의해야할 사항 필수!★
https://blog.naver.com/wjddmsapf/222927260317
[넷플리스 추천] 검색어를 입력하세요 WWW
https://blog.naver.com/chokyojin/222901749908
*1월2일혹시 같은시간에 검색어 입력은 어떨까요 (의견부탁드립니다)
https://cafe.naver.com/preventionchildabuse/50491?art=ZXh0ZXJuYWwtc2VydmljZS1uYXZlci1zZWFyY2gtY2FmZS1wcg.eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJjYWZlVHlwZSI6IkNBRkVfVVJMIiwiY2FmZVVybCI6InByZXZlbnRpb25jaGlsZGFidXNlIiwiYXJ0aWNsZUlkIjo1MDQ5MSwiaXNzdWVkQXQiOjE2Njk4MjI2NDIyNDF9.5vr6gsyFWS3fWN2rjbKP8oiHuxZlNqQMUkR4gwo-Ltk
검색어를 입력하세요 www
https://blog.naver.com/myuni77/222860945372
[명장면/명대사/영상] 검색어를 입력하세요 WWW 6화 : 그 일상이 내가 되면.
https://blog.naver.com/byminah/222852041467
검색어를 입력하세요 WWW
https://blog.naver.com/sso_long/222462552909
검색어를 입력하세요: WWW
https://blog.naver.com/yeddo0_0/222923755998
크롬 검색어 두 글자 중복 입력 오류 근본적인 해결 방법 / How to resolve duplicate errors in...
https://blog.naver.com/drparksc/222273896352
자동완성 서비스가 검색어 입력을 더 쉽고 편리하게 도와주도록 개선됩니다
https://blog.naver.com/naver_search/222862076450
'안산동산교회 아동학대' 를 구글과 네이버에 검색어로 입력하고 있습니다.
https://cafe.naver.com/preventionchildabuse/85044?art=ZXh0ZXJuYWwtc2VydmljZS1uYXZlci1zZWFyY2gtY2FmZS1wcg.eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJjYWZlVHlwZSI6IkNBRkVfVVJMIiwiY2FmZVVybCI6InByZXZlbnRpb25jaGlsZGFidXNlIiwiYXJ0aWNsZUlkIjo4NTA0NCwiaXNzdWVkQXQiOjE2Njk4MjI2NDIyNDN9.-NfJkk1OPEQ-EZkpX41u4mjJFihsi_Pd2StbcmQyiYU
검색어를 입력하세요 www 기억하고 싶은 명대사 (feat.스튜디오드래곤)
https://blog.naver.com/lilyj1209/222544747147
검색어를 입력하세요 WWW
https://cafe.naver.com/mjann/3220072?art=ZXh0ZXJuYWwtc2VydmljZS1uYXZlci1zZWFyY2gtY2FmZS1wcg.eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJjYWZlVHlwZSI6IkNBRkVfVVJMIiwiY2FmZVVybCI6Im1qYW5uIiwiYXJ0aWNsZUlkIjozMjIwMDcyLCJpc3N1ZWRBdCI6MTY2OTgyMjY0MjI0NX0.gQH_RfsYkGGcmXeZTkvx_zBy7PDf2YuVShqwVLeoVMk
넷플릭스 한국 드라마 추천 정주행 검블유 WWW 검색어를 입력하세요
https://blog.naver.com/shinminju625/222843691546
Process finished with exit code 0
반응형