Python 파이참 셀레니움 드라이버 설치 / 환경 세팅

 

 

그동안 파이썬 크롤링 실습이나 파이썬 코드들을

Colab 클라우드 상에서 실행했었는데, 로컬에서 실행해보기 위해 파이참을 다운로드해보게 되었다!

 

https://www.jetbrains.com/ko-kr/pycharm/download/#section=mac

다운로드 PyCharm: JetBrains가 만든 전문 개발자용 Python IDE

파이참은 jetbrain 회사에서 만들었다.

 

 

 

아나콘다 라는 것도 설치해주어야 하는건가 싶었는데, 알아보니까

아나콘다는 라이브러리 버전 conflict 충돌 같은것을 관리해주기 위한 도구로, 파이참 만으로도 개발환경은 구성된다는 것을 알 수 있었다.

그리고 아나콘다는 약간 Docker의 개념이며, Docker가 있으면 아나콘다는 딱히 필요 없다는 것도 알게 되었다.

 

아나콘다는 버전 Conflict에 대한 대안.

도커 있으면 아나콘다 안써도 됨! 완전 비슷함.

 

 

파이참을 설치해준 뒤에, 최근에 배우고 있는 웹 크롤링을 실습해보기 위해

selenium과 driver를 설치해주었다.

 

파이참 콘솔 창에서 다음과 같이 입력해주면 된다.

pip install selenium
pip install webdriver_manager

이 두줄만 입력하면 환경 세팅 끝이다!

 

참고로, 기존에는 설치되어 있는 파이썬 버전을 확인하고, 이에 맞는 웹드라이버를 설치해주는 다소 복잡한 과정이 필요했는데

이제는 webdriver_manager를 이용해주면, 알아서 버전에 맞게 다운로드해서 이용할 수 있기 때문에

webdriver_manager를 이용하는게 편리하다.

 

 

 

이제 바로 실행해 볼 수 있다.

from selenium import webdriver
from webdriver_manager.chrome import ChromeDriverManager
import time

def main():

    url = "http://www.naver.com"
    driver = webdriver.Chrome(ChromeDriverManager().install())
    driver.get(url)
    time.sleep(5)


if __name__ == '__main__':

    main()

구글 Colab 환경에서는 Selenium 실습으로 브라우저를 띄울 수 없었는데, 역시 로컬상으로 하면 브라우저를 확인할 수 있어서 새롭다.

 

 

 

---

 

웹 크롤링 방식으로 현재는 입문으로 Selenium을 공부하고 있는데, 이 Selenium은 아무래도 브라우저 기반 동작이다 보니까

불필요한 오버헤드가 많고 전체적으로 무겁다. find_element 함수조차 속도가 느린 편이다.

 

따라서 빠르게 처리해주기 위해서는 Selenium 말고

request 라이브러리와 Beautiful Soup 라이브러리 두 가지를 이용해 웹 크롤링을 할 수 있다.

이게 훨씬 빠르다고 한다. 팀원분이 알려주셨다!!

 

 

이에 대한 내용도 공부한 뒤에 차츰 적어볼 계획이다!!

이번년도에는 참 좋은 사람들을 많이 만나게 된 것 같아서 너무 행운이다.

 

 

 

참고

https://pythonblog.co.kr/coding/7/

 

https://velog.io/@dlalscjf94/Python-%EC%85%80%EB%A0%88%EB%8B%88%EC%9B%80-%ED%81%AC%EB%A1%A4%EB%A7%81-%EC%8B%9C-%EB%A7%A4%EC%9A%B0-%EC%9C%A0%EC%9A%A9%ED%95%9C-%EB%9D%BC%EC%9D%B4%EB%B8%8C%EB%9F%AC%EB%A6%ACwebdrivermanager

 

https://dirmathfl.tistory.com/351