목록selenium (3)

개발자식

[크롤링] 무한 스크롤 웹 스크래핑(Selenium)

인스타그램, 트위터와 같이 무한으로 스크롤을 내릴 수 있는 사이트가 있다. 이는 BeautifulSoup으로 한 번에 가져오지 못하므로, Selenium을 이용해야 한다. 이 예제는 돌아가지 않고, 코드 분석 용이다. from webdriver_manager.chrome import ChromeDriverManager # 자동으로 크롬드라이버(가상브라우저) 파일을 다운로드해주는 라이브러리 from selenium.webdriver.chrome.service import Service # 다운로드된 크롬드라이버 파일을 연결하기 위해 활용 from selenium import webdriver from bs4 import BeautifulSoup import pandas as pd import time im..
Data/Python 2022. 3. 30. 01:31
[크롤링] Selenium_파파고

이번에는 파파고로 진행을 해보자 from webdriver_manager.chrome import ChromeDriverManager # 자동으로 크롬드라이버(가상브라우저) 파일을 다운로드해주는 라이브러리 from selenium.webdriver.chrome.service import Service # 다운로드된 크롬드라이버 파일을 연결하기 위해 활용 from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.common.keys import Keys from bs4 import BeautifulSoup import time import pandas as pd import warning..
Data/Python 2022. 3. 29. 03:19
[크롤링] Selenium_구글 번역기

Selenium을 이용하여 기사 본문에 자주 나온 단어를 구글 번역기 웹 크롤링을 통해 영어로 번역하여 가져오고, 이를 워드클라우드로 시각화한다. part3의 전체 모든 내용을 알아야한다. 1. Selenium (셀레니움) 웹 크롤링을 하다 보면 여러 가지 아래와 같은 어려운 상황을 마주치게 된다. 해당 웹사이트가 프로그램을 통한 접근을 허용하지 않는 경우 해당 웹사이트가 로그인을 요구하는 경우 해당 웹사이트가 동적 웹페이지로 구성되어 있는 경우 이러한 경우 requests 라이브러리로만 해결하기 어려워 이런 상황을 해결하는 가장 효과적인 방법이 selenium을 이용하는 것이다. selenium : 웹 사이트 테스트를 위한 도구로 브라우저 동작을 자동화할 수 있다. 설치 (주피터에서) : !pip in..
Data/Python 2022. 3. 29. 02:55
이전 Prev 1 Next 다음