개발자식

인스타그램, 트위터와 같이 무한으로 스크롤을 내릴 수 있는 사이트가 있다. 이는 BeautifulSoup으로 한 번에 가져오지 못하므로, Selenium을 이용해야 한다. 이 예제는 돌아가지 않고, 코드 분석 용이다. from webdriver_manager.chrome import ChromeDriverManager # 자동으로 크롬드라이버(가상브라우저) 파일을 다운로드해주는 라이브러리 from selenium.webdriver.chrome.service import Service # 다운로드된 크롬드라이버 파일을 연결하기 위해 활용 from selenium import webdriver from bs4 import BeautifulSoup import pandas as pd import time im..

이번에는 파파고로 진행을 해보자 from webdriver_manager.chrome import ChromeDriverManager # 자동으로 크롬드라이버(가상브라우저) 파일을 다운로드해주는 라이브러리 from selenium.webdriver.chrome.service import Service # 다운로드된 크롬드라이버 파일을 연결하기 위해 활용 from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.common.keys import Keys from bs4 import BeautifulSoup import time import pandas as pd import warning..

네이버 뉴스에 검색어를 입력하여 스크래핑 한다. import requests from bs4 import BeautifulSoup import pandas as pd from datetime import datetime #현재날짜&시간 받아오기 import time import re def main_crawling(query, start_date, end_date, sort_type, max_page): if query == '': query = '데이터 분석' if len(start_date) != 10: start_date = '2021.01.01' if len(end_date) != 10: end_date = '2021.12.31' if sort_type not in ['0', '1', '2']: ..

1. 뉴스 검색 결과에서 네이버 뉴스 추려내기 import requests from bs4 import BeautifulSoup import pandas as pd from datetime import datetime #현재날짜&시간 받아오기 import time import re - 앞에서 웹 스크래핑에서 사용했던 from urlib.request import urlopen 것을 -> import requests로 대체한다 url에 한글이 껴있을 때 오류를 방지하기 위해서 query = '데이터분석' url = "https://search.naver.com/search.naver?where=news&query=" + query web = requests.get(url).content source = B..