본문 바로가기

웹크롤링2

[웹크롤링] python selenium beautifulsoup 파싱한 html에 코드가 없을 때 / 데이터가 안나올 때 / 페이지 로딩 대기 / 페이지 대기 / 페이지 조작 역시나... 경데분 과제로 브랜드 하나를 골라서 매장 정보 크롤링하는 걸 하고 있는데, 적당한 사이트를 찾다가 빽다방으로 선택했다. 개발자 도구로 코드 확인해보니 html 코드도 딱 tbody > tr > td, td, td, ... 교과서 예제랑 거의 비슷하길래 딱이군! 했는데 역시 예제는 예제였던것...! 현실은 교과서처럼 아름답지 않고 -_- from bs4 import BeautifulSoup import urllib.request import pandas as pd from selenium.webdriver.support.select import Select URL = "https://paikdabang.com/store/" html = urllib.request.urlopen(URL) soup.. 2022. 11. 28.
[웹크롤링] 'WebDriver' object has no attribute 'find_element_by_link_text' 에러 / a href 태그 클릭하기 교보문고 베스트셀러 정보를 크롤링하는 과제 중... 얼른 끝내야지! 했는데 시작부터 전에는 되던 기능들이 다 안되는 것 아니겠나^~^ 역시... 나는 만능 xpath주의라서 xpath만 쓰는 버릇이 있는데 xpath로 아무리 해도 안됨-_- 찾아보니 a href 태그는 driver.find_element_by_link_text("Coding Ground") 써야 한대서 썼는데 또 안됨... GitHub - SeleniumHQ/selenium: A browser automation framework and ecosystem. A browser automation framework and ecosystem. Contribute to SeleniumHQ/selenium development by creatin.. 2022. 11. 24.