본문 바로가기

Language/Python

Python - Selenium으로 웹 크롤러 만들기 Selenium으로 웹크롤러 만들기 Selenium으로 웹크롤러 만들기 목표selenium을 이용하여 크롤링을 통해 각 상품별 세부 사항을 엑셀에 저장한다. (Beautifulsoup을 이용하여 시도해보았으나 여러가지 문제점에 의해 Selenium을 선택했다. 동적 페이지 크롤링의 어려움, 웹페이지를 조작하기 어려움 등) 목표 세부설명https://www.sigmaaldrich.com URL로 이동해 상품을 검색한다. 검색 결과로 나타난 상품을 클릭해 세부사항을 확인한다.아래 그림의 빨간 네모칸에 해당하는 사항들을 크롤링한다.크롤링의 결과로 출력된 데이터를 정리하여 Excel에 저장한다. 과정1. URL 파악하기 https://www.sigmaaldrich.com/ 로 접속한 뒤 C:/test/produ..
작성일: 2019. 3. 5. 09:52
작성일: 2019. 1. 13. 17:14
작성일: 2018. 12. 27. 14:20
작성일: 2018. 12. 17. 15:12
Python - 클래스(Class)란? Class가 필요한 이유?- 어떤 변수에만 적용되는 함수가 존재할 때 이를 유지보수 하기 쉬운 코드로 만들 수 있다 예시) 1. Class 가 없을때1) 예를들어 통장을 관리하는 함수 deposit()를 만들었다고 치자 이 함수는 balance1의 계좌만을 관리하는 함수라는 점을 기억하자 2) 이때 또다른 통장이 생성되었다=> 한눈에 보아도 각통장마다 함수를 만들어 주어야 하므로 매우 비효율적이다 이는 유지보수에도 좋지 않다 왜냐하면 이함수의 변동이 일어나는 경우 모든 함수를 바꾸어주어야 하기 때문이다 3) 각 계좌에서 출금하는 함수를 만든다면 모든 계좌에 대해 그 함수를 추가해주어야 한다 2. Class 도입1) 클래스를 도입하면 아래와 같이 하나의 클래스를 통해 여러개의 객체를 생성 하므로써 코드의 ..
작성일: 2018. 12. 17. 14:46
Python - 모듈, 패키지 모듈- 함수 , 변수, 클래스들을 모아 놓은 파일- 오류가 없이 미리 잘 짜여진 코드로 필요이 가져다 사용할 수 있다- 라이브러리와 비슷한 의미로 통용된다 모듈 생성1. 모듈 파일 생성 import1. calculator 모듈 import- import 후 import된 모듈의 "이름.함수()" 로 해당 모듈을 이용할 수 있다. 2. as 를 이용한 import- as를 이용하여 import된 모듈의 이름을 재정의하여 해당이름을 통해 모듈을 사용 가능하다 from import1. from calculator import *- 해당 모듈에서 모든 함수들을 import하겠다는 뜻이다 때문에 "모듈이름.함수" 와 같이 작성하지 않고 바로 함수를 사용가능하다 2. 또는 필요한 함수만을 import하여 사용가능하..
작성일: 2018. 12. 17. 14:13
작성일: 2018. 12. 14. 16:53
작성일: 2018. 12. 1. 14:16