Language/Python (총 8개) 썸네일형 리스트형 Python - Selenium으로 웹 크롤러 만들기 Selenium으로 웹크롤러 만들기 Selenium으로 웹크롤러 만들기 목표selenium을 이용하여 크롤링을 통해 각 상품별 세부 사항을 엑셀에 저장한다. (Beautifulsoup을 이용하여 시도해보았으나 여러가지 문제점에 의해 Selenium을 선택했다. 동적 페이지 크롤링의 어려움, 웹페이지를 조작하기 어려움 등) 목표 세부설명https://www.sigmaaldrich.com URL로 이동해 상품을 검색한다. 검색 결과로 나타난 상품을 클릭해 세부사항을 확인한다.아래 그림의 빨간 네모칸에 해당하는 사항들을 크롤링한다.크롤링의 결과로 출력된 데이터를 정리하여 Excel에 저장한다. 과정1. URL 파악하기 https://www.sigmaaldrich.com/ 로 접속한 뒤 C:/test/produ.. Python - Json 사용법 Python에서 Json 다루기 1. json 라이브러리 import- json을 사용하기위해 json 라이브러리를 import한다2. JSON 인코딩- 다른 플랫폼으로 데이터를 전송하기 위해 파이썬의 자료를 Json 자료로 바꾸는 과정 1) Dict 자료형 생성- json으로 변경하고 싶은 데이터를 dict자료형으로 생성한다 2) json data로 인코딩json.dumps( dict 자료형 ) 함수를 이용하여 dict자료형을 json으로 인코딩한다 3) 결과- 인코딩된 데이터와 데이터의 타입을 출력한다출력시 json형식대로 출력이되며type은 string 형태이다. 3. JSON 디코딩- python에서 사용하기 위해 외부로부터 수신한 json data를 python의 자료형으로 바꾸는 과정 1) j.. Python - 문자열내에 특수문자 존재 확인 (any 메소드) any() - Iterable한 자료형을 조회하며 그중 하나라도 True를 return 하는 경우 True를 리턴한다 >>> any([False, False, False])False >>> any([False, True, False])True any() 메소드를 이용한 문자열 내에 특수문자 존재 확인 stringexample='mystri$ng&*' if any(sym in stringexample for sym in '!@#$%^&*'): print('true') Python - 전역변수와 지역변수 , Global 지역변수- 함수의 안에서 생성되는 변수- 해당 지역을 벗어날 때 메모리에서 제거되므로 외부에서 참조를 할 수 없는 변수이다 전역변수- 함수 밖의 전역 공간에서 선언된 변수- 함수안에서 참조가 가능하지만 변경은 하지 못한다 함수안에서 전역변수를 참조하는 예제) 함수안에서 전역변수의 값을 바꾸는 예제) Global- 함수안에서도 전역변수의 값을 수정할 수 있도록 해준다 - 또한 함수 안에서 전역변수를 생성할 수도 있다. Python - 클래스(Class)란? Class가 필요한 이유?- 어떤 변수에만 적용되는 함수가 존재할 때 이를 유지보수 하기 쉬운 코드로 만들 수 있다 예시) 1. Class 가 없을때1) 예를들어 통장을 관리하는 함수 deposit()를 만들었다고 치자 이 함수는 balance1의 계좌만을 관리하는 함수라는 점을 기억하자 2) 이때 또다른 통장이 생성되었다=> 한눈에 보아도 각통장마다 함수를 만들어 주어야 하므로 매우 비효율적이다 이는 유지보수에도 좋지 않다 왜냐하면 이함수의 변동이 일어나는 경우 모든 함수를 바꾸어주어야 하기 때문이다 3) 각 계좌에서 출금하는 함수를 만든다면 모든 계좌에 대해 그 함수를 추가해주어야 한다 2. Class 도입1) 클래스를 도입하면 아래와 같이 하나의 클래스를 통해 여러개의 객체를 생성 하므로써 코드의 .. Python - 모듈, 패키지 모듈- 함수 , 변수, 클래스들을 모아 놓은 파일- 오류가 없이 미리 잘 짜여진 코드로 필요이 가져다 사용할 수 있다- 라이브러리와 비슷한 의미로 통용된다 모듈 생성1. 모듈 파일 생성 import1. calculator 모듈 import- import 후 import된 모듈의 "이름.함수()" 로 해당 모듈을 이용할 수 있다. 2. as 를 이용한 import- as를 이용하여 import된 모듈의 이름을 재정의하여 해당이름을 통해 모듈을 사용 가능하다 from import1. from calculator import *- 해당 모듈에서 모든 함수들을 import하겠다는 뜻이다 때문에 "모듈이름.함수" 와 같이 작성하지 않고 바로 함수를 사용가능하다 2. 또는 필요한 함수만을 import하여 사용가능하.. Python - 자료형(List) 리스트(LIST)- 연속된 자료를 표현할 때 사용한다- 반복이 가능한 형태이다(iterable)- 0번부터 할당이 된다- 파이썬의 리스트에는 어떠한 자료형이든 포함이 가능하며 , 리스트, 튜플, 딕셔너리, 세트도 들어갈 수 있다a = [1, (1,2,3) , {"a":"1"}, set([1,2,3,1,2,3])] print(a)- 주소공간의 연속된 공간을 잡아 표현한다 (자료형의 크기만큼 띄워서 자리가 잡힌다)int형 = 2bytelist = [1,2,3,4]print(id(list[0]))print(id(list[1]))print(id(list[2]))print(id(list[3])) 리스트가 필요한이유?- 연속된 자료를 효율적으로 관리하기 위해서예시) 5명의 사람의 성적을 관리한다고 하자 이때 각 사.. Python - 가상환경 이란? 가상 환경이란?- 자신이 원하는 Python 환경 구축을 위해 필요한 모듈만을 모아놓은 것- 각각의 가상환경은 독립적이어서 서로다른 가상환경에 설치된 모듈들의 영향을 받지 않는다(그림출처 - https://medium.com/@psychet_learn/python-%EA%B0%80%EC%83%81%ED%99%98%EA%B2%BD-a87fc6e4d12b) 언제?- 서로다른 가상환경에서 같은 모듈을 사용한다고 하더라도 다른 버전을 필요로 하는 경우가 있는 경우 사용- 어떤 프로그램을 실행하기 위한 최소한의 환경을 구축할 때 Windows 가상환경 구성1. 설치 1) pip를 이용하여 virtualenv를 설치한다 - python -m pip install virtualenv 2) virtualenv 를 이용.. 이전 1 다음
