웹 크롤링 개발 환경 설정하기

강의에서와 달리 저는 윈도우즈 운영체제에서 실습 및 설정하였습니다.

강의		작성자
OS	Ubuntu 14.04 LTS	OS	Windows 7 Ultimate K ServicePack 1
언어	Python 2.7	언어	Python 2.7 & 3.5
라이브러리	BeautifulSoup, scrapy	라이브러리	BeautifulSoup, scrapy
기타	vritualenv,  virtualenvwrapper	기타	pycharm IDE

강의 내 우분투 설정 과정 

1. 패키지 업데이트 및 설치

#sudo apt-get update 패키지 목록 업데이트

#sudo apt-get install build-essential  기본적으로 필요한 라이브러리 등 설치

# python -v 설치된 파이썬 버전 확인

# python 파이썬 콘솔이 정상적으로 실행되는지 확인

# sudo apt-get install pip 파이썬 패키지 관리를 위한 패키지 매니저 설치 

2. 파이썬 가상환경 설정

#sudo pip install virtualenv virtualenvwrapper

#vi .bashrc

fi

export WORKON_HOME=$HOME/.virtualenvs

source /usr/local/bin/virtualenvwrapper.sh

#source .bashrc 변경한 .bashrc 적용시키기

3. 가상환경 생성하기

#mkvirtualenv oneq    만들고자 하는 가상환경 이름으로 생성

#deactivate 가상환경 종료

#workon oneq  oneq 라는 이름의 가상환경 활성화

4. 추가 라이브러리 설치

#sudo apt-get install libxml2-dev libxslt-dev python-dev zliblg-dev

#sudo apt-get install python-lxml

#pip install lxml

#pip install beautifulsoup4

#sudo apt-get install libffi-dev libssl-dev

#pip install Scrapya

---

본 콘텐츠는 인프런(https://www.inflearn.com) 의 ONECUE 강사님의 "파이썬을 이용한 웹 크롤링(Web Crawling) 어플리케이션 만들기"를 수강 후 복습하면서 작성한 내용입니다.