Python, Scrapy, BitBucket, Pycharm en MySQL op Windows 10

Wat te installeren?

  • Python
  • MySQL
  • BitBucket
  • PyCharm (Community)
  • Scrapy

Prerequisites

Bij deze installatie ga ik er van uit dat MySQL en PyCharm al geïnstalleerd zijn en dat je al een account bij BitBucket hebt.

Python installeren

  • Python versie 2.7.13 64 bits installeren, ook aan pad laten toevoegen.
  • pywin32-220.win-amd64-py2.7.exe installeren
  • mysql-connector-python-2.1.5-py2.7-winx64.msi installeren
  • VCForPython27.msi installeren

PyCharm project voor Scrapy aanmaken

  • Create Project
  • Create virualenv (naam: venv) en zet inherit global site-settings aan
  • Update packages
  • lxml versie 3.6.0
  • w3lib
  • twisted 17.1.0
  • cryptography 1.7.2
  • pyOpenSSL 16.2.0
  • README.md maken (of kopiëren)
  • .gitignore maken (of kopiëren)
  • scrapy
  • fake-useragent
  • scrapy-fake-useragent
  • kopieer pywin32-220.win-amd64-py2.7.exe naar de root van het project en installer deze in de virtual env door
    easy_install pywin32-220.win-amd64-py2.7.exe
    uit te voeren vanuit de root directory
  • verwijder het bestand pywin32-220.win-amd64-py2.7.exe
  • daarna kun je een Scrapy project aanmaken
  • scrapy startproject projectnaam
    (bv. scrapy startproject lacentrale)
  • scrapy genspider projectnaam-scraper domein
    (bv. scrapy genspider lacentrale-spider lacentrale.fr)
  • daarna de naam van de scraper zelf, het bestand in de map spiders dus een andere naam geven dan de naam van het project
  • beautifulsoup4 installeren, easy_install beautifulsoup4

Oud en uitzoeken

Alles hieronder moet ik uitzoeken, niet gebruiken dus.

Installatie-instructie van Dr.S.Gowrishankar Nath.

On Windows, use the py Python launcher in combination with the -m switch:

py -2 -m pip install SomePackage # default Python 2
py -2.7 -m pip install SomePackage # specifically Python 2.7
py -3 -m pip install SomePackage # default Python 3
py -3.4 -m pip install SomePackage # specifically Python 3.4

Python

Python kun je hier downloaden. Selecteer de juiste versie (bv. 64 bits). Zorg er tijdens de installatie voor dat je dat Python aan je path toegevoegd wordt aanvinkt.

MySQL

Prerequisites

  1. Microsoft Visual Studio
    (Visual Studio Community 2015, inclusief Visual C++ en Python tools for Visual Studio)
  2. MySQL for Visual Studio 1.2.6 installeren,
  3. Connector/ Python 2.1.5 installeren
    (wilde bij mij niet lukken met Python 3.6, daarom eerst versie 3.4.4 van Python geïnstalleerd)
  4. MySQL kun je hier downloaden.
    (Note: MySQL Installer is 32 bit, but will install both 32 bit and 64 bit binaries.)

GitHub/ Bitbucket

Download software from here.

PyCharm

https://www.jetbrains.com/pycharm en plugin voor Bitbucket installeren.

PyCharm and Bitbucket

Read all about it here.

Python Updaten

pip Updaten

Om pip te updaten gebruik je  “python -m pip install -U pip” in een command-box.

Commando’s pip:

pip list
pip help

pip Packages updaten

Verouderde packages opsporen:

pip list --outdated

vervolgens elk package updaten met

pip install -U packagename

pip details about a package

Details van een package bekijken doe je met

pip show packagename

setuptools Updaten

Om setuptools te updaten gebruik je:

pip install -U setuptools

pypiwin32 219

Python for Window Extensions
Python extensions for Microsoft Windows Provides access to much of the Win32 API, the ability to create and use COM objects, and the Pythonwin environment.

Deze kun je hier downloaden.

Microsoft Visual C++ Compiler for Python 2.7

Deze kun je hier downloaden.

lxml

Deze kun je hier downloaden (lxml-3.5.0.win-amd64-py2.7.exe (md5)).

Ik blijf hier maar problemen mee hebben. Helpt deze informatie?

En hier, om vervolgens met zoiets te installeren:

C:\Python34>python -m pip install lxml-3.4.4-cp34-none-win32.whl

beautifulsoup4

Om beautifulsoup4 te installeren gebruik je “pip install beautifulsoup4“.

scrapy

Om scrapy te installeren gebruik je  “pip install scrapy

Global commands

  • startproject: scrapy startproject myproject
  • settings
  • runspider
  • shell: scrapy shell <url>
  • fetch: scrapy fetch
  • view: scrapy view <url>
  • version

Project-only commands

  • crawl: scrapy crawl myspider
  • check
  • list: scrapy list
  • edit
  • parse
  • genspider: scrapy genspider mydomain mydomain.com
  • bench

Handig om bij Scrapy te gebruiken is scrapy-fake-useragent.

pip install fake-useragent
pip install scrapy-fake-useragent

Configuration

Turn off the built-in UserAgentMiddleware and add RandomUserAgentMiddleware:

DOWNLOADER_MIDDLEWARES = {
'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware': None,
'scrapy_fake_useragent.middleware.RandomUserAgentMiddleware': 400,
}

Grab Framework installeren

Prerequisites:

  1. Install lxml. Deze hadden we al eerder geinstalleerd, nu dus niet nodig om te doen.
  2. Install pycurl. Deze eerst met “pip install pycurl -U” gedaan, dat lukte niet, met “easy_install –upgrade pycurl” lukt het echter wel.

Installeer Grab met “pip install grab”.

tld

Om tld te installeren gebruik je “pip install tld“.

Eén gedachte over “Python, Scrapy, BitBucket, Pycharm en MySQL op Windows 10”

Geef een reactie

Het e-mailadres wordt niet gepubliceerd. Vereiste velden zijn gemarkeerd met *