Python en MySQL op Ubuntu 14.04 in een virtuele omgeving installeren

Python

Als je in Ubuntu installeert dan wordt Python versie 2.7.6 in de installatie meegenomen.

Als je de applicatie Ubuntu Software Center opent dan heb je onder Developer Tools een kopje Python. Daar klik ik op IDLE om deze IDE for Python te installeren.

Vanuit een Terminal kun je dan IDLE openen door idle in te typen.

pip Toevoegen

sudo apt-get update

sudo apt-get -y install python-pip

setuptools updaten

sudo pip install -U setuptools

MySQL

Als je de applicatie Ubuntu Software Center opent en dan zoekt op MySQL dan klik ik op MySQL Server voor de installatie, tijdens de installatie moet je een wachtwoord opgeven. Daarna installer ik MySQL Workbench.

Hier meer informatie over Ubuntu en MySQL.

Python, Scrapy, BitBucket, Pycharm en MySQL op Windows 10

Wat te installeren?

  • Python
  • MySQL
  • BitBucket
  • PyCharm (Community)
  • Scrapy

Prerequisites

Bij deze installatie ga ik er van uit dat MySQL en PyCharm al geïnstalleerd zijn en dat je al een account bij BitBucket hebt.

Python installeren

  • Python versie 2.7.13 64 bits installeren, ook aan pad laten toevoegen.
  • pywin32-220.win-amd64-py2.7.exe installeren
  • mysql-connector-python-2.1.5-py2.7-winx64.msi installeren
  • VCForPython27.msi installeren

PyCharm project voor Scrapy aanmaken

  • Create Project
  • Create virualenv (naam: venv) en zet inherit global site-settings aan
  • Update packages
  • lxml versie 3.6.0
  • w3lib
  • twisted 17.1.0
  • cryptography 1.7.2
  • pyOpenSSL 16.2.0
  • README.md maken (of kopiëren)
  • .gitignore maken (of kopiëren)
  • scrapy
  • fake-useragent
  • scrapy-fake-useragent
  • kopieer pywin32-220.win-amd64-py2.7.exe naar de root van het project en installer deze in de virtual env door
    easy_install pywin32-220.win-amd64-py2.7.exe
    uit te voeren vanuit de root directory
  • verwijder het bestand pywin32-220.win-amd64-py2.7.exe
  • daarna kun je een Scrapy project aanmaken
  • scrapy startproject projectnaam
    (bv. scrapy startproject lacentrale)
  • scrapy genspider projectnaam-scraper domein
    (bv. scrapy genspider lacentrale-spider lacentrale.fr)
  • daarna de naam van de scraper zelf, het bestand in de map spiders dus een andere naam geven dan de naam van het project
  • beautifulsoup4 installeren, easy_install beautifulsoup4

Oud en uitzoeken

Alles hieronder moet ik uitzoeken, niet gebruiken dus.

Installatie-instructie van Dr.S.Gowrishankar Nath.

On Windows, use the py Python launcher in combination with the -m switch:

py -2 -m pip install SomePackage # default Python 2
py -2.7 -m pip install SomePackage # specifically Python 2.7
py -3 -m pip install SomePackage # default Python 3
py -3.4 -m pip install SomePackage # specifically Python 3.4

Python

Python kun je hier downloaden. Selecteer de juiste versie (bv. 64 bits). Zorg er tijdens de installatie voor dat je dat Python aan je path toegevoegd wordt aanvinkt.

MySQL

Prerequisites

  1. Microsoft Visual Studio
    (Visual Studio Community 2015, inclusief Visual C++ en Python tools for Visual Studio)
  2. MySQL for Visual Studio 1.2.6 installeren,
  3. Connector/ Python 2.1.5 installeren
    (wilde bij mij niet lukken met Python 3.6, daarom eerst versie 3.4.4 van Python geïnstalleerd)
  4. MySQL kun je hier downloaden.
    (Note: MySQL Installer is 32 bit, but will install both 32 bit and 64 bit binaries.)

GitHub/ Bitbucket

Download software from here.

PyCharm

https://www.jetbrains.com/pycharm en plugin voor Bitbucket installeren.

PyCharm and Bitbucket

Read all about it here.

Python Updaten

pip Updaten

Om pip te updaten gebruik je  “python -m pip install -U pip” in een command-box.

Commando’s pip:

pip list
pip help

pip Packages updaten

Verouderde packages opsporen:

pip list --outdated

vervolgens elk package updaten met

pip install -U packagename

pip details about a package

Details van een package bekijken doe je met

pip show packagename

setuptools Updaten

Om setuptools te updaten gebruik je:

pip install -U setuptools

pypiwin32 219

Python for Window Extensions
Python extensions for Microsoft Windows Provides access to much of the Win32 API, the ability to create and use COM objects, and the Pythonwin environment.

Deze kun je hier downloaden.

Microsoft Visual C++ Compiler for Python 2.7

Deze kun je hier downloaden.

lxml

Deze kun je hier downloaden (lxml-3.5.0.win-amd64-py2.7.exe (md5)).

Ik blijf hier maar problemen mee hebben. Helpt deze informatie?

En hier, om vervolgens met zoiets te installeren:

C:\Python34>python -m pip install lxml-3.4.4-cp34-none-win32.whl

beautifulsoup4

Om beautifulsoup4 te installeren gebruik je “pip install beautifulsoup4“.

scrapy

Om scrapy te installeren gebruik je  “pip install scrapy

Global commands

  • startproject: scrapy startproject myproject
  • settings
  • runspider
  • shell: scrapy shell <url>
  • fetch: scrapy fetch
  • view: scrapy view <url>
  • version

Project-only commands

  • crawl: scrapy crawl myspider
  • check
  • list: scrapy list
  • edit
  • parse
  • genspider: scrapy genspider mydomain mydomain.com
  • bench

Handig om bij Scrapy te gebruiken is scrapy-fake-useragent.

pip install fake-useragent
pip install scrapy-fake-useragent

Configuration

Turn off the built-in UserAgentMiddleware and add RandomUserAgentMiddleware:

DOWNLOADER_MIDDLEWARES = {
'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware': None,
'scrapy_fake_useragent.middleware.RandomUserAgentMiddleware': 400,
}

Grab Framework installeren

Prerequisites:

  1. Install lxml. Deze hadden we al eerder geinstalleerd, nu dus niet nodig om te doen.
  2. Install pycurl. Deze eerst met “pip install pycurl -U” gedaan, dat lukte niet, met “easy_install –upgrade pycurl” lukt het echter wel.

Installeer Grab met “pip install grab”.

tld

Om tld te installeren gebruik je “pip install tld“.

Virtualisatie software

Omdat ik een virtuele omgeving in wil richten om wat te experimenteren met Python en MySQL moet ik op mijn PC virtualisatie software installeren. Tijdens de periode die ik gewerkt heb bij een CMS bouwer uit Delft gebruikten wij altijd VMware voor het opzetten van virtuele testomgevingen. Omdat ik dit wel een fijn pakket vond wil ik dat ook graag op mijn PC installeren. Op de website van VMware zie ik dat hiervoor twee producten in aanmerking komen, Workstation 12 Pro en VMware Workstation Player.

Hier een vergelijking van de gratis VMware Workstation Player en VMware Workstation 12 Pro. Als je een beetje serieus aan de slag wilt dan zie je dat de gratis versie wel een beetje te kort schiet.

Omdat VMware Workstation 12 Pro rond de 250 Euro kost en Hyper-V van Microsoft gratis met mijn OS meekomt ga ik Hyper-V eerst proberen.

Installatie Hyper-V op Windows 10 Pro

Op de website van TenForums staat een goede installatiehandleiding voor Hyper-V.

De installatie van Windows 10 Pro op Hyper-V verliep vlekkeloos. Nu alle benodigde updates uitvoeren en daarna MySQL installeren.