Django, Python en Facebook Ads API op Windows 10 in een virtuele omgeving installeren

Installation

  • Install Python (3.5.1), zie mijn vorige beschrijving;
  • pip install Django

Django project starten

  • Create project: django-admin startproject <ProjectName>
  • Start Webserver: python manage.py runserver
  • Solve unapplied migrations: python manage.py migrate
  • Create new app: python manage.py startapp <AppName>

Facebook API

  • pip install facebookads

Python, Scrapy, BitBucket, Pycharm en MySQL op Windows 10

Wat te installeren?

  • Python
  • MySQL
  • BitBucket
  • PyCharm (Community)
  • Scrapy

Prerequisites

Bij deze installatie ga ik er van uit dat MySQL en PyCharm al geïnstalleerd zijn en dat je al een account bij BitBucket hebt.

Python installeren

  • Python versie 2.7.13 64 bits installeren, ook aan pad laten toevoegen.
  • pywin32-220.win-amd64-py2.7.exe installeren
  • mysql-connector-python-2.1.5-py2.7-winx64.msi installeren
  • VCForPython27.msi installeren

PyCharm project voor Scrapy aanmaken

  • Create Project
  • Create virualenv (naam: venv) en zet inherit global site-settings aan
  • Update packages
  • lxml versie 3.6.0
  • w3lib
  • twisted 17.1.0
  • cryptography 1.7.2
  • pyOpenSSL 16.2.0
  • README.md maken (of kopiëren)
  • .gitignore maken (of kopiëren)
  • scrapy
  • fake-useragent
  • scrapy-fake-useragent
  • kopieer pywin32-220.win-amd64-py2.7.exe naar de root van het project en installer deze in de virtual env door
    easy_install pywin32-220.win-amd64-py2.7.exe
    uit te voeren vanuit de root directory
  • verwijder het bestand pywin32-220.win-amd64-py2.7.exe
  • daarna kun je een Scrapy project aanmaken
  • scrapy startproject projectnaam
    (bv. scrapy startproject lacentrale)
  • scrapy genspider projectnaam-scraper domein
    (bv. scrapy genspider lacentrale-spider lacentrale.fr)
  • daarna de naam van de scraper zelf, het bestand in de map spiders dus een andere naam geven dan de naam van het project
  • beautifulsoup4 installeren, easy_install beautifulsoup4

Oud en uitzoeken

Alles hieronder moet ik uitzoeken, niet gebruiken dus.

Installatie-instructie van Dr.S.Gowrishankar Nath.

On Windows, use the py Python launcher in combination with the -m switch:

py -2 -m pip install SomePackage # default Python 2
py -2.7 -m pip install SomePackage # specifically Python 2.7
py -3 -m pip install SomePackage # default Python 3
py -3.4 -m pip install SomePackage # specifically Python 3.4

Python

Python kun je hier downloaden. Selecteer de juiste versie (bv. 64 bits). Zorg er tijdens de installatie voor dat je dat Python aan je path toegevoegd wordt aanvinkt.

MySQL

Prerequisites

  1. Microsoft Visual Studio
    (Visual Studio Community 2015, inclusief Visual C++ en Python tools for Visual Studio)
  2. MySQL for Visual Studio 1.2.6 installeren,
  3. Connector/ Python 2.1.5 installeren
    (wilde bij mij niet lukken met Python 3.6, daarom eerst versie 3.4.4 van Python geïnstalleerd)
  4. MySQL kun je hier downloaden.
    (Note: MySQL Installer is 32 bit, but will install both 32 bit and 64 bit binaries.)

GitHub/ Bitbucket

Download software from here.

PyCharm

https://www.jetbrains.com/pycharm en plugin voor Bitbucket installeren.

PyCharm and Bitbucket

Read all about it here.

Python Updaten

pip Updaten

Om pip te updaten gebruik je  “python -m pip install -U pip” in een command-box.

Commando’s pip:

pip list
pip help

pip Packages updaten

Verouderde packages opsporen:

pip list --outdated

vervolgens elk package updaten met

pip install -U packagename

pip details about a package

Details van een package bekijken doe je met

pip show packagename

setuptools Updaten

Om setuptools te updaten gebruik je:

pip install -U setuptools

pypiwin32 219

Python for Window Extensions
Python extensions for Microsoft Windows Provides access to much of the Win32 API, the ability to create and use COM objects, and the Pythonwin environment.

Deze kun je hier downloaden.

Microsoft Visual C++ Compiler for Python 2.7

Deze kun je hier downloaden.

lxml

Deze kun je hier downloaden (lxml-3.5.0.win-amd64-py2.7.exe (md5)).

Ik blijf hier maar problemen mee hebben. Helpt deze informatie?

En hier, om vervolgens met zoiets te installeren:

C:\Python34>python -m pip install lxml-3.4.4-cp34-none-win32.whl

beautifulsoup4

Om beautifulsoup4 te installeren gebruik je “pip install beautifulsoup4“.

scrapy

Om scrapy te installeren gebruik je  “pip install scrapy

Global commands

  • startproject: scrapy startproject myproject
  • settings
  • runspider
  • shell: scrapy shell <url>
  • fetch: scrapy fetch
  • view: scrapy view <url>
  • version

Project-only commands

  • crawl: scrapy crawl myspider
  • check
  • list: scrapy list
  • edit
  • parse
  • genspider: scrapy genspider mydomain mydomain.com
  • bench

Handig om bij Scrapy te gebruiken is scrapy-fake-useragent.

pip install fake-useragent
pip install scrapy-fake-useragent

Configuration

Turn off the built-in UserAgentMiddleware and add RandomUserAgentMiddleware:

DOWNLOADER_MIDDLEWARES = {
'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware': None,
'scrapy_fake_useragent.middleware.RandomUserAgentMiddleware': 400,
}

Grab Framework installeren

Prerequisites:

  1. Install lxml. Deze hadden we al eerder geinstalleerd, nu dus niet nodig om te doen.
  2. Install pycurl. Deze eerst met “pip install pycurl -U” gedaan, dat lukte niet, met “easy_install –upgrade pycurl” lukt het echter wel.

Installeer Grab met “pip install grab”.

tld

Om tld te installeren gebruik je “pip install tld“.

Een virtual in Hyper-V clonen

Om een clone van een virtual te malen in Hyper-V gaan we als volgt te werk. Open de Hyper-V Manager, selecteer de virtual die je wilt clonen met de rechtermuisknop en selecteer export. Selecteer vervolgens een folder op je computer waar de virtual naar geëxporteerd kan worden en klik op export.

De virtual wordt naar de geselecteerde folder geëxporteerd en dit kan enige tijd duren.

Hoe je de zojuist geëxporteerde virtual weer kunt importeren spreekt voor zich, maar let goed op dat je Copy the virtual machine (create a new unique ID) selecteerd.

Toch meer informatie nodig? Zie hier.

 

 

Resolutie aanpassen van een virtual in Hyper-V

Als je een virtual in Hyper-V opstart dan krijg je (meestal) een pop-up venster te zien waarin je een aantal zaken kunt aanpassen.

Hyper-V-01

Klik je op Show Options dan kun je een checkbox aanvinken waarna je deze instellingen niet meer te zien krijgt als je de virtual opnieuw opstart.

Hyper-V-02

Dat is vervelend als je je resolutie-instellingen later toch weer eens wilt wijzigen.

Dit kun je als volgt oplossen:

Als de virtual opgestart is dan kun je in de virtual op View klikken, klik vervolgens op Enhanced Session en de virtual schakelt over naar een Basic Session. Klik vervolgens op WIN + I, in het venster dat opent op klik je op System, vervolgens onderaan het scherm op Advanced display settings. Hier stel je vervolgens de gewenste resolutie in.

Hierna kun je onder View vervolgens weer op Enhanced Session klikken om dit weer in te schakelen.

 

Virtualisatie software

Omdat ik een virtuele omgeving in wil richten om wat te experimenteren met Python en MySQL moet ik op mijn PC virtualisatie software installeren. Tijdens de periode die ik gewerkt heb bij een CMS bouwer uit Delft gebruikten wij altijd VMware voor het opzetten van virtuele testomgevingen. Omdat ik dit wel een fijn pakket vond wil ik dat ook graag op mijn PC installeren. Op de website van VMware zie ik dat hiervoor twee producten in aanmerking komen, Workstation 12 Pro en VMware Workstation Player.

Hier een vergelijking van de gratis VMware Workstation Player en VMware Workstation 12 Pro. Als je een beetje serieus aan de slag wilt dan zie je dat de gratis versie wel een beetje te kort schiet.

Omdat VMware Workstation 12 Pro rond de 250 Euro kost en Hyper-V van Microsoft gratis met mijn OS meekomt ga ik Hyper-V eerst proberen.

Installatie Hyper-V op Windows 10 Pro

Op de website van TenForums staat een goede installatiehandleiding voor Hyper-V.

De installatie van Windows 10 Pro op Hyper-V verliep vlekkeloos. Nu alle benodigde updates uitvoeren en daarna MySQL installeren.