Python en MySQL op Ubuntu 14.04 in een virtuele omgeving installeren

Python

Als je in Ubuntu installeert dan wordt Python versie 2.7.6 in de installatie meegenomen.

Als je de applicatie Ubuntu Software Center opent dan heb je onder Developer Tools een kopje Python. Daar klik ik op IDLE om deze IDE for Python te installeren.

Vanuit een Terminal kun je dan IDLE openen door idle in te typen.

pip Toevoegen

sudo apt-get update

sudo apt-get -y install python-pip

setuptools updaten

sudo pip install -U setuptools

MySQL

Als je de applicatie Ubuntu Software Center opent en dan zoekt op MySQL dan klik ik op MySQL Server voor de installatie, tijdens de installatie moet je een wachtwoord opgeven. Daarna installer ik MySQL Workbench.

Hier meer informatie over Ubuntu en MySQL.

MongoDB installatie op Windows 10

Installatie van MongoDB op een Windows 10 virtual. Klik hier om naar de webiste van MongoDB te gaan. Daar is ook de download pagina te vinden.

MongoDB for Windows 64-bit runs only on Windows Server 2008 R2, Windows 7 64-bit, and newer versions of Windows. This build takes advantage of recent enhancements to the Windows Platform and cannot operate on older versions of Windows.”

Gebruik de installer om MongoDB te installeren, voeg na installatie het pad toe aan je Windows 10 omgevingsvariabelen. Daarna kun je vanuit een Command Prompt MongoDB opstarten met het commando mongod, en beheren via commando mongo.

Install tutorial op YouTube.

Python, Scrapy, BitBucket, Pycharm en MySQL op Windows 10

Wat te installeren?

  • Python
  • MySQL
  • BitBucket
  • PyCharm (Community)
  • Scrapy

Prerequisites

Bij deze installatie ga ik er van uit dat MySQL en PyCharm al geïnstalleerd zijn en dat je al een account bij BitBucket hebt.

Python installeren

  • Python versie 2.7.13 64 bits installeren, ook aan pad laten toevoegen.
  • pywin32-220.win-amd64-py2.7.exe installeren
  • mysql-connector-python-2.1.5-py2.7-winx64.msi installeren
  • VCForPython27.msi installeren

PyCharm project voor Scrapy aanmaken

  • Create Project
  • Create virualenv (naam: venv) en zet inherit global site-settings aan
  • Update packages
  • lxml versie 3.6.0
  • w3lib
  • twisted 17.1.0
  • cryptography 1.7.2
  • pyOpenSSL 16.2.0
  • README.md maken (of kopiëren)
  • .gitignore maken (of kopiëren)
  • scrapy
  • fake-useragent
  • scrapy-fake-useragent
  • kopieer pywin32-220.win-amd64-py2.7.exe naar de root van het project en installer deze in de virtual env door
    easy_install pywin32-220.win-amd64-py2.7.exe
    uit te voeren vanuit de root directory
  • verwijder het bestand pywin32-220.win-amd64-py2.7.exe
  • daarna kun je een Scrapy project aanmaken
  • scrapy startproject projectnaam
    (bv. scrapy startproject lacentrale)
  • scrapy genspider projectnaam-scraper domein
    (bv. scrapy genspider lacentrale-spider lacentrale.fr)
  • daarna de naam van de scraper zelf, het bestand in de map spiders dus een andere naam geven dan de naam van het project
  • beautifulsoup4 installeren, easy_install beautifulsoup4

Oud en uitzoeken

Alles hieronder moet ik uitzoeken, niet gebruiken dus.

Installatie-instructie van Dr.S.Gowrishankar Nath.

On Windows, use the py Python launcher in combination with the -m switch:

py -2 -m pip install SomePackage # default Python 2
py -2.7 -m pip install SomePackage # specifically Python 2.7
py -3 -m pip install SomePackage # default Python 3
py -3.4 -m pip install SomePackage # specifically Python 3.4

Python

Python kun je hier downloaden. Selecteer de juiste versie (bv. 64 bits). Zorg er tijdens de installatie voor dat je dat Python aan je path toegevoegd wordt aanvinkt.

MySQL

Prerequisites

  1. Microsoft Visual Studio
    (Visual Studio Community 2015, inclusief Visual C++ en Python tools for Visual Studio)
  2. MySQL for Visual Studio 1.2.6 installeren,
  3. Connector/ Python 2.1.5 installeren
    (wilde bij mij niet lukken met Python 3.6, daarom eerst versie 3.4.4 van Python geïnstalleerd)
  4. MySQL kun je hier downloaden.
    (Note: MySQL Installer is 32 bit, but will install both 32 bit and 64 bit binaries.)

GitHub/ Bitbucket

Download software from here.

PyCharm

https://www.jetbrains.com/pycharm en plugin voor Bitbucket installeren.

PyCharm and Bitbucket

Read all about it here.

Python Updaten

pip Updaten

Om pip te updaten gebruik je  “python -m pip install -U pip” in een command-box.

Commando’s pip:

pip list
pip help

pip Packages updaten

Verouderde packages opsporen:

pip list --outdated

vervolgens elk package updaten met

pip install -U packagename

pip details about a package

Details van een package bekijken doe je met

pip show packagename

setuptools Updaten

Om setuptools te updaten gebruik je:

pip install -U setuptools

pypiwin32 219

Python for Window Extensions
Python extensions for Microsoft Windows Provides access to much of the Win32 API, the ability to create and use COM objects, and the Pythonwin environment.

Deze kun je hier downloaden.

Microsoft Visual C++ Compiler for Python 2.7

Deze kun je hier downloaden.

lxml

Deze kun je hier downloaden (lxml-3.5.0.win-amd64-py2.7.exe (md5)).

Ik blijf hier maar problemen mee hebben. Helpt deze informatie?

En hier, om vervolgens met zoiets te installeren:

C:\Python34>python -m pip install lxml-3.4.4-cp34-none-win32.whl

beautifulsoup4

Om beautifulsoup4 te installeren gebruik je “pip install beautifulsoup4“.

scrapy

Om scrapy te installeren gebruik je  “pip install scrapy

Global commands

  • startproject: scrapy startproject myproject
  • settings
  • runspider
  • shell: scrapy shell <url>
  • fetch: scrapy fetch
  • view: scrapy view <url>
  • version

Project-only commands

  • crawl: scrapy crawl myspider
  • check
  • list: scrapy list
  • edit
  • parse
  • genspider: scrapy genspider mydomain mydomain.com
  • bench

Handig om bij Scrapy te gebruiken is scrapy-fake-useragent.

pip install fake-useragent
pip install scrapy-fake-useragent

Configuration

Turn off the built-in UserAgentMiddleware and add RandomUserAgentMiddleware:

DOWNLOADER_MIDDLEWARES = {
'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware': None,
'scrapy_fake_useragent.middleware.RandomUserAgentMiddleware': 400,
}

Grab Framework installeren

Prerequisites:

  1. Install lxml. Deze hadden we al eerder geinstalleerd, nu dus niet nodig om te doen.
  2. Install pycurl. Deze eerst met “pip install pycurl -U” gedaan, dat lukte niet, met “easy_install –upgrade pycurl” lukt het echter wel.

Installeer Grab met “pip install grab”.

tld

Om tld te installeren gebruik je “pip install tld“.

Installatie van WordPress

Installatie van WordPress

Om met WordPress aan de slag te kunnen gaan en om het pakket zelf te kunnen installeren in plaats van via een ‘Easy-Install-Tool’ heb ik bij mijn provider mijn hosting account om laten zetten naar een Unix hosting account. Binnen een dag was de omzetting gedaan en trof ik na inloggen met ftp een volledig lege directory aan. In de veronderstelling dat dit niet juist kon zijn ging ik via de admin panel een subdomein aanmaken om te kijken wat er ging gebeuren en of dit dan ook weer een lege directory zou opleveren. Het leverde mij inderdaad een lege directory op waarin ik toen maar WordPress heb geïnstalleerd. En getuige deze eerste blog post werkt het. De installatie was werkelijk zeer eenvoudig. Slechts een enkele aanpassing aan een installatie-script en klaar ben je.

Gebruikte links:

Aan het installatie-script moesten de gegevens van de database toegevoegd worden, alsmede een aantal ‘secure’ wachtwoorden. Daarna de boel uploaden naar de server en via een URL oproep vanuit de browser de boel laten installeren.

Stappenlijst:

  1. Inloggen als website admin bij mijn provider (Web10);
  2. Bij WebServices op ‘Toepassen‘ bij Toepassen MySQL-Database klikken om een nieuwe database klaar te zetten;
  3. Op ‘>>‘ bij phpMyAdmin klikken om te kijken wat de naam van de database is die we kunnen gebruiken;
  4. Database encoding aanpassen, in mijn  geval heb ik die op utf8mb4_general_ci gezet, dat doe ik onder ‘Handelingen‘ en dan bij ‘Collatie‘;
  5. Laatste versie van WordPress downloaden;
  6. Unzip de download;
  7. Creëer hier je geheime sleutels;
  8. Hernoem wp-config-sample.php naar wp-config.php en plak de geheime sleutels op hun plek, pas de overige gegevens aan;
  9. Upload de handel;
  10. Surf met je browser naar de plek waar je de bestanden geüpload hebt en de installatie begint;
  11. Klaar!

Omdat ik bij mijn providers databases niet kan deleten moet ik bij een nieuwe WordPress installatie alle tabellen verwijderen:

DROP TABLE wp_commentmeta, wp_comments, wp_links, wp_options, wp_postmeta, wp_posts, wp_revslider_css, wp_revslider_layer_animations, wp_revslider_settings, wp_revslider_sliders, wp_revslider_slides, wp_revslider_static_slides, wp_term_relationships, wp_term_taxonomy, wp_termmeta, wp_terms, wp_usermeta, wp_users

Optioneel:

  1. Antivirus‘ plug-in toevoegen en activeren, onder Settings kun je dan het Antivirus programma gebruiken;
  2. Thema installeren door een zip file te uploaden, activeren en eventueel scannen;
  3. De door het thema gewenste plug-ins installeren en activeren;
  4. En eventueel sommige plug-ins weer updaten;
  5. Eventueel het child thema installeren.