DEV Community: compilerboiler

Data with Python

compilerboiler — Tue, 17 Mar 2020 22:35:44 +0000

You can do all kinds of data processing with Python, including web scraping, read text files, reading csv files.

Pandas is a module you can use for that, it has all kinds of data processing functionality: data structures for data analysis, time series,and statistics

So why pandas ?

Easy loading & saving data
Column insertion & deletion
Data selection
Column & row renaming
Row deletion
Data sorting
handling missing value
handling duplicates
Data exploration
Data visualization

But pandas isn't the only module to work with data, you may be familiar with web scraping (beautifulsoup) or databases (sql).

So what can you do with Python and data?

Parse Files

You can processing many types of files including:

Web data (scraping, databases, api)

Web scraping and web data:

Of course there is much more you can do with Python and data, these are just some examples.

What is JSON?

compilerboiler — Mon, 16 Mar 2020 18:44:20 +0000

JSON is the most widely used format for interchanging data on the web. Its meaning is "Java Script Object Notation".

It originates from the JavaScript language. JSON uses the JavaScript syntax, but the JSON format is text only.

Example

The data below is in json format:

{"employees":[
{"name":"Alice", "email":"alice@xyz.com"},
{"name":"Alex", "email":"alex@xyz.com"},
{"name":"Allison", "email":"allison@xyz.com"}
]}

Its easily readable by a computer and human (compared to the XML format).

You can convert any JavaScript object into JSON and send JSON to the server.

But what's more:

JSON is a cross language data format
JSON is both more compact and (in my view) more readable
You can convert json to Python objects
You can convert json to Python Pandas Dataframe, then to csv or Excel
You can convert Python objects to json

Json text can be read and used as a data format by any programming language.

One of the ways to use it, is the json module:

import json
data = '{"name": "Alice", "city": "Amsterdam"}'
python_obj = json.loads(data)
print python_obj["name"]

But the pandas module may be better suited. Pandas is a data analysis module and it supports many features like reading and writing excel.

You can read json in Python Pandas.

Reference:
json module
json examples

Python Flask Resources

compilerboiler — Sun, 15 Mar 2020 18:09:05 +0000

You can make Web Apps with Python Flask. This means you can make a Web App with only Python as backend programming language.

So where do you get started?
One way to start is by doing a Flask course.

If you prefer learning from articles, there are many Flask articles, that could serve as staring point:

General

Hello World

Template engine

Database

Charts and forms

Deploy & others

Waarom Enumerate? (Dutch)

compilerboiler — Tue, 25 Feb 2020 21:46:43 +0000

In deze post wordt de Python enumerate functie snel besproken. Het is bekend dat Python de code leesbaar maakt en het gebruik van enumerate zal uw code nog beter leesbaar maken.

Eenvoudige lussen

Loops laten je regels code herhalen, de meest voorkomende zijn for loops en while loops. Als u ervaring heeft met for loops, kunt u geneigd zijn om een index (i) op de array te gebruiken.

>>> array = ['a','b','c','d','e']
>>> for i in range (len(array)):
...     print(array[i]))
... 
a
b
c
d
e
>>>

Als u met het oude C++ hebt geprogrammeerd, bent u misschien zelfs geneigd om zoiets te doen:

>>> i = 0
>>> while i < len(array):
...     print(array[i]))
...     i = i + 1

Dit is te gecompliceerd. Python is veel gemakkelijker

Waarom enumerate?

Het bovenstaande werkte, maar het is niet Pythonisch. In plaats daarvan maakt enumerate dit beter leesbaar (het is ook makkelijker te coderen).

De functie 'enumerate' neemt een iteratable (array) als parameter en geeft voor elk element de waarde en de index aan.

>>> array = ['a','b','c','d','e']
>>> for index, item in enumerate(array):
...     print(item)
... 
a
b
c
d
e
>>>

Veel beter! Je krijgt zowel de index als het element, zonder dat je de index variabele niet hoeft bij te houden.

De enumerate functie werkt op arrays (lists) of andere soorten sequenties zoals tupels, strings etc.

>>> array = [ 1,3,2,6,3,9,4,12,5,15,6,18,7,21,8 ].
>>> for index, item in enumerate(array):
...     print(item)
...

Dus enumerate is een zeer nuttige functie die het programmeren wat eenvoudiger maakt.

Wat is Tkinter? (Dutch)

compilerboiler — Mon, 24 Feb 2020 14:32:50 +0000

Om desktop software te maken, kunt u gebruik maken van de tkinter module. Tkinter is een module voor GUI's (gebaseerd op de Tk GUI toolkit).

Dit is de standaard module voor grafische apps voor Python. Tkinter wordt meegeleverd met Linux, Microsoft Windows en Mac OS X.

Natuurlijk zijn er ook andere GUI-modules zoals PyQt, PyGTK, simpleGUI en andere. Een van de voordelen van tkinter is dat het standaard is inbegrepen en dat u het snel kunt leren.

Voorbeeld

Met tkinter kunt u snel grafische interfaces bouwen. Het onderstaande voorbeeld toont u de hello world app.

from tkinter import *

root = Tk()

w = Label(root, text="Hello, world!")
w.pack()

root.mainloop()

Het laadt de module zo:

from tkinter import *

Als u een import fout krijgt, zorg er dan voor dat u Python versie 3 of nieuwer gebruikt.

python --version

Dan wordt tk (root window) geïnitialiseerd met:

root = Tk()

Een label met de tekst "Hallo wereld" wordt aangemaakt en toegevoegd aan het hoofdvenster.

w = Label(root, text="Hello, world!")
w.pack()

U kunt veel widgets aan uw venster toevoegen zoals knoppen, bestandmenu, afbeeldingen een invoerveld en andere.

Rest API met Flask (Dutch)

compilerboiler — Mon, 24 Feb 2020 14:23:57 +0000

De Python Flask module is handig voor het bouwen van een Rust-API. Een Rest API gebruikt het HTTP protocol zoals het oorspronkelijk is ontworpen.

Het HTTP-protocol heeft veel verzoeken zoals de GET, PUT, POST en DELETE verzoeken. Deze verzoeken moeten worden gebruikt voor het toevoegen en verwijdering van data.

Voor het maken van uw web app backend kunt u een Rest API gebruiken. Omdat het uw backend (logica) ontkoppelt van uw frontend (presentatie), kunt u eenvoudig de frontend veranderen.

Dit betekent dat u uw frontend kunt updaten zonder dat u uw backend opnieuw hoeft te coderen.

U kunt eenvoudig uw Python-apps online zetten.

GET request

Een get request is de meest elementaire. Dit is wanneer u uw browser gebruikt om een url te openen. Het onderliggende HTTP-protocol doet dan het GET-verzoek waarop de server de gegevens terug stuurt.

Vaak geeft dat JSON gegevens terug. Met een Flask Rest API, kan je dat zo doen:

from flask import Flask, jsonify, request

app = Flask(__name__)

incomes = [
  { 'name': 'Alice', 'amount': 2000 },
  { 'name': 'Abbey', 'amount': 2200 },
]

@app.route('/incomes')
def get_incomes():
  return jsonify(incomes)

app.run(host='0.0.0.0', port=8080)

Open dan de url localhost:8080/incomes om de JSON-gegevens te zien. De front-end (Javascript) kan JSON-data inlezen en maken.

POST requests

POST requests worden gebruikt om gegevens toe te voegen. De gebruiker doet normaal gesproken geen postverzoek, de front-end doet dit voor u. U kunt dit echter wel nabootsen met een tool genaamd curl of een extensie gebruiken.

Een nieuw POST requests afhandelen:

@app.route('/incomes', methods=['POST'])
def add_income():
  incomes.append(request.get_json())
  return '', 204

Dan kunt u een POST request doen. Om een postverzoek te starten, kunt u gebruik maken van curl.

curl -X POST -H "Content-Type: application/json" -d '{"name":"Aaron","amount":5000}' http://localhost:8080/incomes

Normaal gesproken doet uw webapplicatie het webverzoek. Als u zich niet op uw gemak voelt met de terminal, kunt u de postman-extensie gebruiken.

Pandas data analyse (Dutch)

compilerboiler — Mon, 24 Feb 2020 14:10:17 +0000

Panda's is een data-analyse module voor Python. De module werd voor het eerst ontwikkeld in 2008 en is uitgegroeid tot een van de meest populaire data-analyse modules.

Je kunt allerlei soorten data inlezen in Python met panda's.
Bijvoorbeeld het lezen van csv data (data uit txt), het inlezen van een pickle object bestand of zelfs het clipboard.

Data inlezen met panda's

Bij Panda's gaat het om data. Omdat programma's bijna altijd met data werken, is het een goede skill om de panda's-module te kennen.

Als dit uw tekstbestand is (filepath.txt, met tabs)

Kun je het in een pandas-dataframe inlezen met de lijnen:

import pandas as pd
dataset=pd.read_csv("filepath.txt",delimiter="\t")

Voor een csv bestand kun je het volgende doen:

data = pd.read_csv('output_list.txt', sep=",", header=None)

Je kunt de kolommen handmatig definiëren als uw gegevens geen kolommen hebben

data.columns = ["a", "b", "c", "etc."]

Je kunt dan met het dataframe werken, erop selecteren, filteren enzovoort.

Selecteer zo'n kolom:

import pandas as pd
dataset=pd.read_csv("filepath.txt",delimiter="\t")
dataset.columns = ["a", "b", "c"]
print(dataset["b"])

Dit toont al uw gegevens uit kolom A

➜ ~ python3 zoo.py
0 3
1 4
2 5
3 6
Naam: b, d-type: int64

Object lus in Python en Javascript (Dutch)

compilerboiler — Sun, 23 Feb 2020 14:08:18 +0000

Het itereren over een object in Python en Javascript is vergelijkbaar. Het enige verschil is de syntax.

Natuurlijk zijn de talen voor verschillende doeleinden gemaakt (met uitzondering op server side javascript). Toch zijn ze enigsinds vergelijkbaar.

Hier een voorbeeld. Het herhalen in Python (over een dictionary):

obj = {
    'name': 'Victor'
}

for key in obj:
    print("key: %s, value: %s" % (key, obj[key]))

In Javascript als we hetzelfde doen:

let obj = {
    name: 'Victor'
}

for (key in obj) {
    console.log(`Key: ${key}, value: ${obj[key]}`);
}

Python kan net als Javascript met JSON objecten werken. Dit is erg handig bij het bouwen van een web app in Python.

Data types in Python (Dutch)

compilerboiler — Sun, 23 Feb 2020 13:56:23 +0000

Je kunt nooit een efficiënte programmeur zijn zonder de data typen en algoritmes te beheersen.

Problemen oplossen bij het programmeren is onmogelijk zonder de basis.
Ongeacht op welk aspect van de python-programmering u zich wilt richten, kunt u niet voorbijgaan aan de data types.

Elke variable heeft een datatype, ook al is deze niet expliciet gedefinieerd.

Primitieve gegevensstructuren

Integers : Wordt gebruikt om numerieke gegevens weer te geven, meer bepaald hele getallen van negatief oneindig tot oneindig, zoals 2,3, -100000, 10000.
Float : 'Float' staat voor floating point number. Het wordt gebruikt voor rationele getallen die gewoonlijk eindigen met een decimaal getal, zoals 1.1,1.2,3.93 enz.
String : Strings zijn een verzameling van karakters, woorden of andere tekens. In Python worden strings gecreëerd door een reeks karakters in te sluiten binnen een paar dubbele of enkele aanhalingstekens.

x = "Hello World"

Booleaan

Het is een ingebouwd gegevenstype dat de waarden TRUE of FALSE kan aannemen.

x = True
y = False

Lijsten

Een lijst is een set van nul of meer objecten. Dit kunnen integers zijn maar ook floats, booleans of andere data typen

Voordelen: Verwisselbaar en geordend. Gemakkelijk te begrijpen. Relatief efficiënt geheugengebruik.
Nadelen: Zoeken is O(n).

Gebruik vierkante haakjes om een lijst te maken:

    mylist = [ ]
    mylist = [1,2,3]
    mylist = ['a', 'b', 'c', [1,2,3] ] # 4 elementen

Tupels

Onveranderlijke, geordende reeksen die verschillende objecten kunnen bevatten

Voordelen: Onveranderlijk en geordend. Relatief efficiënt geheugengebruik (meer dan lijsten).
Nadelen: Zoeken is O(n). Moeilijk te begrijpen voor veel Python-nieuwkomers.

x = (3,)
y = (1,2,3,)

Dictionary

Paren (sleutels en waarden) van objecten. Sleutels moeten hashable zijn.

Voordelen: O(1) zoeken naar sleutels.
Nadelen: Alleen zoeken met sleutel.

x = { 'Dev':'Developer', 'Ops':'Operator' }

pass Statements (Dutch)

compilerboiler — Sat, 22 Feb 2020 13:28:37 +0000

In sommige programmeertalen is er een statement die niets doet. In de assembly taal is er de nop operatie. Hoe zit het met Python?

In Python kun je het pass statement gebruiken. Het pass statement doet niets.

Waarom pass

Python heeft de syntactische eis dat code blokken (for, if, def, class etc.) niet leeg zijn.

Lege codeblokken zijn nuttig in verschillende contexten, bijvoorbeeld wanneer je nu geen tijd hebt om ze te implementeren.

def complexeFunctie():
    pass

Andere doeleinden zijn het afhandelen van een exceptie die geen nieuw gedrag toevoegt.

class CustomException (Except):
    pass

Hieronder vindt u nog enkele voorbeelden van pass

Pass voorbeelden

Als er niets moet gebeuren in een codeblok, is er een pass statement nodig om zo'n blok geen IndentationError te laten produceren.

U kunt dit voor allerlei doeleinden gebruiken. Binnen een een lus:

>>> while not True:
...     pass

Dit zal wachten op een toetsenbordonderbreking (Ctrl+C)

In een class die u moet implementeren, maar die u later zult implementeren:

>>> class Example:
...     pass
...

Maar pas op, als een klasse niet geimplementeerd is, kun je nog steeds objecten maken:

>>> obj = Example()
>>>

In een functie die u later implementeert:

>>> def hallo():
...     pass # Implementeer dit later

Gerelateerde links:

Dictionary als tabel printen (Dutch)

compilerboiler — Sat, 22 Feb 2020 13:00:30 +0000

In Python kunt u gemakkelijk geformatteerde strings gebruiken om variabelen te weergeven.

Met geformatteerde strings (f-strings) kun je variabelen in een string opnemen door de string te voorzien van het voorvoegsel f of F en expressies te schrijven als {expressie}.

Als je een f-string hebt, kun je de :10 gebruiken om er zeker van te zijn dat deze 10 karakters breed is. Zo kun je een dictionary als tabel weergeven.

Als u nieuw bent met Python programmeren, moet u eerst de basis leren.

Formatteer dictionary als tabel met f-strings

Als u een nieuwere versie van Python heeft (>3.5) kunt u gebruik maken van f-strings. Hiermee kunt u de strings eenvoudig weergeven.

Eerst definiëren we een dictionary, dan itereren we erover met een for-loop en formatteren we het met f-strings.

>>> table = { "Alice": 12, "Jim": 15, "Tim": 19 }
>>> for name, id in table.items():
...     print(f'{name:10} => {id:10d}')
... 
Alice      =>         12
Jim        =>         15
Tim        =>         19
>>>

Als u een header wilt toevoegen, roept dan eerst de print functie op, met als parameter de header tekst.

d = { "Alice": 128, "Bob": 256, "Tim": 512, "Jim": 1024 }
print(f"Key{' ':14} Value{' ':15}")
for k, v in d.items():
    print(f"{k:8}{v:15}")

Dit geeft het volgende resultaat

Key   Value               
Alice 128
Bob   256
Tim   512
Jim   1024

Bestaande functies

Je kunt ook een bestaande functie gebruiken, zoals deze die ik op het web heb gevonden. Persoonlijk geef ik de voorkeur aan het formatteren met f-strings, maar dit is misschien wat je zoekt.

def printTable(myDict, colList=None):
    if not colList: 
        colList = list(myDict[0].keys() if myDict else [])
    myList = [colList] # 1st row = header
    for item in myDict: 
        myList.append([str(item[col] or '') for col in colList])
    #maximun size of the col for each element
    colSize = [max(map(len,col)) for col in zip(*myList)]
    #insert seperating line before every line, and extra one for ending. 
    for i in  range(0, len(myList)+1)[::-1]:
         myList.insert(i, ['-' * i for i in colSize])
    #two format for each content line and each seperating line
    formatStr = ' | '.join(["{{:<{}}}".format(i) for i in colSize])
    formatSep = '-+-'.join(["{{:<{}}}".format(i) for i in colSize])
    for item in myList: 
        if item[0][0] == '-':
            print(formatSep.format(*item))
        else:
            print(formatStr.format(*item))

d = { "Alice": 128, "Bob": 256, "Tim": 512, "Jim": 1024 }
printTable([d])

Deze geeft de tabel weer in ascii art:

------+-----+-----+-----
Alice | Bob | Tim | Jim
------+-----+-----+-----
128   | 256 | 512 | 1024
------+-----+-----+-----

Gerelateerde links:

CSV lezen met Python (Dutch)

compilerboiler — Sat, 22 Feb 2020 12:24:42 +0000

Een CSV-bestand (Comma Separated Values) is een bestand met platte tekst waarin elke waarde wordt gescheiden door een komma.

Excel kan CSV-bestanden openen. Dit is erg handig omdat het betekent dat je je gegevens vanuit Python in csv kunt opslaan en vervolgens in Excel kunt openen.

In dit artikel leert u hoe u een CSV-bestand in Python kunt inlezen.

Voordat u met csv-gegevens gaat werken, is het nodig om Python te leren.

Inleiding

Elke regel van het CSV-bestand wordt een record genoemd, elk record heeft waarden die door komma's worden gescheiden.

De waarden worden gescheiden door een zogenaamde delimiter, de standaard waarde is de komma. U kunt kiezen voor een ander scheidingsteken, zoals een puntkomma (;) of een pipe (|).

Hieronder ziet u de structuur van een gewoon CSV-bestand.

1,Alice,Cook,32
2,Bob,Portier,34
3,Chris,Elektricien,24
4,Dave,Veldwerker,44

Kopieer de gegevens en sla ze op als voorbeeld.csv.

Waarom CSV?

CSV-indeling is eenvoudigweg een gewoon tekstbestand. Dat betekent dat u het kunt openen met elke tekstverwerker, maar ook dat het kan worden geopend door elke softwaretoepassing.

U kunt zonder problemen een csv in een spreadsheet of databaseopslag importeren. Het is data-uitwisselbaar.

Elke programmeertaal die met bestanden en strings kan werken, kan met csv-bestandgegevens werken.

CSV-module

U hoeft zelf geen csv lezer te coderen, want om de zoveel tijd heeft Python een module beschikbaar.

De module waar we het over hebben is de csv module. Deze is al geïnstalleerd, omdat hij deel uitmaakt van de standaardbibliotheek van Python.

U kunt csv-bestanden lezen met de csv-module, maar ook schrijven.

Om de module te laden typ je:

import csv

Maak dan uw programma aan (read.py)

import csv

# Open het csv-bestand in leesmodus 'r'                                                                                                                                              
with open('voorbeeld.csv', 'r') als f:
    # lees het bestand                                                                                                                                                               
    csvReader = csv.reader(f)

    # elke lijn in een lus uitlezen                                                                                                                                               
    for regel in csvReader:
        print(regel)

Als je het programma uitvoert, zul je zien dat elke regel een Python list is geworden:

➜ ~ python3 read.py 
['1', 'Alice', 'Cook', '32']
['2', 'Bob', 'Portier', '34']...
3', 'Chris', 'Elektricien', '24'.
['4', 'Dave', 'Veldwerker', '44'].
➜ ~

Succesvol ingelezen!

Gerelateerde links: