Andmeteaduse eelteadmised käsurea vaates

Loogika

Kui räägitakse andmeteaduse eelteadmistest, siis tavaliselt mõeldakse vähemalt neid plokke:

• programmeerimine, eriti Python
• andmebaasid, SQL ja relatsiooniline mõtteviis
• failivormingud nagu CSV, JSON ja XML
• statistika, tõenäosusteooria ja matemaatiline mõtlemine

Käsurida ei asenda neid oskusi, kuid aitab neid omavahel siduda.

Just siin on käsurea suur väärtus:

• näed kiiresti, mis failid sul üldse on
• saad kontrollida andmete kuju enne suurema keskkonna avamist
• saad teha väikseid filtreid, loendusi ja ümberkujundusi
• õpid töövoogu, mis on hiljem kasulik ka Pythonis, SQL-is ja Dockeris

Kiirülevaade

Eesmärk on siduda käsurida andmeteaduse eelteadmistega: mitte õpetada kogu statistikat või Pythonit, vaid näidata, kuidas andmete kuju ja töövoog nähtavaks teha.

Tüüpilised algaja vead

• arvatakse, et andmeteadus algab kohe suure mudeli või teegiga
• minnakse otse keerukasse analüüsi enne, kui andmefaili kuju on kontrollitud
• alahinnatakse failivormingute ja töövoo korrastatuse tähtsust

See õpik katab tugevamalt:

• käsurea loogika
• failide ja voogude töötluse
• Pythoni keskkonnad
• SQLite'i ja SQL-i alguse
• arendustöövoo, Giti ja Dockeri

See õpik ei püüa eraldi õpetada põhjalikult:

• statistikat
• tõenäosusteooriat
• lineaaralgebrat
• R-i

Kõige tavalisemad vajadused

Programmeerimine

Andmetöö juures tähendab see sageli:

• väikest automaatikat
• andmete lugemist failist
• tulemuste salvestamist
• skriptide korduvat käivitamist

See tuleb kõige rohkem välja Pythoni, shelliskriptide ja töövoogude peatükkides.

Andmevormingud

Sageli ei ole probleem statistikas, vaid selles, et:

• fail on vales vormingus
• veerud ei ole seal, kus arvasid
• kirjed on pesastatud
• andmed on teksti sees, mitte tabelina

Seetõttu on CSV, JSON ja XML mõistmine väga praktiline baasoskus.

SQL ja relatsiooniline mõtteviis

SQL ei tähenda ainult „käsku andmebaasile“, vaid ka kindlat andmemudelit.

Kasulikud põhiküsimused on:

• mis on tabel
• mis on rida ja veerg
• mis on primaarvõti
• kuidas kaks tabelit omavahel seotakse

Kui see loogika on olemas, on ka keerulisemad päringud palju vähem müstilised.

Statistika ja matemaatiline mõtlemine

Seda osa ei saa käsurea või SQL-iga asendada.

Tööjaotus on järgmine:

• käsurida aitab andmeid ette valmistada
• Python või R aitab neid töödelda
• statistiline mõtlemine aitab tulemusi mõista

Kõik kolm on eri asjad.

Näited

Tüüpiline väike andmetöö võib kulgeda nii:

1. vaata faili esimesi ridu
2. kontrolli, mis väljad seal on
3. tee lihtne filtreerimine või loendus
4. pane andmed SQLite tabelisse
5. tee esimene SQL-päring
6. loe tulemus Pythoniga sisse

Vastav töövoog võib olla:

fail -> head/less/grep -> column/cut/tr -> sqlite3 -> python3

Seetõttu on käsurida andmeteaduse alguses kasulik:

• see aitab väikeste sammudega kiiresti ülevaate saada
• see ei sunni kohe suurt keskkonda avama
• see muudab veaallikad nähtavamaks

Minitest

1. Nimeta neli plokki, mida andmeteaduse eelteadmistena kõige sagedamini mainitakse.
2. Selgita ühe lausega, miks CSV, JSON ja XML ei ole sama asi.
3. Selgita ühe lausega, miks SQL ja statistika ei ole asendatavad oskused.
4. Pane kirja üks väike töövoog, kus kasutaksid nii käsurida, SQLite'i kui Pythonit.