Kuidas seda õpikut kasutada

Õpi käsureal tegema nähtava tulemusega tööd: leia failid, töötle teksti, kasuta kaugmasinat ja automatiseeri korduvaid samme. Õpik sobib nii järjest õppimiseks kui ka hilisemaks käsiraamatuks.

Vali oma algus

• Täiesti algaja: alusta terminali esimestest sammudest. Esimesel korral piisab 20–30 minutist: vaata infot, liigu kataloogide vahel ja loo oma harjutuskoht. Giti, Dockerit ega süsteemihaldust ei pea veel tundma.
• Põhikäskudega tuttav: vali õpiteede hulgast oma eesmärk, näiteks failihaldus, tekstitöötlus või arendus.
• Otsid kiiret vastust: kasuta peatükkide lõpu spikreid ja spikrite registrit. Enne muutvat käsku loe ka selle hoiatus.

Harjutamiseks sobib oma Linuxi või macOS-i terminal, Windowsis WSL-i Linuxi shell ning brauseris terminal.cs.ut.ee. Brauserikeskkonnas on ka valmis ülesanded.

CLI ja GUI

CLI (*command-line interface*) on käsurealiides: annad juhiseid tekstina. GUI (*graphical user interface*) on graafiline kasutajaliides: kasutad aknaid, nuppe ja menüüsid. Need on eri viisid sama töö tegemiseks, mitte paremate ja halvemate kasutajate tunnused.

Käsureal suhtled tavaliselt terminali kaudu shelli ehk käsutõlgiga. Nende rollid ja shelli kuvatav viip saavad selgeks esimeste käskude juures.

Kuidas näidet kasutada

1. Loe, mida käsk teeb ning kas ta muudab faile.
2. Katseta oma harjutuskataloogis. Kopeeri käsk, mitte viip või näidisväljund.
3. Võrdle tulemust seletusega. Failiteed, kuupäevad ja kasutajanimed võivad sinu arvutis erineda.
4. Tee minitest: muuda sisendit või ennusta väljundit enne käivitamist.

Kui ühes näites on Linuxi ja macOS-i alternatiivid, vali ainult oma süsteemi oma. Nimed nagu kasutaja@server ja fail.txt tuleb sobitada oma ühenduse või olemasoleva failiga. Ära käivita tundmatut koodi pelgalt sellepärast, et see on kopeeritav.

Täpsed mõisted leiad sõnastikust, põhjalikuma dokumentatsiooni lisalugemise viidetest.

Õpitee ja õppetunnid

See peatükk aitab valida, mis järjekorras lugeda. Raamatut saab kasutada ka käsiraamatuna, kuid alguses on lihtsam liikuda kindla õpitee järgi.

Kui tahad liikuda rahulikult lihtsamast keerulisemani, alusta peatükist Terminali esimesed sammud. Peatükk Esimene tervikharjutus: 30 minutit on mõeldud hilisemaks, kui põhioskused on juba omandatud.

Õpitee 1: täiesti algaja

Alusta siit, kui käsurida on uus. Loe igas etapis peatükke antud järjekorras ja katseta näiteid oma harjutuskataloogis. Kõike ei pea ühe korraga läbima.

1. Tutvu ja liigu

1. Terminali esimesed sammud
2. Abi leidmine
3. Kataloogid ja failid

Nüüd oskad: leida oma asukoha, liikuda kataloogides, luua harjutuskoha ja avada käsu juhendi.

2. Tööta failidega

1. Teksti vaatamine ja liikumine
2. Failide muutmine
3. Käskude kuju ja argumentide loogika

Nüüd oskad: faili lugeda ja muuta ning eristada käsu nime, valikuid ja argumente.

3. Ühenda oskused

1. Sisend, väljund, torud ja suunamine
2. Esimene tervikharjutus: 30 minutit

Nüüd oskad: salvestada väljundi faili, ühendada käske ja kontrollida oma töö tulemust.

Kui mõni kontrollpunkt jäi ebakindlaks, korda vastava etapi näidet. Muidu jätka allpool süsteemipildi loomisega; Giti, Dockerit ja süsteemihaldust ei pea enne põhioskusi õppima.

Õpitee 2: süsteemipildi loomine

Staatus: vajalik pärast esimest ringi.

Kui põhioskused on omandatud, liigu siia:

1. Linux, Unix, GNU, macOS, Windows ja shellid
2. Failisüsteemi kaart
3. Kettaruum ja süsteemi maht
4. Õigused, omanikud ja täitmisbitid
5. Kasutajad, grupid ja sudo
6. Muutujad, keskkond, PATH ja aliased
7. Paketihaldus: apt, dnf, pacman, brew
8. Lihtne veaotsing käsureal
9. Võrgu põhitööriistad

See plokk aitab süsteemi „musta kasti“ lahti võtta.

Pärast seda rada oskad:

• paigutada tähtsamad süsteemikaustad ja tööriistad õigesse konteksti
• lugeda õigusi, kasutajaid ja PATH-i ilma liigse müstikata
• aru saada, kust tulevad paketid, käsud ja paljud tüüpilised vead

Õpitee 3: igapäevane Linuxi ja serveri kasutaja

Staatus: soovitatav, kui töötad serverite, kaugühenduste või suuremate failipuudega.

Kui tahad teha igapäevatöid masinate, failide ja kaugühendustega, vaata eriti neid peatükke:

1. Failide kopeerimine ja sünkroonimine
2. Kauglogimine ja SSH
3. Veebist sisu toomine ja tekstivaade: curl, wget, lynx
4. Arhiivid ja pakkimine
5. Tervete kataloogipuude haldus ja jagamine
6. Protsessid, tööd ja signaalid
7. Logid ja teenused
8. Püsivad terminalisessioonid: tmux ja screen

See rada on seotud praktilise süsteemikasutusega:

• failid liiguvad masinate vahel
• protsessid võivad kinni jääda või kaua joosta
• logidest tuleb probleeme otsida
• katkestuste vastu on vaja püsivaid sessioone

Pärast seda rada oskad:

• kopeerida faile ja katalooge masinate vahel
• logida sisse SSH kaudu ja kasutada võtmeid turvalisemalt
• lugeda logisid ning hallata pikemalt jooksvaid töid

Õpitee 4: tekst, filtrid ja automatiseerimine

Staatus: soovitatav kohe pärast põhiosa, kui tahad käsurea võimalusi laiemalt kasutada.

Kui tahad õppida Unix-laadsete tekstivoogude töötlemise tööriistu, liigu nii:

1. Teksti otsimine: grep ja sugulased
2. Teksti teisendamine: tr, cut, paste, column, strings
3. Vood ja tabelid: sort, uniq, wc, pr, join
4. sed, awk ja perl praktiliselt
5. find ja xargs ohutumalt
6. Esimene shelliskript
7. cron ja ajastatud tööd

See on üks tähtsamaid õpiteid, sest siin õpid väikseid tööriistu terviklikuks töövooks ühendama.

Pärast seda rada oskad:

• otsida ja filtreerida ridu mustri järgi
• sortida, loendada ja teisendada tekstivooge
• kirjutada esimesi lühikesi shelliskripte ja ajastatud töid

Õpitee 5: arendaja suund

Staatus: soovitatav, kui kasutad käsurida tarkvaraprojektides.

Kui eesmärk on tarkvara arendamine, vaata pärast põhiosa eriti neid peatükke:

1. Git, GitHub ja töövoog
2. Pythoni venv ja eraldatud keskkonnad
3. Dockeri alused
4. IDE-d ja arenduskeskkonnad
5. Andmeteaduse eelteadmised käsurea vaates
6. CSV, JSON ja XML käsureal
7. Andmebaasi algus: sqlite ja Python
8. Kompileerimine ja käivitamine: shell, Python, C, C++, Go, Rust, Java
9. LaTeX käsurealt

See järjekord on mõistlik:

• Git tuleb peaaegu igas projektis enne
• venv aitab projekti sõltuvused korras hoida
• Docker ja IDE on mugavus- ning töövooteemad
• andmeteaduse eelteadmiste osa aitab siduda käsurea, failivormingud ja SQL-i
• SQLite, kompileerimine ja LaTeX näitavad, kuidas käsurida seob andmed, programmid ja dokumendid üheks töövooks

Pärast seda rada oskad:

• hoida projekti muudatusi Gitis korras
• isoleerida sõltuvusi ja arenduskeskkondi
• lugeda, käivitada ja ehitada mitut tüüpi arendusprojekte

Õpitee 6: andmeteaduse stardirada

Staatus: soovitatav, kui tahad käsurida kasutada andmete puhastamiseks ja uurimiseks.

Kui eesmärk on andmeteadus või andmeanalüüs, vaata pärast käsurea põhiosa eriti neid peatükke:

1. Sisend, väljund, torud ja suunamine
2. Teksti otsimine: grep ja sugulased
3. Teksti teisendamine: tr, cut, paste, column, strings
4. Vood ja tabelid: sort, uniq, wc, pr, join
5. Andmeteaduse eelteadmised käsurea vaates
6. CSV, JSON ja XML käsureal
7. Andmebaasi algus: sqlite ja Python
8. Pythoni venv ja eraldatud keskkonnad

See rada on hea, sest:

• kõigepealt õpid andmeid failidest lugema ja filtreerima
• siis saad aru, mis vahe on tabelil, JSON-il ja XML-il
• pärast seda muutub SQL palju loomulikumaks
• lõpuks saad sama töövoo viia Pythoni projekti või andmetöötlusse

Pärast seda rada oskad:

• töödelda tekstifaile ja tabeleid käsureal
• eristada CSV-d, JSON-i ja XML-i
• teha esimesi SQL-päringuid ning siduda need Pythoni töövooga

Kiirtee: varasemate oskuste värskendamiseks

Eeldused: oskad juba faile vaadata ja muuta ning tunned argumente ja jutumärke. Täiesti algajana vali eespool Õpitee 1, mis ei jäta neid samme vahele.

Vaata peatükke selles järjekorras:

1. Terminali esimesed sammud
2. Abi leidmine: man, --help ja info
3. Kataloogid ja failid
4. Sisend, väljund, torud ja suunamine
5. Lihtne veaotsing käsureal
6. Failide kopeerimine ja sünkroonimine
7. Kauglogimine ja SSH
8. Logid ja teenused
9. Git, GitHub ja töövoog

Pärast seda kiirteed oskad juba:

• liikuda terminalis kindlamalt ja otsida rahulikult abi
• kopeerida faile, ühendada käske torudega ja lugeda lihtsamaid veateateid
• logida serverisse, kopeerida faile masinate vahel ja vaadata logidest, mis toimub
• teha väikese muudatuse Gitis ning kontrollida enne versioonikirje loomist, mis täpselt muutus

Millal kasutada raamatut teatmeteosena

Kui oled juba baasi läbinud, siis ei pea enam liikuma õpitee järgi. Siis on parem kasutada peatükke probleemipõhiselt:

• „mul on vaja faile leida“ → Kataloogid ja failid
• „mul on vaja aru saada, mis süsteemikataloog kuhu kuulub“ → Failisüsteemi kaart
• „mul on vaja mustrit otsida“ → Teksti otsimine: grep ja sugulased
• „mul on vaja serverisse faile saata“ → Kauglogimine ja SSH
• „mul on vaja veebileht alla laadida või sellelt linke koguda“ → Veebist sisu toomine ja tekstivaade: curl, wget, lynx
• „mul on vaja aru saada, miks käsk ei tööta“ → Lihtne veaotsing käsureal
• „mul on vaja sõltuvused paigaldada“ → Paketihaldus: apt, dnf, pacman, brew

Terminali esimesed sammud

Alustame käskudest, mis ainult näitavad infot. Seejärel loome oma harjutuskataloogi ja õpime nimesid vähem trükkima.

Terminal, shell ja viip

Terminal on aken või rakendus, kus sisestad teksti ja näed väljundit. Shell ehk käsutõlk on selles töötav programm, näiteks Bash või zsh: ta tõlgendab käsurida ning käivitab programmi või oma sisekäsu. Sama terminalirakendusega saab kasutada erinevaid shelle.

Viip ehk *prompt* näitab, et shell ootab järgmist käsku. Näites on viip kasutaja@arvuti:~$ ja sisestatud käsk pwd:

kasutaja@arvuti:~$ pwd
/home/kasutaja

Viip võib näidata kasutajat, arvuti nime ja kataloogi; ~ tähistab kodukataloogi. Selle välimus on muudetav ega tõenda iseenesest sinu asukohta või õigusi.

> Ära kopeeri viipa kaasa. Sisesta ainult käsk, siin pwd, ja vajuta Enter. Väljundiridu terminali tagasi ei sisestata.

Esimesed ohutud käsud

Proovi tabeli käske ükshaaval. Need ei muuda faile.

Kui ls ei väljasta midagi, võib kataloog olla tühi või sisaldada ainult peidetud kirjeid.

1. pwd väljastab töökoha tee.
2. ls loetleb seal olevad nimed, mitte failide sisu.
3. whoami ja date vastavad kumbki ühe reaga; uus viip näitab, et käsk on lõpetanud.

Valmis harjutuskeskkond

terminal.cs.ut.ee pakub terminali ja sissejuhatavaid ülesandeid brauseris. Seal saad alustada ka oma arvutisse Linuxit paigaldamata.

Vali vasakult ülesanne, sisesta parempoolsesse terminali käsk ning võrdle tulemust ülesande nõudega. Veebikeskkonna failid ei ole sinu enda arvuti failid.

Käsu nimi ja argument

Käsureas ls /etc on ls käsu nimi ja /etc argument: kataloog, mille sisu soovid näha. ls üksi vaatab praegust kataloogi. Lisa -l annab pikema loendi, kus on ka õigused, suurus ja muutmisaeg:

ls /etc
ls -l /etc

-l on valik ehk lipp, mitte failinimi. Enamasti kirjutatakse kõigepealt käsk, siis valikud ja seejärel argumendid. Üksikasjad tulevad peatükis Käskude kuju ja argumentide loogika.

Liikumine ja esimene oma kataloog

cd muudab shelli töökataloogi, mitte kataloogi asukohta kettal.

mkdir loob kataloogi. Tee kodukataloogi oma harjutuskoht:

cd ~
mkdir proov
cd proov
pwd
ls

pwd väljund lõpeb nüüd /proov. mkdir ja cd on õnnestudes tavaliselt vaiksed; tühi ls väljund kinnitab, et uues kataloogis pole veel nähtavaid faile. Kui nimi proov on juba kasutusel, vali uus nimi ja kasuta seda ka cd käsus.

Tab aitab pikki nimesid lõpetada

Loo harjutuskataloogi kaks alamkataloogi:

mkdir pildid-loodus pildid-linn

Kirjuta käsureale cd pil, kuid ära vajuta veel Enter. Vajuta Tab. Shell täiendab nime ühise alguseni või näitab võimalikke vasteid. Kui real on nüüd cd pildid-l, lisa ood ja vajuta uuesti Tab: alles jääb üks vaste, pildid-loodus. Kui automaatset täiendust ei tulnud, kirjuta ise cd pildid-lood ja proovi uuesti. Alles täieliku nime järel vajuta Enter ja kontrolli asukohta käsuga pwd.

Tab on klahv: sõna Tab ega märgendeid <Tab> käsureale ei kirjutata. Kui midagi ei juhtu, võib vasteid olla mitu või mitte ühtegi. Kontrolli kirjapilti, lisa mõni täht või vajuta Tab uuesti. Täpne käitumine sõltub shelli seadistusest.

Ajalugu, abi ja katkestamine

history kuvab käsuajaloo. Ülesnool toob varasema käsu muutmiseks ette; allanool liigub uuema poole. Ctrl-r alustab ajaloootsingut: kirjuta osa käsust. Kontrolli leitud käsk enne Enter-it üle. Ajaloo pikkus sõltub varasemast kasutusest ja shelli seadistusest.

man ls avab käsu ls käsiraamatu. Välju klahviga q. Kui käsiraamatut ei leita, vaata järgmise peatüki abijuhist.

Need käsurea liikumisklahvid võivad eriseadistuse korral erineda. Ctrl-c ei võta juba tehtud failimuudatusi tagasi.

> Ära käivita veebist või vestlusest kopeeritud käsku, mille mõtet sa ei tea. Eriti ohtlik on alla laaditud koodi kohe käivitada: programm saab kasutada sinu õigusi ja lugeda sinu faile.

Minitest

1. Mille poolest erinevad pwd ja viibas olev katalooginimi?
2. Kas ls /etc muudab sinu töökohta? Kontrolli enne ja pärast käsuga pwd.
3. Liigu loodud pildikataloogist ülemkataloogi ja vali Tab-iga teine pildikataloog.
4. Too ajaloost ette ls /etc, lisa valik -l ning võrdle tulemust.

Abi leidmine: man, --help ja info

Käsu kohalik dokumentatsioon kirjeldab tavaliselt just sinu arvutisse paigaldatud varianti. Alusta sellest, mitte juhusliku veebinäite kopeerimisest.

Vali sobiv abi

--help on levinud, mitte universaalne valik. Ka -h ei tähenda alati abi: näiteks ls -h muudab suuruste esitusviisi. Suur- ja väiketäht on eri valikud.

Esimene käsiraamat

Ava man ls. Alguses näed tavaliselt pealkirja LS(1): käsu nimi ning käsiraamatu jaotis, siin kasutajakäsud. Jaotis NAME ütleb lühidalt, mida käsk teeb; SYNOPSIS näitab süntaksit ja DESCRIPTION selgitab valikuid.

Tavapärases lehitsejas saad liikuda nii:

Otsi -a seletus üles, välju ja võrdle ls ning ls -a väljundit. Nii kasutad dokumentatsiooni konkreetse küsimuse lahendamiseks.

Kui abi ei leita

Kui man puudub või ütleb No manual entry, võib puududa käsiraamatupakett, mitte käsk ise. whatis ja apropos kasutavad samuti kohalikku dokumentatsiooniandmebaasi; need ei asenda puuduvat juhendit.

Proovi käsu dokumenteeritud abivalikut või ava ametlik juhend. Vajadusel paigalda hiljem dokumentatsioon paketihalduriga. Ära proovi tundmatu käsu valikuid juhuslikult: mõni neist võib midagi muuta.

Shelli sisekäsu abi võib olla shelli enda juhendis. Näiteks Bashis selgitab help cd käsku cd; zsh-s vaata man zshbuiltins. help ei ole kõigi shellide ühine käsk.

Kui käsu nime ei mäleta

apropos archive otsib käsiraamatute kirjeldustest sõna archive. Tulemus on kandidaatide loend, mitte soovitus kõiki käske käivitada. Vali nime ja lühikirjelduse järgi sobiv kirje ning ava selle man-leht.

GNU tööriistade põhjalikum juhend võib olla info-vormingus. Käsk info coreutils avab selle, kui dokumentatsioon on olemas; h näitab kasutusabi ja q väljub.

Minitest

1. Leia man ls abil, mida teeb valik -l, ning proovi seda.
2. Mida tähendab pealkirjas LS(1) olev number?
3. Leia apropos-iga kopeerimisega seotud käsk. Kas selle nimi üksi ütleb, mida see kopeerib?
4. Miks pole -h turvaline universaalne viis abi küsimiseks?

Kataloogid ja failid

Unix-laadses süsteemis taandub suur osa tööst failide ja kataloogidega tegelemisele. Selles peatükis teed esimesed tegelikud muudatused, kuid kontrollitult.

Kiire orientiir

Tühi väljund ei tähenda automaatselt viga. Paljud failikäsud ütlevad midagi ainult siis, kui midagi läks valesti.

Tüüpilised algaja vead

• pwd jääb vaatamata ja fail luuakse valesse kohta
• tühikuga nimi jäetakse jutumärkideta
• mv käsu puhul ei märgata, kas tegu on ümbernimetamise või liigutamisega
• arvatakse, et rm viib faili prügikasti
• kasutatakse rm -rf, sest see „töötab alati“, mõistmata, kui palju see võib kustutada

Tee endale harjutuskataloog

Ära harjuta esimesi kustutamis- ja liigutamiskäske päris projektikataloogis. Tee eraldi harjutuskoht.

pwd
mkdir -p ~/tmp/faili-naited
cd ~/tmp/faili-naited
pwd
ls

Siin:

• ~ tähendab sinu kodukataloogi
• mkdir -p ~/tmp/faili-naited loob vajadusel ka vahekataloogi tmp
• kui tmp või faili-naited oli juba olemas, ei ole see viga
• viimane pwd kinnitab, et oled õiges kohas

mkdir -p on hea harjutuskäsk just sellepärast, et ta teeb puuduva tee valmis. Ilma -p-ta oskab mkdir luua ainult viimase kataloogi siis, kui vahepealne tee on juba olemas.

Teed: ., .. ja ~

Kolm märki tulevad failitöös pidevalt tagasi.

Näited:

pwd
cd ..
pwd
cd ~/tmp/faili-naited
pwd

Kui käsk kasutab kuju ./fail.txt, tähendab see faili fail.txt siinsamas praeguses kataloogis. See on sama fail, mida tähistab ka lihtsalt fail.txt, aga ./ teeb asukoha nähtavamaks.

Failinimed ja tühikud

Shell jagab käsu tühikute kohalt osadeks. Kui faili või kataloogi nimes on tühik, pane nimi jutumärkidesse.

mkdir "Minu failid"
cd "Minu failid"
touch "esimene fail.txt"
ls
cd ..

Algajana on lihtsam kasutada failinimedes sidekriipsu või alakriipsu:

minu-failid
esimene_fail.txt

Tühikutega nimed on lubatud, aga käsureal nõuavad need rohkem tähelepanu.

Kataloogi sisu vaatamine

ls on kõige tavalisem esimene vaade.

ls
ls -l
ls -a
ls -la
ls -A

Nende vahe:

• ls näitab tavalisi nimesid
• ls -l näitab detailvaadet
• ls -a näitab ka punktiga algavaid peidetud nimesid
• ls -la ühendab detailvaate ja peidetud nimed
• ls -A näitab peidetud nimesid, aga jätab . ja .. välja

Selles aknas on oluline järjekord:

1. pwd näitab praegust asukohta
2. mkdir tmp proovib luua kataloogi, aga saab teate File exists
3. see ei ole ohtlik viga, vaid tähendab, et kataloog oli juba olemas
4. cd tmp liigub olemasolevasse kataloogi
5. ls näitab tavalist sisu
6. ls -a lisab . ja ..
7. ls -al näitab sama pika detailvaatena

Punktiga algavad nimed

Punktiga algavad nimed on tavaliselt peidetud:

• .zshrc
• .ssh
• .git
• .config

Need ei ole kadunud ega erilise kaitse all. See on kuvamiskokkulepe: paljud tööriistad jätavad punktiga algavad nimed vaikimisi näitamata.

mkdir -p ~/tmp/peidetud-naide
cd ~/tmp/peidetud-naide
touch tavaline.txt .peidetud.txt
ls
ls -a
ls -A

Pildi põhisõnum on lihtne:

• punktiga algav fail on olemas
• tavaline ls ei pruugi seda näidata
• ls -a või ls -A teeb peidetud nimed nähtavaks

macOS Finderis saab peidetud failide kuvamist lülitada klahviga:

Command-Shift-.

Loo, kopeeri, nimeta ümber ja liiguta

Nüüd tee väike tervikharjutus samas harjutuskataloogis.

cd ~/tmp/faili-naited
pwd
touch esimene.txt
cp esimene.txt koopia.txt
mkdir arhiiv
mv koopia.txt arhiiv/
ls
ls arhiiv

Siin:

• touch esimene.txt loob tühja faili, kui seda veel ei ole
• cp esimene.txt koopia.txt teeb koopia
• mkdir arhiiv loob kataloogi
• mv koopia.txt arhiiv/ liigutab faili kataloogi arhiiv

Kui käsk õnnestub, ei pruugi ta midagi öelda. Tulemuse kontrollimiseks kasuta ls.

mv teeb kaks eri asja

mv võib tähendada ümbernimetamist:

mv vana.txt uus.txt

Sama käsk võib tähendada liigutamist:

mv fail.txt arhiiv/

Eristus tuleb viimasest argumendist:

• kui lõpus on uus failinimi, nimetad ümber
• kui lõpus on kataloog, liigutad sinna sisse

Kui kahtled, tee enne:

ls -l
ls -l arhiiv

touch ja ajatempel

touch teeb kaks asja:

• kui faili ei ole, loob tühja faili
• kui fail on olemas, uuendab tavaliselt faili muutmisaega

Näide:

touch tyhi.txt
cat tyhi.txt
ls -l tyhi.txt

cat tyhi.txt ei näita midagi, sest fail on tühi. See on normaalne.

Kui tahad näha, millised failid on viimati muutunud, kasuta:

ls -lt

ls -lt sorteerib detailvaate aja järgi.

Terminal ja Finder näitavad sama kohta

Terminal ja graafiline failihaldur ei ole eri maailmad. Nad võivad näidata sama kataloogi.

macOS-is ava praegune kataloog Finderis nii:

open .

Selles näites:

1. cd ~/uuskaust/pildid liigub kindlasse kataloogi
2. pwd kontrollib asukoha üle
3. open . avab sama kataloogi Finderis
4. touch uus.txt loob tühja faili
5. echo "siin on ka teksti" > teine.txt loob tekstiga faili
6. ls ja ls -al näitavad samu faile terminalis
7. Finder näitab sama tulemust graafiliselt

Õppetund: kui fail tekib terminalis, näed seda tavaliselt ka Finderis, ja vastupidi.

Kustutamine: rm, rmdir, rm -r

Kustutamine on selle peatüki kõige riskantsem osa.

Enne kustutamist tee alati:

pwd
ls

Üksik fail:

rm fail.txt

Tühi kataloog:

rmdir tyhi-kataloog

Kataloog koos sisuga:

rm -r vana-kataloog

rmdir on algajale hea, sest ta töötab ainult tühja kataloogiga. Kui kataloogis on midagi sees, käsk peatub.

rm -r läheb kataloogi sisse ja kustutab rekursiivselt ka selle sisu. Seda kasuta ainult siis, kui oled teinud pwd ja ls kontrolli.

Miks rm -rf on eraldi ohtlik

Kuju:

rm -rf vana-kataloog

tähendab:

• -r kustutab rekursiivselt
• -f sunnib kustutamist ja vähendab küsimist

Käsureal ei ole vaikimisi Finderi või Windows Exploreri prügikasti. Kui rm õnnestub, on fail tavakasutuse mõttes kohe läinud.

Hea algaja rusikareegel:

• fail: rm fail.txt
• tühi kataloog: rmdir kataloog
• kataloog koos sisuga: rm -r kataloog
• rm -rf: ainult siis, kui saad täpselt aru, miks seda vajad

Minitest

1. Loo harjutuskataloog ~/tmp/faili-naited.
2. Mine selle kataloogi sisse ja kontrolli asukohta käsuga pwd.
3. Loo fail readme.txt.
4. Tee failist koopia nimega readme.bak.
5. Nimeta koopia ümber nimeks vana.txt.
6. Loo peidetud fail .salajane.
7. Võrdle käske ls, ls -a ja ls -A.
8. Kustuta üks tavaline fail alles pärast pwd ja ls kontrolli.
9. Loo tühikuga failinimi ja nimeta fail ümber. Kuidas hoiad nime ühe argumendina?

Teksti vaatamine ja liikumine

Faili vaatamine ei muuda selle sisu. Vali tööriist selle järgi, kui palju teksti korraga vajad:

-n määrab ridade arvu. Ilma selle valikuta näitavad head ja tail kümmet rida. Lühikesest failist ei saa rohkem ridu kui seal on.

Võrdle algust ja lõppu

Linuxis ja macOS-is on /etc/hosts tavaliselt olemasolev tekstifail. Selle muutmise asemel vaatame seda:

cat /etc/hosts
head -n 3 /etc/hosts
tail -n 3 /etc/hosts

Võrdle väljavõtteid tervikuga. Faili sisu on masinati erinev; praegu ei pea sa võrguaadressidest aru saama. Kui fail puudub, vali mõni olemasolev tekstifail oma kataloogist. Piltide ja muude binaarfailide jaoks need vaatamiskäsud ei sobi.

Pikka faili sirvi less-iga

cat saadab pika faili korraga terminali kerimisajalukku. less laseb valida, millist kohta parajasti näed. Näiteks Linuxi ja macOS-i teenusenimede loend on tavaliselt piisavalt pikk:

less /etc/services

Kui seda faili pole, ava mõni teine pikk tekstifail. Järgmised klahvid sisestatakse less-i sees, mitte shelli viiba järel:

Mitut faili saab avada kujul less esimene.txt teine.txt. Siis viivad :n ja :p järgmise ning eelmise faili juurde; tavaline n liigub endiselt otsinguvastete vahel. v avab praeguse faili redaktoris, sageli vi või vim: sellest alates võid faili ka muuta. Redaktorist väljumist õpetab järgmine peatükk.

Faili lõpp ja kasvav logi

tail -n 20 app.log näitab lõpu kakskümmend rida ja lõpetab. tail -f app.log näitab lõppu ning jääb juurde tulevaid ridu ootama. See ei ole kinnijäämine; katkesta jälgimine Ctrl-c-ga. Oma kahe terminaliga katse tuleb logide peatükis.

Minitest

1. Vali tekstifail ja näita ainult selle esimest rida. Millist valikut vajad?
2. Otsi less-is mõnda korduvat sõna ning liigu järgmise ja eelmise vaste juurde.
3. Mille poolest erinevad n ja :n? Millal kumbki kasulik on?
4. Miks tail -f tavaliselt ise ei lõpeta, aga tail -n 20 lõpetab?

Failide muutmine: nano ja esimene kokkupuude vim-iga

less-iga vaatasid faili; tekstiredaktoriga muudad seda. Alguseks sobib nano, mille klahvijuhis on akna allservas. vi ja vim on klassikalised tekstiredaktorid, kus sisestamine ja käskude andmine toimuvad eri režiimides.

Loo ja muuda fail nano-ga

Tööta oma harjutuskataloogis. nano naide.txt avab olemasoleva faili või uue tühja dokumendi. Kettal muutub fail alles salvestamisel.

nano naide.txt

Kirjuta redaktorisse kolm rida:

esimene
teine
kolmas

Salvesta Ctrl-o, kinnita nimi Enter-iga ja välju Ctrl-x-iga. Allserva märge ^O tähendabki Ctrl-o, mitte kahte sisestatavat märki.

Kontrolli tulemust shellis:

cat naide.txt

Ava fail uuesti, muuda teisel real üks sõna ja salvesta. Ctrl-w alustab nano-s tekstiotsingut. Kui väljud salvestamata muudatustega, küsib redaktor, kas soovid need salvestada; loe küsimust, mitte ära vajuta kinnitust harjumusest.

Kui avaneb vi või vim

Need redaktorid võivad avaneda ka mõne teise tööriista, näiteks Giti kaudu. Väljumiseks ei pea kogu redaktorit ära õppima:

Kooloniga käsu eel vajuta Esc. :q! ei taasta varasema salvestamise eelset faili, vaid loobub ainult veel salvestamata muudatustest.

Kui nano puudub

command -v nano näitab, kust shell käsu leiaks; tühi väljund tähendab, et seda nime ei leitud. Kasuta olemasolevat tekstiredaktorit või paigalda nano oma süsteemi paketihalduriga. Ära ava tundmatut süsteemifaili lihtsalt katsetamiseks.

Minitest

1. Lisa failile naide.txt neljas rida ja kontrolli salvestatud tulemust cat-iga.
2. Ava sama fail uuesti, muuda teksti ja välju seekord salvestamata. Kas fail kettal muutus?
3. Kui vi või vim on olemas, ava sellega naide.txt ja välju muudatusi tegemata.

Käskude kuju ja argumentide loogika

Uut käsku on lihtsam lugeda, kui eristad toimingut, selle valikuid ja sisendit.

Alusta ühest näitest

ls -la /etc

-la ühendab siin valikud -l ja -a. Üldine märkimisviis on käsk [valikud] [argumendid]: käsiraamatu nurksulud tähistavad valikulist osa, mitte käsureale kirjutatavaid sulge. Tehnilises dokumentatsioonis võidakse argumentideks nimetada ka valikuid.

Lühikesed ja pikad valikud

Lühike valik algab ühe kriipsuga, pikk valik enamasti kahega. Näiteks GNU ls -a ja ls --all on sama tähendusega, kuid macOS-i ls pikka kuju --all ei toeta.

Mõni valik vajab väärtust. Näites head -n 5 fail.txt kuulub 5 valiku -n juurde, mitte ei ole teine failinimi. Ära ühenda väärtusega valikuid juhuslikult üheks lipureaks.

Lipul ei ole kõigi käskude jaoks sama tähendust: ls -h näitab suurusi ühikutega, teises programmis võib -h tähendada abi. Kontrolli man-ist oma käsu valikuid.

Argumentide roll ja järjekord

cp vana.txt uus.txt kopeerib allika vana.txt sihtfailiks uus.txt. Nende vahetamine muudab kopeerimise suunda. Sihtfaili olemasolev sisu võib üle kirjutatud saada.

Kõige ülekantavam harjumus on panna valikud failinimede ette, näiteks ls -l /etc. Kõik programmid ei luba valikuid suvalisse kohta paigutada.

Tühikud, jutumärgid ja paomärk

Shell eraldab sõnu tühikute järgi. Tühikuga nimi tuleb koos hoida:

touch "minu fail.txt"
ls -l "minu fail.txt"

Sama nime saab kirjutada ka minu\ fail.txt: kurakriips \ võtab järgnevalt tühikult eraldaja tähenduse.

HOME on kodukataloogi sisaldav muutuja. Võrdle:

echo "$HOME"
echo '$HOME'

Esimene näitab koduteed, teine sõna $HOME. Üksikjutumärgid kaitsevad teksti shelli tõlgenduse eest; käivitatav programm võib oma argumenti ikka eraldi tõlgendada, näiteks printf reavahetusmärki \n.

Kriipsuga algav failinimi

Paljudes käskudes lõpetab eraldi -- valikute lugemise. Seejärel käsitletakse ka kriipsuga algavat nime argumendina:

touch -- -markmed.txt
ls -l -- -markmed.txt

Siin -- ise ei ole pikk valik; pikk valik oleks näiteks --help. Alternatiiv on nimi ./-markmed.txt, mis algab punktiga, mitte kriipsuga.

Failinimede mustrid

Mustrilaiendus (*globbing*) on shelli käitumine, mitte uus käsk. Shell asendab mustri sobivate nimedega enne programmi käivitamist.

Katseta oma harjutuskataloogis:

touch words.00.txt words.01.txt words.0a.txt
ls words.0?.txt
ls words.0[0-9].txt

Esimene muster leiab kõik kolm, teine ainult kaks numbrilist nime. ? ei tähenda „üks number“, vaid „üks märk“.

Muster võib sobitada ka katalooginime. ls võib siis loetleda selle kataloogi sisu; ainult sobitatud kirjete endi vaatamiseks kasuta ls -d *.txt. -d käsitleb kataloogi kirjena.

Jutumärgid, näiteks '*.txt', takistavad shelli mustrilaiendust. Peidetud nimed ei sobi tavaliselt algava * alla. Kui vaste puudub, annab zsh vaikimisi vea no matches found, Bash jätab mustri tavaliselt sõnasõnaliselt käsule; seadistus võib seda muuta.

Minitest

1. Milline osa käsus head -n 5 "minu fail.txt" on käsu nimi, valik, valiku väärtus ja failinimi?
2. Mis vahe on "$HOME" ja '$HOME'?
3. Miks leiab words.0?.txt ka nime words.0a.txt?
4. Kuidas vaadata kriipsuga algava faili õigusi nii, et nimi ei muutuks valikuks?

Sisend, väljund, torud ja suunamine

Käsu tulemus ei pea jääma ainult ekraanile. Seda saab salvestada faili või anda järgmisele käsule. Õpime kõigepealt andmete liikumist, seejärel käskude käivitamise tingimusi.

Väljund faili: > ja >>

Tavalist väljundit nimetatakse standardväljundiks (*stdout*). echo väljastab teksti koos reavahetusega. Märk > suunab selle faili: kui fail puudub, luuakse see; olemasolev sisu kirjutatakse üle.

Tööta oma harjutuskataloogis ja vali failinimed, mida sa veel ei kasuta:

echo esimene > read.txt
cat read.txt

Ekraanil näed teksti alles cat-i järel, sest echo väljund läks faili. Märk >> lisab standardväljundi faili lõppu, säilitades senise sisu:

echo teine >> read.txt
cat read.txt

Nüüd on failis kaks rida: esimene ja teine. Suunamismärgid ise reavahetusi ei lisa; need annab siin echo.

> Shell avab ja tühjendab > sihtfaili enne käsu käivitamist. Ära kasuta sama faili korraga sisendina ja ülekirjutatava väljundina, näiteks cat read.txt > read.txt.

Sisend failist ja torust

Standardsisend (*stdin*) on voog, millest programm saab andmeid lugeda. < annab standardsisendiks faili sisu. Käsk wc -l loendab reavahetusi; tavapärases tekstifailis on see ridade arv.

wc -l read.txt
wc -l < read.txt

Mõlemad loendavad kaks rida. Esimesel juhul näitab wc ka talle argumendina antud failinime, teisel juhul loeb anonüümset sisendvoogu.

Toru | ühendab ühe käsu standardväljundi järgmise käsu standardsisendiga. printf vormindab teksti; selle näite \n tähistab reavahetust:

printf 'üks\nkaks\nkolm\n' | wc -l

Tulemus on 3; vahepealset faili ei teki. Toru osad võivad töötada samal ajal: teine käsk loeb esimese toodetud andmeid, mitte ei oota tingimata kogu esimese käsu lõppu.

Näita ja salvesta: tee

tee kopeerib standardsisendi nii ekraanile kui ka faili. Vaikimisi kirjutab ta sihtfaili üle; -a lisab lõppu.

printf 'Tallinn\nTartu\n' | tee linnad.txt
printf 'Narva\n' | tee -a linnad.txt
wc -l linnad.txt

Näed linnanimesid kohe ning failis on lõpuks kolm rida.

Veateated eraldi: 2>

Veaväljund (*stderr*) on standardväljundist eraldi voog. 2> suunab selle faili. Eeldame, et puuduv-fail ei ole olemas:

ls read.txt puuduv-fail > valjund.txt 2> vead.txt
cat valjund.txt
cat vead.txt

Esimeses failis on leitud nimi read.txt, teises teade puuduvast failist. Tavaline toru ei suuna veateateid järgmisele käsule.

2> /dev/null viskab veaväljundi ära. /dev/null on erifail, mis andmeid ei talleta: nali „/dev/null sai täis“ ei kirjelda päris kettaruumi probleemi. Veaotsingul ära veateateid peida, sest tulemus võib muidu näida täielik ka siis, kui osa tööst ebaõnnestus.

Mõlemad vood samasse faili

ls read.txt puuduv-fail > koik.txt 2>&1

> suunab standardväljundi faili ja 2>&1 suunab veaväljundi standardväljundi praegusesse sihtkohta. Järjekord loeb: kujul 2>&1 > koik.txt jääksid vead terminali.

Lõpetuskood ja tingimuslik käivitamine

Väljundtekstist eraldi annab käsk lõpetuskoodi (*exit status*). 0 tähendab edu, nullist erinev väärtus muud tulemust, sageli viga. echo $? näitab vahetult eelmise käsu lõpetuskoodi:

ls read.txt
echo $?
ls puuduv-fail
echo $?

Esimene kood on 0, teine nullist erinev. Küsi koodi kohe: ka järgmine echo asendab selle enda lõpetuskoodiga.

Katseks sobib false: see ei muuda midagi, ei prindi teksti ja lõpetab alati ebaedukalt.

false ; echo 'käivitun ikkagi'
false && echo 'seda rida ei näe'
false || echo 'käivitun ebaedu järel'

Praktiline kasutus on mkdir uus-katse && cd uus-katse: kui kataloogi loomine ebaõnnestub, ei liiguta shell sind mujale. ; ei edasta andmeid, toru | ei kontrolli eelmise käsu edu.

Minitest

1. Loo kolmerealine fail ning lisa neljas rida nii, et senine sisu säilib.
2. Salvesta sama väljund faili ja näita seda samal ajal terminalis.
3. Võrdle printf 'tere\n' | wc -l ja printf 'tere\n'; wc -l read.txt tulemust. Milliseid andmeid kumbki wc loeb?
4. Miks veateadete peitmine ei muuda ebaõnnestunud käsku edukaks?
5. Ennusta, kuhu lähevad vood kujul > koik.txt 2>&1 ja ümberpööratud järjekorras.

Esimene tervikharjutus: 30 minutit

Oled õppinud terminalis liikuma, faile vaatama ja muutma ning väljundit suunama. Nüüd tee neist oskustest üks töövoog: loo väike sõnaloend, kopeeri see ja muuda koopiat originaali puutumata.

1. Vali töökoht

mkdir -p loob kogu puuduva tee, ka kataloogi tmp, kui seda veel pole. Kui oled sama katset juba teinud, vali tervikharjutus asemel uus nimi, et mitte vanu faile üle kirjutada.

mkdir -p ~/tmp/tervikharjutus
cd ~/tmp/tervikharjutus
pwd
ls

Kontroll: tee lõpeb /tmp/tervikharjutus ja uue kataloogi loend on tühi.

2. Kirjuta ja kontrolli

Esimene rida loob faili; järgmised lisatakse lõppu. Ennusta enne viimast käsku ridade arvu.

echo tere > sonad.txt
echo maailm >> sonad.txt
echo linux >> sonad.txt
cat sonad.txt
wc -l sonad.txt

Näed kolme sõna eraldi ridadel ning seejärel ridade arvu 3. Kui tulemus erineb, peatu: korduv >> lisab ridu juurde, aga > kirjutab vana sisu üle.

3. Muuda ainult koopiat

cp sonad.txt koopia.txt
echo terminal >> koopia.txt
wc -l sonad.txt koopia.txt

Originaalis peab olema kolm ja koopias neli rida. Viimane kokkuvõtterida näitab kahe faili peale seitset rida. Vaata mõlemat cat-iga, kui arvud ei klapi.

Iseseisev ülesanne

1. Lisa koopiale nano abil viies rida ja salvesta.
2. Näita koopiast ainult viimased kaks rida.
3. Nimeta koopia ümber nimeks minu sonad.txt. Miks on käsus jutumärke vaja?
4. Kontrolli, et algne sonad.txt sisaldab endiselt kolme rida.
5. Selgita, mis muutuks, kui kasutaksid lisamisel >> asemel >.

Kui mõne käsu tähendus on ebaselge, vaata abi leidmist või suunamist. Kui saad harjutuse tehtud, jätka operatsioonisüsteemide ja shellide ülevaatest, seejärel liigu failisüsteemi kaardi juurde.

Linux, Unix, GNU, macOS, Windows ja shellid

Linuxi kasutamisel kohtab kiiresti mitut sarnast sõna: Linux, Unix, GNU, macOS, Windows, shell, sh, bash, zsh, PowerShell, WSL. Need ei tähenda päris sama asja.

Kiirülevaade

Eesmärk on saada mõisteline kaart: mis tuleb süsteemist, mis shellist ja mis konkreetsetest käsureatööriistadest.

Tüüpilised algaja vead

• arvatakse, et Linux, Unix ja GNU tähendavad sama asja
• aetakse segi terminal, shell ja operatsioonisüsteem
• eeldatakse, et macOS-i või Windowsi käsk käitub täpselt nagu Linuxis

Võrdle oma keskkonda

Unix-laadses shellis võrdle uname -a süsteemiinfot, echo "$SHELL" seadistatud sisselogimisshelli ja ps -p $ tegelikult töötavat shelliprotsessi. $SHELL ei pruugi uue shelli käivitamisel muutuda.

Vajaduse järgi kasuta üht lisakontrolli:

Levinud shellid

• sh on ajalooline ja üldine shelliliides
• bash on väga levinud GNU shell
• zsh on paindlik interaktiivne shell, mida kasutatakse palju ka macOS-is
• PowerShell on Windowsi käsukeskkond ja skriptikeel

Linux, Unix ja GNU erinevused

Praktikas öeldakse sageli "Linux", kuigi tegelik süsteem koosneb mitmest kihist:

• Linux annab kerneli
• GNU annab suure hulga käsureatööriistu
• distributsioon seob need tervikuks

Samas macOS on Unix-laadne, kuid paljud käsud ei ole seal GNU variandid. Näiteks sed, grep, find ja tar võivad käituda veidi teisiti kui Linuxis. Windows ei ole Unix-laadne, kuid WSL annab päris Linuxi kasutajaruumi, nii et enamik selle õpiku näiteid töötab seal otse.

macOS: miks see on sarnane

macOS tundub käsureal Linuxi moodi, sest:

• tal on Unix-laadne kasutajakeskkond
• seal on olemas sh, bash, zsh, ssh, grep, sed, awk
• failisüsteem, õigused ja torude loogika on tuttavad
• väga suur osa shelli- ja SSH-töövoogudest on sama

See on põhjus, miks suur osa siinsetest käsureatöövoogudest töötab macOS-is väikeste kohandustega.

macOS: mis on teisiti

macOS ei ole tavaliselt "GNU/Linux". Praktikas tähendab see:

• paketihaldur ei ole apt või dnf; kõige levinum lisapakettide tööriist on Homebrew ehk brew
• mitmed käsud on BSD variandid, mitte GNU variandid
• mõni lipp või vaikekäitumine erineb
• teenuste haldus ei käi systemd kaudu

Mõni Linuxi käsk puudub macOS-is ka täiesti sama nime all. Näiteks:

• Linuxis kasutatakse tihti ip a
• macOS-is on tavalisem ifconfig
• Linuxis kasutatakse tihti ss -ltn
• macOS-is on tavalisem lsof -iTCP -sTCP:LISTEN -n -P või netstat -anv -p tcp | grep LISTEN

Kõige sagedasem praktiline erinevus on see, et Linuxi juhendis toodud lipp ei pruugi macOS-is sama moodi töötada.

Kuidas saada macOS võimalikult sarnaseks Linuxiga

Algaja jaoks ei ole tavaliselt vaja macOS-i vägisi Linuxi moodi ümber ehitada.

Enamasti piisab sellest:

1. kasuta olemasolevat zsh-i või bash-i
2. õpi selgeks põhilised käsud ja nende loogika
3. paigalda Homebrew ainult siis, kui sul on päriselt vaja lisatarkvara

Kui tahad kasutada mõne Linuxi tööriistaga samanimelist käsku, tee seda vajaduse korral, mitte „igaks juhuks“. Näiteks võrgukäskude puhul võib hiljem abiks olla brew install iproute2mac, kuid alguses ei ole seda vaja.

Windows: milline tee valida

Windowsis on kolm peamist teed:

• WSL2: parim valik, kui tahad selle õpiku käske kasutada võimalikult päris Linuxi moodi
• PowerShell: parim valik Windowsi enda halduseks
• Git Bash: kerge ja mugav, aga mitte täielik Linux

Kui soovid, et õpiku näited töötaksid Windowsis Linuxiga võimalikult sarnaselt, kasuta WSL2.

WSL tähendab Windows Subsystem for Linux. See on Windowsi võimalus käivitada päris Linuxi kasutajaruumi omaette keskkonnas. Praktikas tähendab see, et saad Windowsi sees avada Ubuntu või muu Linuxi keskkonna ja kasutada seal tavapäraseid Linuxi käske, pakette ja shelli.

WSL2 on uuem ja tavalisem variant. Õpiku mõttes on ta hea sellepärast, et käsud käituvad seal palju rohkem päris Linuxi moodi kui PowerShellis või vanas cmd.exe-s.

Kuidas saada Windows võimalikult sarnaseks Linuxiga

Kõige mõistlikum töövoog on:

1. paigalda Windows Terminal
2. paigalda WSL2
3. vali näiteks Ubuntu
4. tee käsureatöö WSL-i sees, mitte tavalises cmd.exe-s

Alustuseks piisab sageli sellest:

wsl --install

Pärast paigaldust kontrolli:

wsl -l -v

Ja siis mine Linuxi sisse:

wsl

Seal sees hakkavad juba tööle tavapärased Linuxi käsud:

uname -a
echo "$SHELL"
sudo apt update

Kuidas Windowsis shelliga mõelda

Kui töötad WSL-is, siis loogika on:

• Windows on hostsüsteem
• WSL annab Linuxi kasutajaruumi
• shell, paketid ja käsud töötavad Linuxi loogika järgi

Kui töötad PowerShellis, siis loogika on teine:

• toru ei kanna ainult teksti, vaid objekte
• käsunimed ja lühendid on teised
• paljud selle õpiku näited ei ole üks ühele kopeeritavad

See tähendab, et "sama moodi toimima" saad Windowsis kõige paremini WSL-i abil, mitte PowerShelli Linuxiks painutades.

Praktilised soovitused Windowsi jaoks

• hoia Linuxi projektid võimalusel WSL-i kodukataloogis nagu ~/projekt, mitte alati /mnt/c/...
• kasuta Windows Terminali, mitte vana konsooli
• kasuta VS Code Remote WSL töövoogu, kui arendad Windowsist Linuxi tööriistadega
• kasuta PowerShelli siis, kui haldad Windowsi ennast

Mis jääb Windowsis ikkagi teistsuguseks

• failiteed ja kettatähed on teistsugused
• CRLF ja LF võivad tekitada segadust
• .exe, .bat ja Windowsi õiguste loogika ei ole sama mis Unixis
• mõni tööriist töötab WSL-is paremini kui otse Windowsi failisüsteemis

Minitest

1. Uuri välja, millist shelli sa kasutad.
2. Võrdle käske echo $SHELL ja ps -p $$.
3. Kontrolli, kas sinu süsteemis on olemas bash, zsh ja sh.
4. Kui oled macOS-is, kontrolli käsuga sw_vers, millist süsteemi kasutad.
5. Kui oled Windowsis, kontrolli käsuga wsl -l -v, kas WSL on olemas.
6. Kirjelda ühe lausega, miks WSL2 sobib Linuxi-laadse käsureatöö jaoks paremini kui ainult PowerShell.

Lisalugemine

Selle teema usaldusväärsemad viited leiad lisast Lisa E: usaldusväärsed viited ja lisalugemine ning shelli enda kohta jaotisest Shellid ja põhikäsud.

Failisüsteemi kaart

Loogika

Algaja jaoks on väga tavaline küsimus:

• mis vahe on / ja ~ vahel
• miks mõni fail on minu kodukataloogis, aga mõni /etc all
• miks süsteemifailidega ei tasu suvaliselt katsetada

Failisüsteemi kaart aitab siduda üksikuid käske suurema pildiga. Kui tead, millist tüüpi faile eri kataloogides tavaliselt leidub, on ka veaotsing ja navigeerimine palju lihtsam.

Kiirülevaade

Eesmärk on luua süsteemist ülevaade, et teaksid, kus on ohutu töötada ja millised kataloogid kuuluvad süsteemile.

Tüüpilised algaja vead

• arvatakse, et ~ ja / on lihtsalt kaks erinevat märki sama asja jaoks
• minnakse süsteemikaustadesse midagi muutma enne, kui saadakse aru, mis seal elab
• eeldatakse, et Linux ja macOS kasutavad täpselt samu teid

Käivita need käsud

pwd
echo "$HOME"
cd /
ls
ls /etc | head
ls /usr | head
ls /var | head
ls -ld /tmp

Kui kasutad macOS-i, siis vaata ka:

ls /Users

/ ehk juur

Kõige ülemine kaust on /.

See ei tähenda „minu kodukataloog“, vaid kogu failipuu algust. Kui kirjutad:

cd /

siis liigud juurkataloogi, mitte oma isiklikku töökataloogi.

Oluline vahe:

• cd / viib juurkataloogi
• cd ~ viib sinu kodukataloogi
• cd .. liigub ühe taseme võrra üles

Kodukataloog: ~

Kodukataloog on koht, kus tavaline kasutaja enamasti töötab.

Linuxis on see sageli midagi sellist:

/home/kasutaja

macOS-is sageli midagi sellist:

/Users/kasutaja

Sümbol ~ tähendab lühidalt sinu kodukataloogi. Näiteks:

• ~/Downloads
• ~/.ssh
• ~/proov

See on põhjus, miks esimesed harjutused tasub teha just kodukataloogi all.

/etc

/etc sisaldab palju süsteemi seadistusi.

Sealt võib leida näiteks:

• teenuste seadistusfaile
• võrgu seadeid
• kasutajate ja gruppide infot

See ei ole hea koht algajale juhuslikeks katsetusteks. Selles kaustas muudatusi tehes tasub alati täpselt teada, mida muudad ja miks.

/usr

/usr sisaldab palju programme, käske, teeke ja dokumentatsiooni.

Praktiliselt võid sellest mõelda nii:

• siin on palju süsteemi tööriistu
• sina kasutad neid sageli, aga ei muuda neid otse käsitsi

Sageli näed seal kaustu nagu:

• /usr/bin
• /usr/lib
• /usr/share

Nimi bin tuleb ajalooliselt sõnast binary. Unix-laadsetes süsteemides tähendab see tavaliselt kataloogi, kus on käivitatavad programmid ehk käsud. Näiteks:

• /bin sisaldab süsteemi põhilisi käske
• /usr/bin sisaldab suurt hulka tavakasutaja käske
• ~/bin on levinud koht kasutaja enda väikeste skriptide jaoks

Kõik bin-kataloogis olev ei pea tänapäeval olema masinkoodis binaar. Seal võib olla ka shelliskripte või Pythoni programme, kui neid saab käsuna käivitada.

/var

/var on mõeldud muutuvate andmete jaoks.

Seal võivad olla näiteks:

• logifailid
• vahemälud
• spool-id
• teenuste töö käigus tekkivad andmed

Kui otsid, miks mingi teenus ei tööta või kuhu ruum kadus, jõuad üsna tihti just /var alla.

/tmp

/tmp on ajutiste failide koht.

See tähendab tavaliselt:

• siia pannakse lühiajaliselt vahefaile
• süsteem või programmid võivad selle sisu hiljem kustutada
• siia ei tasu panna faile, mida tahad kindlasti alles hoida

Kui tahad lihtsalt kiiresti midagi testida, võib /tmp olla kasulik töökoht. Kui tahad, et fail kindlasti alles jääks, kasuta pigem oma kodukataloogi.

Linux ja macOS ei ole siin täiesti samad

Raamatu loogika on Unix-laadne, aga detailides on vahe:

• Linuxis on kasutajate kodud tihti /home
• macOS-is on kasutajate kodud tihti /Users
• macOS-is on osa süsteemikaustu kaitstumad ja neid ei ole mõistlik käsitsi muuta

Seetõttu tasub mõelda nii teele endale kui ka selle rollile.

Minitest

1. Seleta oma sõnadega, mis vahe on cd / ja cd ~ vahel.
2. Uuri välja, mis on sinu kodukataloogi tegelik tee.
3. Vaata, kas sinu süsteemis on kasutajate kodud pigem /home või /Users all.
4. Pane kirja, milline kaust sobib ajutisteks failideks ja milline süsteemi seadistusteks.

Kettaruum ja süsteemi maht

df näitab failisüsteemi vaba ruumi; du mõõdab failide ja kataloogide kasutatud ruumi. Nendega saad eristada küsimusi „kas ketas on täis?“ ja „mis siin ruumi võtab?“.

Alusta üldpildist

-h kuvab suurused ühikutega, näiteks K, M ja G. du -s annab ühe kokkuvõtterea, mitte kogu alamkataloogide loendi. Suure puu mõõtmine võib võtta aega.

Leia suurimad kirjed

du -a loetleb lisaks kataloogidele failid. -k seab kõigi suuruste ühikuks 1024 baiti, et Linuxi ja macOS-i tulemusi saaks samal alusel lugeda. sort -n sordib arvuliselt, -r pöörab järjestuse kahanevaks.

du -ak . | sort -nr | less

Üleval on suurimad kirjed; less-is saad otsida ja q-ga väljuda. Kataloogi rida sisaldab juba alamkataloogide mahtu: ära liida kogu loendi ridu kokku, muidu loendad sama sisu mitu korda.

Näiteks kui ülemiste ridade seas on mahukas ./projekt/.git, mõõda järgmiseks projekti, mitte kogu ketast. Peidetud kataloogid kaasatakse automaatselt, sest lähtekohaks on ., mitte shelli muster *.

Lühem loend ja ühikutega sort

Linuxi ja macOS-i du -d 1 piirab kuvatava kataloogisügavuse ühe tasemega; mõõtmiseks loetakse siiski kogu sisu:

du -k -d 1 . | sort -nr

See annab alamkataloogide mahud ja kogusumma, mitte eraldi iga tavalise faili rida. Kui sinu du ei toeta -d, kasuta eelmist du -ak varianti.

Inimloetava pika loendi jaoks sobib:

du -ah . | sort -hr | less

sort -h arvestab suurusliiteid; ilma -r-ita tuleb väiksem liide enne suuremat. See sobib ühe du -h käivituse väljundile. Suvalisi ühikutega arve ei teisenda see täpseks baidisummaks: näiteks 12345K järjestub enne 1M, sest liidet võrreldakse enne arvu. Täpsemaks ühtseks võrdluseks eelista du -k | sort -n. Kõik vanemad sort-i variandid ei toeta -h.

Kui mõõtmine ei klapi

• Permission denied: osa puust jäi lugemata. Veateate peitmine kujul 2>/dev/null ei tee mõõtmist täielikuks.
• df ja du erinevad: esimene mõõdab tervet failisüsteemi, teine valitud puus nähtavat sisu. Erinevust võivad tekitada ka hetktõmmised, jagatud kettaplokid või kustutatud fail, mida protsess veel avatuna hoiab.
• ls -l ja du erinevad: faili loogiline pikkus ei pea võrduma talle eraldatud kettaruumiga, näiteks hõredas failis.
• Mõõtmine on aeglane: alusta konkreetsest projektist või allalaadimiste kataloogist. Kogu / läbimine pole tavaliselt esimene vajalik samm.

Suur fail ei ole automaatselt tarbetu. Tuvasta sisu ja selle kasutaja enne kustutamist; ruumimõõtmine ise midagi ei eemalda.

Minitest

1. Kui palju on vaba ruumi failisüsteemis, kus praegu töötad?
2. Leia ühe projekti suurim alamkataloog. Kas see on nähtav ka tavalise ls-iga?
3. Miks on du loendi kogusumma liitmine eksitav?
4. Mille poolest erinevad sort -n ja sort -h? Proovi arve 9 ja 100, seejärel 900K ja 1M.

Õigused, omanikud ja täitmisbitid

Loogika

Õigused määravad, kes võib faili lugeda, muuta või käivitada. See on seotud kasutajate, gruppide, sudo ja shelliskriptidega, sest kõik need teemad eeldavad õiguste õiget mõistmist.

Kiirülevaade

Eesmärk on lugeda õiguste rida, teha fail vajadusel käivitatavaks ja mõista veateadet Permission denied.

drwxr-xr-x algab d tähega, sest tegu on kataloogiga.

Tüüpilised algaja vead

• arvatakse, et chmod +x teeb failist automaatselt „programmi“
• muudetakse õigused liiga laiaks, ilma et oleks aru saadud, kellele mida antakse
• aetakse segi faili lugemisõigus ja käivitamisõigus

Õiguste vaatamine

ls -l

Näites:

-rw-r--r-- 1 mari users 120 Apr 12 10:00 naide.txt

See rida kirjeldab:

• faili tüüpi
• omaniku õigusi
• grupi õigusi
• teiste kasutajate õigusi

Lühidalt:

• r tähendab lugemist
• w tähendab kirjutamist
• x tähendab faili puhul käivitamist, kataloogi puhul sisenemist

Miks kataloogi x-õigus on eriline

Faili puhul tähendab x, et faili võib programmina käivitada.

Kataloogi puhul tähendab x midagi natuke muud:

• tohid sinna cd abil siseneda
• tohid kasutada selle sees olevaid nimesid
• ilma x-õiguseta võib kataloog olemas olla, aga sa ei saa selles normaalselt liikuda

Kataloogi r lubab nimede loendit lugeda, w kirjeid luua või eemaldada ning x teadaolevaid nimesid kasutada. Faili kustutamine sõltub tavaliselt vanemkataloogi w- ja x-õigusest, mitte faili enda kirjutamisõigusest; lisareeglid, näiteks sticky-bit ja ACL, võivad seda piirata.

Õiguste muutmine

chmod u+x skript.sh
chmod 644 naide.txt

Siin on kaks levinud stiili:

• sümboolne kuju nagu chmod u+x fail
• numbriline kuju nagu chmod 644 fail

Sümboolne kuju sobib hästi siis, kui tahad teha ühe väikese muudatuse:

• u+x fail lisa omanikule täitmisõigus
• g-w fail võta grupilt kirjutamisõigus ära

Numbriline kuju sobib siis, kui tahad seada terve õiguste rea korraga:

• 644 annab omanikule lugemise ja kirjutamise, grupile ning teistele ainult lugemise
• 755 annab omanikule kõik kolm õigust, grupile ning teistele lugemise ja täitmise

Numbrid on summad: r = 4, w = 2, x = 1. Näiteks 6 = 4 + 2. Need määravad õigused, mitte faili tüübi.

Omaniku muutmine

sudo chown kasutaja:grupp fail.txt

Käivitatavaks tegemine

chmod +x ja shebang-rida käivad sageli koos.

• shebang nagu #!/bin/sh või #!/usr/bin/env python3 ütleb, millise tõlgendajaga faili käivitada
• täitmisõigus ütleb, et faili tohib käivitada käsuga ./fail
• kui käivitad faili kujul ./fail, siis süsteem vaatab kõigepealt faili algust ja otsib sealt, millega seda tõlgendada

Kui üks neist puudub, siis võib fail küll olemas olla, aga ta ei käivitu ootuspäraselt.

Käivita need käsud

printf '#!/bin/sh\necho tere\n' > tere.sh
chmod +x tere.sh
./tere.sh

printf '#!/usr/bin/env perl\nprint \"tere\\n\";\n' > tere.pl
chmod +x tere.pl
./tere.pl

Minitest

1. Tee fail proov.sh, mis väljastab ühe rea.
2. Anna talle täitmisõigus.
3. Käivita fail nii sh proov.sh kui ./proov.sh.

Kasutajad, grupid ja sudo

Loogika

Unix-laadsed süsteemid eeldavad, et igal tegevusel on tegija. Seetõttu on oluline aru saada, millise kasutajana sa töötad, millistesse gruppidesse kuulud ja millal on vaja kõrgemaid õigusi.

Kiirülevaade

Eesmärk on teha nähtavaks, kes käsu käivitab ja millal kasutatakse kõrgemaid õigusi.

Tüüpilised algaja vead

• arvatakse, et sudo tähendab „paranda see käsk võluväel ära“
• jäädakse pikaks ajaks root-i või kõrgemate õigustega shelli
• käivitatakse ohtlik käsk sudo-ga enne, kui kontrollitakse, kus parajasti ollakse

Esimene kontroll

whoami
id
groups

Need kolm käsku ei muuda midagi. Võrdle nende üksikasjalikkust: whoami vastab ühe nimega, groups annab grupinimed lühidalt ja id näitab sama teavet tehnilisemalt UID/GID numbritega.

sudo -l

sudo -l kontrollib, milliseid kõrgemate õigustega käske sinu kasutaja käivitada tohib. Kui see küsib parooli, on see normaalne.

Miks ettevaatlik olla

sudo annab suure võimu. Vale käsk kõrgemate õigustega võib:

• kustutada süsteemifaile
• muuta õigusi valesti
• paigaldada või eemaldada tarkvara

Seega tasub enne sudo käivitamist mõelda, kas seda on päriselt vaja.

Mis on root

root on Unix-laadsete süsteemide eriline administraatori kasutaja.

Oluline loogika:

• tavakasutaja töötab piiratud õigustega
• root võib peaaegu kõike
• sudo annab tavakasutajale võimaluse käivitada mõni üksik käsk ajutiselt kõrgemate õigustega

Seega ei ole root ja sudo päris sama asi:

• root on kasutaja
• sudo on tööriist, millega mõni käsk käivitatakse kõrgemate õigustega

Kuidas root viibas ära tunda

Sageli on root-kasutaja viiba lõpus märk #, tavakasutajal aga $ või %.

Näited:

kasutaja@mac proov % whoami
kasutaja

root@server:/etc# whoami
root

See ei ole küll absoluutne reegel, kuid väga levinud rusikareegel on:

• $ või % tähendab tavakasutajat
• # tähendab, et tasub olla eriti ettevaatlik

Kui on kahtlus, kontrolli alati:

whoami
id

sudo käsk vs sudo -i vs su -

Kõige ohutum tavakasutus on enamasti:

sudo käsk

Näiteks:

sudo apt update
sudo systemctl restart ssh

See on hea, sest kõrgemad õigused kehtivad ainult sellele ühele käsule.

On olemas ka kujud:

sudo -i
su -

Need annavad sulle root-shelli või vahetavad kasutajat. See tähendab, et järgmised käsud töötavad juba kõrgemate õigustega seni, kuni sellest shellist väljud.

Algajale on see riskantsem, sest:

• viip võib muutuda
• iga järgmine käsk võib teha suurema mõjuga muudatuse
• on lihtne unustada, et sa ei ole enam tavakasutaja

Seepärast on hea algreegel:

• eelista sudo käsk
• väldi püsivat root-shelli, kui selleks ei ole selget põhjust

Mida root-ina mitte teha

Hea ettevaatusreegel on: ära tee harjutusi, failide sorteerimist ega igapäevast tekstitööd root-kasutajana.

Väldi eriti:

• rm -rf käske root-kasutajana
• failide juhuslikku chown või chmod muutmist süsteemikaustades
• harjumust „kui ei tööta, siis pane sudo ette“

Parem mõtteviis on:

1. proovi käsku tavakasutajana
2. loe veateadet
3. mõtle, kas probleem on õigustes või hoopis milleski muus
4. kasuta sudo ainult siis, kui tead, miks seda vaja on

Minitest

1. Vaata oma kasutaja gruppe.
2. Uuri, milliseid käske tohib sinu kasutaja sudo abil käivitada.
3. Selgita oma sõnadega, miks sudo rm -rf ... on ohtlik.
4. Selgita ühe lausega, mis vahe on root kasutajal ja käsul sudo.

Muutujad, keskkond, PATH ja aliased

Shell ei käivita ainult programme. Ta hoiab ka väärtusi, otsustab, kust käske otsida, ja võib anda käskudele lühinimesid.

Kiire orientiir

Tüüpilised algaja vead

• pannakse nimi=väärtus juurde tühikud, näiteks nimi = Mari
• arvatakse, et shellimuutuja on automaatselt kõigile programmidele nähtav
• muudetakse PATH-i nii, et kogemata varjutatakse süsteemi käsk
• usaldatakse ainult käsku which ega märgata aliast või shelli sisseehitatud käsku
• lisatakse alias valesse seadistusfaili ja imestatakse, miks uus terminaliaken seda ei tunne
• kopeeritakse viiba muutmise näide püsivasse faili enne, kui seda ajutiselt prooviti

Shellimuutuja ja keskkonnamuutuja

Shellimuutuja elab praeguses shellis.

nimi='Mari'
echo "$nimi"

Kui käivitad uue programmi, ei pruugi tavaline shellimuutuja sinna kaasa minna.

nimi='Mari'
sh -c 'echo "$nimi"'

Keskkonnamuutuja tehakse alamprotsessidele nähtavaks käsuga export.

export PROJEKT='linux-opik'
sh -c 'echo "$PROJEKT"'

Põhireegel:

• nimi='Mari' sobib väärtuseks praeguses shellis
• export NIMI='Mari' sobib siis, kui käivitatav programm peab seda nägema

Hea tava on kirjutada keskkonnamuutujad sageli suurte tähtedega, näiteks PATH, HOME, EDITOR, SHELL.

Tühikud ja jutumärgid

Muutuja omistamisel ei panda võrdusmärgi ümber tühikuid.

Õige:

nimi='Mari'

Vale:

nimi = 'Mari'

Kui väärtuses on tühik, pane väärtus jutumärkidesse.

projekt='Linuxi õpik'
echo "$projekt"

Muutuja lugemisel eelista kuju:

echo "$projekt"

Jutumärgid hoiavad väärtuse koos ka siis, kui sees on tühikuid.

Mis asi käsk on

Terminali kirjutatud nimi ei tähenda alati välist programmi failisüsteemis.

See võib olla:

Seetõttu on õppimisel väga kasulik:

type cd
type grep
type ll
command -v python3

type ütleb käsu liigi. command -v ütleb lühidalt, mida shell käivitaks.

Kui sama nimega vasteid on mitu:

type -a python3
type -a grep

See aitab näha, kas eespool on näiteks Homebrew, Conda, süsteemi Python või sinu enda skript.

PATH: kust käsk leitakse

Kui kirjutad käsu:

python3

siis shell otsib väliseid programme muutujas PATH loetletud kataloogidest.

echo "$PATH"

Tüüpiline kuju on selline:

/Users/kasutaja/bin:/opt/homebrew/bin:/usr/local/bin:/usr/bin:/bin

Oluline reegel:

• teed on eraldatud kooloniga
• otsitakse vasakult paremale
• esimene sobiv käivitatav fail võidab

Kontrolli alati päris vastet:

command -v python3
command -v grep

Kui käsk ei leidu, on tavaliselt üks kahest põhjusest:

• programm pole paigaldatud
• programmi kataloog pole PATH-is

Oma bin kataloog

Oma väikesed skriptid võib panna näiteks kataloogi ~/bin või ~/.local/bin.

Loo kataloog:

mkdir -p "$HOME/bin"

Lisa see praeguses shellis otsingutee ette:

export PATH="$HOME/bin:$PATH"

Ette lisamine tähendab, et sinu ~/bin vaste leitakse enne süsteemi sama nimega käsku. See on mugav, aga nõuab tähelepanu.

Ettevaatlikum kuju on lisada oma kataloog lõppu:

export PATH="$PATH:$HOME/bin"

Sel juhul jäävad süsteemi tavalised käsud eelisjärjekorda.

Väike oma käsk

Tee üks väike käsurea tööriist oma ~/bin kataloogi.

mkdir -p "$HOME/bin"
cat > "$HOME/bin/opik-tere" <<'EOF'
#!/bin/sh
echo "Tere oma bin-kataloogist"
EOF
chmod +x "$HOME/bin/opik-tere"
export PATH="$HOME/bin:$PATH"
command -v opik-tere
opik-tere

Siin:

• fail opik-tere on väike shelliskript
• chmod +x teeb selle käivitatavaks
• kataloogi lisamine muutujasse PATH lubab skripti käivitada nimega opik-tere
• command -v opik-tere kinnitab, kust käsk leitakse

Kui see töötab ainult praeguses aknas, on põhjus lihtne: export PATH=... oli ajutine. Püsivaks muutmiseks lisa rida shelli seadistusfaili.

Seadistusfailid

Shell loeb käivitumisel seadistusfaile. Täpne fail sõltub shellist ja sellest, kas tegu on sisselogimisshelli või interaktiivse shelliga.

Praktiline algaja jaotus:

Kui sa ei taha veel käivitusfailide üksikasjadesse süveneda, alusta aktiivse shelli interaktiivsest failist:

• zsh: ~/.zshrc
• bash: ~/.bashrc

Näide zsh jaoks:

cat >> ~/.zshrc <<'EOF'
export PATH="$HOME/bin:$PATH"
alias ll='ls -lah'
EOF
source ~/.zshrc

Näide bash jaoks:

cat >> ~/.bashrc <<'EOF'
export PATH="$HOME/bin:$PATH"
alias ll='ls -lah'
EOF
source ~/.bashrc

Shelli seadistusfailide põhjalikumad näited on lisas Lisa F: shelli seadistusfailid bash ja zsh jaoks.

Aliased

Alias on lühinimi sagedase käsu jaoks.

alias ll='ls -lah'
alias la='ls -A'
alias gs='git status'
alias h='history | tail -n 20'

Alias sobib hästi siis, kui ta lühendab tuttavat käsku, aga ei peida olulist loogikat.

Vaata olemasolevaid aliaseid:

alias
type ll

Eemalda alias praeguses shellis:

unalias ll

Väldi aliaseid, mis teevad ohtliku käsu liiga „mugavaks“. Näiteks rm ümberkirjutamine võib aidata ühes shellis, kuid tekitada vale turvatunde teises masinas.

Miks which võib petta

Paljud kasutavad käsku:

which grep

Õppimiseks eelista:

type grep
command -v grep

Põhjus:

• which keskendub sageli välistele programmidele
• type näitab ka aliaseid ja sisekäske ning arvestab shelli vaatenurka
• command -v on lühike ning sobib hästi kontrolliks

Kui „käsk käitub imelikult“, alusta kontrollist:

type käsk
type -a käsk

Viip ja ajalugu lühidalt

Viip (prompt) on tekst enne käsu sisestamist. See ei ole käsu osa.

Näide:

~/projekt %

Kui viip näitab üht asja ja oled ebakindel, kontrolli asukohta käsuga:

pwd

Ajutine lihtne viip zsh-is:

PROMPT='%# '

Ajutine lihtne viip bash-is:

PS1='$ '

Viiba mall on shellimuutuja, mitte terminaliakna seadistus. Vaata seda muutmata kujul printf '%s\n' "$PS1"; zsh-s sobib ka print -r -- "$PROMPT". Näed malli koode, mitte tingimata ekraanile joonistatud viipa.

terminal.cs.ut.ee laadse ajutise viiba jaoks vali üks, oma shelli kuju:

PROMPT='user@terminal:%~$ '

PS1='user@terminal:\w$ '

Need nimed on viiba näidistekst, mitte kasutajakonto ega arvuti nime muutmine. Proovi ainult praeguses shellis. Püsiseadistusi selgitab shelli seadistusfailide lisa.

1. pwd näitab kataloogi täielikku teed.
2. Viiba mall asendatakse lühikese dollarimärgiga.
3. Järgmine pwd kinnitab, et kataloog jäi samaks.
4. zsh mall %~ %# toob viipa tagasi lühendatud tee ja lõpumärgi.

Ajaloo vaatamiseks piisab alguses:

history

Kui torud ja filtrid on juba tuttavad:

history | tail -n 20

Mõned sagedased keskkonnamuutujad

Näited:

echo "$HOME"
echo "$SHELL"
echo "$LANG"
export EDITOR=nano

Kui mõni programm avab ootamatult teise redaktori, kontrolli EDITOR muutujat.

Minitest

1. Loo shellimuutuja nimi='Mari' ja kuva see.
2. Loo keskkonnamuutuja DEMO=1 ning kontrolli seda käsuga env.
3. Vaata oma PATH muutujat.
4. Kontrolli, kust leitakse python3 või bash.
5. Võrdle käske type cd ja command -v cd.
6. Loo alias ll='ls -lah' ja kontrolli seda käsuga type ll.
7. Lisa ~/bin ajutiselt PATH-i ette ja kontrolli, et rida muutus.
8. Selgita ühe lausega, miks PATH järjekord võib olla ohtlik.

Paketihaldus: apt, dnf, pacman, brew

Paketihaldur paigaldab tarkvara koos vajalike sõltuvustega ja hoiab süsteemi seisundi jälgitavana. Peamine oskus on valida õige tase: kas paigaldad tööriista kogu süsteemile, oma kasutajale või ainult ühele projektile.

Kiire orientiir

Vali korraga ainult oma süsteemile või projektile sobiv rida. Ubuntu kasutaja ei käivita Fedora käske ja macOS-i kasutaja ei paigalda Homebrew pakette käsuga sudo apt.

Tüüpilised algaja vead

• käivitatakse mitu eri distributsiooni paigalduskäsku järjest
• kasutatakse sudo-t seal, kus paketihaldur seda ei vaja, näiteks Homebrew puhul
• paigaldatakse Pythoni projektiteek süsteemi, kuigi õigem oleks venv
• arvatakse, et Homebrew on macOS-is juba olemas
• ei loeta paigalduslogi lõppu, kus sageli on tegelik veateade või järgmine juhis

Vali oma süsteemi käsk

Otsi paketti enne paigaldamist:

apt search ripgrep
dnf search ripgrep
pacman -Ss ripgrep
brew search ripgrep

Paigalda ainult oma süsteemi rida:

sudo apt install ripgrep
sudo dnf install ripgrep
sudo pacman -S ripgrep
brew install ripgrep

Kontrolli pärast paigaldust:

rg --version
command -v rg

Kui paigaldus õnnestub, näed tavaliselt logi, allalaadimist, sõltuvusi ja lõpuks vaikset käsuviipa. Kui käsk ei ilmu pärast paigaldust nähtavale, kontrolli PATH-i ja ava vajadusel uus terminaliaken.

Miks mõnikord on vaja sudo

Linuxi süsteemipaketid muudavad tavaliselt süsteemi katalooge. Seetõttu kasutatakse tihti:

sudo apt install htop

Homebrew töötab enamasti kasutaja õigustes:

brew install htop

Ära lisa sudo-t lihtsalt harjumusest. Kui paketihaldur seda ei küsi, on parem jätta see kasutamata.

update ja upgrade

Nimed on sarnased, aga tähendus on erinev.

Ära käivita suurt upgrade-i siis, kui sul on kohe vaja arvutit tööks või esitluseks. Uuendamine võib võtta aega ja mõnikord küsida lisavalikuid.

Paketi info ja eemaldamine

Vali ainult oma süsteemi rida. Info küsimine on vaatamine; eemaldamine muudab paigaldatud tarkvara.

Ära eemalda süsteemiteeke ega pakette, mille rolli sa ei tunne. Loe paketihalduri kavandatud muudatused enne kinnitamist läbi.

Süsteemi paketihaldur ja keele paketihaldur

apt install python3-requests ja python3 -m pip install requests ei ole sama asi.

Pythoni projektis on tavaliselt parem kasutada virtuaalkeskkonda:

python3 -m venv .venv
source .venv/bin/activate
python3 -m pip install requests
python3 -m pip show requests

Node.js projektis paigaldatakse sõltuvused projekti kataloogis:

npm install
npm list --depth=0
npm run dev

Kui käsk npm run dev ei tööta, vaata kõigepealt package.json faili. Seal on kirjas, millised scripts nimed on üldse olemas.

macOS ja Homebrew

macOS-is on osa Unixi käske juba olemas, aga Homebrew tuleb tavaliselt ise paigaldada. Seda ei pea tegema enne, kui vajad tööriista, mida süsteemis pole või mille uuemat versiooni on vaja.

Näiteks:

brew install ripgrep jq tmux gh

Graafilisi rakendusi paigaldatakse Homebrew'ga sageli valiku --cask abil:

brew install --cask docker-desktop

Kui vajad macOS-is Linuxi võrgukäskude sarnaseid nimesid, on üks võimalus:

brew install iproute2mac

See on valikuline lisakiht. Enamasti piisab macOS-is sisseehitatud käskudest ifconfig, lsof ja netstat.

Kui paigaldus ebaõnnestub

Kõigepealt loe veateate viimaseid ridu. Seal on tavaliselt põhjus.

Minitest

1. Ütle, milline süsteemi paketihaldur sobib sinu masinale.
2. Otsi sellega paketti ripgrep või htop.
3. Loe ühe paketi infot ilma seda paigaldamata.
4. Selgita, miks pip install ja apt install ei ole sama tase.
5. Kontrolli, kas python3, pip, node ja npm on sinu masinas olemas.
6. Kui kasutad macOS-i, kontrolli, kas brew on olemas käsuga command -v brew.

Lihtne veaotsing käsureal

Alusta täpsest käsust ja veateatest, mitte juhuslikust parandusest. „Ei tööta“ võib tähendada vale failiteed, puuduvat programmi, õiguste probleemi või vale shelli.

Kontrolli ilma parandusi tegemata

Asenda tabelis näidisnimi oma käsu või failiga.

bash -n ei tõenda skripti ohutust ega õiget tulemust. See leiab süntaksivigu; failiteed ja käskude tagajärjed tuleb ikka üle vaadata. Tavaline bash skript.sh seevastu käivitab faili päriselt.

Vali järgmine samm veateate järgi

Lukufaili kustutamine ei lõpeta lukku hoidvat protsessi. Ära eemalda lukke ega lisa käsule sudo enne põhjuse leidmist.

Vale failitee

ls "Minu fail.txt" otsib üht tühikuga nime. Ilma jutumärkideta otsiks käsk kahte nime. Suhteline tee ../andmed/sisend.txt sõltub praegusest asukohast; täistee mitte.

Vale shell

echo "$SHELL" näitab tavaliselt kasutajale seadistatud sisselogimisshelli, mitte tingimata praegu töötavat shelli. Ka praegune shell ei määra üksi skripti tõlgendajat: bash skript.sh valib Bashi, sh skript.sh valib sh, otsekäivitus ./skript.sh kasutab shebang-rida.

Kontrolli skripti sisu enne käivitamist. Kui usaldusväärsel oma skriptil puudub täitmisõigus, selgitab selle lisamist õiguste peatükk.

Programm on paigaldatud, kuid ei leita

Vaata echo "$PATH" abil otsinguteid. Pythoni puhul võib vaja olla õige virtuaalkeskkonna aktiveerimist; mõne paigalduse järel uue shelli avamist. Kontrolli ka, kas paketinimi ja käivitatava programmi nimi üldse kattuvad.

Hea veakirjeldus

Abi küsides lisa eesmärk, täpne käsk, täielik veateade ning operatsioonisüsteem ja töökeskkond. Asukoha kirjeldamisel eemalda paroolid, võtmed, isikuandmed ja tundlikud teed; ka logi ei tasu enne ülevaatamist avalikult jagada.

Minitest

1. Kontrolli, kust sinu shell leiab python3. Kas paigaldatud variante on mitu?
2. Kasuta meelega olematut failinime ja selgita saadud veateadet.
3. Miks bash -n skript.sh ja bash skript.sh ei ole samaväärsed kontrollid?
4. Koosta lühike veakirjeldus nii, et teine inimene saaks sama olukorra turvaliselt taastada.

Võrgu põhitööriistad

Võrgu veaotsingus on tähtis eristada mitut eri küsimust. „Internet ei tööta“, „veebileht ei vasta“ ja „minu programm ei kuula porti“ võivad välja näha sarnased, kuid neid kontrollitakse eri käskudega.

Kiire orientiir

Kui kasutad macOS-i ja ip a või ss annab command not found, siis see on normaalne. Need on Linuxi tööriistad; macOS-is kasuta alguses ifconfig ja lsof.

Tüüpilised algaja vead

• peetakse ping tulemust veebiteenuse lõplikuks kontrolliks
• unustatakse, et mõni server ei vasta ping-ile, kuigi veeb töötab
• kasutatakse Linuxi käske ip ja ss macOS-is ning arvatakse, et midagi on katki
• vaadatakse kuulavat porti, aga ei eristata 127.0.0.1, 0.0.0.0 ja arvuti tegelikku võrguaadressi
• kontrollitakse kauget teenust, kuigi probleem on enda arvutis käivitatud programmis

Esimene kontrollrada

Veebiteenuse puhul alusta HTTP-st:

curl -I https://example.com/

Kui tahad näha, kas host vastab ICMP-le:

ping -c 4 example.com

Kui uurid oma masina võrku, vali süsteemi järgi üks rida:

ip a
ifconfig

Kui uurid, kas kohalik teenus kuulab porti, vali süsteemi järgi üks rida:

ss -ltn
lsof -iTCP -sTCP:LISTEN -n -P

Ära käivita Linuxi ja macOS-i variante läbisegi. Vali see, mis sinu süsteemis olemas on.

ping: hosti esimene signaal

ping saadab ICMP-pakette ja mõõdab, kas host vastab.

ping -c 4 example.com

Tulemuse lugemine:

• vastuseread tähendavad, et host vastas ICMP-le
• paketikadu tähendab, et osa päringuid ei saanud vastust
• vastuse puudumine ei tõesta veel, et veebiteenus on maas

Paljud serverid piiravad või blokeerivad ping vastuseid. Seetõttu on veebiteenuse kontrolliks parem järgmine käsk.

curl -I: veebiteenuse kontroll

curl -I küsib ainult HTTP-päised, mitte kogu lehe sisu.

curl -I https://example.com/

Olulised read:

Kui tahad suunamist jälgida, lisa -L:

curl -I -L https://example.com/

Võrguliidesed: ip a ja ifconfig

Liides on võrguühendus sinu arvutis: Wi-Fi, kaabel, VPN, loopback või virtuaalne adapter.

Linuxis:

ip a

macOS-is:

ifconfig

Alguses otsi ainult kahte asja:

• kas mõnel liidesel on IP-aadress
• kas näed loopback-aadressi 127.0.0.1

127.0.0.1 tähendab sinu enda masinat. See on kasulik kohalike teenuste testimisel, aga ei tähenda, et teenus oleks teistele arvutitele nähtav.

Kuulavad pordid

Kui programm peab teenust pakkuma, peab ta tavaliselt kuulama mingit porti. Näiteks:

• 22 SSH
• 80 HTTP
• 443 HTTPS
• 3000, 5173, 8000, 8080 arenduse kohalikud serverid

Linuxis:

ss -ltn

macOS-is:

lsof -iTCP -sTCP:LISTEN -n -P

Teine macOS-i sisseehitatud vaade:

netstat -anv -p tcp | grep LISTEN

Vaata eriti aadressi osa:

Kui brauseris http://localhost:3000 töötab, aga teiselt masinalt ligi ei saa, võib põhjus olla just selles, et teenus kuulab ainult aadressil 127.0.0.1 või tulemüür ei luba ühendust.

Kas port on kaugelt avatud

Kui tahad kontrollida konkreetset hosti ja porti, sobib sageli nc.

nc -vz example.com 443

See ei tõenda, et rakendus töötab õigesti, kuid näitab, kas TCP-ühenduse loomine selle pordiga õnnestub.

Kui nc pole olemas, kasuta veebiteenuse puhul curl -I-d. HTTP jaoks annab see tavaliselt rohkem infot.

macOS: kas pean midagi paigaldama?

Alguses ei pea. macOS-is on võrgukontrolliks piisavalt sisseehitatud tööriistu:

• ping
• curl
• ifconfig
• lsof
• netstat
• sageli ka nc

Kui tahad hiljem Linuxi ip-stiilis käsku, saab lisada:

brew install iproute2mac

See on mugav lisakiht, mitte õpiku eeldus.

Minitest

1. Tee curl -I päring aadressile https://example.com/.
2. Tee ping -c 4 example.com ja võrdle, kas see vastab samale küsimusele.
3. Vaata oma süsteemis võrguliideseid: Linuxis ip a, macOS-is ifconfig.
4. Vaata, kas sinu masinas kuulab mõni TCP-port.
5. Selgita ühe lausega, mis vahe on aadressidel 127.0.0.1:3000 ja 0.0.0.0:3000.

Failide kopeerimine ja sünkroonimine

Vali tööriist allika ja eesmärgi järgi:

Koopia võib sihtfaili üle kirjutada. Enne suurt ülekannet kontrolli suunda ja seda, kas sihtkohas on säilitamist vajavaid faile.

Kohalik katse

Loo uus katsekoht. cp -R kopeerib rekursiivselt, s.t ka alamkataloogid koos sisuga.

mkdir -p ~/tmp/kopeeri-naide/allikas/alam
cd ~/tmp/kopeeri-naide
printf 'tere\n' > allikas/alam/fail.txt
cp allikas/alam/fail.txt koopia.txt
cp -R allikas allikas-koopia
cat koopia.txt
ls allikas-koopia/alam

Näed teksti tere ja koopiapuus nime fail.txt. Kui katsekataloog oli juba olemas, vali enne alustamist uus nimi: eriti cp -R tulemus sõltub sihtkataloogi olemasolust.

rsync: enne plaan, siis ülekanne

rsync -a kopeerib puu koos tavapäraste õiguste ja ajatemplitega. -v näitab tehtavat, -n teeb kuivkäivituse ilma sihti muutmata.

mkdir siht
rsync -avn allikas/ siht/
rsync -av allikas/ siht/

Esimene käsk näitab plaani, teine teeb koopia. Vaata cat siht/alam/fail.txt abil sisu. Korda sama päris ülekannet: muutumatu faili sisu ei pea uuesti saatma.

Vaikimisi otsustab rsync ülekande vajaduse peamiselt faili suuruse ja muutmisaja järgi, mitte kõiki sisusid läbi lugedes. Valik -c võrdleb kontrollsummasid, kuid nõuab failide lugemist ja võib olla aeglasem. -a ei säilita automaatselt kõiki võimalikke metaandmeid, näiteks ACL-e, laiendatud atribuute ega kõvalinkide seoseid.

Allika lõpu kaldkriips muudab tulemust

Võrdle olemasoleva sihtkataloogi puhul:

Esimeses kantakse üle sisu, teises kataloog koos nimega. Võrdle neid enne -n-iga. Ära eelda, et cp ja scp kasutavad lõpu kaldkriipsu kõigis süsteemides täpselt sama reegli järgi.

Vaikimisi ei eemalda rsync sihtkoha lisafaile. --delete eemaldab sihist ülekantava puu ulatuses failid, mida allikas pole; see ei ole tavalise varukoopia jaoks automaatselt vajalik. Kontrolli sellist plaani eriti hoolikalt.

Üle SSH teise masinasse

Asenda kasutaja@server oma kontoga. Järgmised on käsukujud, mitte toimiva näidiskonto aadressid:

scp koopia.txt kasutaja@server:~/
rsync -avn allikas/ kasutaja@server:~/allikas/

scp -r kopeerib kataloogi; scp -p säilitab õigused ning ajad. rsync peab olema mõlemas masinas olemas. Pärast kuivkäivituse kontrolli eemalda -n, kui soovid päris ülekannet. Sisselogimise ja võtmete juhis tuleb SSH peatükis.

Tavakasutaja ei saa üldjuhul määrata failile suvalist omanikku. Metaandmete säilimine sõltub ka sihtfailisüsteemist ja kasutaja õigustest.

Veebist faili toomine

curl -f märgib HTTP veavastuse ebaeduks, -L järgib ümbersuunamisi ning -O võtab kohaliku nime URL-i viimasest teeosast, mitte serveri suvalisest pakutud nimest.

Vali üks allalaadija:

curl -fL -O https://artifical.eu/linux/data/generated-words.txt

Või, kui wget on olemas:

wget https://artifical.eu/linux/data/generated-words.txt

Kontrolli head generated-words.txt abil, et said teksti, mitte sisselogimis- või vealehe. Rohkem valikuid leiad veebist sisu toomise peatükist.

Minitest

1. Lisa allikafaili üks rida. Mida näitab uus rsync -avn?
2. Kuidas muudab allika lõpu kaldkriips tulemuse kataloogipuud?
3. Miks rsync -av pole sama mis kahe kataloogi täielik peegeldamine?
4. Mida pead üle kontrollima enne faili teise masinasse kopeerimist?

Kauglogimine ja SSH

SSH on turvaline viis logida teise masinasse, käivitada seal käske ja liigutada faile. Sama ühendusloogikat kasutavad sageli ka scp, rsync ja Git.

Loogika

SSH töövoog liigub tavaliselt nii:

1. proovi parooli või olemasoleva võtmega tavalist sisselogimist
2. kontrolli, kas sul on võtmepaar juba olemas
3. loo uus võti ainult siis, kui seda on vaja
4. lisa avalik võti serverisse
5. määra korduvale ühendusele failis ~/.ssh/config alias
6. macOS-is lase Apple'i võtmehoidjal (Keychain) võtmefraas meelde jätta

Kõige tähtsam piir on lihtne: privaatvõti jääb sinu arvutisse, avalik võti läheb serverisse.

Kiire orientiir

Esmakordsel ühendusel küsib SSH sageli serveri sõrmejälje kinnitamist. See on serveri tuvastus, mitte sinu kasutajavõti. Kontrolli uut sõrmejälge serveri haldurilt või teisest usaldusväärsest kanalist enne kinnitamist; pelgalt õige aadress ei tõenda serveri ehtsust.

Tüüpilised algaja vead

• aetakse segi privaatvõti ja avalik võti
• kirjutatakse olemasolev võti kogemata üle
• arvatakse, et Apple'i võtmehoidja asendab ~/.ssh võtmefailid
• lisatakse serverisse privaatvõti, kuigi lisada tuleb ainult .pub fail
• seadistatakse keeruline pordi- või agendiedastus enne, kui tavaline sisselogimine töötab
• unustatakse, et faili ~/.ssh/config aliaseid saavad kasutada ka scp, rsync ja Git

Esimene ühendus

Kõigepealt proovi kõige tavalisemat kuju:

ssh kasutaja@server.example.org

Pärast sisselogimist käivad käsud kaugmasina kohta. Tagasi kohalikku shelli saad käsuga exit.

Kui port ei ole tavaline 22, lisa port:

ssh -p 2222 kasutaja@server.example.org

Ühekordse kaugkäsu saab anda nii:

ssh kasutaja@server.example.org 'hostname && uptime'

Kui see veel ei tööta, ära alusta võtmete ümbertegemisest. Enne kontrolli kasutajanime, hostinime, porti ja veateadet.

Kas sul on võtmed juba olemas?

Vaata kõigepealt oma ~/.ssh kataloogi.

ls -la ~/.ssh

Tüüpilised failid:

Kontrolli võtme sõrmejälge:

ssh-keygen -lf ~/.ssh/id_ed25519.pub

Kontrolli, mis võtmed on praegu ssh-agent-is:

ssh-add -l
ssh-add -L

ssh-add -l näitab sõrmejälgi. ssh-add -L näitab agendis olevate võtmete avalikke ridu. Kui agent on tühi, ei tähenda see, et võtmefaile pole olemas; see tähendab ainult, et agent ei hoia neid praegu mälus.

Uue võtme loomine

Ära kirjuta olemasolevat võtit üle. Kui ~/.ssh/id_ed25519 on juba olemas ja kasutusel, kasuta seda või loo eraldi nimega võti.

Tavaline uus võti:

ssh-keygen -t ed25519 -C 'kasutaja@arvuti'

Kui tahad eraldi õpiku või serveri võtit:

ssh-keygen -t ed25519 -f ~/.ssh/id_ed25519_opik -C 'opik-server'

Soovitus: määra privaatvõtmele võtmefraas. See kaitseb võtit ka siis, kui fail satub kogemata valesse kohta.

Õigused peavad olema kitsad:

chmod 700 ~/.ssh
chmod 600 ~/.ssh/id_ed25519
chmod 644 ~/.ssh/id_ed25519.pub

Kui kasutasid teise nimega võtit, kasuta käsus vastavat failinime.

macOS: võtmehoidja ja ssh-agent

macOS-is on kaks eri asja:

• ssh-agent hoiab võtmeid jooksva kasutusseansi ajal mälus
• Apple'i võtmehoidja (Keychain) saab hoida privaatvõtme võtmefraasi, et sa ei peaks seda iga kord uuesti sisestama

Võtmehoidja ei asenda võtmefaile. Privaatvõti on endiselt näiteks ~/.ssh/id_ed25519; võtmehoidja aitab selle võtmefraasi hallata.

Kasuta Apple'i tööriista /usr/bin/ssh-add: näiteks Homebrew kaudu paigaldatud samanimeline programm ei pruugi Apple'i valikuid toetada. Lisa võti agendile ja salvesta võtmefraas võtmehoidjasse:

/usr/bin/ssh-add --apple-use-keychain ~/.ssh/id_ed25519

Kui võtmefraas on juba võtmehoidjas ja tahad võtmed agendile laadida:

/usr/bin/ssh-add --apple-load-keychain

Kui tahad võtme ainult jooksvast agendist eemaldada:

ssh-add -d ~/.ssh/id_ed25519

Kui tahad eemaldada ka võtmehoidjasse salvestatud võtmefraasi, kasuta eemaldamisel Apple'i võtmehoidja valikut:

/usr/bin/ssh-add --apple-use-keychain -d ~/.ssh/id_ed25519

Vanemates macOS-i juhendites näeb vahel käske ssh-add -K ja ssh-add -A. Tänapäevasem ja selgem kuju on kasutada --apple-use-keychain ja --apple-load-keychain.

Kontrolli pärast:

ssh-add -l

Kui ssh-add ütleb, et agenti ei saa ühendada, ava uus terminaliaken ja proovi uuesti. macOS-is käivitab graafiline kasutajaseanss agendi tavaliselt ise.

~/.ssh/config: aliased ja püsiseaded

Kui ühendud sama serveriga korduvalt, määra seadistusfailis alias.

Host opik-server
    HostName server.example.org
    User kasutaja
    Port 2222
    IdentityFile ~/.ssh/id_ed25519
    IdentitiesOnly yes

Pärast seda töötavad lühemad käsud:

ssh opik-server
scp fail.txt opik-server:/tmp/
rsync -av kaust/ opik-server:/tmp/kaust/

IdentitiesOnly yes on kasulik siis, kui agendis on palju võtmeid. See ütleb SSH-le, et selle hosti puhul kasuta eelkõige siin nimetatud võtit.

macOS-i mugav plokk võib olla selline:

Host *
    IgnoreUnknown UseKeychain
    AddKeysToAgent yes
    UseKeychain yes

Host opik-server
    HostName server.example.org
    User kasutaja
    IdentityFile ~/.ssh/id_ed25519
    IdentitiesOnly yes

IgnoreUnknown UseKeychain peab olema enne rida UseKeychain, sest Linuxi OpenSSH ei pruugi Apple'i valikut tunda. Nii töötab sama seadistusfail paremini mitmes süsteemis.

Config-faili õigused:

chmod 600 ~/.ssh/config

Avaliku võtme lisamine serverisse

Serverisse lisatakse avalik võti, mitte privaatvõti.

Kui ssh-copy-id on olemas:

ssh-copy-id -i ~/.ssh/id_ed25519.pub kasutaja@server.example.org

Kui ssh-copy-id puudub, kuva avalik võti:

cat ~/.ssh/id_ed25519.pub

macOS-is saad selle lõikelauale panna nii:

pbcopy < ~/.ssh/id_ed25519.pub

Seejärel lisa see avalik rida serveris faili ~/.ssh/authorized_keys. Serveris peavad õigused olema tavaliselt:

chmod 700 ~/.ssh
chmod 600 ~/.ssh/authorized_keys

Failide kopeerimine sama aliasega

Kui ~/.ssh/config alias töötab ssh-iga, töötab see sageli ka kopeerimisel.

scp fail.txt opik-server:/tmp/
rsync -av kaust/ opik-server:/tmp/kaust/

Korduva töö puhul eelista rsync-i ja proovi enne:

rsync -avn kaust/ opik-server:/tmp/kaust/

Veaotsing

Kõige kasulikum esimene diagnostikakäsk on:

ssh -v opik-server

See näitab:

• millist seadistusfaili kirjet kasutatakse
• millist hosti ja porti proovitakse
• milliseid võtmeid pakutakse
• kas viga on ühenduses, serveri sõrmejäljes või autentimises

Kui väljund on liiga pikk, otsi sealt ridu Offering public key, Authentications that can continue ja Permission denied.

Mis jääb hilisemaks

SSH-l on ka võimsamad töövõtted:

• pordiedastus (port forwarding): ssh -L ...
• agendiedastus (agent forwarding): ssh -A ...
• hüppemasinad: ProxyJump
• püsivad ühendused: ControlMaster

Need on kasulikud, aga tulevad pärast seda, kui tavaline sisselogimine, võtmed ja ~/.ssh/config aliased on selged.

Minitest

1. Vaata, kas sul on ~/.ssh kataloog ja millised võtmefailid seal on.
2. Selgita, kumb on privaatvõti ja kumb avalik võti.
3. Kontrolli, kas ssh-agent hoiab praegu mõnd võtit.
4. Kirjuta näidis Host opik-server plokk ~/.ssh/config jaoks.
5. Selgita, mida teeb macOS-is /usr/bin/ssh-add --apple-use-keychain.
6. Kirjuta ühe lausega, miks UseKeychain ei tähenda, et võti oleks serverisse lisatud.

Lisalugemine

Selle teema usaldusväärsemad viited leiad lisast Lisa E: usaldusväärsed viited ja lisalugemine.

Veebist sisu toomine ja tekstivaade: curl, wget, lynx

Loogika

Veebist sisu toomisel tasub kõigepealt eristada kolme eri ülesannet:

1. too üks vastus või fail
2. laadi alla terve lehtede puu või jätka katkenud allalaadimist
3. vaata HTML-i loetava tekstina või kogu sealt linke

Just selle järgi tasub tööriist valida:

• curl ühe päringu, päiste, API või toor-HTML jaoks
• wget allalaadimise, jätkamise ja veebis roomamise jaoks
• lynx HTML-i tekstivaate ja linkide loendi jaoks

Veebikraapimine (scraping) tähendab siin veebist saadud sisu edasist töötlemist käsureal. Kui ametlik API või andmefail on olemas, eelista seda peaaegu alati HTML-i kraapimisele.

Enne kui kraabid

Enne automaatset allalaadimist tasub alati kontrollida mõnda lihtsat asja:

• kas saidil on olemas API või andmeeksport
• kas robots.txt või kasutustingimused lubavad seda tööd
• kas saad alustada väikese prooviga, mitte kohe terve domeeniga
• kas lisad päringute vahele pausi, kui teed korduvaid tõmbeid
• kas suudad hiljem tõestada, kust andmed tulid ja millal sa need tõid

Hea reegel on alustada ühe URL-iga, kontrollida tulemust ja alles siis mõelda ulatuslikumale roomamisele.

Kiirülevaade

Eesmärk on veebist sisu tuua kontrollitult: alusta väikesest proovist ja vaata enne, mida server vastab.

Päiste vaatamine aitab enne suuremat tõmmet aru saada, kas aadress töötab ja kas server suunab sind mujale.

Tüüpilised algaja vead

• alustatakse kohe ulatuslikku roomamist, enne kui üks URL on kontrollitud
• aetakse segi „too üks vastus“ ja „laadi fail alla“
• unustatakse, et mõistlik on eelistada API-t või andmefaili HTML-i kraapimisele

Kui tööriist puudub

curl on sageli juba olemas, kuid wget ja lynx ei pruugi igas süsteemis vaikimisi paigaldatud olla.

Vali ainult oma süsteemile sobiv paigalduskäsk:

Debianis või Ubuntus:

sudo apt install wget lynx

Fedoras:

sudo dnf install wget lynx

macOS-is Homebrew kaudu:

brew install wget lynx

curl: üks vastus korraga

curl on hea siis, kui tahad täpselt kontrollida, mis päring tehakse ja mida vastuseks saadakse.

Olulised lipud alguses:

• -I ainult päised
• -L järgi ümbersuunamisi
• -o fail salvesta kindla nimega
• -O salvesta serveri pakutud nimega
• -s vaikne režiim
• -S näita viga ka siis, kui kasutad -s

Näited:

curl -I https://example.com/
curl -L -o esileht.html https://example.com/
curl -sL https://example.com/ | grep -i '<title'
curl -sL https://example.com/ | lynx -stdin -dump

Praktiline mõte on siin lihtne:

• curl kirjutab vaikimisi väljundi ekraanile
• seetõttu sobib ta hästi torude ja filtritega
• curl ise ei tee „veebipuud“, vaid ühe või mõne konkreetse päringu

wget: allalaadija ja veebis roomaja

wget on mugav siis, kui tahad, et fail päriselt kettale jääks, või kui tahad teha piiratud rekursiivset allalaadimist.

Olulised lipud alguses:

• -O fail salvesta kindla nimega
• -c jätka katkenud allalaadimist
• -P kaust salvesta kindlasse kausta
• --recursive rekursiivne allalaadimine
• --level=1 või -l 1 piira sügavust
• --no-parent ära mine ülemkataloogidesse
• --page-requisites tõmba lehe toimimiseks vajalikud failid
• --convert-links muuda lingid lokaalses koopias sobivaks
• --adjust-extension pane HTML-failidele sobiv laiend
• --wait=1 ja --random-wait aeglusta roomamist

Näited:

wget https://example.com/
wget -O esileht.html https://example.com/
wget -c -O esileht-koopia.html https://example.com/

Piiratud ulatusega roomamine:

wget --recursive --level=1 --no-parent https://example.com/

Kui tahad teha lokaalse koopiana väikest dokumentatsioonipuud, siis mall on näiteks selline:

wget \
  --mirror \
  --convert-links \
  --adjust-extension \
  --page-requisites \
  --no-parent \
  --wait=1 \
  --random-wait \
  https://docs.example.org/juhend/

Seda viimast käsku ei tasu kunagi pimesi suure saidi juures käivitada. Kõigepealt kontrolli alati:

• kui suur ala sul tegelikult vaja on
• kas --no-parent ja õige alg-URL piiravad töö piisavalt kitsaks
• kas serverile on mõistlik teha nii palju päringuid

lynx: HTML tekstiks ja lingid eraldi

lynx on kasulik siis, kui veebileht on vaja teha kiiresti loetavaks tekstiks.

See on hea tööriist näiteks siis, kui:

• tahad lehte lugeda terminalist
• tahad HTML-ist saada lihtsa tekstivaate
• tahad linkide nimekirja eraldi kätte
• tahad torust tuleva HTML-i kiiresti puhastada enne grep-i või sed-i

Kõige tavalisemad töökujud:

lynx https://example.com/
lynx -dump https://example.com/
lynx -dump -listonly https://example.com/

Kui HTML on juba failis, saad sama teha kohalikult:

lynx -dump naide-curl.html
lynx -dump -listonly naide-curl.html

Vahe on lihtne:

• lynx URL on interaktiivne tekstibrauser
• lynx -dump URL väljastab ekraanile loetava tekstivaate
• lynx -dump -listonly URL väljastab ainult lingid

Väike veebikraapimise töövoog

Kui eesmärk ei ole „terve sait alla“, vaid „too üks leht ja töötle seda“, siis üks praktiline töövoog on:

curl -L -o leht.html https://example.com/
lynx -dump leht.html > leht.txt
grep -n 'Example' leht.txt
lynx -dump -listonly leht.html > lingid.txt
wc -l lingid.txt

See töövoog on hea, sest iga samm on kontrollitav:

1. tõmbad algse HTML-i faili
2. teed sellest inimesele loetava tekstiversiooni
3. otsid tekstist mustrit
4. võtad lingid eraldi nimekirjana välja

See seob hästi kokku ka peatükid grep, sed, sort ja awk.

Mida tasub meeles pidada

• curl sobib paremini üksikute päringute ja torude jaoks
• wget sobib paremini allalaadimiseks ja veebis roomamiseks
• lynx ei ole roomaja, vaid tekstivaate ja linkide tööriist
• HTML-i kraapimine on habras, sest lehe struktuur võib muutuda
• JavaScriptiga loodud sait ei pruugi anda curl-ile või wget-ile sama sisu, mida näeb brauser

Kui näed, et info tuleb lehele alles JavaScripti abil, siis puhas curl või wget ei pruugi sulle tegelikku sisu anda. Siis tasub otsida:

• ametlikku API-t
• JSON-vastust brauseri võrgupaneelist
• ekspordifaili, näiteks CSV või JSON

Minitest

1. Tee curl -I päring aadressile https://example.com/.
2. Salvesta sama leht korraga nii curl-i kui wget-iga.
3. Muuda üks HTML-fail lynx -dump abil tekstiks.
4. Trüki lynx -dump -listonly abil välja ainult lingid.
5. Seleta ühe lausega, millal kasutaksid curl, millal wget ja millal lynx.

Arhiivid ja pakkimine

Loogika

Arhiveerimine koondab failid, pakkimine teeb need väiksemaks. See on seotud failide liigutamise, allalaadimise ja varukoopiatega.

Kiirülevaade

Erista kaht sammu: failide koondamine üheks arhiiviks ja selle arhiivi tihendamine väiksemaks.

Tüüpilised algaja vead

• arvatakse, et .tar tähendab juba tihendatud faili
• pakitakse arhiiv lahti vales kataloogis
• ei vaadata enne lahtipakkimist, mis arhiivi sees on

Tähtsamad valikud

• c create ehk loo arhiiv
• x extract ehk paki lahti
• t table ehk näita sisu
• f file ehk järgmine argument on arhiivifaili nimi
• z kasuta gzip pakkimist
• J kasuta xz pakkimist
• v verbose ehk näita töö käigus rohkem infot

tar põhimõte

tar ise on ajalooliselt arhiveerija. Pakkimine lisatakse sageli eraldi:

• tar ainult koondab failid
• gzip teeb faili väiksemaks
• xz pakib tihedamalt, aga võib olla aeglasem

Sellepärast on need kujundid sisuliselt järgmised:

• tar -cf loo arhiiv ilma pakkimata
• tar -czf loo gzip-ga pakitud arhiiv
• tar -xzf paki gzip-ga pakitud arhiiv lahti
• tar -cJf loo xz-ga pakitud arhiiv

.tar.gz ja .tgz tähendavad tavaliselt sama asja. .tgz on lihtsalt lühem failinimi.

Käivita need käsud

mkdir -p ~/tmp/arh/kaust
printf 'tere\n' > ~/tmp/arh/kaust/tere.txt
tar -cf ~/tmp/arh/proov.tar -C ~/tmp/arh kaust
tar -tf ~/tmp/arh/proov.tar

tar -czf ~/tmp/arh/proov.tar.gz -C ~/tmp/arh kaust
tar -xzf ~/tmp/arh/proov.tar.gz -C ~/tmp/arh

zip -r ~/tmp/arh/proov.zip ~/tmp/arh/kaust
unzip ~/tmp/arh/proov.zip -d ~/tmp/arh/unzipped

Millal mida kasutada

• tar.gz on väga levinud Linuxi maailmas
• tar.xz sobib siis, kui tihendusaste on tähtis
• zip on mugav, kui faile jagatakse erinevate süsteemide vahel

Metaandmed ja puustruktuur

Arhiiviformaadi valikul ei loe ainult tihendusaste. Loeb ka see, mida arhiiv peab kaasa võtma.

• tar sobib hästi Unix-laadse puustruktuuri jaoks
• tar säilitab failipuud, õigused, ajatemplid ja lingid paremini kui zip
• zip on sageli mugavam jagamiseks eri süsteemide vahel
• zip ei ole tavaliselt parim valik siis, kui Unixi õigused ja omanikud on olulised

Praktiline mõtteviis:

• Linuxi või serveri varukoopia: eelista sageli tar.gz või tar.xz
• laiemaks jagamiseks: zip

Kasulikud võtted

• tar -tf fail.tar.gz näitab sisu ilma lahti pakkimata
• tar -tzf fail.tar.gz | less laseb suure arhiivi sisu sirvida
• tar -xzf fail.tar.gz -C sihtkaust pakib lahti kindlasse kohta
• tar -czf backup-$(date +%F).tar.gz kaust/ teeb kuupäevaga varukoopia
• unzip -l fail.zip näitab zip-arhiivi sisu ilma lahti pakkimata

Kui arhiiv on suurem, lehitse sisuloendit:

tar -tzf fail.tar.gz | less

See aitab enne lahtipakkimist näha:

• mis kaustad seal sees üldse on
• kas arhiivis on ootuspärane juurkataloog
• kas failinimed paistavad mõistlikud

Minitest

1. Loo väike testkaust kahe failiga.
2. Tee sellest tar.gz arhiiv.
3. Vaata arhiivi sisu ilma seda lahti pakkimata.
4. Paki arhiiv lahti teise kausta.

Tervete kataloogipuude haldus ja jagamine

Üksikfaili kopeerimise asemel tuleb projekti jagamisel otsustada, mis kaasa läheb ja kuidas tulemust kontrollida. Siinne harjutus ühendab sünkroonimise ja arhiivid; üksikkäskude lipud leiad neist peatükkidest.

Vali eesmärgi järgi

Varukoopia pole lihtsalt teine kataloog samal kettal. Kettarikke vastu aitab eraldi andmekandja või masin; kogemata muudetud faili taastamiseks on vaja ka varasemaid versioone.

Koosta jagatav koopia

Harjutame enda loodud failidega. Punktiga algav .env tähistab siin seadistusfaili, milles päris projektis võivad olla saladused. Näites saladusi ei ole.

mkdir -p ~/tmp/jagamise-naide/projekt/cache
cd ~/tmp/jagamise-naide
printf '%s\n' 'Projekti juhend' > projekt/README.txt
printf '%s\n' 'AINULT_NAIDIS=1' > projekt/.env
printf '%s\n' 'taasloodav sisu' > projekt/cache/ajutine.txt

rsync --exclude jätab mustrile vastavad kirjed ülekandest välja. Allika lõpu / valib kataloogi sisu. -avn säilitab tavalised Unixi metaandmed, loetleb kavandatud töö ja teeb ainult proovikäivituse:

rsync -avn --exclude='.env' --exclude='cache/' projekt/ jagamiseks/

Loendis peab olema README.txt, kuid mitte .env ega cache/ajutine.txt. Kui tulemus sobib, korda sama käsku ilma n-ita:

rsync -av --exclude='.env' --exclude='cache/' projekt/ jagamiseks/
ls -la jagamiseks

Väljajätmine ei kustuta varem sihtkohta sattunud saladusi. Kasuta jagamiseks uut puhast kataloogi. Ära lahenda seda pimesi valikuga --delete.

Kontrolli ka taastamist

Paki jagatav koopia arhiivi, vaata liikmete loendit ja ava arhiiv eraldi kataloogi. -C määrab olemasoleva lahtipakkimiskoha.

tar -czf jagamiseks.tgz jagamiseks/
tar -tf jagamiseks.tgz
mkdir taastatud
tar -xzf jagamiseks.tgz -C taastatud
diff -r jagamiseks taastatud/jagamiseks

diff -r võrdleb kataloogide faile rekursiivselt. Vaikne väljund tähendab siin, et failisisus erinevusi ei leitud; see ei kinnita kõigi õiguste, omanike ega ajatemplite võrdsust. Järgmine kord vali uus taastamiskataloog, mitte ära kirjuta vana testi üle.

rsync -a ei hõlma automaatselt kõiki ACL-e, laiendatud atribuute ega kõvalinke. Git omakorda ei säilita näiteks failide omanikke, ajatemplite ajalugu ega tühje katalooge. Täpseks süsteemivarunduseks vali selleks mõeldud lahendus ja testi taastamist.

Minitest

1. Lisa projekti teine tekstifail. Kas proovikäivitus leiab ainult vajaliku täienduse?
2. Muuda taastatud koopias üht rida. Milline diff -r väljund tekib?
3. Miks ei tõesta sama failide arv või kataloogimaht veel koopiate võrdsust?
4. Millist varundust vajaksid, et taastada eilne versioon pärast tänast eksimust?

Protsessid, tööd ja signaalid

Protsess on töötav programmi eksemplar, millel on süsteemi protsessinumber ehk PID. Shelli töö võib koosneda ühest või mitmest protsessist, näiteks torust. Signaal on protsessile saadetav juhtsõnum.

Vaata, mis töötab

htop on eraldi paigaldatav mugavam jälgimisvaade. CPU ja mälu näitude tähendus ning arvutusvahemik sõltuvad tööriistast; üks hetkepilt ei tõesta pikaajalist koormust.

ps aux tavaväljundis on kolmas veerg CPU protsent ja neljas mälu protsent. sort -nrk sordib valitud veeru arvuliselt kahanevaks; head jätab kümme esimest rida:

ps aux | sort -nrk 3 | head
ps aux | sort -nrk 4 | head

Need annavad kiire ülevaate, kuid päiserida ei püsi eraldi päisena. Pikema jälgimise jaoks kasuta top-i.

Järjest või korraga

sleep N ootab N sekundit. Tavaliselt ootab shell käsu lõppu enne järgmise alustamist; ; eraldab järjestikuseid käske.

sleep 3; echo 'pikk töö valmis'
sleep 1; echo 'lühike töö valmis'

Esimene teade ilmub umbes kolme, teine nelja sekundi järel. Nüüd võrdle taustatöödega: & lubab shellil kohe edasi minna, sh -c käivitab jutumärkides oleva käsujada eraldi shellis ja wait ootab oma taustatööde lõppu.

sh -c 'sleep 3; echo "pikk töö valmis"' &
sh -c 'sleep 1; echo "lühike töö valmis"' &
jobs
wait

Tavaliselt ilmub hiljem alustatud lühikese töö teade esimesena ning mõlemad lõpevad umbes kolme sekundiga. Käivitamisjärjekord ei määra lõpetamisjärjekorda. Kui sisestad ridu aeglaselt, võib töö enne jobs-i juba valmis olla.

Peata ja jätka sama tööd

Tee see katse interaktiivses shellis, mitte ühe kopeeritud skriptina.

1. Käivita sleep 120, vajuta Ctrl-z. Programm peatub ja viip tuleb tagasi.
2. Käivita veel kord sleep 120 ning vajuta jälle Ctrl-z.
3. Vaata jobs -l. Otsi oma kahe sleep-töö numbrid.
4. Kui need on 1 ja 2, jätka esimest käsuga bg %1 ja too teine ette käsuga fg %2.
5. Katkesta esiplaani töö Ctrl-c-ga. Too esimene ette fg %1 ja katkesta ka see.

Kasuta tegelikke töönumbreid, mitte tingimata 1 ja 2. %1 on praeguse shelli töönumber; paljas number käsule kill tähendab PID-i. bg ja fg jätkavad sama programmi, mitte ei käivita seda algusest.

Lõpetamine ja signaalid

Ära proovi suvalist PID-i. Harjutuseks käivita oma ootaja ja salvesta $! kaudu viimase taustaprotsessi PID muutujasse:

sleep 120 &
ootaja=$!
ps -p "$ootaja"
kill "$ootaja"

Võid näha shelli teadet Terminated. Sunnitud lõpetamine on viimane abinõu, mitte veaotsingu algus.

Väike kohalik server

Python peab olema paigaldatud. Loo eraldi kataloog, milles pole isiklikke faile. --bind 127.0.0.1 lubab ühendusi ainult sellest arvutist; muidu kuulab Pythoni server vaikimisi ka võrguliideseid.

mkdir -p ~/tmp/serveri-naide
cd ~/tmp/serveri-naide
printf '%s\n' 'Tere kohalikust serverist!' > index.html
python3 -m http.server 8000 --bind 127.0.0.1 &
serveri_pid=$!

Ava brauseris localhost:8000. Kui port on hõivatud, vali teine port nii käsus kui aadressis. Lõpetamiseks kasuta samas shellis kill "$serveri_pid". See lõpetab ainult sinu salvestatud PID-iga protsessi.

Kas töö jääb akna sulgemisel alles?

& üksi seda ei taga. Interaktiivse kaugtöö jaoks kasuta tmux-i või screeni.

nohup paneb käivitatava programmi eirama ühenduse katkemisega seotud SIGHUP-signaali. Suuna ka sisend ja väljund terminalist eemale:

nohup sh -c 'sleep 10; echo "valmis"' < /dev/null > nohup-naide.log 2>&1 &

Kümne sekundi pärast peaks logis olema valmis. nohup ei kaitse taaskäivituse, voolukatkestuse ega administraatori sessioonipuhastuse eest.

Bashi ja zsh disown eemaldab töö shelli tööde loendist; see ei vabasta programmi automaatselt terminalisisendist ega -väljundist. Kasuta seda vaid siis, kui tead programmi sõltuvusi.

Minitest

1. Muuda paralleelkatse ooteajad viieks ja kaheks sekundiks. Ennusta järjestikuse ja samaaegse variandi kogukestus.
2. Miks ei näe uus terminaliaken vana akna jobs-loendit?
3. Mis vahe on peatatud ja lõpetatud programmil?
4. Käivita kohalik server, vaata selle PID-i ning lõpeta ainult see protsess. Kontrolli brauseris, et teenus enam ei vasta.

Logid ja teenused

Teenus on süsteemi hallatav taustatöö; selle olek ütleb, kas see töötab, logi aitab mõista juhtunut. Üks teenus võib käivitada mitu protsessi. Alusta olekust, seejärel vaata sama teenuse hiljutisi teateid.

systemd-ga Linux

Järgmised käsud vajavad systemd-d. Need ei ole macOS-i käsud ega tööta igas Linuxi konteineris või WSL-i seadistuses. systemctl uurib teenust, journalctl loeb süsteemipäevikut.

SSH-teenus võib olla nimega sshd, mitte ssh, või üldse paigaldamata. Asenda näites nimi oma teenusega. Unit ... could not be found ei tähenda sama mis olemasoleva teenuse failed-olek. Lehitsetavast vaatest välju q-ga.

Olek active ja käivitamisel lubatud olek enabled ei ole sama: teenus võib praegu töötada, kuid mitte järgmisel alglaadimisel. -- No entries -- ei tõesta vigade puudumist; põhjuseks võivad olla vale nimi, piiratud lugemisõigus või teistsugune logimine.

macOS kasutab teenuste halduseks launchd-d ja süsteemilogide jaoks muu hulgas käsku log show. Tavalise tekstilogiga saad mõlemas süsteemis teha järgmise katse.

Vaata logi kasvamist kahes aknas

Loo esimeses terminalis oma näidislogi. printf kirjutab ühe rea, > kirjutab samanimelise faili üle. Ära kasuta selleks päris teenuse logi.

mkdir -p ~/tmp/logi-naide
cd ~/tmp/logi-naide
printf '%s\n' 'INFO teenus käivitus' > app.log
tail -f app.log

Näed algset rida ja käsk jääb ootama. Teises terminalis kasuta täisteed, sest uus aken ei pruugi olla samas kataloogis. >> lisab lõppu, mitte ei kirjuta algust üle:

printf '%s\n' 'WARN ühendus aeglane' 'ERROR ühendus katkes' >> ~/tmp/logi-naide/app.log

Esimesse aknasse ilmuvad uued read. Katkesta seal jälgimine Ctrl-c-ga; see ei kustuta logi ega lõpeta seda kirjutanud teenust. Käsk tail -n 2 app.log näitab nüüd ainult kaht viimast rida.

Leia oluline sündmus

Päris logis on tavaliselt ajatempel, tähtsusaste ja sõnum. Märksõnad nagu ERROR, failed ja denied aitavad alustada, kuid loe ka ümbritsevaid ridu: viimane viga võib olla varasema vea tagajärg.

Otsingu peatükis õpid eraldama veakirjeid käsuga grep. Suuremat näidislogi pakub õpiku andmefail.

Süsteemi tekstilogid võivad asuda näiteks /var/log/syslog või /var/log/messages, kuid need failid ei pea sinu süsteemis olemas olema. Ära loo puuduvat süsteemilogi käsitsi ega muuda päris logide õigusi lihtsalt vaatamise hõlbustamiseks.

Minitest

1. Lisa näidislogisse kolmas sündmus ja vaata, kuidas see esimesse aknasse ilmub.
2. Kuidas erinevad tail -n 2 ja tail -f?
3. Kui kasutad systemd-ga Linuxit, leia üks olemasolev teenus ja võrdle selle olekut viimaste logiteadetega.
4. Miks ei tõesta tühi logivaade, et teenus töötab veatult?

Püsivad terminalisessioonid: tmux ja screen

tmux hoiab shelli ja selles käivitatud töö serveris alles ka pärast SSH-ühenduse katkemist. Hiljem saad sama sessiooni juurde tagasi tulla. Käivita tmux sellel masinal, kus töö peab jätkuma, kaugkasutuses seega pärast serverisse logimist.

See ei kaitse serveri väljalülitamise, taaskäivituse ega protsessi krahhi eest. Taustamärk & üksi ei anna samuti püsivat terminalisessiooni.

Katse: lahku ja tule tagasi

tmux new -s opik loob nimega opik sessiooni ja avab selle sees uue shelli. Kui sessioon on juba olemas, vali teine nimi või ühendu olemasolevaga.

tmux new -s opik

Nüüd oled sessiooni sees. Käivita lühike ootamine:

sleep 60

Vajuta Ctrl-b, lase klahvid lahti ja vajuta d. See on eraldumine (*detach*), mitte väljumine: sleep jätkab tööd.

Nüüd oled sessioonist väljas. tmux ls loetleb sessioonid; attach -t valib sessiooni, mille juurde naasta:

tmux ls
tmux attach -t opik

Kui minut pole möödunud, ootab sleep endiselt. Muidu näed taas viipa. Vajadusel katkesta ootamine Ctrl-c-ga. exit lõpetab sessioonis oleva shelli; kui see oli viimane aken, lõpeb ka sessioon. Ära aja exit-it segi eraldumisega.

Sama tööviis screen-iga

Kui masinas on tmux asemel screen, kasuta neid vasteid:

Vali üks tööriist; mõlemat pole vaja sama katse sees käivitada.

Sessioon või üks taustatöö?

tmux ja screen säilitavad terminali, millega saab uuesti ühenduda. Protsesside peatüki nohup muudab ühe töö käitumist ühenduse katkemisel ning disown eemaldab töö shelli tööde loendist; kumbki ei anna sama terminalivaadet tagasi.

Minitest

1. Loo nimega sessioon, eraldu ja ühendu uuesti.
2. Millisel masinal peab sessioon töötama, et sülearvuti sulgemine serveritööd ei lõpetaks?
3. Mis vahe on eraldumisel, exit-il ja serveri taaskäivitamisel?

Graafilised rakendused kaugmasinast

Selles peatükis vaatame, millal kasutada X11-edastust, millal veebiliidest ja mis on praktilised piirangud.

Loogika

Kaugelt graafilise rakenduse kasutamiseks on mitu võimalust, kuid need ei ole võrdselt mugavad. Enamasti tasub eelistada veebiliidest või IDE Remote SSH lahendust ning jätta X11-edastus erijuhtudeks.

Kiirülevaade

Eesmärk on otsustada, kas graafilist programmi on vaja üle võrgu näidata või sobib paremini veebiliides või IDE kaugühendus.

Tüüpilised algaja vead

• proovitakse X11-edastust enne, kui tavaline ssh töötab
• unustatakse, et pordiedastuse käsus ja brauseris viitavad kaks localhost-i eri masinatele
• arvatakse, et GUI-edastus on alati parim tee, kuigi veebiliides või Remote SSH on sageli kiirem ja töökindlam
• jäetakse pordiedastus liiga laialt avatuks; alguses hoia seos ainult oma masinaga

Käivita need käsud

ssh -X kasutaja@server

Veebiliidese puhul peab serveris juba töötama teenus pordil 8888. Järgmine käsk käivitatakse sinu arvutis: -L teeb pordiedastuse, 127.0.0.1 piirab kohaliku kuulamise selle arvutiga ja -N jätab kaugshelli avamata.

ssh -N -L 127.0.0.1:8888:localhost:8888 kasutaja@server

Hoia ühendus lahti ning ava kohalikus brauseris localhost:8888. Tunneli loomine ei käivita teenust ega asenda selle autentimist. Lõpeta tunnel Ctrl-c-ga.

Käsu ja brauseri kaks localhost-i viitavad eri masinatele:

• käsus olev localhost:8888 on serveri enda vaade teenusele
• brauseris avatav http://localhost:8888 on sinu arvuti vaade edasisuunatud pordile

X11-edastus

See võib töötada lihtsate X-rakendustega, kuid:

• on sageli aeglane
• vajab kohalikku X-serverit
• ei sobi alati moodsatele GUI-rakendustele

Veebiliides

Sageli on praktilisem kasutada teenuseid, mis töötavad brauseris:

• Jupyter
• veebipõhine adminliides
• kaugserveris jooksev rakendus HTTP kaudu

Minitest

1. Uuri, kas sinu masinas on X11-server ja kaugmasinas sobiv X11-rakendus ning lubatud X11-edastus.
2. Pane kirja üks juhtum, kus veebiliides on mõistlikum kui X11.
3. Selgita, miks Remote SSH võib olla arenduses mugavam kui vahetu X11-edastus.

Teksti otsimine: grep ja sugulased

grep valib sisendist mustriga sobivad read. Ta ei muuda faili ega kuva vaikimisi ainult leitud sõna: välja tuleb terve rida. Sobimatu tähesuurus või mustri erimärk võib tulemust oluliselt muuta.

Esimene võrdlus

Valmista enda harjutuskataloogis väike fail. > kirjutab sama nimega faili üle.

printf 'kass\nkoer\nKass\nkassipoeg\n' > loomad.txt
grep 'kass' loomad.txt

Näed kass ja kassipoeg, mitte Kass. Otsing võib leida vaste ka pikema sõna seest.

Lipud võivad koos töötada. -c ei loenda kõiki sõna esinemisi: kui ühel real on kolm vastet, on see ikkagi üks vastega rida.

Vasteta otsing annab tavaliselt tühja väljundi ja lõpetuskoodi 1; leitud vaste annab 0, viga tavaliselt 2. Seega ei tähenda iga nullist erinev kood siin riket.

Täpne tekst või regulaaravaldis

Vaikimisi on muster regulaaravaldis: näiteks punkt . tähendab üht suvalist märki. -F lülitab mustrikeele välja ja otsib täpset teksti. See ei nõua veel tervet rida; selleks lisa -x.

printf 'fail.json\nfailXjson\n' > nimed.txt
grep '.json' nimed.txt
grep -F '.json' nimed.txt

Esimene leiab mõlemad read, teine ainult fail.json. Shelli jutumärgid hoiavad mustri ühe argumendina, kuid ei lülita grep-i mustrikeelt välja.

-E valib laiendatud regulaaravaldised. Vanade käsunimede egrep ja fgrep asemel kasuta grep -E ja grep -F.

Otsi kataloogipuust

-r otsib rekursiivselt. Anna nii muster kui ka alguskataloog; suurtes puudes võib otsing aega võtta.

grep -rn 'TODO' .

Tulemuse ees on failinimi ja reanumber. GNU grep-i -R järgib lisaks otsingu käigus leitud sümbollinke; -r ja -R ei ole lihtsalt kaks kirjapilti samale lipule. Ära otsi alguseks kogu juurkataloogist ega peida ligipääsuveateateid.

Sõnamõistatus, mille tulemust saab kontrollida

-x 'a.t.l' nõuab viiemärgilist rida: esimene märk a, kolmas t ja viies l. Tee väike kontrollitav sõnaloend:

printf '%s\n' antal aptal artal artel astel attal axtel kass > words.txt
grep -x 'a.t.l' words.txt

Vasteks on esimesed seitse rida, mitte kass. Suuremaks otsinguks sobib õpiku genereeritud näidisloend; see ei ole kontrollitud loomuliku keele sõnastik ning vastete arv sõltub andmetest.

Jätk pärast sortimise peatükki

See katse kasutab ka sortimist ja koondamist. grep -o . väljastab iga leitud märgi eraldi; sort toob võrdsed märgid kokku, uniq -c loendab need ja sort -nr järjestab arvuliselt kahanevalt:

grep -x 'a.t.l' words.txt | grep -o . | sort | uniq -c | sort -nr

Tähe a loendus on 11, t loendus 8 ja l loendus 7. Katse ühendab otsingu ja lihtsa statistika. Tähesuuruse ühtlustamist õpetab teksti teisendamine.

Edasijõudnule: korduva tüki leidmine

GNU grep -E toetab tagasiviiteid, kuid nende tugi laiendatud regulaaravaldistes pole kõigi tööriistade vahel ühesugune. (..) jätab kahe märgi paari meelde, \1 viitab samale paarile ja + nõuab vähemalt üht kordust.

printf '%s\n' aaaaaa a.a.a. ratatat kass | grep -E '(..)\1\1+'

Esimesed kolm rida sobivad: aa, a. või at kordub vähemalt kolm korda. ratatat sees sobib osa atatat; valikuga -x see terve rida enam ei sobiks. Tagasiviited võivad olla aeglased: kasuta neid põhjusega, mitte tavalise tekstihaku asemel.

Minitest

1. Lisa loomad.txt lõppu rida kass kass. Kuidas muutub grep -c tulemus?
2. Leia nii kass kui Kass, kuid mitte kassipoeg, ühe käsuga.
3. Miks erinevad grep '.json' ja grep -F '.json'?
4. Muuda sõnamõistatuse mustrit ning ennusta tulemus enne käivitamist.
5. Kuidas eristad „vastet ei leitud“ ja „faili ei saanud lugeda“?

Lisalugemine

Ametlik GNU grep-i juhend ning tekstitöötluse viited.

Teksti teisendamine: tr, cut, paste, column, strings

Loogika

Need käsud sobivad siis, kui tahad tekstivoo kuju kiiresti muuta ilma pikema skriptita. Need on seotud torude ja otsingupeatükkidega, sest neid kasutatakse sageli kohe pärast grep-i või enne sort-i.

Kiirülevaade

Eesmärk on muuta teksti kuju väikeste tööriistadega, kus iga käsk teeb ühe konkreetse sammu.

Tüüpilised algaja vead

• aetakse segi märkide muutmine ja väljade lõikamine
• kasutatakse käsku cut keeruka CSV-failiga, kuigi lihtne eraldaja ei pruugi selle töötlemiseks piisata
• oodatakse, et column muudab faili, kuigi ta ainult vormib väljundi ilusamaks

Käivita need käsud

echo 'tere maailm' | tr '[:lower:]' '[:upper:]'
echo 'a,b,c' | tr ',' '\n'

printf 'nimi:vanus:linn\nMari:20:Tartu\n' > andmed.txt
cut -d ':' -f 1 andmed.txt
cut -d ':' -f 1,3 andmed.txt

printf 'nimi vanus\nMari 20\nJaan 21\n' | column -t

Päris näide: teksti puhastamine ja veergudeks tegemine

Alusta nii:

cp data/sample-text.txt tekst.txt
head -n 3 tekst.txt

Kui tahad tekstist teha sõnavoo, sobib hästi:

tr ' ' '\n' < tekst.txt | head -n 20

Siin:

• tr ' ' '\n' muudab tühikud reavahetusteks
• üks mitmesõnaline rida jaguneb eraldi sõnaridadeks

Kui tahad kõik sõnad suurtähtedeks muuta:

tr '[:lower:]' '[:upper:]' < tekst.txt | head -n 3

See on hea näide, sest siin ei muudeta "mõtet", vaid ainult märkide kuju.

Päris näide: logirea tükeldamine

Fail data/app.log sobib hästi cut-i näitamiseks.

head -n 5 data/app.log
cut -d ' ' -f 1-4 data/app.log | head -n 5

Selle näite loogika:

• eraldajaks on tühik
• -f 1-4 võtab välja esimesed neli välja
• näed kiiresti aega, logitaset, hosti ja moodulit

Kui tahad ainult logitasemeid:

cut -d ' ' -f 2 data/app.log | head -n 10

See on hiljem väga kasulik koos sort ja uniq -c-ga.

Päris näide: tee väljund loetavaks column abil

Kui tahad näidata logi lühikokkuvõtet veergudena, saab teha väikese vahefaili:

cut -d ' ' -f 1-4 data/app.log | head -n 10 | tr '=' ' ' | column -t

Siin toimub korraga mitu asja:

• cut võtab logi alguse
• tr '=' ' ' eraldab võtmed ja väärtused loetavamalt
• column -t joondab väljundi veergudesse

Nii muutub käsuväljund kiirelt tabelina loetavaks.

Päris näide: strings

strings on kasulik siis, kui sisend ei ole tavaline tekstifail.

Lihtne näide süsteemist:

strings /bin/ls | head -n 20

Siin:

• /bin/ls on binaarfail
• strings üritab sealt leida loetavaid tekstijuppe

See tuletab meelde, et kõik failid ei ole „lihtsalt tekst“, isegi kui neist saab mõnikord loetavaid tekstijuppe eraldada.

UTF-8, täpitähed ja reavahetused

Tekstitöötluses on veel kaks praktilist detaili, mis tulevad väga kiiresti ette:

• kodeering, tavaliselt UTF-8
• reavahetuse kuju, tavaliselt LF või CRLF

Eesti tekstiga on see eriti tähtis, sest ÕÄÖÜ ei ole ASCII-märgid.

Näide:

printf 'Õun\nÄmber\nÖö\nÜks\n' > tahed.txt
cat tahed.txt

Kui fail on UTF-8 kujul, näed täpitähti õigesti.

CRLF vs LF

Linuxis ja macOS-is on tavaline reavahetus LF. Windowsi failides kohtab tihti CRLF.

Näide:

printf 'üks\r\nkaks\r\n' > crlf.txt
cat crlf.txt
tr -d '\r' < crlf.txt > lf.txt

Siin:

• \r\n teeb Windowsi moodi reavahetuse
• tr -d '\r' eemaldab CR-märgid (carriage return)
• tulemuseks saad puhta LF-iga faili

Kui mõni tööriist käitub "imelikult", siis põhjus võib olla just reavahetustes, mitte käsus endas.

Täpitähtega teksti puhul kontrolli tulemust. GNU tr ei toeta mitmebaidiseid märke täielikult; UTF-8 teksti õ, ä, ö ja ü tõstu muutmiseks ei saa sellele üldiselt loota. Siinsed tõstunäited kasutavad ASCII tähti. Unicode'i jaoks sobib näiteks Pythoni sõnemeetod upper().

Minitest

1. Muuda tekst käsuga tr suurtähtedeks.
2. Lõika kooloniga eraldatud failist välja teine väli.
3. Vorminda väike tabel column -t abil.
4. Võta data/app.log failist välja ainult logitase käsuga cut.
5. Tee ühest väikesest väljundist veeruline vaade column -t abil.

Vood ja tabelid: sort, uniq, wc, pr, join

Loogika

Kui sul on palju ridu, aitab see peatükk neid kokku võtta. Tüüpiline töövoog on: sorteeri, koonda, loenda.

Kiirülevaade

Eesmärk on muuta suur hulk ridu kokkuvõtteks: sortida, loendada, rühmitada ja vajadusel tabelina siduda.

Tüüpilised algaja vead

• kasutatakse käsku uniq sortimata sisendiga ja oodatakse kõigi duplikaatide kadumist
• aetakse segi ridade loendamine ja sõnade loendamine
• unustatakse, et join eeldab tavaliselt sobivalt ette valmistatud sisendit

Käivita need käsud

printf 'pirn\noun\npirn\nploom\n' > viljad.txt
sort viljad.txt
sort viljad.txt | uniq
sort viljad.txt | uniq -c

echo 'üks kaks kolm neli' | wc -w
printf 'a\nb\nc\n' | wc -l

printf '1 Mari\n2 Jaan\n' > nimed.txt
printf '1 Tartu\n2 Tallinn\n' > linnad.txt
join nimed.txt linnad.txt
pr -2 viljad.txt

Sõnade loendamine ja tähesuuruse muutmine

echo 'Tere tere maailm' | tr '[:upper:]' '[:lower:]' | tr ' ' '\n' | sort | uniq -c

See on klassikaline Unix-laadne voog: teisenda, jaga ridadeks, sorteeri, loenda.

join eeldab tavaliselt, et mõlemad sisendfailid on ühise välja järgi sorditud. pr on kasulik siis, kui tahad väljundit kiirelt veergudesse või printimiseks vormida.

Näide: kõige sagedasemad sõnad

Kui tahad näha, miks sort | uniq -c | sort -nr on nii klassikaline, siis kasuta näidisandmefaili:

cp data/sample-words.txt sonad.txt
sort sonad.txt | uniq -c | sort -nr | head -n 15

Selle töövoo loogika on:

• sort toob samad sõnad järjestikku
• uniq -c loendab järjestikused kordused
• sort -nr paneb suurimad loendused ette

Just see on üks Unix-laadse tekstitöötluse põhivõtteid.

Päris näide: logitasemete kokkuvõte

Fail data/app.log sobib hästi väikese logianalüüsi jaoks.

cut -d ' ' -f 2 data/app.log | sort | uniq -c | sort -nr

Siin:

• cut -d ' ' -f 2 võtab välja logitaseme
• sort | uniq -c loendab tasemed kokku
• tulemuseks saad näiteks INFO, WARN, ERROR sagedused

See on hea näide, sest siin kohtuvad tekstifilter, väljavõte ja koondamine.

Päris näide: palju ridu ja palju sõnu

Kui tahad kiiresti aru saada, kui suur üks tekstifail on:

wc -l data/sample-text.txt
wc -w data/sample-text.txt

See annab kaks eri mõõdet:

• mitu rida
• mitu sõna

Mõlemad on praktilised, aga nad ei tähenda sama asja.

Päris näide: join

join võib alguses tunduda abstraktne, kuid sobib hästi väikeste tabelite ühendamiseks.

printf '1 Tallinn\n2 Tartu\n3 Narva\n' > linnad.txt
printf '1 Harjumaa\n2 Tartumaa\n3 Ida-Virumaa\n' > maakonnad.txt
join linnad.txt maakonnad.txt

Siin:

• mõlemal failil on esimene väli ühine võti
• join ühendab sama võtmega read kokku

Oluline detail:

• sisendfailid peavad tavaliselt võtme järgi sorditud olema

Päris näide: pr

Kui tahad kiirelt sõnaloendit veergudesse panna:

head -n 20 data/sample-words.txt | pr -4 -t

Siin:

• -4 teeb neli veergu
• -t jätab päise ja jaluse ära

pr ei ole tänapäeval kõige sagedasem tööriist, kuid sobib kiireks veergudesse vormindamiseks.

Näiteks saab nummerdatud loendi panna mitmesse veergu:

seq -w 0 99 | pr -5 -t

Siin:

• seq -w 0 99 teeb loendi 00 kuni 99
• pr -5 -t jagab selle viide veergu

Kui tahad suurema hulga numbreid panna ühele pr loogilisele lehele, siis saab mängida lehepikkusega:

seq -w 0 9999 | pr -8 -t -l 1250

Selle loogika on:

• seq -w 0 9999 teeb numbrid 0000 kuni 9999
• -8 teeb kaheksa veergu
• -t eemaldab päise ja jaluse
• -l 1250 ütleb, et ühe pr lehe kõrgus on 1250 rida

Oluline täpsustus:

• see tähendab „üks käsu pr leht“
• see ei tähenda automaatselt üht füüsilist A4-paberilehte

Päris printimisel sõltub tulemus veel fontidest, paberi suurusest ja sellest, kas prindid terminalist, PDF-ist või mõnest muust keskkonnast.

Kui tahad lihtsalt rahulikult mitut veergu eelvaadata, siis väiksem näide on tavaliselt parem:

seq -w 0 199 | pr -8 -t | less

Lokaat ja sortimine

sort ei tööta alati kõigis keskkondades täpselt ühtemoodi, sest tulemus sõltub ka keele- ja piirkonnasätetest (locale).

See on eriti nähtav täpitähtede puhul.

Näide:

printf 'Õun\nÄmber\nÖö\nUdu\n' > tahed.txt
sort tahed.txt
LC_ALL=C sort tahed.txt

Siin võib juhtuda, et:

• tavaline sort kasutab sinu keskkonna keele- ja piirkonnasätteid
• LC_ALL=C sort ... sorteerib lihtsama baitide loogika järgi

See tähendab, et sort tulemus ei ole alati "absoluutne tõde", vaid sõltub keskkonnast.

Kui töötled eestikeelset teksti, siis tasub seda meeles pidada.

wc -l loendab täpselt reavahetusi, mitte visuaalseid ridu. Kui faili viimane tekstirida ei lõpe reavahetusega, jääb see selle loenduse alt välja. uniq võrdleb alati kõrvutisi ridu; kogu faili korduste koondamiseks tuleb samad read eelnevalt kõrvuti tuua, tavaliselt sort-iga.

Minitest

1. Loenda faili read.
2. Sorteeri sõnaloend tähestiku järgi.
3. Loenda, mitu korda iga sõna esineb.
4. Proovi join abil ühendada kaks väikest faili ühise esimese välja järgi.
5. Tee data/app.log failist logitasemete sagedustabel.

sed, awk ja perl praktiliselt

sed sobib asendamiseks, awk väljade ja arvutuste jaoks ning perl keerukamaks mustritöötluseks.

Kiirülevaade

Eesmärk on minna edasi siis, kui grep, cut ja tr enam ei piisa: muuta ridu, arvutada väljade kaupa ja kirjutada lühike tekstiloogika.

Tüüpilised algaja vead

• oodatakse, et sed või awk muudab faili kohe kohapeal
• aetakse segi „esimene vaste real“ ja „kõik vasted real“
• kirjutatakse üherealine käsk, mille loogika on endalegi liiga segane

Üks asendus ja kõik asendused

sed 's/vana/uus/' asendab iga rea esimese vaste; lõppu lisatud g asendab kõik vasted sellel real. Sisendfail ei muutu: tulemus läheb standardväljundisse.

echo 'kass koer kass' | sed 's/kass/rebane/'
echo 'kass koer kass' | sed 's/kass/rebane/g'

Selle pildi loogika on järgmine:

1. echo "Tere tere vana kere" > tere.txt loob algse faili
2. cp tere.txt kere.txt teeb samast sisust koopia
3. sed 's/vana/uus/' tere.txt > mere.txt loeb faili tere.txt, asendab esimese vaste ja kirjutab tulemuse uude faili
4. head * näitab kolme faili algust üksteise järel

Ära suuna tulemust sisendfaili endasse: sed 's/vana/uus/' fail > fail tühjendab faili enne lugemist. Vali uus väljundfail. Kohapealse muutmise sed -i kuju erineb GNU ja macOS-i versioonis; kontrolli kohalikku käsiraamatut.

Üks asendus või kõik asendused

sed-i üks kõige tähtsamaid erinevusi on see, kas tehakse üks asendus või kõik asendused real.

Selle pildi sees on näha kaks väga erinevat tulemust:

1. sed 's/ere/ERE/' tere.1.txt > tere.2.txt muudab ainult rea esimese vaste
2. sed 's/ere/ERE/g' tere.1.txt > tere.3.txt muudab kõik vasted samal real
3. head * näitab pärast kõiki kolme faili üksteise järel, nii et vahe on kohe nähtav

Rusikareegel on lihtne:

• ilma g-ta muudetakse tavaliselt ainult esimene vaste real
• g tähendab global, ehk kõik vasted sellel real

awk -F: valib väljade eraldajaks kooloni. $1 ja $2 tähistavad esimest ja teist välja; komaga eraldatud väljad prinditakse vaikimisi tühikuga.

printf 'Mari:20\nJaan:21\n' | awk -F: '{print $1}'
printf 'Mari:20\nJaan:21\n' | awk -F: '{print $1, $2}'

Perli -e võtab koodi käsurealt, -p loeb ja väljastab read automaatselt ning -n jätab väljastamise sinu koodi otsustada. -F: määrab eraldaja, -a jagab rea massiivi @F, -l haldab reavahetusi; $F[0] on esimene väli.

echo 'kass koer kass' | perl -pe 's/kass/rebane/g'
printf 'Mari\nJaan\n' | perl -ne 'print if /Ja/'
printf 'Mari:20\nJaan:21\n' | perl -F: -lane 'print $F[0]'

Edasijõudnule: algarvud regulaaravaldisega

Järgmine näide ei ole algarvude leidmiseks kõige praktilisem, kuid näitab hästi, kui võimsad võivad Perli üherealised käsud olla:

seq 2 200 | perl -nlE 'say if ("a" x $_) !~ /^(aa+)\1+$/'

See kuju on siin meelega võimalikult lihtne. Kuna alustame vahemikku 2-st, ei pea me eraldi 0 ja 1 juhtumeid regexis välja filtreerima.

Mõte on selline:

• iga arv teisendatakse ajutiselt ühe tähe korduseks, näiteks 7 muutub kujule aaaaaaa
• regex proovib leida, kas see rida koosneb mingist väiksemast plokist, mida saab mitu korda korrata
• kui saab, siis arv ei ole algarv
• kui ei saa, siis prinditakse arv välja

See tähendab sisuliselt: „Prindi ainult need arvud, mida ei saa kirjutada kujul m * n, kus mõlemad on suuremad kui 1.“

Praktilises skriptis oleks tavaliselt mõistlikum kasutada tavapärast jaguvuskontrolli, aga ühe rea triki või loengu-näite jaoks on see väga meeldejääv.

Minitest

1. Asenda reas üks sõna teisega.
2. Võta välja kooloniga eraldatud faili esimene väli.
3. Prindi awk abil ainult teine veerg.
4. Filtreeri perl -ne abil välja ainult need read, kus on kindel muster.
5. Tee perl -pe abil globaalne asendus kogu sisendi ulatuses.

find ja xargs ohutumalt

Loogika

find leiab teed.

xargs annab need teed järgmisele käsule edasi.

Probleem tekib siis, kui failinimedes on:

• tühikud
• tabulaatorid
• reavahetused

Kui kasutada naiivset kuju, siis võib üks failinimi laguneda mitmeks tükiks. Sellepärast on oluline paar:

• find ... -print0
• xargs -0

Kiirülevaade

Eesmärk on failipuus tegutseda nii, et tühikud ja muud keerulised failinimed tulemust ei lõhuks.

Vale eraldusviis lõpeb sageli veateatega No such file or directory, sest failinimi lõigatakse tükkideks.

Tüüpilised algaja vead

• eeldatakse, et kõik failinimed on lihtsad ühe sõnaga nimed
• kasutatakse xargs-it pimesi seal, kus -exec oleks lihtsam
• testimata käsk pannakse kohe muutma või kustutama

Käivita need käsud

find . -type f -name '*.txt'
find . -type f -name '*.txt' -print0 | xargs -0 wc -l
find . -type f -name '*.log' -exec ls -lh {} +

Kui tahad näha just keeruliste nimede loogikat, tee väike näide:

mkdir -p find-naide
cd find-naide
touch 'üks fail.txt' 'teine fail.txt'
find . -type f -name '*.txt' -print0 | xargs -0 ls -l

Miks -print0 ja -0 tähtsad on

Vaikimisi eraldatakse käsurea tekst sageli tühikute ja reavahetuste järgi. See tähendab, et fail nimega:

minu fail.txt

võib naiivses töövoos käituda nagu kaks eri sõna.

Selle vältimiseks:

• find -print0 eraldab tulemused nullmärgiga
• xargs -0 loeb just seda vormi

See on praktiline „ohutu vaikevariant“, kui liigud käsult find järgmise käsuni.

xargs või -exec?

Mõlemad on kasulikud.

Näide xargs-iga:

find . -type f -name '*.txt' -print0 | xargs -0 wc -l

Näide -exec-iga:

find . -type f -name '*.txt' -exec wc -l {} +

Rusikareegel:

• kui tahad lihtsat ja ohutut kuju, siis -exec ... + on sageli väga hea
• kui tahad teadlikult ehitada torupõhist töövoogu, siis -print0 | xargs -0 on tugev valik

xargs vs while read

On veel üks väga kasulik kuju:

find data -type f -name '*.txt' -print0 |
while IFS= read -r -d '' fail; do
  wc -l "$fail"
done

Selle loogika on:

• find -print0 annab failinimed ohutult edasi
• read -r -d '' loeb ühe nullmärgiga eraldatud faili korraga
• tsüklis saad iga faili kohta teha rohkem kui ühe sammu

xargs on väga hea siis, kui:

• tahad ühe käsu kiiresti paljudele failidele anda

while read on eriti hea siis, kui:

• tahad iga faili kohta teha väikese loogika
• vajad tsüklit, tingimust või mitut käsku järjest

Näiteks:

find data -type f -name '*.txt' -print0 |
while IFS= read -r -d '' fail; do
  echo "Töötlen: $fail"
  head -n 1 "$fail"
done

Väldi pimesi hävitavaid käske

find ja xargs lähevad eriti ohtlikuks siis, kui lõppu pannakse:

• rm
• chmod
• mv

Seetõttu tasub alati alustada ohutu eelvaatega:

find . -type f -name '*.log'

ja alles siis lisada lõppu faile muutev tegevus.

Veel parem on alustada mittehävitava käsuga, näiteks:

find . -type f -name '*.log' -print0 | xargs -0 ls -lh

Päris näide: loenda kõik data/ tekstifailid kokku

Repo kataloog data/ on turvaline koht find-i harjutamiseks.

find data -type f -name '*.txt' -print0 | xargs -0 wc -l

Siin:

• find leiab kõik .txt failid
• -print0 eraldab need ohutult
• xargs -0 wc -l annab igale failile reaarvu

See on hea näide, sest siin ei ole vaja midagi kustutada ega muuta, ainult vaadata.

Päris näide: keeruliste nimedega failid

Kui tahad näha, miks -print0 ja -0 on päriselt vajalikud, tee selline väike töökaust:

mkdir -p otsi-naide/'Tallinn andmed'
cp data/sample-words.txt 'otsi-naide/Tallinn andmed/sonad 1.txt'
cp data/sample-text.txt 'otsi-naide/Tallinn andmed/tekst 2.txt'
find otsi-naide -type f -name '*.txt' -print0 | xargs -0 ls -lh

Selle töövoo mõte on:

• failinimedes on tühikud
• naiivne xargs võiks need lõhkuda
• -print0 | xargs -0 hoiab need tervikuna koos

Päris näide: leia logifail ja vaata selle suurust

find data -type f -name '*.log' -exec ls -lh {} +

See on väike, aga päris praktiline muster:

• leia failid
• ära hävita midagi
• vaata enne suurust või arvu

Just nii peakski find-iga töötamine algama.

Tühi tulemus ja suured failihulgad. find ... -exec käsk {} + ei käivita käsku, kui vasteid pole. xargs -0 korral sõltub tühja sisendi käitumine süsteemist; GNU xargs võib käsu siiski käivitada. GNU valik -r väldib seda, kuid pole igal pool sama tähendusega. Suure hulga korral võib nii -exec ... + kui ka xargs jagada failid mitmeks käivituseks: näiteks wc kokkuvõte on siis partii, mitte tingimata kogu puu summa.

read -r -d '' näide eeldab Bashi või zsh-d, mitte suvalist POSIX sh-d. IFS= säilitab nime alguse ja lõpu tühikud, -r kurakriipsud ning tühi -d määrab nullmärgi eraldajaks.

Minitest

1. Loo vähemalt üks fail, mille nimes on tühik.
2. Leia see fail find-iga.
3. Näita seda faili ls -l abil läbi töövoo -print0 | xargs -0.
4. Seleta ühe lausega, miks -print0 ja -0 koos käivad.
5. Loenda kataloogi data/ tekstifailide read käsuga find ... -print0 | xargs -0 wc -l.
6. Tee sama töövoog uuesti kujul while IFS= read -r -d '' fail; do ...; done.