Põhimõte jäi samaks: koduleht on endiselt staatiline. Need põhjused, mis kehtisid 2017, kehtivad tänagi:

• staatiline veebisait on lihtsam kui dünaamiline
• see on palju kiirem
• see on palju turvalisem

Vahetusse läks generaator. Senine Metalsmith tegi oma töö omal ajal hästi ära, kuid selle pluginad jäid aastatega hooldamata ja iga uuendus muutus aina vaevalisemaks. Uus sait on ehitatud Docusaurusega — sama tööriistaga, millega tehakse paljude tuntud tarkvaraprojektide dokumentatsioonisaite.

Mida uuendus kaasa tõi:

• artiklid, sildid, RSS-voog ja sitemap tulevad nüüd "karbist", ilma omakirjutatud koodita
• lehel on tume režiim ja korralikud meta-andmed otsingumootorite jaoks
• vanade artiklite aadressid jäid samaks, nii et lingid ja järjehoidjad töötavad edasi
• mõned päris aegunud artiklid said koristatud — vähem, aga värskem sisu

Tehniline õppetund on sama, mida räägime ka klientidele: tarkvara ei ole kunagi "valmis". Ka hästi töötav lahendus vajab aeg-ajalt hooldust, sest tööriistad ja turvanõuded tema ümber liiguvad edasi.

https://www.asjade.net/varia-menu/81-maengud-ssh-ga

Pärast Ubuntu 20.04 focal üleminekut uuemale Ubuntu 22.04 jammy versioonile ei toiminud enam võtmeid vahetades ssh ühendus ühe Synology NAS seadmega. Tuli parooli küsimise rida ning sisestades õige salasõna oli võimalik ikka sisse saada.

Sedasorti probleemide lahendamisel aitab -vvv võtme lisamine ssh käsureale. Lisaks sellele kasuta ikka Google otsingut, kuid ära pelga ka uut populaarset ChatGPT https://en.wikipedia.org/wiki/ChatGPT teenust https://chat.openai.com. See võib lahenduseni viia kiiremini kui arvata oskad.

Lahenduseks oli seekord selline:

touch ~/.ssh/config
chmod 600 ~/.ssh/config
nano ~/.ssh/config

cat ~/.ssh/config
Host tegelik.ip.aadress
PubkeyAcceptedKeyTypes +ssh-rsa
KexAlgorithms +diffie-hellman-group14-sha1
HostKeyAlgorithms +ssh-rsa

Rohkem selle kohta lugemist:

https://askubuntu.com/questions/1409105/ubuntu-22-04-ssh-the-rsa-key-isnt-working-since-upgrading-from-20-04

• siin ei ole praegu reklaame
• ei kasutata küpsiseid
• avaneb kiiresti

Selle kohta sai tehtud 2 videot:

https://www.youtube.com/watch?v=mo440sAe2dQ

https://www.youtube.com/watch?v=F7ZHVNVBuN8

Selleks, et GRUB käsureal oleks kergem tööd teha, sai tehtud ka USB klaviatuur, mis saadab klahvivajutused järjestikpordi kaudu:

https://www.youtube.com/watch?v=ZbuvjBGOJGg

Vastavad github leheküljed:

https://github.com/asjadenet/macbook-ubuntu-usb

https://github.com/asjadenet/serial2keyb

https://github.com/asjadenet/serial2keyb-byline

Kui teeme lahti pordi 22 ja meil on see edasi suunatud ssh serveri teenusele, siis võime näha logidest umbes sellist vaatepilti:

Kui nüüd ip aadresside haaval uurida, siis võime leida, et üritajaid on olnud Hiinast, Vietnamist, Lõuna-Koreast ja mujaltki.

Loomulikult tuleb tahtmine nende üritajate elu raskemaks teha ja need IP aadressid ära keelata. Tavalise ruuteri tarkvaras ei pruugi aga sellist võimalust olla. Õnneks on populaarses vabavaralises ruuteri tarkvaras OpenWrt see võimalik. Sellepärast tasuks enne uue ruuteri ostmist uurida, kui hästi see OpenWrt OS-i toetab. Näiteks üks populaarne ruuter on TP-LINK Wireless Access Point Archer C7 AC1750 Dual Band Gigabit wireless Router

Selle asemel, et hoida ajakohasena pikka nimekirja, kust me ühendusi ei soovi, võime teha ka nn "valge nimekirja" IP-aadressidest, kust me soovime ligipääsu lubada.

Mängime nüüd läbi olukorra, kus tahame lubada ligipääsu vaid Eesti IP aadressidelt ja mitte kusagilt mujalt.

Esiteks on meil vaja nimekirja Eesti IP aadressruumist. Abiks on selline pisike tööriist nagu get-ripe-ips. See on bash skript, mis laadib aadressid json vormingus alla ja salvestab tekstifailina. On ka teisi võimalusi. Vaatame siin vaid ühte.

$ git clone https://github.com/mivk/ip-country.git
$ chmod +x get-ripe-ips
$ ./get-ripe-ips -c ee -o . -s 1800
./get-ripe-ips: line 74: hash: jq: ei leitud
Cannot find the jq Json processor. Install it with 'apt install jq' or similar
$ sudo apt install jq
$ ./get-ripe-ips -c ee -o . -s 1800
$ head ipv4_ee
2.57.220.0/22
2.59.164.0/22
5.34.240.0/21
5.44.184.0/21
5.45.112.0/21
5.45.120.0/21
5.101.112.0/20
5.101.176.0/20
5.153.232.0/21
5.157.0.0/18

Selliselt on meil IP aadressid failis ipv4_ee olemas.

Vaikimisi ei ole ruuteris installeeritud ipset utiliiti, kuid selle võib installeerida veebiliidese abil:

Samuti võime testimiseks installida netcat:

Kopeerin selle faili ruuteris asukohta /usr/opt/geoip-ee/ipv4_ee.

Muudan ruuteris faili /etc/firewall.user:

root@OpenWrt:~# cat /etc/firewall.user
# This file is interpreted as shell script.
# Put your custom iptables rules here, they will
# be executed with each firewall (re-)start.

# Internal uci firewall chains are flushed and recreated on reload, so
# put custom rules into the root chains e.g. INPUT or FORWARD or into the
# special user chains, e.g. input_wan_rule or postrouting_lan_rule
ipset create ipv4_ee hash:net
while read network ; do
    ipset add ipv4_ee $network;
    done < /usr/opt/geoip-ee/ipv4_ee

Teeme ruuterile restardi. Seejärel logime sisse ja vaatame, kas igal käivitamisel tehakse ipset nimega ipv4_ee. Seda saame vaadata käsklusega:

ipset list ipv4_ee

Kui ilmub nimekiri IP aadressidega, siis on sellega korras.

Proovime kõigepealt pordi suunamist ilma ip aadresside piiranguteta.

Käivitan ruuteris:

netcat -l -p 8080

Proovin Eestis paiknevast masinast:

Sama Inglismaal paiknevast masinast:

Nagu näha, pordi suunamine töötab ja see on ligipääsetav igalt poolt maailmas.

Paneme nüüd piirangu peale, lisades tulemüüris Extra arguments reale: -m set --match-set ipv4_ee src.

Proovime nüüd uuesti. Kui meil on kõik õigesti, siis peaksime endiselt Eestist ligi pääsema, kuid Inglismaalt enam mitte:

Sama Inglismaal paiknevast masinast:

Mida öelda kokkuvõtteks? Kui meil on kasutada OpenWrt ruuter, siis tasub ligipääs IP aadresside järgi ära seadistada. Nagu nägime, ei olegi seda nii raske teha.

Linke:

https://openwrt.org/toh/tp-link/archer-c5-c7-wdr7500

https://unix.stackexchange.com/questions/502907/how-to-block-countries-iptables-or-firewalld-by-geolite2-mmdb/527504#527504

https://unix.stackexchange.com/questions/516504/iptables-to-allow-traffic-from-one-country-only

Photo by Fotis Fotopoulos on Unsplash

Mitte keegi ei taha rohkem tarkvara… See on täitsa tõsi. Tarkvara ei ole vaja lihtsalt tarkvara pärast. Kellele meeldiks iga päev paigaldada oma arvutisse aina uusi programme või proovida internetis üha uusi ja uusi teenuseid?

Kui meil ei ole vaja uut tarkvara, siis mida meil siiski vaja on? Eelkõige soovime lahendusi tüütutele ja keerulistele probleemidele, soovime vältida vigu, mis tulenevad sellest, et meil ei ole asjad hästi organiseeritud, puudub ülevaade, eksime sisestamisel, unustame jne.

Hea tarkvara aitab lahendada probleeme ja kes seda ei tahaks? Hea tarkvara justkui peidab probleemid ja keerukuse meie eest ja näitab meile midagi lihtsat, ilusat ja mugavat.

Seega selle asemel, et öelda "meil on vaja rohkem tarkvara" võiks öelda "meil on vaja head lahendust".

Veebibrauseris vastav tööriist on internetis saadaval siin: http://bark.phon.ioc.ee/webtrans/

Kui siiski soovime seda tarkvara ise jooksutada, siis üks lihtne võimalus on kasutada valmis docker konteinerit.

Juhendi leiame siit:

https://github.com/alumae/kaldi-offline-transcriber/tree/master/misc/docker

Kui teha selle juhendi järgi, siis suure tõenäosusega saame selle ka kohe tööle. Eelnevalt tuleb jälgida, et docker konteineri käsutuses oleks vähemalt 6GB RAM. Mul ebaõnnestus 4GB RAM-ga, kuid 6GB oli piisav, et üks näide tööle saada.

Kui me ei sooviks seda tarkvara hoida enda arvutis vaid hoopis Azure pilves, kuidas see siis tööle saada? Järgnevalt on dokumenteeritud väike juhend, kuidas mul see õnnestus kasutades PowerShell käsurida.

Kõigepealt tee resource group:

az group create --name tuvastusResourceGroup --location uksouth

vastus:

{
  "id": "/subscriptions/55622624-1ccb-4e6c-97dc-51d463935a2e/resourceGroups/tuvastusResourceGroup",
  "location": "uksouth",
  "managedBy": null,
  "name": "tuvastusResourceGroup",
  "properties": {
    "provisioningState": "Succeeded"
  },
  "tags": null,
  "type": "Microsoft.Resources/resourceGroups"
}

Seejärel tee Container Registry:

az acr create --resource-group tuvastusResourceGroup --name tuvastusContainerRegistry --sku Basic

vastus:

{
  "adminUserEnabled": false,
  "creationDate": "2019-11-01T08:36:50.213637+00:00",
  "id": "/subscriptions/55622624-1ccb-4e6c-97dc-51d463935a2e/resourceGroups/tuvastusResourceGroup/providers/Microsoft.ContainerRegistry/registries/tuvastusContainerRegistry",
  "location": "uksouth",
  "loginServer": "tuvastuscontainerregistry.azurecr.io",
  "name": "tuvastusContainerRegistry",
  "networkRuleSet": null,
  "policies": {
    "quarantinePolicy": {
      "status": "disabled"
    },
    "retentionPolicy": {
      "days": 7,
      "lastUpdatedTime": "2019-11-01T08:36:52.156079+00:00",
      "status": "disabled"
    },
    "trustPolicy": {
      "status": "disabled",
      "type": "Notary"
    }
  },
  "provisioningState": "Succeeded",
  "resourceGroup": "tuvastusResourceGroup",
  "sku": {
    "name": "Basic",
    "tier": "Basic"
  },
  "status": null,
  "storageAccount": null,
  "tags": {},
  "type": "Microsoft.ContainerRegistry/registries"
}

Logi sisse:

az acr login --name tuvastusContainerRegistry

Vastus:

Login Succeeded

Lubame admin kasutaja:

az acr update -n tuvastusContainerRegistry --admin-enabled true

vastus:

{
  "adminUserEnabled": true,
  "creationDate": "2019-11-01T08:36:50.213637+00:00",
  "id": "/subscriptions/55622624-1ccb-4e6c-97dc-51d463935a2e/resourceGroups/tuvastusResourceGroup/providers/Microsoft.ContainerRegistry/registries/tuvastusContainerRegistry",
  "location": "uksouth",
  "loginServer": "tuvastuscontainerregistry.azurecr.io",
  "name": "tuvastusContainerRegistry",
  "networkRuleSet": null,
  "policies": {
    "quarantinePolicy": {
      "status": "disabled"
    },
    "retentionPolicy": {
      "days": 7,
      "lastUpdatedTime": "2019-11-01T08:36:52.156079+00:00",
      "status": "disabled"
    },
    "trustPolicy": {
      "status": "disabled",
      "type": "Notary"
    }
  },
  "provisioningState": "Succeeded",
  "resourceGroup": "tuvastusResourceGroup",
  "sku": {
    "name": "Basic",
    "tier": "Basic"
  },
  "status": null,
  "storageAccount": null,
  "tags": {},
  "type": "Microsoft.ContainerRegistry/registries"
}

Tekitatud kasutajanime ja parooli saab vaadata nii:

az acr credential show --name tuvastusContainerRegistry

Vastus:

{
  "passwords": [
    {
      "name": "password",
      "value": "********************************"
    },
    {
      "name": "password2",
      "value": "********************************"
    }
  ],
  "username": "tuvastusContainerRegistry"
}

Veendu, et käsurida lokaalses dockeris töötab. Näiteks:

docker exec 79bafd51385a1933d7ea584a07870a0bc8ab9c791ab24a938e17e3313ce750cb bash -c 'mkdir -p /opt/speechfiles/ ; cd /opt/speechfiles/ ; wget https://www.infokiir.ee/mp3test/proov.mp3 ; /opt/kaldi-offline-transcriber/speech2text.sh  --trs /opt/speechfiles/proov.trs /opt/speechfiles/proov.mp3 ; cat /opt/speechfiles/proov.trs'

tag käsklusega märgistame konteineri:

docker tag alumae/kaldi-offline-transcriber-et tuvastuscontainerregistry.azurecr.io/kaldi-offline-transcriber-et:v1

Saadame selle azure pilve (see võtab üsnagi aega, sõltuvalt interneti kiirusest):

docker push tuvastuscontainerregistry.azurecr.io/kaldi-offline-transcriber-et:v1

Nüüd teen docker image vastava käsureaga:

az container create --restart-policy Never --registry-username tuvastusContainerRegistry --registry-password ******************************** --cpu 2 --memory 6 --resource-group tuvastusResourceGroup --name tuvastus6m --image tuvastuscontainerregistry.azurecr.io/kaldi-offline-transcriber-et:v1 --command-line "bash -c 'mkdir -p /opt/speechfiles/ ; cd /opt/speechfiles/ ; wget https://www.infokiir.ee/mp3test/proov.mp3 ; /opt/kaldi-offline-transcriber/speech2text.sh  --trs /opt/speechfiles/proov.trs /opt/speechfiles/proov.mp3 ; cat /opt/speechfiles/proov.trs'"

Muide alla 6GB mälu ei tasu panna. Proovisin 4GB ja sellest jäi väheks.

Tulemust vaatan käsklusega:

az container logs --resource-group tuvastusResourceGroup --name tuvastus6m

See näeb välja umbes selline:

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE Trans SYSTEM "trans-14.dtd">
<Trans scribe="est-speech2txt" audio_filename="proov" version="1" version_date="191101">
<Speakers>
<Speaker id="spk1" name="K01" check="no" dialect="native" accent="" scope="local"/>
</Speakers>
<Episode>
<Section type="report" startTime="0.000" endTime="9.330">
<Turn speaker="spk1" startTime="0.690" endTime="9.150">
<Sync time="0.690"/>
Ma teen siis ise kõigepealt ühe väikse proovi. Vaatame, kas ta oskab helifaili teha tekstiks.
</Turn>
</Section>
<Section type="filler" startTime="9.330" endTime="10.320">
</Section>
</Episode>
</Trans>

Kui soovin uuesti käivitada kestuse mõõtmisega, siis kasutan käsklust:

Measure-Command { az container start --resource-group tuvastusResourceGroup --name  tuvastus6m }

Tulemus:

Days              : 0
Hours             : 0
Minutes           : 8
Seconds           : 43
Milliseconds      : 367
Ticks             : 5233673801
TotalDays         : 0,00605749282523148
TotalHours        : 0,145379827805556
TotalMinutes      : 8,72278966833333
TotalSeconds      : 523,3673801
TotalMilliseconds : 523367,3801

See tarkvara jookseb üllatavalt kaua, samas tuvastuse kvaliteet on üllatavalt hea.

Vaata lähemalt videot: https://youtu.be/_90HgVo1D5c.

Lähtekood: https://github.com/asjadenet/xlltemplate

Funktsioon ise on selline:

=TEXT(WEEKDAY("2019-03-15");"ddd")

Muidugi saaks sarnase funktsiooni ka ise programmeerida, kuid sellisel juhul peaks olema failis makrod lubatud. Ülaltoodud funktsioon töötab ka LibreOffice-ga.

Siin on üks video monitori remondist päris hea selgitusega:

https://www.youtube.com/watch?v=72sJ5Infuu0

Nagu sellest videost näha võis, on kõige tavalisem viga elektrolüütkondensaatorite riknemine.

Siin on siis ka üks näide edukast monitori remondist. Vigaseks osutus monitor Samsung 2343BW.

Pärast monitori lahtivõtmist avanes selline vaatepilt:

Nagu näha, on pildi keskel kaks kõrvutist elektrolüütkondensaatorit "kergelt punnis". Kui on käepärast ESR meter, siis sellega mõõtes saab kergesti kondensaatorite korrasolekut hinnata. Spetsiaalne ESR meter ei ole just kõige odavam mõõteriist, kuid abiks on ka odav LCR-T4, mille võib kätte saada konstruktori komplektina ligi 10€ eest.

Kui kondensaatorid olid lahti joodetud, siis nägid need välja sellised:

Tegemist on Samsungi 1000uF x 16V LOW ESR kondensaatoritega. Asenduseks läksid sisse Oomipoest saadaolevad Panasonic kondensaatorid EEU-FM1C102:

Ise monitori remontimine ei ole muidugi päris kõigile jõukohane. Miks mitte enne äraviskamist siiski proovida seda remontida? Vajadusel võta ühendust ja too rikkis monitor kohale Raplas Väljataguse 12.

Demo: https://www.youtube.com/watch?v=2_Rd4uqu4-g

Lähtekood: https://github.com/asjadenet/CMakeProjectDemo

Linke:

https://cmake.org/examples/

http://preshing.com/20170522/learn-cmakes-scripting-language-in-15-minutes/

Puuduvad .lib või .obj faild saab Visual Studio-s lisada nii:

Project Properties > Configuration Properties > Linker > Input > Additional Dependencies > add

Kuidas aga õiged .lib ja .obj failid üles leida, kui need on eri kohtades laiali? Tegelikult saab selle üsna ruttu tehtud, kui kasutada õiget tööriista.

Alustada võib kiirest ülevaatest. Seda saab ruttu teada käsklusega:

dir *.lib /b /s

või

dir *.obj /b /s

/b vorming näitab failid koos teekonnaga ilma üleliigse infota.

/s otsib kõigist alamkataloogidest rekursiivselt.

Esiteks tasub meeles pidada seda, et välja võib olla jäänud mõni süsteemi teegi fail.

Näiteks sain veateate:

error LNK2001: unresolved external symbol __imp_timeGetTime

Tihtipeale on kõige kiirem lahendus kasutada üldotstarbelist interneti otsingumootorit. Veidi otsides leiame, et tuleks lisada linkimisse teek WinMM.lib. Kui meil pole aimu, kust selle faili võiks leida, siis aitab meid jälle tavaline dir käsklus:

dir WinMM.lib /s

Kuna neid faile võib olla arvutis mitmeid, siis selleks et näha ka faili kuupäeva ja suurust, jätan meelega ära /b võtme.

Kui internetiotsinguga vastust ei leia, tasub kõik oletatavad kataloogid läbi otsida. Mõnevõrra aega nõuab kõigi binaarfailide läbiotsimine, kuid kui meil pole paremat ideed, siis see võibki just meid aidata.

.lib failide läbiotsimiseks tegin käsufaili findlib.bat:

@echo off
echo otsime .lib failidest %1
for  /r %%f in (*.lib) do (
"C:\Program Files (x86)\Microsoft Visual Studio\2017\Professional\VC\Tools\MSVC\14.13.26128\bin\Hostx86\x86\dumpbin.exe" /exports "%%f" | findstr %1
if errorlevel 0 if not errorlevel 1 echo Leitud failist: %%f & echo.
)

Tulemused:

C:\Program Files (x86)\Windows Kits\10\Lib\10.0.10586.0\um\x86>findlib.bat timeGetTime
otsime .lib failidest timeGetTime
                  _timeGetTime@0
Leitud failist: C:\Program Files (x86)\Windows Kits\10\Lib\10.0.10586.0\um\x86\mmos.lib

                  _timeGetTime@0
Leitud failist: C:\Program Files (x86)\Windows Kits\10\Lib\10.0.10586.0\um\x86\OneCore.Lib

                  _timeGetTime@0
Leitud failist: C:\Program Files (x86)\Windows Kits\10\Lib\10.0.10586.0\um\x86\OneCoreUAP.Lib

                  _timeGetTime@0
Leitud failist: C:\Program Files (x86)\Windows Kits\10\Lib\10.0.10586.0\um\x86\OneCoreUAP_downlevel.Lib

                  _timeGetTime@0
Leitud failist: C:\Program Files (x86)\Windows Kits\10\Lib\10.0.10586.0\um\x86\OneCore_downlevel.Lib

                  _timeGetTime@0
Leitud failist: C:\Program Files (x86)\Windows Kits\10\Lib\10.0.10586.0\um\x86\WinMM.Lib

.obj failidest otsimiseks tegin käsufaili:

@echo off
echo otsime .obj failidest %1
for  /r %%f in (*.obj) do (
"C:\Program Files (x86)\Microsoft Visual Studio\2017\Professional\VC\Tools\MSVC\14.13.26128\bin\Hostx86\x86\dumpbin.exe" /SYMBOLS "%%f" | findstr %1
if errorlevel 0 if not errorlevel 1 echo Leitud failist: %%f & echo.
)

Linkimisel on oluline jälgida, et platvorm (x86 või x64) oleks õige.

Samuti on tähtis, et Run-Time Library klapiks kogu rakenduse lõikes.

Selle kohta saab rohkem lugeda siit: https://msdn.microsoft.com/en-us/library/2kzt1wy3.aspx

Tegin väikese MSYS2 bash käsufaili, millega saan teada .lib faili kuupäeva, platvormi ning ka Run-Time Library.

$ cat /usr/bin/libinfo.sh
#! /bin/sh
ls -l $1
"C:\Program Files (x86)\Microsoft Visual Studio\2017\Professional\VC\Tools\MSVC\14.13.26128\bin\Hostx86\x86\dumpbin.exe" -headers $1 | grep machine | head -n 1
grep -aPo '.{0,20}DEFAULTLIB.{0,12}' $1 | head -n 3

Viiteid: https://msdn.microsoft.com/en-us/library/799kze2z.aspx

https://docs.microsoft.com/en-us/cpp/porting/overview-of-potential-upgrade-issues-visual-cpp

Võtame korraks vaatluse alla "Avatud laiendamisele, suletud muutmisele" põhimõtte, millega on tihedalt seotud ka SRP.

Meenus ammune juuni 2008 MSDN-s ilmunud Jeremy Miller kirjutatud artikkel "The Open Closed Principle". Seal on kasutusel muidugi dünaamiline polümorfism. Kuid C++ võimaldab ka staatilist polümorfismi ilma VTABLE-t kasutamata. Eriti meeldib see mikrokontrollerite programmeerijatele, sest see võimaldab tihtipeale mälu kokku hoida ja töötab ka kiiremini.

Alustame lihtsa näitega, kus kasutame tavalist if-else hargnemist. Me ei järgi siin erilisi printsiipe, kasutame lihtsalt niiöelda oma talupojamõistust:

#include <iostream>

enum class OrderType {
    Domestic, International
};

struct Order {
    int order_id;
    int customer_id;
    OrderType orderType;
};

struct SelectAndProcess {
    static void execute(Order &order) {
        if(order.orderType == OrderType::International)
        {
            std::cout << "Processing InternationalOrder id:" << order.order_id << '\n';
        }
        else if (order.orderType == OrderType::Domestic) {
            std::cout << "Processing DomesticOrder id:" << order.order_id << '\n';
        }
    }
};

int main() {
    Order domestic{1, 1, OrderType::Domestic};
    Order international{2, 3, OrderType::International};
    Order domestic2{3, 4, OrderType::Domestic};
    SelectAndProcess::execute(domestic);
    SelectAndProcess::execute(international);
    SelectAndProcess::execute(domestic2);
    return 0;
}

Lihtsuse mõttes on kõik struktuurid ja klassid samas failis. Need saaks küll paigutada erinevatesse failidesse, kuid me ei keskendu praegu sellele.

Seda koodi võib vaadata aadressilt: https://godbolt.org/g/GgNsJA. Assembleris on siin 74 rida.

Ülaltoodud kood on ilmselt esimene viis, kuidas me programmeerijatena oleme alustanud. Suureks plussiks on siin lihtsus. Koodi ei ole ka palju ja see on praegu lihtsasti arusaadav. Programm väljastab:

Processing DomesticOrder id:1
Processing InternationalOrder id:2
Processing DomesticOrder id:3

Kogenud programmeerija näeb siin siiski probleeme:

• struct SelectAndProcess on reaalses elus kindlasti palju keerulisem. Mõistlik oleks, et iga if lause taga olev kood oleks omaette funktsioonis või pigem klassis. Võime ette kujutada (kindlasti oleme ise näinud või ka ise kirjutanud), kui pikaks see execute meetod võib minna.
• Kui soovime näiteks lisada uue Order tüübi Special, siis peaksime lisame veel ühe if lause ning meie execute meetod venib veelgi pikemaks. Kuidas oleks tulevikus sellist koodi hooldada? See ei ole väga tore. Vigu võib kergesti tulla ja see võib olla aeganõudev.
• See kood ei vasta ei SRP ega ka OCP põhimõttele.

Järgmisena vaatame kuidas lahendada sama ülesanne dünaamilise polümorfismi abil, kasutades abstraktset baasklassi. Sisuliselt peame muutma vaid SelectAndProcess avalikku klassi.

#include <iostream>

enum class OrderType {
    Domestic, International
};

struct Order {
    int order_id;
    int customer_id;
    OrderType orderType;
};

struct OrderHandler {
    virtual ~OrderHandler() {}

    virtual void process_order(Order &order)= 0;

    virtual bool can_process(Order &order)= 0;
};

struct DomesticOrderProcessor : OrderHandler {
    void process_order(Order &order) override {
        std::cout << "Processing DomesticOrder id:" << order.order_id << '\n';
    }

    bool can_process(Order &order) override {
        return (order.orderType == OrderType::Domestic);
    }
};

struct InternationalOrderProcessor : OrderHandler {
    void process_order(Order &order) override {
        std::cout << "Processing InternationalOrder id:" << order.order_id << '\n';
    }

    bool can_process(Order &order) override {
        return (order.orderType == OrderType::International);
    }
};


struct SelectAndProcess {
    static void execute(Order &order) {
        DomesticOrderProcessor domesticOrderProcessor;
        InternationalOrderProcessor internationalOrderProcessor;
        OrderHandler *arr[] = {&domesticOrderProcessor, &internationalOrderProcessor};
        int size = sizeof(arr) / sizeof(arr[0]);
        for (int i = 0; i < size; ++i) {
            if (arr[i]->can_process(order)) {
                arr[i]->process_order(order);
                return;
            }
        }
    }
};

int main() {
    Order domestic{1, 1, OrderType::Domestic};
    Order international{2, 3, OrderType::International};
    Order domestic2{3, 4, OrderType::Domestic};
    SelectAndProcess::execute(domestic);
    SelectAndProcess::execute(international);
    SelectAndProcess::execute(domestic2);
    return 0;
}

Käivitame selle ja tulemus on sama:

Processing DomesticOrder id:1
Processing InternationalOrder id:2
Processing DomesticOrder id:3

Assembleris on ridu gcc-ga kõvasti rohkem: https://godbolt.org/g/itBHRg. Siin on näha ka, et genereeriti vastavad vtable read.

Kui vaadata clang abil genereeritud listingut https://godbolt.org/g/jwHW3r, siis on ridu kõvasti vähem ja ka vtable read puuduvad.

Nüüd siis sama asi staatilist polümorfismi kasutades. Ilma template võimalust kasutades näeb kood välja niimoodi:

#include <iostream>

enum class OrderType {
    Domestic, International
};

struct Order {
    int order_id;
    int customer_id;
    OrderType orderType;
};

struct DomesticOrderProcessor {
    bool process(Order &order)
    {
        if (order.orderType == OrderType::Domestic) {
            std::cout << "Processing DomesticOrder id:" << order.order_id << '\n';
            return true;
        }
        return false;
    }
};

struct InternationalOrderProcessor {
    bool process(Order &order) {
        if (order.orderType == OrderType::International) {
            std::cout << "Processing InternationalOrder id:" << order.order_id << '\n';
            return true;
        }
        return false;
    }
};

inline int process_order(InternationalOrderProcessor &orderp, Order &order) {
    return orderp.process(order);
}

inline int process_order(DomesticOrderProcessor &orderp, Order &order) {
    return orderp.process(order);
}

struct SelectAndProcess {
    static int execute(Order &order) {
        DomesticOrderProcessor domestic_order;
        InternationalOrderProcessor international_order;
        if (process_order(domestic_order, order)) return 0;
        process_order(international_order, order);
        return 0;
    }
};

int main() {
    Order domestic{1, 1, OrderType::Domestic};
    Order international{2, 3, OrderType::International};
    Order domestic2{3, 4, OrderType::Domestic};
    SelectAndProcess::execute(domestic);
    SelectAndProcess::execute(international);
    SelectAndProcess::execute(domestic2);
    return 0;
}

Assembleri listingus saime 78 koodirida: https://godbolt.org/g/j8PBxU

Kasutasime siin ära selle, et vastavalt meetodi parameetritele käivitatakse ka vastav funktsioon. Järgmisena võtame appi C++ template, mis võimaldab meil koodi mitte korrata:

template<typename order_processor>
int process_order(order_processor &orderp, Order &order) {
    return orderp.process(order);
}

kogu programm:

#include <iostream>

enum class OrderType {
    Domestic, International
};

struct Order {
    int order_id;
    int customer_id;
    OrderType orderType;
};

struct DomesticOrderProcessor {
    bool process(Order &order)
    {
        if (order.orderType == OrderType::Domestic) {
            std::cout << "Processing DomesticOrder id:" << order.order_id << '\n';
            return true;
        }
        return false;
    }
};

struct InternationalOrderProcessor {
    bool process(Order &order) {
        if (order.orderType == OrderType::International) {
            std::cout << "Processing InternationalOrder id:" << order.order_id << '\n';
            return true;
        }
        return false;
    }
};

template<typename order_processor>
int process_order(order_processor &orderp, Order &order) {
    return orderp.process(order);
}

struct SelectAndProcess {
    static int execute(Order &order) {
        DomesticOrderProcessor domestic_order;
        InternationalOrderProcessor international_order;
        if (process_order(domestic_order, order)) return 0;
        process_order(international_order, order);
        return 0;
    }
};

int main() {
    Order domestic{1, 1, OrderType::Domestic};
    Order international{2, 3, OrderType::International};
    Order domestic2{3, 4, OrderType::Domestic};
    SelectAndProcess::execute(domestic);
    SelectAndProcess::execute(international);
    SelectAndProcess::execute(domestic2);
    return 0;
}

Assembleri listing https://godbolt.org/g/Qf3F9F on tegelikult täpselt sama.

Lõpuks veel sama asi CRTP abil:

#include <iostream>

enum class OrderType {
    Domestic, International
};

struct Order {
    int order_id;
    int customer_id;
    OrderType orderType;
};

template<class Derived>
struct base {
    void process() {
        static_cast<Derived *>(this)->process();
    };
};

struct DomesticOrderProcessor : base<DomesticOrderProcessor> {
    bool process(Order &order) {
        if (order.orderType == OrderType::Domestic) {
            std::cout << "Processing DomesticOrder id:" << order.order_id << '\n';
            return true;
        }
        return false;
    }
};

struct InternationalOrderProcessor : base<InternationalOrderProcessor> {
    bool process(Order &order) {
        if (order.orderType == OrderType::International) {
            std::cout << "Processing InternationalOrder id:" << order.order_id << '\n';
            return true;
        }
        return false;
    }
};

template<typename order_processor>
int process_order(order_processor &orderp, Order &order) {
    return orderp.process(order);
}

struct SelectAndProcess {
    static int execute(Order &order) {
        DomesticOrderProcessor domestic_order;
        InternationalOrderProcessor international_order;
        if (process_order(domestic_order, order)) return 0;
        process_order(international_order, order);
        return 0;
    }
};

int main() {
    Order domestic{1, 1, OrderType::Domestic};
    Order international{2, 3, OrderType::International};
    Order domestic2{3, 4, OrderType::Domestic};
    SelectAndProcess::execute(domestic);
    SelectAndProcess::execute(international);
    SelectAndProcess::execute(domestic2);
    return 0;
}

Genereeritud assembleri listing on ikka sama: https://godbolt.org/g/e4s5iF. Koodi tuli juurde, aga olulist võitu sellest ei tulnud.

Mida öelda kokkuvõtteks?

• On hea teada nii dünaamilise kui staatilise polümorfismi võimalusi. See aitab kirjutada kergemini hallatavad koodi.
• Tasub vaadata ja võrrelda genereeritud assembleri listinguid. Optimeeritud kompilaator võib meid üllatada. Näiteks clang-i genereeritud dünaamilise polümorfismiga variant ei sisaldanudki vtable ridu.

linke:

https://www.safaribooksonline.com/library/view/agile-principles-patterns/0131857258/

https://en.wikipedia.org/wiki/SOLID_(object-oriented_design)

https://en.wikipedia.org/wiki/Open/closed_principle

https://en.wikipedia.org/wiki/Single_responsibility_principle

https://blogs.msdn.microsoft.com/msdnmagazine/2008/07/02/patterns-in-practice-the-open-closed-principle/

http://download.microsoft.com/download/3/a/7/3a7fa450-1f33-41f7-9e6d-3aa95b5a6aea/MSDNMagazine2008_06en-us.chm

https://en.wikipedia.org/wiki/Template_metaprogramming#Static_polymorphism

Real-Time C++ http://www.springer.com/gp/book/9783662478097

Kuidas aga korraldada otsing, kui soovime dokumente hoida vaid sisevõrgus? Keegi ei keela enda otsingumootori püstipanekut. Toon siin lihtsa näite, kuidas seda teha Apache Solr ja Apache Nutch abil. Siintoodud juhend on Linux keskkonnas, kuid see töötab ka näiteks WSL keskkonnas.

Internetis on üsna hea lihtne juhend: https://factorpad.com/tech/solr/tutorial/solr-web-crawl.html. Ainuke häda on see, et veebisaidi sisu allalaadides -recursive võtmega kipub ilmuma veateade "[Fatal Error] :1:1: Content is not allowed in prolog." Selleks, et sellest üle saada, kasutame Apache Nutch-i.

Kuna lihtsasti mõistetavat ja töötavat õpetust oli raske leida, panen siis selle nüüd kirja.

tiit@tiit-Virtual-Machine:~$ cd
tiit@tiit-Virtual-Machine:~$ mkdir solr
tiit@tiit-Virtual-Machine:~$ cd solr
tiit@tiit-Virtual-Machine:~/solr$ wget http://www-us.apache.org/dist/lucene/solr/7.2.0/solr-7.2.0.tgz
tiit@tiit-Virtual-Machine:~/solr$ tar xf solr-7.2.0.tgz
tiit@tiit-Virtual-Machine:~/solr$ cd solr-7.2.0/
tiit@tiit-Virtual-Machine:~/solr/solr-7.2.0$ bin/solr start
tiit@tiit-Virtual-Machine:~/solr/solr-7.2.0$ bin/solr create_core -c infokiir
WARNING: Using _default configset. Data driven schema functionality is enabled by default, which is
         NOT RECOMMENDED for production use.

         To turn it off:
            curl http://localhost:8983/solr/infokiir/config -d '{"set-user-property": {"update.autoCreateFields":"false"}}'

Created new core 'infokiir'
tiit@tiit-Virtual-Machine:~/solr/solr-7.2.0$

Veendume ka, et meil oleks java installeeritud:

tiit@tiit-Virtual-Machine:~/solr/solr-7.2.0$ java -version
openjdk version "1.8.0_151"
OpenJDK Runtime Environment (build 1.8.0_151-8u151-b12-0ubuntu0.16.04.2-b12)
OpenJDK 64-Bit Server VM (build 25.151-b12, mixed mode)

Juhul, kui JAVA_HOME ei ole väärtustatud, siis teen seda käsklusega:

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

Edasi:

tiit@tiit-Virtual-Machine:~/solr/solr-7.2.0$ cd
tiit@tiit-Virtual-Machine:~$ mkdir nutch
tiit@tiit-Virtual-Machine:~$ cd nutch/
tiit@tiit-Virtual-Machine:~/nutch$ wget http://www-eu.apache.org/dist/nutch/1.14/apache-nutch-1.14-bin.tar.gz
--2018-01-08 14:04:20--  http://www-eu.apache.org/dist/nutch/1.14/apache-nutch-1.14-bin.tar.gz
Lahendan www-eu.apache.org (www-eu.apache.org)... 195.154.151.36, 2001:bc8:2142:300::
Loon ühendust serveriga www-eu.apache.org (www-eu.apache.org)|195.154.151.36|:80... ühendus loodud.
HTTP päring saadetud, ootan vastust... 200 OK
Pikkus: 249107211 (238M) [application/x-gzip]
Salvestan: `apache-nutch-1.14-bin.tar.gz'

apache-nutch-1.14-bin.tar.gz                 100%[=============================================================================================>] 237,57M  5,30MB/s    in 48s

2018-01-08 14:05:09 (4,93 MB/s) - `apache-nutch-1.14-bin.tar.gz' salvestatud [249107211/249107211]

tiit@tiit-Virtual-Machine:~/nutch$ tar xf apache-nutch-1.14-bin.tar.gz
tiit@tiit-Virtual-Machine:~/nutch$ cd apache-nutch-1.14/

Proovin, kas crawl käivitub:

tiit@tiit-Virtual-Machine:~/nutch/apache-nutch-1.14$ bin/crawl
Usage: crawl [-i|--index] [-D "key=value"] [-w|--wait] [-s <Seed Dir>] <Crawl Dir> <Num Rounds>
        -i|--index      Indexes crawl results into a configured indexer
        -D              A Java property to pass to Nutch calls
        -w|--wait       NUMBER[SUFFIX] Time to wait before generating a new segment when no URLs
                        are scheduled for fetching. Suffix can be: s for second,
                        m for minute, h for hour and d for day. If no suffix is
                        specified second is used by default.
        -s Seed Dir     Path to seeds file(s)
        Crawl Dir       Directory where the crawl/link/segments dirs are saved
        Num Rounds      The number of rounds to run this crawl for
tiit@tiit-Virtual-Machine:~/nutch/apache-nutch-1.14$

Edasi seadistame mõned parameetrid:

tiit@tiit-Virtual-Machine:~/nutch/apache-nutch-1.14$ nano conf/nutch-site.xml

Kopeerin "configuration" tag-de vahele (sisu laenatud veebisaidilt http://opensourceconnections.com/blog/2014/05/24/crawling-with-nutch/):

<property>
 <name>http.agent.name</name>
 <value>MyBot</value>
 <description>MUST NOT be empty. The advertised version will have Nutch appended.</description>
</property>
<property>
 <name>http.robots.agents</name>
 <value>MyBot,*</value>
 <description>The agent strings we'll look for in robots.txt files,
 comma-separated, in decreasing order of precedence. You should
 put the value of http.agent.name as the first agent name, and keep the
 default * at the end of the list. E.g.: BlurflDev,Blurfl,*. If you don't, your logfile will be full of warnings.
 </description>
</property>
<property>
 <name>fetcher.store.content</name>
 <value>true</value>
 <description>If true, fetcher will store content. Helpful on the getting-started stage, as you can recover failed steps, but may cause performance problems on larger crawls.</description>
</property>

<property>
 <name>fetcher.max.crawl.delay</name>
 <value>-1</value>
 <description>
 If the Crawl-Delay in robots.txt is set to greater than this value (in
 seconds) then the fetcher will skip this page, generating an error report. If set to -1 the fetcher will never skip such pages and will wait the amount of time retrieved from robots.txt Crawl-Delay, however long that might be.
 </description>
</property>

<!-- Applicable plugins-->
 <property>
 <name>plugin.includes</name>
 <value>protocol-http|urlfilter-regex|parse-(html|tika|metatags)|index-(basic|anchor|metadata)|query-(basic|site|url)|response-(json|xml)|summary-basic|scoring-opic|indexer-solr|urlnormalizer-(pass|regex|basic)</value>
<description> At the very least, I needed to add the parse-html, urlfilter-regex, and the indexer-solr.
</description>
 </property>
```![](2018-01-08-14-54-15.png)

```bash
tiit@tiit-Virtual-Machine:~/nutch/apache-nutch-1.14$ nano urls/seed.text

Lisan siia rea:

http://www.infokiir.ee

Kommenteerin välja viimase rea ja lisan:

#+.
+^https?://([a-z0-9-]+\.)*www\.infokiir\.ee/

See on vajalik selleks, et me püsiks www.infokiir.ee veebisaidil ega hakkaks alla laadima väliseid viidatud veebisaite.

Veebisaidi sisu allalaadimine käib kahes etapis. Kõigepealt käivitan:

tiit@tiit-Virtual-Machine:~/nutch/apache-nutch-1.14$ bin/crawl -s urls crawl/ 2

Seejärel:

tiit@tiit-Virtual-Machine:~/nutch/apache-nutch-1.14$ bin/nutch solrindex http://localhost:8983/solr/infokiir crawl/crawldb/ crawl/segments/*
Segment dir is complete: crawl/segments/20180108144502.
Segment dir is complete: crawl/segments/20180108144521.
Indexer: starting at 2018-01-08 14:48:13
Indexer: deleting gone documents: false
Indexer: URL filtering: false
Indexer: URL normalizing: false
Active IndexWriters :
SOLRIndexWriter
        solr.server.url : URL of the SOLR instance
        solr.zookeeper.hosts : URL of the Zookeeper quorum
        solr.commit.size : buffer size when sending to SOLR (default 1000)
        solr.mapping.file : name of the mapping file for fields (default solrindex-mapping.xml)
        solr.auth : use authentication (default false)
        solr.auth.username : username for authentication
        solr.auth.password : password for authentication


Indexing 6/6 documents
Deleting 0 documents
Indexer: number of documents indexed, deleted, or skipped:
Indexer:      6  indexed (add/update)
Indexer: finished at 2018-01-08 14:48:16, elapsed: 00:00:02
tiit@tiit-Virtual-Machine:~/nutch/apache-nutch-1.14$

Nüüd vaatan tulemust:

Otsing:

Linke:

https://et.wikipedia.org/wiki/Markdown

https://lucene.apache.org/solr/

http://nutch.apache.org/

https://en.wikipedia.org/wiki/Windows_Subsystem_for_Linux

https://factorpad.com/tech/solr/tutorial/solr-web-crawl.html

http://opensourceconnections.com/blog/2014/05/24/crawling-with-nutch/

https://lobster1234.github.io/2017/08/14/search-with-nutch-mongodb-solr/