Otsingumootori robot, mis elukas see on?

25. august 2013
1
Minut lugemiseks

Otsingumootorite robotid on “elukad” ehk programmeeritud programmid, kes toimetavad oma ettemääratud/programmeeritud algorütmi järgi. Neile on etteantud kindel reeglistik ja käitumismall, mida mingis olukorras uurida, teha ja isegi mida mitte teha. Piltlikult kirjeldades jõuab robot sinu kodulehele ja hakkab seal teatud asju analüüsima/salvestama.

Esimene asi, mida robot teeb on päring robots.txt faili järgi. Kas see fail on olemas ja mis on selle sisu. Näiteks saab selle faili kaudu kodulehe administraator keelata teatud robotid ära ja mitte lubada robotid kuhugi kindlasse kataloogi. Üldjuhul enamus kodulehe arendajad kahjuks sellest failist midagi ei tea ja see fail jääbki tegemata. Aga pole hullu, normaalne robot arvestabki juba sellega ja teeb sellest omad järeldused.

Järgmine asi, mida robot otsib on sitemap ehk sisukaart ehk Eesti keeles juhised robotile. Ja nagu ikka 90% lehtedel see puudub ja robot peab siis ise tee “esikusse” leidma ja asja oma pilguga uurima.

Mis juhtub aga kui robotitele anda selged juhised? See oleks umbes sama kui teie läheksite kaubamajja ja teil on selge kaart, kus mingi pood asub. Teile ilmselt see meeldiks ja tõenäoliselt läheksite hea meelega teinekordki sinna kaubamajja tagasi. Samad järeldused teeb ka robot ja seetõttu ongi mõningad korralikult valmistatud kodulehed Google otsingus nähtavad ja eelisseisuses võrreldes mõne teisega, kelle puhul robot peab raiskama oma aega selle peale, et aru saada mis asub kus.

 

Autorist lähemalt

Tanel Taluri

Tanel on üle 24 aasta tegutsenud IT valdkonnas. Tema eelnev kogemus IT kasutajatoes, müügitöös, projekti- ja ärijuhtimises aitab näha valdkonna tervikpilti. Tema üheks kireks on just uute internetiturunduse tööriistade testimine. Vabal ajal meeldib talle käsitööõlut pruulida ning kui väga igav on, siis käib ta jooksmas.

KOHTUMINE?

Tule personaalsele konsultatsioonile