Otsingumootorite robotid on “elukad” ehk programmeeritud programmid, kes toimetavad oma ettemääratud/programmeeritud algorütmi järgi. Neile on etteantud kindel reeglistik ja käitumismall, mida mingis olukorras uurida, teha ja isegi mida mitte teha. Piltlikult kirjeldades jõuab robot sinu kodulehele ja hakkab seal teatud asju analüüsima/salvestama.
Esimene asi, mida robot teeb on päring robots.txt faili järgi. Kas see fail on olemas ja mis on selle sisu. Näiteks saab selle faili kaudu kodulehe administraator keelata teatud robotid ära ja mitte lubada robotid kuhugi kindlasse kataloogi. Üldjuhul enamus kodulehe arendajad kahjuks sellest failist midagi ei tea ja see fail jääbki tegemata. Aga pole hullu, normaalne robot arvestabki juba sellega ja teeb sellest omad järeldused.
Järgmine asi, mida robot otsib on sitemap ehk sisukaart ehk Eesti keeles juhised robotile. Ja nagu ikka 90% lehtedel see puudub ja robot peab siis ise tee “esikusse” leidma ja asja oma pilguga uurima.
Mis juhtub aga kui robotitele anda selged juhised? See oleks umbes sama kui teie läheksite kaubamajja ja teil on selge kaart, kus mingi pood asub. Teile ilmselt see meeldiks ja tõenäoliselt läheksite hea meelega teinekordki sinna kaubamajja tagasi. Samad järeldused teeb ka robot ja seetõttu ongi mõningad korralikult valmistatud kodulehed Google otsingus nähtavad ja eelisseisuses võrreldes mõne teisega, kelle puhul robot peab raiskama oma aega selle peale, et aru saada mis asub kus.
