Mi is az a keresőrobot?

A keresőrobotok valójában egyszerű programok, amelyek feladata, hogy feltérképezzék az interneten található honlapokat a keresőmotorok számára. A honlapról összegyűjtik az információkat, eltárolják őket az adatbázisban, majd mennek a következő honlapra. Joggal kérdezhetitek, hogy honnan ismeri a robot az összes honlap címét az interneten? Természetesen nem ismeri. Több lehetőség is van arra, hogy ránk találjon a robot:

• Honlap címének manuális regisztrálása: a honlapok tulajdonosainak lehetősége van arra, hogy saját maguk regisztrálják be a honlapjuk címét a keresőkbe, így jelezve a kereső számára, hogy a keresőrobotoknak meg kellene látogatnia azt.
• Linkek feltérképezése: A másik módszer, hogy a már meglátogatott honlapokról összegyűjtik a linkeket és az ismeretleneket előjegyzik egy későbbi látogatásra.

Milyen gyakran történnek a látogatások?

Az honlap címének az ismerete viszont nem jelenti azt, hogy a keresőrobot egyből meg is látogatja azt. Inkább az szokott a jellemző lenni, hogy megvárják, hogy egy bizonyos számú link mutasson a weblapra, és majd csak azt követően térképezik fel az oldalt.

Fontos azt is tudni, hogy az új oldalak látogatása mellett rendszeresen fel kell keresnie a robotoknak a már eltárolt honlapokat is. Ez azért szükséges, hogy nyomon tudják követni a már feltérképezett weblapok változásait.

A honlap tulajdonosaként a mi érdekünk az, hogy az új tartalmakat minél hamarabb megtalálják a keresőrobotok. A látogatások gyakoriságát azonban több tényező is befolyásolja:

• milyen gyakran változott a múltban a honlapunk tartalma
• mennyi és milyen minőségű link mutat a weblapunkra
• a keresőt üzemeltető vállalat szabad erőforrásai
• az általunk megadott kívánt gyakoriság is befolyásolja

Keresőrobotok irányítása

A keresőrobotok irányítása nem csak azért lehet érdekes számunkra, hogy gyorsan feltérképezzék a honlapunkat, de azért is, mert lehetnek olyan tartalmak (pl. egy Pécsi családi nyaralás), amelyeket nem szeretnénk, ha a keresőrobotok megindexelnének, mivel nem akarjuk a találatok között látni őket.

A keresőrobotokat viszonylag egyszerűen irányíthatjuk a robots.txt fájl segítségével. Ez egy egyszerű szöveges állomány, amelyet a honlapunk főkönyvtárába kell feltöltenünk. A keresőrobotok a látogatások alkalmával megnézik ezt az állományt és a benne leírtak szerint végzik a munkájukat.

Nézzünk néhány példát a robots.txt fájl tartalmára:

User-agent: *
Allow: /

A fenti két sor segítségével minden keresőrobot számára megengedjük, hogy minden tartalmat megindexeljenek. A "User-agent:" segítségével tudjuk meghatározni, hogy melyik keresőmotor keresőrobotját szeretnénk irányítani. Lássunk egy másik példát, ahol bizonyos tartalmakat elrejtünk a keresőrobotok elől:

User-agent: *
Disallow: /mappa1/
Disallow: /valami.html

Ezzel megtiltjuk a robotok számára, hogy megindexeljék a mappa1 tartalmát, illetve a valami.html oldalt.

User-agent: *
Disallow: /

Ezzel kitiltjuk az összes oldalról a keresőrobotokat. Erre viszonylag ritkán van szükségünk, például abban az esetben, ha ugyanaz a tartalmunk több különböző címen is megtalálható, mivel a keresők nem szeretik a duplikált tartalmakat.

Ha csak egy konkrét kereső robotját szeretnénk irányítani (pl. csak egy kereső elől szeretnénk elrejteni bizonyos tartalmakat), akkor a "User-agent" után a keresőrobot nevét kell beírnunk. Szerencsére ezeket nem kell fejből tudnunk, az interneten található egy lista a keresőrobotokról.

A robots.txt állomány használata azonban felvet néhány biztonsági kockázatot is. Mivel egy egyszerű szöveges állományról van szó, az bárki számára olvasható. A tartalmából a látogatók következtethetnek az oldalunk könyvtárszerkezetére, láthatják, hogy hová nem engedjük be a keresőrobotokat. Éppen ezért az ebben a fájlban megtalálható könyvtárakat mindenképpen lássuk el megfelelő védelemmel, hogy a tartalmukat ne lehessen kilistázni. Példaképpen megtekinthető az [origo] portál robots.txt állománya is.