A yoast.com úgy gondol a Googlebotra, mint egy aranyos, okos, Wall-E-ra hasonlító robotra, amelyiknek az a küldetése, hogy felkutassa és indexelje a világ összes tudását, legyen az a világ bármely pontján, akár még a felfedezetlen területeken is. Ezzel szemben kicsit lehangoló emlékeztetnünk magunkat, hogy a Googlebot csupán egy számítógépes program, amit a Google hozott létre, hogy feltérképezze a webet, és oldalakat adjon az indexéhez.

Googlebot? Kereső robot? Pók? Vagy micsoda?
A fent felsorolt kifejezések mindegyike ugyanazt jelenti, vagyis ez egy robot, amely feltérképezi a webet. A Googlebot a hivatkozásokon keresztül térképezi fel az internetet. Megtalálja és elolvassa az új és frissített tartalmakat, és eldönti, hogy melyeket kell hozzáadnia az indexhez.
Az index természetesen a Google agya. Ez az a hely, ahol minden adat el van raktározva. A Google számos számítógépet használ arra, hogy a robotjait elküldje a web minden zegzugába, hogy megtalálja ezeket az oldalak, és lássa, hogy mi van rajtuk. A Googlebot a Google kereső robotja, és minden keresőmotornak megvan a sajátja.
Hogyan működik a Googlebot?
A Googlebot oldaltérképeket és már előzőleg felfedezett linkek adatbázisát használja fel ahhoz, hogy meghatározza, hogy hová menjen legközelebb. Bármikor új linket talál a robot egy oldalon, hozzáadja azt azon oldalak listájához, amelyeket legközelebb is meg kell látogatni. Ha a Googlebot változásokat talál a hivatkozásokban vagy rossz linkeket, megjegyzést hagy arra nézve, hogy az indexet nem kell frissíteni.
A program meghatározza azt is, hogy milyen gyakran kell feltérképezni az oldalakat. Annak érdekében, hogy a Googlebot helyesen indexelje az oldalunkat, ellenőriznünk kell a feltérképezhetőségét. Ha ez rendben van, akkor a kereső robotok gyakran vissza fognak térni.
Különböző robotok
Több különböző robot is van. Például az AdSence és az AdsBot a minőséget ellenőrzi, míg a Mobile Adds Android az android alkalmazásokat ellenőrzi. A számunkra azonban most sokkal fontosabb maga a Googlebot.
Hogyan látogatja meg a Googlebot a weboldalunkat?
Annak kiderítése érdekében, hogy a Googlebot milyen gyakran látogatja meg az oldalunkat, és hogy mit csinál ott, beleáshatjuk magunkat a logfájljainkba, vagy megnyithatjuk a Google Keresőkonzoljának Crawl szekcióját.
A Google nem osztja meg azokat az IP-címeket, amelyeket a különféle Googlebotok használnak, hiszen ezek a címek igen gyakran változnak. Ahhoz, hogy kiderítsük, hogy valódi Googlebot látogatta-e meg az oldalunkat, elvégezhetünk egy fordított IP-keresést. A spammelők ugyanis könnyen hamisítják meg a felhasználónevüket, de nem úgy az IP-címüket.
Google Keresőkonzol
A keresőkonzol az egyik legfontosabb eszköz, amellyel ellenőrizni tudjuk az oldalunk feltérképezhetőségét. Ugyanakkor azt is ellenőrizni tudjuk vele, hogy a Googlebot miképpen látja az oldalunkat. Ezen felül kaphatunk egy listát is a feltérképezési hibákról, amelyeket javítanunk kell. A keresőkonzolban továbbá kérhetünk újratérképezést is a Googlebottól.
Optimalizáljunk a Googlebot számára!
Annak elérése, hogy a Googlebot gyorsabban térképezze fel az oldalunkat jobbára egy technikai folyamat, amely arról szól, hogy elhárítjuk azokat a technikai akadályokat, amelyek megakadályozzák a kereső robot bejutását a weboldalunkra.
Ez többnyire technikai folyamat, de érdemes közelebbről is megismerkednünk vele. Ugyanis, ha a Google nem tudja rendesen feltérképezni az oldalunkat, akkor az sosem fog megfelelő rangsorolást szerezni. A yoast.com tehát azt ajánlja, hogy minél előbb keressük meg azokat a hibákat, és javítsuk ki őket.
Összegzés
A Googlebot egy kicsi robot, amely látogatja az oldalunkat. Ha megfelelő technikai döntéseket hozunk az oldalunkat illetően, akkor ez a kis robot gyakran tér majd vissza. Ha rendszeresen adunk hozzá friss tartalmat az oldalunkhoz, akkor még többször fel fogja térképezni az oldalunkat.