Googlebot herkennen in je serverlogs

Laten we een echte logvermelding van Google’s crawler ontleden. Dit is precies wat je in je eigen serverlogs kunt tegenkomen.

Activiteit detail

Tijd: [Nachtelijke crawl]

IP: 34.141.149.xxx

Hostname: xxx.googleusercontent.com

User-Agent: Mozilla/5.0... Chrome/117.0.0.0 Safari/537.36

Bezochte URL: https://voorbeeldblog.nl/feed/

Opmerking: IP-adressen, hostnames en domeinnamen in deze voorbeelden zijn gedeeltelijk aangepast of geanonimiseerd om veiligheid- en privacyredenen. De structuur en het gedrag zijn wel representatief voor echte logs.

Hoe herken je dat dit Googlebot is?

1. Hostname: Het einde *.bc.googleusercontent.com is een typische reverse DNS-lookup voor Google’s crawlers. Dit is het sterkste bewijs.
2. User-Agent: Hoewel het op een gewone Chrome-browser lijkt, is deze specifieke string (Chrome/117.0.0.0) de huidige vingerafdruk van Googlebot. (Let op: deze versie kan veranderen).
3. IP-adres: Het IP 34.141.149.xxx valt binnen een reeks die aan Google is toegewezen.
4. Gedrag: De bot bezoekt een feed/-URL. Dit is normaal; Google crawlt RSS-feeds om nieuwe content snel te ontdekken.

Wat doet Googlebot hier?

Hij probeert de RSS-feed te lezen om te zien of er nieuwe artikelen zijn gepubliceerd die geïndexeerd moeten worden. Dit is normaal en gewenst gedrag.

Blokkeren?

Nee, tenzij je natuurlijk niet wenst dat Google je website indexeert…