Een bot die zich voordoet als Googlebot

Er zijn natuurlijk ook bots die zich voordoen alsof ze de Googlebot zijn. Dat feit alleen al is een sterk signaal van mogelijk ongewenst of misleidend crawlergedrag.

Activiteit detail
Tijd: [Dag crawl]
IP: 45.142.115.xx
Hostname: 97.115.142.45.in-addr.arpa 
User-Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Bezochte URL: https://voorbeeldblog.nl/artikelblablabla/

Opmerking: IP-adressen, hostnames en domeinnamen in deze voorbeelden zijn gedeeltelijk aangepast of geanonimiseerd om veiligheid- en privacyredenen. De structuur en het gedrag zijn wel representatief voor echte logs.

Waarom dit geen Googlebot is?

1. Hostname: Het hostname eindigt op in-addr.arpa. Dit is een generiek reverse DNS-record en geen officieel Google-domein.
   Echte Googlebots hebben hostnames die eindigen op: *.googlebot.com of *.googleusercontent.com
2. User-Agent: Hoewel de User-Agent exact overeenkomt met die van Googlebot, is dit geen betrouwbaar identificatiemiddel. Elke bot kan deze string kopiëren. Zonder een geldige reverse DNS-lookup heeft deze User-Agent geen bewijskracht.
3. IP-adres: Het IP-adres valt niet binnen een bekende Google IP-range. Google crawlt uitsluitend vanuit eigen, duidelijk herkenbare netwerken.
4. Context en herkomst De combinatie van een Europees IP-adres, een generiek hostname en een nagemaakte User-Agent wijst op een bot die zich bewust voordoet als Googlebot.

Wat doet deze bot hier?

Hij probeert bekijkt de informatie op de url. Wat hij ermee gaat aanvangen is onduidelijk maar het feit dat hij zich voordoet als Googlebot maakt het mogelijk ongewenst en vooral misleidend.

Blokkeren?

Ik zou dit persoonlijk blokkeren…