Bingbot herkennen in je serverlogs

Laten we een echte logvermelding van Bing’s webcrawler (Bingbot) ontleden. Dit is precies het soort activiteit dat je in je eigen serverlogs kunt terugvinden wanneer Bing je website indexeert.

Activiteit detail

Tijd: [Nachtelijke crawl]

IP: 52.167.144.xxx

Hostname: msnbot-52-167-144-228.search.msn.com

User-Agent: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/116.0.1938.76 Safari/537.36

Opmerking: IP-adressen, hostnames en domeinnamen in deze voorbeelden zijn gedeeltelijk aangepast of geanonimiseerd om veiligheid- en privacyredenen. De structuur en het gedrag zijn wel representatief voor echte logs.

Hoe herken je dat dit Bingbot is?

1. Hostname: Het hostname-patroon *.search.msn.com is een typische reverse DNS-verwijzing naar Bing’s crawler-infrastructuur. Dit is een belangrijk verificatie-signaal.
2. User-Agent: De User-Agent bevat expliciet bingbot/2.0 en verwijst naar een officiële Bing-URL. Dit is een duidelijke identificatie van Bingbot. Let op: User-Agents kunnen worden nagebootst, dus dit signaal alleen is niet voldoende.
3. IP-adres: Het IP-adres valt binnen een IP-range die door Microsoft wordt gebruikt voor Bing-services. In combinatie met de correcte reverse DNS is dit een sterke bevestiging dat het om een legitieme Bing-crawler gaat. Je kan het IP-adres verifiëren via Bing Webmaster Tools.
4. Gedrag: Bingbot bezoekt een inhoudelijke pagina (een artikel). Dit past binnen normaal crawlgedrag waarbij Bing bestaande content herindexeert of controleert op updates.

Wat doet Bingbot hier?

Hij bekijkt een artikel. Dit is normaal en gewenst gedrag.

Blokkeren?

Nee, tenzij je natuurlijk niet wenst dat Bingbotje website indexeert…