Botverkeer op website: crawlers en scrapers

Misschien denk je dat je website nauwelijks bezoekers heeft… Maar in werkelijkheid verwerkt je site dag en nacht duizenden bezoeken — en het merendeel is geen echte mens! Het is botverkeer: van onschuldige gewenste crawlers tot regelrechte scrapers. Of nog erger comments spammers, en zelf brute force attacks.

Het gebeurt allemaal op de achtergrond en je merkt er hopelijk niets van want dit botverkeer zorgt voor continue webrequests waardoor je website traag wordt voor de echte bezoeker, de mens! Webrequests dat zijn server resources en dat kost geld.

In dit artikel leggen we alles uit over botverkeer op websites. Maar alvorens we echte voorbeelden geven, is het belangrijk  even alle gebruikte termen op een rij te zetten.

Enkele termen die je zal tegenkomen:

• IP-adres: het unieke nummer dat de bezoeker of bot identificeert.
• Hostname: de netwerknaam gekoppeld aan het IP, vaak nuttig om een botnet te herkennen.
• User-Agent: de informatie die aangeeft welk apparaat en welke browser wordt gebruikt — soms gespooft door bots om legitiem te lijken.
• wp-login.php: de standaard WordPress-inlogpagina, vaak doelwit van loginbots.
• Redirect parameters: geven aan waar een bot of gebruiker na het inloggen naartoe probeert te gaan.
• Brute-force attacks: bots die herhaaldelijk wachtwoorden proberen om in te loggen.

Met deze basisbegrippen in gedachten, kunnen we nu de wereld van echte voorbeelden induiken en zien welke bots je site dagelijks bezoeken, hoe ze zich gedragen en welke sporen ze achterlaten in je logs.

• Klik hier voor een voorbeeld van de Googlebot in je logs
• Klik hier voor een voorbeeld van de Bingbot in je logs
• Klik hier voor een voorbeeld van een fake Googlebot in je logs
• Klik hier voor meer informatie over comment spamming robots.
• Klik hier hoe je AI data collectors, AI content scrapers herkent in je serverlogs.

Nu dat we de wat voorbeelden van bots bekeken hebben is de vraag moet je iets ondernemen?

Bots blokkeren of niet blokkeren?

Een vaak gehoord voordeel van het kopen van een bestaande domeinnaam is het meegekochte verkeer. Maar wees gewaarschuwd: veel van dat ‘verkeer’ blijkt uit bots te bestaan. De ervaring leert: hoe ouder het domein en hoe uitgebreider de vorige site, hoe groter het aandeel botverkeer.

De vraag is dan: is dat botverkeer schadelijk of maakt het niet uit? Laten we de AWStats van drie sites met elkaar vergelijken:

• Site A (nieuw): 402 bezoekers, 669 hits
• Site B (10 jaar oud): 3.795 bezoekers, 89.610 hits
• Site C (20 jaar oud): 27.272 bezoekers, 956.654 hits

Het onthullende patroon zien we in het gemiddelde aantal hits per bezoeker:

• Site A: ~1,7 hits/bezoek (normaal menselijk surfgedrag)
• Site B: ~24 hits/bezoek (onnatuurlijk hoog)
• Site C: ~35 hits/bezoek (absurd hoog)

Dit is de klassieke vingerafdruk van geautomatiseerd verkeer. Een menselijke bezoeker bekijkt 1 à 3 pagina’s per sessie. Een bot-scraper of crawler daarentegen haalt in één ‘sessie’ vaak tientallen of honderden URL’s, afbeeldingen en scripts op. Hoe ouder en uitgebreider de sitegeschiedenis, hoe meer archiefmateriaal er voor deze bots te ‘harvesten’ valt – vandaar deze explosie in hits.

En dan nu de vraag: is dat botverkeer een probleem? Is het schadelijk?

In beperkte mate, zoals bij Site A, waarschijnlijk niet – tenzij het om kwaadwillende bots gaat, zoals brute force-aanvallen, commentaars-spammers of andere malafide software.

Maar als het aantal bots absurd hoog wordt, zoals bij Site B en C, krijg je wél problemen:

1. Zichtbare vertraging: Je site wordt voor echte bezoekers merkbaar trager. De server is constant druk met het verwerken van botaanvragen, waardoor er minder capaciteit overblijft voor mensen.
2. Ingrijpen van je host: je hostingprovider kan oordelen dat je resource-gebruik (CPU, I/O) te hoog is. Zij reageren hier vaak op door je site kunstmatig te throttlen (af te remmen) om het verbruik onder controle te houden. Het gevolg? Je site wordt tergend traag, ook als er maar weinig echte bezoekers zijn.

Kortom: een beetje botverkeer hoort erbij. Een tsunami aan bots kost je snelheid, gebruikservaring en kan leiden tot sancties van je host.

En het wordt nog kritieker: veel mensen hosten meerdere domeinen onder één (shared) hostingpakket. Het botverkeer van al je oude domeinen telt op. Eén ‘crawler-magneet’ kan al problemen veroorzaken. Heb je er drie of vier, dan kan de cumulatieve belasting je héle hostingaccount doen vertragen of laten beperken, waardoor alje websites – ook de nieuwe en gezonde – daar de gevolgen van ondervinden.

Zijn je websites soms tergend traag? Dan wordt het hoog tijd om eens te checken of jij ook met een absurd hoog aantal bots te maken hebt.

Onze methode – het vergelijken van hits en bezoekers in AWStats – kun je zelf gebruiken om een eerste diagnose te stellen. Die verhouding vertelt je direct of je patroon normaal of verdacht is.

Ik kan je meteen meegeven dat Site C regelmatig werd afgeremd (gethrottled) door de hostingprovider, vanwege overdreven resource-gebruik. Conclusie? Die verhouding van ~35 hits per bezoek is een duidelijke alarmsirene. Kom je in de buurt van dat getal, dan weet je: hier moet ik ingrijpen.

Zit je in de alarmzone? Lees dan zeker verder…

Praktische maatregelen tegen ongewenste bots

Nu je weet welke bots je site bezoeken, is de logische vraag: wat kun je ertegen doen? Gelukkig zijn er meerdere verdedigingslagen mogelijk, van eenvoudig tot geavanceerd. Je hoeft niet alles te doen; kies wat bij jouw kennis en situatie past.

Relatief simpele maatregels (voor beginners)

Deze maatregelen zijn eenvoudig in te stellen en vormen je eerste verdedigingslinie.

• 1. robots.txt
  Met het robots.txt bestand dat zich in de hoofdmap van je site staat kan je AI bot vriendelijk vragen je site niet te scrapen. Zie voorbeeld hieronder

User-agent: GPTBot
Disallow: /

In het voorbeeld wordt de GPTbot vriendelijk gevraagd van niet te “scrapen”.

• 2. Beveiligingsplugins (Voor WordPress)
  Tools zoals Wordfence, Bot Traffic Shield, …

Als je weet waar je mee bezig bent

• 3. Server-Level Blokkades (.htaccess of Firewall)
  Via het .htaccess bestand kan je USER-Agents, IP-adressen en zelfs een range van IP-adressen blokkeren. Let op een foutje in het htaccess bestand kan je site onbereikbaar maken. Hieronder een voorbeeld van een blokkade van 3 bots.

SetEnvIfNoCase User-Agent (GPTBot|Google-Extended|ClaudeBot) bad_bot
Deny from env=bad_bot

• 4. Rate Limiting (Snelheidsbegrenzing)
  Dit is een van de meest effectieve tactieken. Je beperkt het aantal requests dat een enkele IP-adres mag doen per minuut. Zo stop je brute force- en scraper-aanvallen, zonder legitieme bezoekers te blokkeren.

Ge-avanceerde maatregelen

• 5. Een Cloud Firewall Gebruiken (Aanbevolen)
  Diensten zoals Cloudflare (basisversie is gratis) plaatsen een beschermende laag voor je server. Zij filteren het botverkeer eruit voordat het je server bereikt. Je kunt hier gemakkelijk regels instellen op basis van land, user-agent, bedreigingsscore en gedrag.
• 6. Geavanceerde Botdetectie (JavaScript-challenges, CAPTCHA’s)
  Tools kunnen verdacht verkeer een kleine rekenopdracht of CAPTCHA voorleggen. Een menselijke browser voert dit uit, een simpele bot niet. Dit is zeer effectief tegen eenvoudige scrapers en spam-bots.
• 7. Log-Analyse & Proactief Reageren
  De ultieme maatregel: blijf je logs bekijken (zoals we in dit artikel deden). Herken je een nieuw, aanhoudend patroon van een schadelijke bot? Blokkeer zijn IP-range of specifieke user-agent proactief in je firewall.

Veel gestelde vragen:

Wat is een bot?

“Bot” is de afkorting van “robot”. Het is elke vorm van geautomatiseerd programma dat een website bezoekt of benadert. Niet alle bots zijn slecht; zoekmachines zoals Google gebruiken bots (crawlers) om je site te indexeren. Het gaat om de ongewenstebots: scrapers, spam-bots en aanvallers.

Wat is WHOIS en wat heeft het met bots te maken?

WHOIS (uitgesproken als “who is”) is een openbaar protocol en database waar je de registratiegegevens van een domeinnaam kunt opzoeken. Waarom is dit relevant voor bots? Door de WHOIS-historie van een oud domein te checken, kun je patronen zien: veel wisselende eigenaren of snelle doorverkoop kunnen duiden op een domein met een slechte reputatie, dat mogelijk al lang een doelwit is voor schadelijke bots. Het helpt je inschatten wat voor ‘bagage’ je meekoopt.

Wat is het verschil tussen een TLD, ccTLD en gTLD, en beïnvloedt dit bots?

• TLD (Top Level Domain): Het laatste deel van een domeinnaam, zoals .com of .nl.
• gTLD (Generic TLD): Algemene TLD’s zoals .com, .org, .net.
• ccTLD (Country Code TLD): Landcode-extensies zoals .nl, .be, .de.
  Relevantie voor bots: Bots zijn vaak minder gericht op geografie. Een .com-domein krijgt doorgaans meer globale botscans te verwerken, terwijl een lokale .nl-site misschien meer doelgerichte spam-bots uit de regio ontvangt. Ook hebben nieuwe, exotische gTLD’s soms een ander bot-profiel.

Welke User-Agent strings zijn verdacht?

Let op deze rode vlaggen in je logs:

• Generieke scripts: Python-urllib, curl, Java/, Go-http-client. Dit zijn geen browsers, maar programmeerbibliotheken voor automatisering.
• ‘Headless’ browsers: HeadlessChrome of HeadlessFirefox duiden op geautomatiseerd browsen zonder interface.
• Vage compatibiliteit: Mozilla/5.0 (compatible;) zonder duidelijke botnaam (zoals Googlebot) of beleids-URL.
• Bekende data-harvesters: AhrefsBot, SEMrushBot, MJ12bot. Niet altijd kwaadaardig, maar wel beruchte verbruikers van bandbreedte.
• Onvolledig/leeg: -, Mozilla, of onzin-tekens.

Conclusie: Een verdachte User-Agent is een directe aanwijzing om het IP-gedrag te checken. Haalt het duizenden pagina’s op? Blokkeer het dan in je firewall of via een beveiligingsplugin.

Hoe werkt een Brute Force Attack?

Een brute force-aanval is een bot-gestuurde methode waarbij een aanvaller systematisch duizenden combinaties van gebruikersnamen en wachtwoorden probeert om in te loggen op een site (zoals /wp-admin voor WordPress).

Hebben bots een impact op de ranking van een website?

Niet direct, maar zeer zeker indirect, en de impact kan groot zijn. Zoekmachines zoals Google straffen een site niet omdat deze door bots wordt bezocht. De schade loopt via twee wegen:

1. Slechte Gebruikerservaring (Core Web Vitals): Bots, vooral in grote aantallen, kunnen je server vertragen. Dit leidt tot een hogere LCP (Largest Contentful Paint) en een lagere INP (Interaction to Next Paint) – twee cruciale Google-rankingfactoren. Een door bots vertraagde site biedt een slechte ervaring voor echte bezoekers, en dát straft Google wél af.
2. Crawlbudget-Verspilling: Googlebot heeft een beperkt “crawlbudget” – de tijd en resources die het wil besteden aan het indexeren van je site. Als je server overspoeld wordt door nutteloze bots, kan dit de crawl-snelheid voor Google vertragen of ervoor zorgen dat belangrijke nieuwe pagina’s niet tijdig worden ontdekt en geïndexeerd.

Conclusie: Je ranking loopt geen gevaar door de aanwezigheid van bots, maar wel door de performanceschade die ze veroorzaken. Het optimaliseren van je site tegen botverkeer is daarom indirect een belangrijke SEO-taak.