Wat is een AI-crawler eigenlijk?
Een programma dat je pagina's automatisch ophaalt, net zoals de crawler van Google dat al twintig jaar doet. Het verschil zit niet in het ophalen maar in wat er daarna mee gebeurt. Ze dragen ook gewoon een naam die je kan herkennen: GPTBot van OpenAI, ClaudeBot van Anthropic, PerplexityBot, Google-Extended en CCBot, dat materiaal verzamelt waar anderen weer uit putten.
Die bots doen twee verschillende dingen, en voor jou is dat verschil het enige dat telt. De ene haalt je pagina op om iemand nu een vraag te beantwoorden, en kan je daarbij vermelden. De andere verzamelt materiaal voor een volgende versie van een model, en levert je vandaag niets op. Omdat ze aparte namen dragen, kan je de ene toelaten en de andere weigeren.
Zeggen doe je dat in je robots.txt, een tekstbestand in de hoofdmap van je site met per bot een regel. Belangrijk om te weten: dat is een verzoek en geen slot. De grote, herkenbare partijen houden zich eraan omdat ze er belang bij hebben, maar technisch houdt het niemand tegen.
- Verdient aan vertoningen, dus elke bezoeker die wegblijft is rechtstreeks verlies.
- Betaalt per opgevraagde pagina op eigen servers, en dat loopt op bij miljoenen aanvragen.
- Zijn artikel is het product, dus wie het samenvat, verkoopt zijn product na.
- Voor hem is blokkeren een verdediging.
- Verdient aan bestellingen, dus een bezoeker die je naam ergens leest is winst.
- Zit meestal op een gehost platform met een vast tarief, dus crawlen kost je niets extra.
- Je productpagina is geen product, het is een etalage die gezien moet worden.
- Voor jou is blokkeren jezelf uit de etalage halen.
Hoeveel wordt er gecrawld tegenover wat het oplevert?
Veel, en dat is meteen het beste argument van de tegenpartij. Cloudflare telde bij zijn eigen klanten hoeveel pagina's elke partij opvraagt voor er één bezoeker doorklikt, en die verhoudingen lopen enorm uiteen. Zet ze naast elkaar en je begrijpt waarom een uitgever kwaad wordt.
Twee kanttekeningen horen erbij, en zonder die twee is de tabel misleidend. Ten eerste zijn deze cijfers van juli 2025 en dus dertien maanden oud; een nieuwere reeks per bedrijf heeft Cloudflare niet gepubliceerd. Ten tweede telt een verwijzing alleen mee als ze herkenbaar binnenkomt, en dat is precies waar het misloopt: verkeer uit de app van een assistent draagt vaak geen bron, dus het wordt niet als verwijzing geteld. De verhouding oogt daardoor ongunstiger dan ze is. Datzelfde meetprobleem staat uitgelegd in hoeveel bezoekers een webshop echt via AI krijgt.
Wat kost het jou echt?
Voor de meeste webshops: niets. Draai je op een gehost platform met een vast maandtarief, dan verandert er aan je factuur niets of er nu duizend of honderdduizend keer een pagina wordt opgevraagd. De kost die de hele discussie draagt, bestaat in jouw geval gewoon niet, en daarmee valt het argument om te blokkeren weg nog voor je het moet afwegen.
Betaal je wel per gebruikte bandbreedte of per server, dan is de afweging echt, en dan reken je hem zo: neem wat je per maand extra betaalt door dat verkeer, en zet dat naast wat één bestelling je oplevert. Is er één bestelling per maand nodig om die kost te dekken, dan blokkeer je jezelf voor het bedrag van één bestelling weg uit elk antwoord. Meestal is dat het niet waard.
Er is nog een derde geval, en dat is het enige waarin blokkeren voor een webshop echt verdedigbaar is: je hebt teksten, foto's of gegevens waar je geld voor vraagt of die je niet vrij wil geven. Dan blokkeer je niet uit kostenoverweging maar omdat je iets beschermt, en dan gaat het over een deel van je site en niet over het geheel.
Blokkeer je misschien al zonder het te weten?
Dat is waarschijnlijker dan het klinkt. Van de vijfhonderd grootste Nederlandse domeinen houdt 21,7% minstens één AI-crawler buiten. Bij Nederlandse webshops keek iemand er apart naar en vond dat 83% helemaal geen beleid heeft, terwijl een handvol shops wél blokkeerde. Bij enkele daarvan leek dat te komen door een standaardinstelling van een plugin en niet door een beslissing.
Die tweede meting draagt trouwens een kanttekening die de auteur zelf vermeldt: van de honderd onderzochte webshops kwamen er zestig uit zijn eigen klantenbestand. Dat maakt het cijfer niet waardeloos, wel minder algemeen dan het klinkt.
Nakijken doe je in dertig seconden: zet achter je domeinnaam een schuine streep en robots.txt, en zoek in wat je te zien krijgt naar GPTBot, ClaudeBot, PerplexityBot, Google-Extended en CCBot. Staat er bij zo'n naam het woord Disallow met een schuine streep, dan sluit je die partij uit. Wil je daarna weten of je pagina's ook echt bruikbaar zijn voor wie wel binnen mag, dan staat dat in is je productpagina leesbaar voor AI. En laat je dit soort afwegingen liever op je eigen cijfers uitrekenen, dan doet de E-Commerce Agent Workflow dat.
Veelgestelde vragen over AI-crawlers
Word je betaald als je ze binnenlaat?
Nog niet. Cloudflare kondigde op 1 juli 2026 experimenten aan waarbij AI-partijen per gebruik betalen, samen met twee bedrijven. Dat zijn proeven, geen regeling waarop je kan rekenen, en betalen per opgevraagde pagina is er niet mee gestopt. Neem dit dus mee als richting en niet als inkomsten.
Kan je een deel van je site vrijgeven en de rest niet?
Ja, want in je robots.txt zet je per bot welke mappen wel en niet mogen. Je productpagina's en je artikels laat je dan binnen, en een deel waar je geld voor vraagt houd je buiten. Dat is meteen de nuttigste vorm: niet alles of niets, maar de etalage open en het magazijn dicht.
Verlies je iets als je alsnog blokkeert?
Je verdwijnt uit de antwoorden van die partij, en niet meteen maar geleidelijk. Terugdraaien kan altijd, alleen duurt het weken voor je weer opgenomen bent. Dat is de reden om het niet als proef te doen.
- Waar het op neerkomt
- Het blokkeeradvies komt van uitgevers, die per aanvraag betalen en aan vertoningen verdienen.
- Op een gehost platform kost crawlen je niets extra, dus er valt niets te besparen.
- Blokkeren haalt je wel uit de antwoorden, en terugkomen duurt weken.
- Ruim een vijfde van de grootste Nederlandse sites blokkeert, soms door een standaardinstelling.
- Kijk je robots.txt na op GPTBot, ClaudeBot, PerplexityBot, Google-Extended en CCBot.
