Over vijf dagen verandert Cloudflare de regels voor AI-crawlers. Het bedrijf ziet naar eigen zeggen ongeveer een vijfde van het web.
Eén instelling die iemand ooit heeft aangezet, kan straks bepalen of Googlebot je pagina’s nog ophaalt. Vaak weet niemand binnen een bedrijf meer dat die instelling aanstaat.
Wat verandert er precies op 15 september 2026?
Op 1 juli 2026 kondigde Cloudflare drie losse instellingen aan voor AI-verkeer: Search, Agent en Training. Deze opties zijn beschikbaar voor alle klanten, ook op het gratis pakket.
Die indeling gaat over het gedrag van een bot. Search verzamelt of indexeert content om later vragen te beantwoorden. Agent handelt live namens een gebruiker. Training verzamelt content om een AI-model te trainen of verder te verbeteren.
Vanaf 15 september past Cloudflare ook nieuwe standaardinstellingen toe. Bij nieuwe domeinen worden Training en Agent standaard geblokkeerd op pagina’s met advertenties. Search blijft daar wel toegestaan.
Cloudflare legt deze wijziging zelf uit in de aankondiging over de nieuwe AI-instellingen.
Wie krijgt die nieuwe standaard eigenlijk?
Hier zit een belangrijk detail. De nieuwe standaard voor pagina’s met advertenties geldt voor nieuwe domeinen die vanaf 15 september bij Cloudflare worden toegevoegd.
Heb je al een bestaand domein bij Cloudflare? Dan betekent dit dus niet automatisch dat Training en Agent vanaf 15 september op al je pagina’s met advertenties worden geblokkeerd.
Er verandert wel iets anders dat ook bestaande instellingen kan raken. Cloudflare gaat crawlers met meerdere doelen voortaan beoordelen op al hun gedrag. Dat wordt vooral belangrijk als je Training al blokkeert.
Waarom raakt een blokkade op Training ook Googlebot?
Sommige crawlers hebben meerdere doelen tegelijk. Cloudflare noemt Googlebot, Applebot en BingBot zelf als voorbeelden van crawlers die Search en Training combineren.
Vanaf 15 september kijkt Cloudflare bij zo’n crawler naar alle bijbehorende categorieën. De strengste regel wint.
Blokkeer je Training, dan kan Cloudflare daardoor ook Googlebot, Applebot en BingBot blokkeren. Dat geldt zowel via de nieuwe instellingen als via de oude knop ‘Block AI bots’.
Dat is waarschijnlijk de belangrijkste wijziging voor SEO. Cloudflare waarschuwt hier zelf voor in de documentatie over AI-botbeleid.
Staat bij jou geen blokkade voor Training aan en heb je de oude optie ‘Block AI bots’ niet geactiveerd? Dan zorgt deze wijziging niet ineens voor een blokkade van Googlebot.
Waarom zie je zo’n blokkade niet in je robots.txt?
Cloudflare kan een crawler aan de rand van zijn netwerk blokkeren, nog voordat het verzoek je eigen server bereikt. Je robots.txt vertelt je daarom niet altijd wat er werkelijk gebeurt.
Ook in de logs van je eigen server zie je zo’n geblokkeerd verzoek dan niet terug. Het verzoek heeft je server immers nooit bereikt. Heb je toegang tot logs of analyses van Cloudflare zelf, dan kun je daar wel meer informatie vinden.
Je zoekt in je eigen serverlogs dus vooral naar een afwezigheid.
Precies daarom is een nulmeting vóór 15 september nuttig. De situatie van vóór de wijziging kun je achteraf niet meer reconstrueren als je geen gegevens hebt bewaard.
De cijfers waarop Cloudflare deze stap baseert
Cloudflare kijkt onder andere naar de verhouding tussen crawlen en het terugsturen van bezoekers.
In juni 2025 haalde Google volgens Cloudflare ongeveer 14 pagina’s op voor iedere bezoeker die het terugstuurde. Bij OpenAI lag die verhouding rond 1.700 op 1 en bij Anthropic zelfs rond 73.000 op 1.
In het tweede kwartaal van 2026 waren die verschillen kleiner geworden. Anthropic zat volgens data uit Cloudflare Radar rond 5.143 crawls per referral, OpenAI rond 870, Perplexity rond 153 en Google rond 5.
De richting is dus duidelijk. AI-bedrijven sturen inmiddels meer verkeer terug dan een jaar eerder, maar het verschil met traditionele zoekmachines blijft groot.
Cloudflare meldde daarnaast in juni 2026 dat bots inmiddels 57,5 procent van het HTML-verkeer op zijn netwerk genereren. Dat betekent niet dat 57,5 procent van alle internetgebruik uit bots bestaat. Het cijfer gaat specifiek over HTTP-verzoeken naar HTML-content binnen het netwerk van Cloudflare.
Blokkades die niemand bewust aanzette
Het team achter SeenSure controleerde op 27 augustus 2026 in totaal 624 websites. Ze bekeken robots.txt volgens RFC 9309 en deden daarnaast een test: dezelfde pagina kort na elkaar ophalen als browser en als crawler.
Bij 500 middelgrote bedrijfsdomeinen leverde die test eerst 42 verdachte gevallen op. Twaalf daarvan werden uitgebreider opnieuw getest. Elf bleven daarna overeind.
Bij acht van die elf leek de blokkade specifiek op AI-crawlers gericht. Drie gevallen waren bijvangst van algemene botbescherming.
Je kunt het volledige onderzoek bekijken bij SeenSure: onderzoek naar AI-crawlerblokkades.
De manier waarop SeenSure dat onderscheid maakte is slim. Ze stuurden ook een zelfverzonnen user agent en gewone curl-verzoeken. Kwam een onbekende bot wel door terwijl GPTBot werd geweigerd, dan wees dat op een regel die specifiek bekende AI-crawlers herkende.
Toch betekent ‘specifiek gericht’ niet automatisch dat de eigenaar die regel zelf heeft ingesteld. Bij geen van die acht sites stond een OpenAI-blokkade in robots.txt. Volgens de onderzoekers wijst dat erop dat zo’n blokkade bijvoorbeeld vanuit hosting, een CDN of beveiligingssoftware kan komen.
Wat gaat er in de praktijk mis?
Bij een website van een bureau gaf GPTBot bij ieder verzoek een 429 Too Many Requests terug. ClaudeBot en PerplexityBot kregen kort daarna wel een normale 200 op dezelfde pagina. De headers wezen volgens SeenSure naar de edge van het hostingplatform.
Een andere site gaf AI-crawlers 47 procent minder inhoud dan een browser: ongeveer 231 KB tegenover 440 KB. Het verschil was opnieuw zichtbaar bij meerdere crawlers.
Daarnaast stonden bij twee van veertien later onderzochte bureausites crawlers in robots.txt uitdrukkelijk toegestaan, terwijl de server diezelfde crawler toch weigerde. Het stond dus goed in robots.txt, maar een andere laag blokkeerde de crawler alsnog.
Waarom staat je blokkeerlijst waarschijnlijk verkeerd om?
Het gangbare advies klinkt logisch: blokkeer crawlers die alleen voor training worden gebruikt en laat crawlers voor zoeken en live antwoorden door.
Denk bijvoorbeeld aan GPTBot, ClaudeBot, CCBot en Google-Extended blokkeren, terwijl je OAI-SearchBot, Claude-SearchBot en PerplexityBot toestaat.
Het probleem zit vaak in hoe oud zo’n lijst is.
SeenSure onderzocht later veertien bureausites die een crawler op serverniveau weigerden. Geen enkele gebruikte daar een lijst met user agents die in 2025 of later zijn geïntroduceerd.
Claude-SearchBot, Claude-User en Perplexity-User bestonden nog niet toen veel van deze regels werden gemaakt. Oude lijsten kunnen daardoor bots blokkeren die je inmiddels juist wilt toelaten, terwijl nieuwere bots nergens in de regels staan.
Wat je vandaag in tien minuten controleert
Log in op Cloudflare en open de beveiligingsinstellingen van je domein. Zoek daar naar AI bot policies of de instellingen voor het blokkeren van AI-bots.
Kijk eerst of de oude optie ‘Block AI bots’ actief is en controleer daarna wat er bij Training staat. Bepaal vervolgens bewust wat je met Search, Agent en Training wilt doen.
Voor veel webshops ligt Search toestaan voor de hand. Bij Agent en Training hangt de keuze af van wat je met je content wilt en welke bots je toegang wilt geven.
Leg daarna je nulmeting vast. Maak een screenshot van je Cloudflare-instellingen, bewaar je huidige robots.txt en exporteer of noteer je huidige crawlgegevens.
Controleer na 15 september opnieuw wat er gebeurt. Vergelijk bijvoorbeeld rond 22 september je serverlogs van de week ervoor met de week erna. Kijk daarbij naar individuele bots in plaats van alleen naar het totale aantal crawlerverzoeken.
Veelgestelde vragen
Ik licht graag een aantal veelgestelde vragen toe.
Blokkeert Cloudflare vanaf 15 september automatisch Googlebot?
Nee. Googlebot wordt niet standaard voor iedere Cloudflare-site geblokkeerd. Het risico ontstaat wanneer je Training blokkeert, bijvoorbeeld via de nieuwe instellingen of de oude optie ‘Block AI bots’. Cloudflare noemt Googlebot, Applebot en BingBot als crawlers die meerdere doelen combineren en daardoor onder zo’n strengere regel kunnen vallen.
Raakt deze wijziging mijn webshop?
Dat hangt af van je instellingen. De nieuwe standaard waarbij Training en Agent op advertentiepagina’s worden geblokkeerd, geldt voor nieuwe domeinen die vanaf 15 september bij Cloudflare worden toegevoegd. Voor bestaande domeinen is vooral belangrijk of Training of de oude optie ‘Block AI bots’ is geblokkeerd.
Wat is het verschil tussen Search, Agent en Training?
Search verzamelt of indexeert content om later vragen te beantwoorden. Agent handelt live namens een gebruiker. Training verzamelt content om een AI-model te trainen of verder te verbeteren.
Waarom zie ik zo’n blokkade niet terug in mijn robots.txt?
Omdat robots.txt niet de enige plek is waar bots kunnen worden tegengehouden. Cloudflare, je hostingpartij of beveiligingssoftware kan een verzoek al blokkeren voordat het je eigen server bereikt.
Welke bots zet ik op mijn allow list?
Kijk niet alleen naar oude namen. Houd ook rekening met nieuwere crawlers zoals OAI-SearchBot, Claude-SearchBot, Claude-User, PerplexityBot en Perplexity-User. Controleer daarbij altijd het doel van de crawler. Een lijst uit 2023 of 2024 kan inmiddels verouderd zijn.
Hoe controleer ik of alles goed ging?
Vergelijk je serverlogs na 15 september met de periode ervoor. Kijk per crawler. Verdwijnt een crawler die daarvoor regelmatig langskwam volledig uit je originlogs, dan is dat een reden om je Cloudflare-, hosting- en beveiligingsinstellingen te controleren.
Wil je je Cloudflare-instellingen en robots.txt samen nalopen? Neem gerust contact op via jessecommandeur.nl.
