Technische SEO voor AI: 4 punten die je onzichtbaar houden in ChatGPT

In Cloudflare zit één instelling met een opvallend grote invloed. Die heet managed robots.txt en staat onder je beveiligingsinstellingen. Zet je deze aan, dan voegt Cloudflare acht Disallow-regels toe aan je robots.txt: GPTBot, ClaudeBot, CCBot, Google-Extended, Bytespider, Amazonbot, Applebot-Extended en meta-externalagent.

Die regels komen bovendien vóór je eigen robots.txt te staan. Cloudflare plaatst de eigen blokkade ervoor en levert alles daarna als één bestand uit. In je eigen websitecode zie je dus niets. Toch kan op je domein een blokkade staan die je zelf nooit hebt toegevoegd.

En er is meer. Domeinen op het gratis plan zonder eigen robots.txt krijgen de Content Signals Policy van Cloudflare te zien zodra een crawler het robots.txt-bestand opvraagt. Ook hier geldt: jij hebt geen bestand gemaakt, maar een crawler krijgt wel regels te zien.

Daar zit de kern van dit artikel. Technische SEO voor AI-zichtbaarheid gaat op dit moment vooral over het verschil tussen wat jij denkt te hebben ingesteld en wat een crawler zoals die van ChatGPT werkelijk binnenkrijgt.

Mike Schonewille scande in juli de robots.txt van de vijfhonderd populairste Nederlandse sites en vond dat een vijfde minstens één AI-crawler weert. Opvallend detail in zijn onderzoek: van de vijfhonderd domeinen vielen er 107 af. Onder meer omdat botbescherming, zoals Cloudflare, zijn scanner tegenhield. Dat laat precies zien waar het probleem zit. Wat jij in je website of CMS instelt, is niet altijd hetzelfde als wat een crawler uiteindelijk te zien krijgt.

1. Je CDN beslist mee over je robots.txt

Cloudflare is een CDN en beveiligingslaag die tussen je website en de bezoeker staat. Daardoor kan Cloudflare bepalen wat een bezoeker of crawler uiteindelijk ontvangt. Wat Cloudflare in het gegenereerde robots.txt-blok zet, is daarom interessant. Naast de acht blokkades staat er één regel die veel verder gaat:

User-Agent: *
Content-signal: search=yes, ai-train=no, use=reference
Allow: /

Content Signals is een machineleesbare manier om aan te geven wat een crawler met je content mag doen. Er zijn drie belangrijke categorieën.

search gaat over het bouwen van een zoekindex en het tonen van links met korte fragmenten. AI-samenvattingen vallen daar volgens de definitie niet onder.

ai-input gaat over het direct invoeren van content in een AI-model. Denk aan een AI-systeem dat informatie van je pagina gebruikt om op dat moment een antwoord te maken.

ai-train gaat over het trainen of verder ontwikkelen van AI-modellen met jouw content.

Dat verschil is belangrijk. Je kunt dus aangeven dat je gevonden wilt worden in zoek- en AI-systemen, zonder automatisch toestemming te geven om je teksten voor training te gebruiken.

Let ook op de juridische uitleg die Cloudflare meestuurt. Beperkingen die je via een content signal aangeeft, gelden volgens Cloudflare als een uitdrukkelijk voorbehoud van rechten onder artikel 4 van de Europese richtlijn 2019/790 over auteursrecht in de digitale eengemaakte markt. Voor websites met veel eigen artikelen, onderzoeken, productinformatie of andere unieke content kan dat belangrijk zijn.

Cloudflare test daarnaast het veld use, met drie waarden. use=immediate betekent dat de content direct mag worden gebruikt, maar niet mag worden opgeslagen of later opnieuw gebruikt. use=reference staat indexeren, korte fragmenten en een link terug toe. use=full staat ook samenvatten en reproduceren toe. In het beheerde robots.txt-blok gebruikt Cloudflare use=reference.

Twee praktische punten. Controleer je robots.txt altijd door het bestand op je eigen domein te openen. Ga bijvoorbeeld naar jouwdomein.nl/robots.txt. Kijk dus niet alleen naar het bestand in de code van je website. Houd er daarnaast rekening mee dat Google Search Console bij deze nieuwere regels soms meldt dat de syntaxis niet wordt begrepen. Cloudflare geeft aan dat het daarbij geen negatieve invloed op crawling of SEO heeft gezien.

2. Niet elke AI-crawler doet hetzelfde

Een klassieke fout die Mike in zijn scan tegenkwam, is een gekopieerd robots.txt-blok dat bepaalde AI-bots volledig blokkeert. Daarmee kun je ook toegang beperken die je juist wel wilt toestaan. Cloudflare maakt dat onderscheid inmiddels duidelijker.

De classificatie kijkt niet meer alleen naar het label AI-bot, maar ook naar het gedrag van zo’n bot. Cloudflare onderscheidt onder meer Search, Agent en Training.

Search gaat over bots die content verzamelen of indexeren om die later te gebruiken bij zoekvragen.

Een Agent handelt in realtime namens een gebruiker. Stel dat iemand een AI-assistent vraagt om producten te vergelijken. Die agent kan websites bezoeken om actuele informatie op te halen.

Training gaat over het gebruiken van content voor het trainen van AI-modellen.

Een bot kan daarbij meerdere soorten gedrag hebben. Daardoor kun je een veel nuttigere keuze maken. Mag een AI-systeem mijn content vinden en gebruiken om naar mijn website te verwijzen? En mag datzelfde bedrijf mijn content ook gebruiken om een model te trainen? Dat zijn twee verschillende vragen.

AI Crawl Control is het bijbehorende rapport van Cloudflare. Je kunt daar zien welke AI-crawlers je website bezoeken en hoeveel verzoeken worden toegestaan of geblokkeerd. Je ziet daardoor niet alleen wat je hebt ingesteld. Je krijgt ook meer inzicht in wat er daadwerkelijk op je website gebeurt.

Op het gratis plan is de herkenning beperkter en speelt de informatie waarmee een bot zichzelf bekendmaakt een belangrijke rol. Op betaalde plannen kan Cloudflare uitgebreidere botdetectie inzetten.

Blokkeer je een crawler, dan kan Cloudflare het verzoek technisch tegenhouden. Op betaalde plannen kun je voor geblokkeerde crawlers bovendien kiezen tussen een normale 403 Forbidden en een aangepaste 402 Payment Required-reactie. Bij die laatste optie kun je bijvoorbeeld aangeven dat een crawler contact moet opnemen over een licentie.

Pay Per Crawl gaat nog een stap verder. Daarmee kun je een prijs vragen voor toegang tot je content. Deze functie zit op dit moment nog in een gesloten bèta.

3. Een derde van de gemeten AI-crawls landde op een 404

Dit cijfer kan je prioriteitenlijst wellicht veranderen.

Vercel en MERJ analyseerden het crawlgedrag op hun eigen netwerk. In die meting ging 34,82 procent van de verzoeken van ChatGPT naar 404-pagina’s. Bij Claude was dat 34,16 procent. ChatGPT besteedde daarnaast 14,36 procent van de verzoeken aan redirects. Dat zijn URL’s die een bezoeker automatisch doorsturen naar een andere URL.

Googlebot zat in dezelfde meting op 8,22 procent 404-pagina’s en 1,49 procent redirects. Dat betekent niet automatisch dat een derde van je volledige AI-crawlbudget verloren gaat. De cijfers komen uit één specifieke dataset. Ze laten wel zien dat AI-crawlers in die meting opvallend vaak oude of niet-bestaande URL’s opvroegen.

Dat kan bijvoorbeeld gebeuren doordat een oude URL nog ergens wordt genoemd. Of doordat een verwijderde pagina nog in je sitemap staat. Ook lange redirect chains kunnen voor onnodige verzoeken zorgen. Een oude URL stuurt dan eerst door naar een tweede URL, die vervolgens weer doorstuurt naar een derde.

Redirects opruimen en je sitemap actueel houden was altijd al belangrijk voor technische SEO. Voor AI-crawlers kan het extra belangrijk zijn.

Uit dezelfde meting kwam nog een opvallende bevinding. De gemeten grote AI-crawlers voerden JavaScript niet uit zoals een normale browser dat doet. Dat gold onder meer voor OAI-SearchBot, ChatGPT-User, GPTBot, ClaudeBot, Meta-ExternalAgent, Bytespider, PerplexityBot en CCBot. Dat is belangrijk omdat sommige websites informatie pas laden nadat JavaScript is uitgevoerd. Een menselijke bezoeker ziet die informatie dan gewoon op het scherm, terwijl een crawler deze mogelijk niet binnenkrijgt.

Bij Gemini is dit niet het geval, omdat Google voor delen van zijn AI-systemen gebruikmaakt van de bestaande Google-infrastructuur. Ook Applebot kan pagina’s renderen. Opvallend was dat ChatGPT in de meting wel JavaScript-bestanden opvroeg, maar ze niet uitvoerde.

Hier hoort een belangrijke kanttekening bij. De Vercel/MERJ-meting dateert van 17 december 2024. Sindsdien kunnen crawlers zijn veranderd. Een vergelijkbare grote test is niet opnieuw gepubliceerd. Het praktische advies blijft daarom vooral hetzelfde: zorg dat belangrijke informatie niet alleen zichtbaar wordt nadat JavaScript is uitgevoerd.

Aleyda Solis werkte haar AI search checklist op 26 september 2026 bij. Ook daarin blijft het belangrijk dat kritieke content en links goed toegankelijk en uit te lezen zijn.

Een derde punt uit de Vercel-meting verdient in Nederland meer aandacht: de gemeten AI-crawlers kwamen vanuit Amerikaanse datacenters. Dat kan verschil maken. Sommige websites tonen bezoekers uit de Verenigde Staten bijvoorbeeld automatisch een andere taal of versie van de website. Andere websites blokkeren verkeer uit bepaalde landen of datacenters.

Een AI-crawler kan daardoor iets anders ontvangen dan wat jij zelf in Nederland ziet. Test je belangrijkste pagina’s daarom ook eens vanuit een Amerikaans IP-adres.

4. llms.txt of Markdown for Agents: wat is het verschil?

En dan llms.txt, want die vraag komt bijna altijd voorbij. Een llms.txt-bestand is bedoeld om AI-systemen makkelijker te laten begrijpen welke informatie op je website belangrijk is. Het idee klinkt logisch, maar er is nog weinig bewijs dat zo’n bestand je daadwerkelijk vaker zichtbaar maakt in AI-antwoorden.

Markdown for Agents van Cloudflare pakt hetzelfde probleem op een andere manier aan. Vraagt een AI-systeem je pagina op met de header Accept: text/markdown, dan kan Cloudflare je normale HTML-pagina direct omzetten naar markdown.

Markdown is een veel simpelere vorm van tekst dan de volledige code van een webpagina. Een AI-systeem krijgt daardoor vooral de inhoud binnen, zonder een groot deel van de technische ruis eromheen.

De functie is beschikbaar voor ondersteunde Cloudflare-plannen en werkt via “content negotiation”. Dat betekent simpel gezegd dat de server een andere versie van dezelfde pagina kan teruggeven, afhankelijk van wat de bezoeker of crawler vraagt. Je hoeft daardoor niet voor iedere pagina zelf een aparte markdownversie bij te houden.

Wat er tijdens die omzetting gebeurt, is als volgt: navigatie, headers, footers, scripts en styles worden uit de content gehaald. Ondersteunde metadata, zoals de titel, description en afbeelding, kan als YAML-frontmatter bovenaan komen te staan. Ook JSON-LD blijft bewaard in een apart codeblok onderaan. JSON-LD is de structured data waarmee je zoekmachines en andere systemen extra informatie over een pagina geeft. Denk aan de prijs en voorraad van een product of informatie over een organisatie.

Dat heeft twee interessante gevolgen. JSON-LD is de enige scriptcontent die Cloudflare bij deze conversie bewaart. Je structured data blijft dus beschikbaar in de markdownversie. Ook je titel en meta description kunnen terugkomen in de informatie die een agent ontvangt.

Cloudflare stuurt daarnaast twee headers mee met het geschatte aantal tokens vóór en na de conversie. Tokens zijn kleine stukjes tekst die een AI-model verwerkt. In het voorbeeld uit de documentatie gaat een pagina van 12.345 tokens naar 725 tokens. Een AI-systeem hoeft daardoor veel minder overbodige informatie te verwerken.

Zet dit eens naast de llms.txt: zo’n bestand moet je zelf goed onderhouden en Google Search raadt het niet aan als onderdeel van SEO. John Mueller kreeg in januari 2026 de vraag of llms.txt-bestanden op Googles eigen ontwikkelaarsdocumentatie betekenden dat Google het formaat aanbeveelde. Zijn antwoord was nee. Het Search-team verwijderde het bestand ook uit zijn eigen documentatie nadat het via het CMS was toegevoegd.

Kortom: maak een llms.txt als je daar een duidelijke reden voor hebt, maar verkoop het niet als dé strategie voor AI-zichtbaarheid. Uit de Nederlandse scan van juli bleek dat 6,6 procent van de populairste Nederlandse sites er een had. Dat laat vooral zien dat het bestand nog lang geen algemene standaard is.

Waarom toegankelijkheid harder meetelt dan je denkt

Nog één technische laag. Die staat bij veel organisaties waarschijnlijk al ergens op een lijstje: toegankelijkheid. Goede HTML helpt niet alleen bezoekers die bijvoorbeeld een schermlezer gebruiken. Het maakt je pagina ook makkelijker te begrijpen voor systemen die de structuur van je website moeten uitlezen.

Denk aan een filter zonder duidelijk label, een zoekveld zonder naam of een knop met alleen een icoon. Voor een menselijke bezoeker met ondersteunende software kan dat een probleem zijn. Voor een AI-agent die je website probeert te begrijpen of namens een gebruiker iets probeert te doen, kan onduidelijke HTML ook problemen opleveren.

Semantische HTML speelt daarbij een belangrijke rol. Daarmee geef je in de code aan wat een onderdeel van de pagina betekent. Een echte <h2> vertelt bijvoorbeeld dat een tekst een tussenkop is. Een normale div die er door de vormgeving alleen uitziet als een tussenkop, geeft die betekenis niet automatisch mee.

Voor een bezoeker ziet het er misschien precies hetzelfde uit. Voor een systeem dat de code probeert te begrijpen, is er wel degelijk verschil. Dat maakt je toegankelijkheidsrapport ook interessant voor AI-zichtbaarheid en agents. Begin vooral bij belangrijke onderdelen van je website, zoals de navigatie, formulieren, filters en je conversiepad.

Waar je nu al mee begint

Vraag eerst je eigen robots.txt op en lees wat er werkelijk staat. Dat doe je simpelweg via jouwdomein.nl/robots.txt. Kijk niet alleen naar wat er in je CMS of websitecode staat.

Open daarna AI Crawl Control in Cloudflare. Bekijk welke crawlers langskomen en hoeveel verzoeken worden toegestaan of geblokkeerd. Zo krijg je een beter beeld van wat er werkelijk op je website gebeurt.

Maak vervolgens bewust een keuze tussen zoeken, gebruik door agents en training. Je hoeft niet automatisch alle AI-crawlers hetzelfde te behandelen. Kijk daarna in je serverlogs naar bekende AI-crawlers en controleer welke 404-pagina’s en redirects ze tegenkomen. De Vercel/MERJ-data laat zien dat hier opvallend veel verzoeken naartoe kunnen gaan (goed om dus te checken of dit nog steeds het geval is en of dit ook geldt voor jouw case).

Controleer vervolgens of je belangrijkste informatie ook zonder JavaScript beschikbaar is. Zet JavaScript eens uit en bekijk je productpagina of dienstenpagina opnieuw. Verdwijnen prijzen, productinformatie, teksten of belangrijke links? Controleer dan of crawlers deze informatie wel kunnen ontvangen.

Gebruik je een Cloudflare-plan waarop Markdown for Agents beschikbaar is? Zet de functie dan aan en test zelf welke versie van je pagina een AI-systeem kan ontvangen. Los tot slot ontbrekende labels en onduidelijke HTML-elementen in je belangrijkste conversiepaden op.

Veel van deze stappen vragen geen nieuw marketingbudget. Ze vragen vooral dat je controleert wat AI-systemen werkelijk van je website ontvangen, in plaats van alleen te kijken naar wat je denkt te hebben ingesteld.

Veelgestelde vragen

Ik licht graag een aantal vragen toe die ik vaak krijg:

Blokkeert Cloudflare AI-crawlers standaard op mijn site?

De managed robots.txt-instelling kan AI-crawlers via robots.txt vragen bepaalde content niet te crawlen. Daarnaast heeft Cloudflare aparte technische instellingen waarmee AI-verkeer daadwerkelijk kan worden geblokkeerd. Controleer daarom zowel je robots.txt als je Cloudflare-instellingen.

Moet ik training blokkeren en search toelaten?

Dat hangt af van je doel. Wil je dat je content gevonden en geciteerd kan worden, maar wil je niet dat dezelfde content voor modeltraining wordt gebruikt? Dan kun je daar verschillende voorkeuren voor instellen. Je hoeft dus niet te kiezen tussen alles toestaan of alles blokkeren.

Heeft llms.txt zin?

Voor Google Search levert llms.txt op dit moment geen SEO-voordeel op dat Google zelf ondersteunt. Voor andere AI-systemen is de praktische impact nog onvoldoende bewezen. Zorg daarom eerst dat je website technisch toegankelijk is en dat je belangrijkste content goed uit te lezen is.

Is server-side rendering echt nodig?

Niet altijd. Het belangrijkste is dat belangrijke informatie voor de crawler beschikbaar is. Staat belangrijke content alleen op de pagina nadat JavaScript is uitgevoerd? Dan kunnen crawlers die JavaScript niet renderen die informatie missen. Server-side rendering of vooraf gerenderde HTML kan daarvoor een oplossing zijn, maar is niet in iedere situatie een must.

Meer weten? Kijk dan rustig rond op jessecommandeur.nl. Vragen? Neem dan contact met me op. Dan help ik je graag verder.

Gebruikte bronnen

• Cloudflare, robots.txt setting en managed robots.txt
• Cloudflare, classificatie van AI bots op gedrag
• Cloudflare, AI Crawl Control
• Cloudflare, Directives en robots.txt schendingen
• Cloudflare, Markdown for Agents
• Content Signals, contentsignals.org
• Vercel en MERJ, The rise of the AI crawler
• Aleyda Solis, The AI Search Optimization Checklist
• Search Engine Roundtable, Google Search Team Does Not Endorse LLMs.txt Files
• Frankwatching, 1 op de 5 Nederlandse websites blokkeert AI zoekmachines zonder het te weten