Robots.txt en noindex doen allebei iets anders. Met robots.txt bepaal je welke delen van je site een crawler mag bezoeken. Met noindex bepaal je of een pagina in de zoekresultaten mag staan. Wil je een pagina uit Google houden, dan kies je noindex. Wil je crawlers weghouden bij onbelangrijke URL’s, dan kies je robots.txt.
Toch gaat het hier vaak mis. Ik zie regelmatig sites die een pagina blokkeren in robots.txt en dan verbaasd zijn dat hij toch in Google staat. In 2026 komt daar nog een laag bij, want naast Google lezen ook AI crawlers je robots.txt. In dit blog zet ik de keuze voor je op een rij.
Wat is het verschil tussen crawlen en indexeren?
Om de juiste keuze te maken, moet je eerst twee stappen uit elkaar houden.
Crawlen is bezoeken
Bij crawlen bezoekt een bot zoals Googlebot je pagina en leest de inhoud. Robots.txt is een tekstbestand in de hoofdmap van je site. Daarin staat welke bots welke mappen niet mogen bezoeken. Google ondersteunt in dat bestand maar vier soorten regels: user agent, allow, disallow en sitemap.
Indexeren is opslaan
Bij indexeren slaat Google de pagina op, zodat hij in de zoekresultaten kan verschijnen. Een noindex is een meta tag in de pagina, of een X Robots Tag in de header van de server. Die zegt tegen Google: deze pagina hoort niet in de zoekresultaten.
Waarom haalt robots.txt een pagina niet uit Google?
Dit is de fout die ik het vaakst tegenkom, dus die krijgt een eigen plek.
Google ziet de noindex niet
Blokkeer je een pagina in robots.txt, dan bezoekt Google hem niet meer. Daardoor ziet Google ook een noindex op die pagina niet. Linken andere sites wel naar die URL, dan kan Google hem alsnog tonen. Je ziet dan vaak alleen de URL, met een kale of lege beschrijving. Google zegt het zelf ook duidelijk in de uitleg over robots.txt: het bestand is geen manier om een pagina uit Google te houden.
Herken de melding in Search Console
Je herkent dit probleem aan de melding geïndexeerd, ondanks blokkering door robots.txt. De oplossing is bijna altijd hetzelfde. Haal de blokkade uit robots.txt, zet een noindex op de pagina en laat Google de pagina opnieuw crawlen. Is de pagina uit de index, dan blokkeer je hem daarna eventueel weer.
Wanneer kies je voor noindex?
Noindex is de juiste keuze voor pagina’s die wel mogen bestaan, maar niet in Google horen.
Pagina’s voor bezoekers, niet voor zoekers
Denk aan een bedankpagina na een aanvraag, een interne zoekresultatenpagina of een inlogpagina. Ook dunne archiefpagina’s, zoals tags in WordPress, krijgen vaak een noindex. Dat doe je in WordPress eenvoudig met een plugin zoals Yoast.
Let op na een livegang
Een noindex die blijft staan na een nieuwe website is een klassieker. Tijdens de bouw staat de hele site op noindex, en na de lancering vergeet iemand die uit te zetten. Bij de meer dan 15 migraties die ik heb begeleid, staat dit daarom altijd bovenaan mijn checklist voor de eerste dag.
Wanneer kies je voor robots.txt?
Robots.txt is vooral handig om crawlers efficiënt door je site te sturen.
Onbelangrijke URL’s uitsluiten
Grote webshops hebben vaak duizenden URL’s door filters en sorteeropties. Die wil je niet allemaal laten crawlen. Met een disallow regel stuur je Google naar de pagina’s die er wel toe doen. Dat helpt vooral bij grote sites met veel URL’s. Gebruik je daarnaast canonicals, lees dan ook wat een canonical tag is en wanneer je hem gebruikt.
Blokkeer nooit je CSS en JavaScript
Blokkeer geen bestanden die nodig zijn om je pagina te tonen. Google wil je pagina zien zoals een bezoeker hem ziet. Mist Google je CSS of scripts, dan beoordeelt hij een kale versie van je site.
Wat betekent dit in 2026 voor AI crawlers?
Robots.txt gaat in 2026 niet meer alleen over Google, want ook AI platforms sturen bots langs.
Elke AI heeft een eigen naam
OpenAI gebruikt GPTBot voor het trainen van modellen en OAI SearchBot voor het zoeken in ChatGPT. Google heeft Google Extended, waarmee je bepaalt of Gemini je content mag gebruiken. Dat staat los van je posities in Google Zoeken. Blokkeer je per ongeluk de zoekbot van een AI platform, dan verdwijn je uit de antwoorden van dat platform. Een slimme keuze is vaak: training mag je blokkeren als je dat wilt, zoekbots laat je toe. Let ook op je firewall, want daar gaat het soms buiten robots.txt om mis. Lees daarover wat er bij Cloudflare veranderde rond Googlebot.
Het nieuwe Google Agent
In maart 2026 voegde Google een nieuwe user agent toe aan de documentatie: Google Agent. Die gebruikt Google voor AI agents die op verzoek van een gebruiker over het web navigeren en acties uitvoeren. Google schrijft over dit soort fetchers die een gebruiker zelf start dat ze robots.txt meestal negeren. Robots.txt is dus geen slot op de deur. Wil je iets echt afschermen, zet het dan achter een login.
Maak je content leesbaar
Toegang geven is stap één. Daarna moet een AI je pagina ook echt goed lezen. Veel AI crawlers voeren geen JavaScript uit. Hoe je dat oplost, lees je in waarom AI crawlers geen JavaScript lezen en hoe je zichtbaar blijft.
Hoe pak je dit aan?
Begin met een kijkje in je eigen robots.txt via jouwsite.nl/robots.txt. Check daarna in Search Console welke pagina’s een noindex hebben en of dat klopt. In mijn quickscan van 100 euro neem ik beide altijd mee, inclusief de toegang voor AI crawlers. Wil je het grondig laten nakijken, dan helpt een technische SEO specialist je snel verder. Ik werk al meer dan 5 jaar alleen aan SEO en heb inmiddels 20 reviews met 5 sterren op Google.
Veelgestelde vragen over robots.txt en noindex
Hieronder licht ik graag een aantal veelgestelde vragen toe:
Mag ik robots.txt en noindex samen gebruiken?
Niet op dezelfde pagina. Blokkeer je de pagina in robots.txt, dan ziet Google de noindex niet meer.
Hoe snel verdwijnt een pagina met noindex uit Google?
Dat gebeurt zodra Google de pagina opnieuw crawlt. Bij belangrijke pagina’s gaat dat vaak binnen een paar dagen, bij minder bezochte pagina’s duurt het langer.
Moet ik GPTBot blokkeren?
Dat is een eigen keuze. GPTBot is voor training. Wil je zichtbaar zijn in ChatGPT, laat dan in elk geval OAI SearchBot toe.
Heb ik naast robots.txt ook een llms.txt nodig?
Dat is geen vervanging. Robots.txt regelt toegang, llms.txt is een extra overzicht voor AI. Op dit moment is het geen standaard die Google gebruikt.
Meer weten, of nog vragen? Neem dan gerust contact met me op.
