Crawlbudget is de hoeveelheid capaciteit die Google besteedt aan het bezoeken van jouw pagina’s. Dat wordt bepaald door hoeveel je server aankan en door hoe interessant Google jouw website vindt om vaak langs te komen.
Waarschijnlijk speelt dit bij jou niet
Google is hier zelf duidelijk over in zijn documentatie over crawlbudget. Voor de meeste websites is dit geen aandachtspunt.
Heb je een paar honderd of een paar duizend pagina’s, dan komt Google daar prima doorheen. Verschijnen je nieuwe pagina’s binnen een paar dagen in de zoekresultaten, dan is er niets aan de hand.
Ik noem dit expliciet omdat crawlbudget een populair verkoopargument is geworden. Het klinkt technisch en urgent, terwijl het bij het merendeel van de bedrijven nergens op slaat. Zit je met een website van tweehonderd pagina’s, dan zit je probleem ergens anders. Vaak in je content of je autoriteit, en dan helpt de 80/20 regel voor SEO je verder dan dit artikel.
Wanneer het wél speelt
Er zijn drie situaties waarin het serieus wordt.
Bij grote webshops. Niet vanwege je producten, maar vanwege je filters. Kleur, maat, prijs en merk vormen in elke denkbare combinatie een eigen URL, en zo groeit een webshop van vijfduizend producten uit naar tienduizenden of zelfs honderdduizenden adressen. Dit is dan ook een van de redenen dat ecommerce SEO een ander vak is.
Bij websites met veel parameters in de URL. Sessie ID’s, sorteeropties, tracking codes: elk daarvan maakt technisch gezien een nieuwe pagina aan.
En bij websites die vaak wijzigen en waarbij het nieuws snel moet worden opgepikt. Daar wil je dat Google dagelijks langskomt op de plekken die ertoe doen. Zorg er ook voor dat je mijn video over ecommerce SEO even helemaal bekijkt.
Je verhoogt het niet, je stopt met verspillen
Hier zit een denkfout die je overal terugziet, ook in artikelen met titels als “zo verhoog je je crawlbudget”.
Je zet crawlbudget niet omhoog. Google bepaalt zelf hoeveel capaciteit hij aan jou besteedt. Wat je wel kan beïnvloeden, is waar die capaciteit naartoe gaat.
Vergelijk het met een bezorger die een uur per dag voor jouw straat heeft. Je kan hem niet meer tijd geven, maar je kan wel zorgen dat hij die tijd niet verspilt aan adressen die niet bestaan.
Dat is precies wat het werk inhoudt: niet meer vragen, maar minder verspillen.
Wat ik bij een webshop aantrof
Bij een ecommerce klant zag ik dit in volle omvang. De filters op kleur, maat en prijs genereerden zoveel URL’s dat Google een groot deel van zijn tijd besteedde aan pagina’s die nooit hoefden te ranken.
De ingreep was op zichzelf niet spectaculair. Filterpagina’s en overbodige parameters uitsluiten via robots.txt en noindex, en de sitemap opschonen zodat daar alleen nog pagina’s in stonden die er echt toe doen.
Het effect was dat wel. Google ging daarna juist veel méér relevante pagina’s crawlen. In de crawlstatistieken liep het totaal op naar 66.753 crawlverzoeken, bij een gemiddelde reactietijd van 717 milliseconden. Waar de lijn eerder vlak was, kwamen er pieken richting zevenduizend verzoeken per dag.
Dat vertaalde zich door naar zichtbaarheid. Over de periode van 13 mei tot 11 augustus 2026 kwamen daar 336.000 vertoningen en 9.720 klikken uit, bij een gemiddelde positie van 9,8. De curve loopt vanaf eind juli het steilst omhoog.
Wat dit zo aardig illustreert: door Google mínder pagina’s aan te bieden, ging hij er méér bezoeken. Precies de pagina’s waar omzet vandaan komt.
Hoe je het zelf controleert
Je hebt hier geen dure tools voor nodig.
Ga in Google Search Console naar de crawlstatistieken, te vinden onder Instellingen. Daar zie je hoeveel verzoeken Google doet, hoe groot de gedownloade bestanden zijn en hoe snel je server reageert.
Kijk vervolgens naar welke URL’s gecrawld worden. Zie je daar massaal adressen met vraagtekens, filterparameters of sorteeropties tussen staan, dan weet je genoeg.
Vergelijk daarnaast het aantal pagina’s dat jij belangrijk vindt met het aantal geïndexeerde pagina’s. Staan er tienduizenden URL’s in de index terwijl je vijfhonderd producten hebt, dan gaat er mogelijk capaciteit verloren.
Een laatste controle: hoe lang duurt het voordat een nieuwe pagina verschijnt? Blijft dat weken duren, dan komt Google onvoldoende langs op de juiste plekken, of heb je nog niet voldoende autoriteit opgebouwd.
Wat je eraan doet
Sluit filterpagina’s en parameters uit die geen zoekvolume hebben. Let op de nuance: filters die wél gezocht worden, zoals een populaire kleur binnen een categorie, wil je juist behouden.
Houd je sitemap schoon. Daar horen alleen pagina’s in die je geïndexeerd wilt hebben, zonder doorverwijzingen of foutmeldingen ertussen.
Ruim doorverwijsketens op. Elke tussenstap kost een crawlverzoek.
En let op je serversnelheid. Reageert je website traag, dan haalt Google minder pagina’s op binnen dezelfde tijd. Meer daarover bij technische SEO.
Waar je voorzichtig mee moet zijn
Dit is werk waar je flink de mist in kan gaan. Sluit je per ongeluk het verkeerde uit, dan verdwijnen pagina’s die je omzet opleveren volledig uit Google, of je krijgt problemen met je listings in Google Merchant Center.
Ik zie dat regelmatig terug bij websites waar iemand goedbedoeld in de robots.txt heeft gerommeld. Zo’n fout merk je niet meteen, maar pas weken later aan je verkeer, en dan is de schade al aangericht.
Denk dus goed na voordat je hier iets afsluit, en controleer daarna of de juiste pagina’s nog gewoon vindbaar zijn. Twijfel je, kijk dan bij ecommerce SEO of bekijk hoe ik SEO uitbesteden aanpak.
Veelgestelde vragen
Ik licht graag nog een aantal veelgestelde vragen toe:
Wat is crawlbudget? De capaciteit die Google besteedt aan het bezoeken van jouw pagina’s, bepaald door wat je server aankan en door hoe vaak Google jouw website de moeite waard vindt om langs te komen.
Heeft crawlbudget veel impact op mijn website? Mogelijk niet. Google geeft zelf aan dat dit voor de meeste websites geen aandachtspunt is. Het speelt vooral bij grote webshops met veel filtercombinaties of bij sites met duizenden parameter URL’s.
Kan ik mijn crawlbudget verhogen? Niet direct. Google bepaalt zelf hoeveel capaciteit hij toewijst. Wat je wel kan sturen is waar die capaciteit naartoe gaat, door pagina’s uit te sluiten die nooit hoeven te ranken.
Hoe zie ik of er capaciteit verloren gaat? Bekijk de crawlstatistieken in Google Search Console. Zie je daar vooral URL’s met filterparameters en sorteeropties langskomen, dan besteedt Google zijn tijd aan de verkeerde pagina’s.
Wat sluit ik uit en wat niet? Filters en parameters zonder zoekvolume sluit je uit. Filters waar wél op gezocht wordt, zoals een gangbare kleur binnen een categorie, wil je juist behouden en goed laten indexeren.
Wat gebeurt er als ik het verkeerd instel? Dan verdwijnen pagina’s die omzet opleveren uit Google. Zo’n fout in robots.txt of een verkeerd geplaatste noindex merk je pas dagen/weken later, wanneer je verkeer terugloopt.
Wil jij jouw SEO uitbesteden en ervoor zorgen dat je zeker weet dat je technische SEO op orde is? Neem dan vandaag nog contact op voor meer informatie. Een SEO audit legt alle technische pijnpunten bloot.
