Je pagina staat op één in Google. Toch noemt ChatGPT jouw merk nooit in een antwoord. Dat voelt onlogisch, want de content staat gewoon op je website.
De verklaring kan in de techniek zitten. Veel AI-crawlers verwerken vooral de HTML die je server direct terugstuurt en voeren JavaScript niet uit zoals een normale browser dat doet.
Open je belangrijkste pagina eens met Ctrl+U en zoek in de broncode naar een zin uit je eigen productomschrijving. Staat die zin er niet? Dan bestaat de kans dat verschillende AI-crawlers die content niet zien.
Waarom een AI-crawler jouw pagina anders leest dan een bezoeker
Googlebot haalt je HTML op en kan de pagina daarna renderen. Tijdens die stap voert Google JavaScript uit met een recente versie van Chromium. Content die pas via JavaScript verschijnt, kan Google daardoor alsnog verwerken.
Die rendering gebeurt niet altijd direct. Google plaatst pagina’s in een renderwachtrij. Dat kan snel gaan, maar er kan ook vertraging ontstaan.
Veel crawlers van AI-platforms werken anders. Onderzoek van Vercel en MERJ liet zien dat onder andere GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot en Meta-ExternalAgent geen JavaScript uitvoerden. Content die alleen na client-side rendering verschijnt, konden deze crawlers daardoor missen.
Het onderzoek uit december 2024 keek naar enorme hoeveelheden serververkeer. GPTBot was goed voor ongeveer 569 miljoen requests en Claude voor ongeveer 370 miljoen requests in één maand.
Halen die bots je JavaScript dan wel op?
Ja, en juist dat maakt het verwarrend. In het onderzoek bestond ongeveer 11,5 procent van de requests van ChatGPT-crawlers uit JavaScript-bestanden. Bij Claude lag dat rond 23,8 procent.
De crawlers halen zulke bestanden dus wel op, maar Vercel en MERJ vonden geen bewijs dat ze de JavaScript ook uitvoerden om daarmee de pagina te renderen. Een script ophalen is iets anders dan het uitvoeren zoals een browser dat doet.
Welke bots renderen wel?
Googlebot kan JavaScript renderen. Google gebruikt daarvoor zijn Web Rendering Service met Chromium. Ook de crawlerinfrastructuur achter bepaalde Google- en Gemini-toepassingen kan daarvan profiteren. Applebot kan eveneens JavaScript verwerken.
Dat betekent niet dat JavaScript voor Google altijd even betrouwbaar is als gewone HTML. Google moet eerst de pagina ophalen, daarna renderen en vervolgens eventuele nieuwe links en content verwerken. Direct beschikbare HTML blijft daarom de veiligste basis voor belangrijke content en een goede navigatie.
In het onderzoek van Vercel en MERJ viel daarnaast iets anders op. Ongeveer 34,8 procent van de requests van ChatGPT-crawlers kwam uit op een 404. Bij Claude ging het om ongeveer 34,2 procent. Bij Googlebot lag dat percentage rond 8,2 procent.
Dat laat vooral zien dat deze AI-crawlers minder efficiënt kunnen crawlen. Een duidelijke sitestructuur en zo min mogelijk kapotte interne links helpen crawlers om hun requests aan nuttige pagina’s te besteden.
Wat gebeurt er als je links alleen in JavaScript staan?
Vinicius Stanula testte dit en publiceerde de resultaten op 19 augustus 2026 in Search Engine Land. Hij gebruikte een nieuwe directorywebsite met ongeveer 2.400 pagina’s en testte een hiërarchie van 1.062 pagina’s.
Hij verdeelde 21 secties over twee groepen. Elf secties kregen gewone HTML-links. Bij tien secties verschenen de links pas nadat JavaScript was uitgevoerd.
Sitemaps schakelde hij uit en andere interne routes naar de diepere pagina’s verwijderde hij. Daardoor moesten crawlers in de JavaScript-groep daadwerkelijk JavaScript verwerken om de volgende laag te ontdekken.
Daarna registreerde hij 41 dagen lang de requests van crawlers.
GPTBot ging op de eerste dag door de volledige HTML-groep heen. ClaudeBot liet een vergelijkbaar patroon zien. Zodra beide crawlers bij de JavaScript-navigatie kwamen, stopten ze.
Na 27 dagen had GPTBot 748 diepere pagina’s via HTML-links bezocht en geen enkele via de JavaScript-links. ClaudeBot kwam eveneens uit op 748 tegenover nul.
Ook OAI-SearchBot, Meta-ExternalAgent en verschillende andere crawlers volgden in deze test geen JavaScript-links naar diepere niveaus. PerplexityBot crawlde tijdens deze fase nauwelijks door de testsite, waardoor je uit dit specifieke experiment minder harde conclusies over Perplexity kunt trekken.
Google gedroeg zich anders. Googlebot en GoogleOther bereikten wel pagina’s achter de JavaScript-links. Googlebot bereikte uiteindelijk 2 procent van de JavaScript-groep. GoogleOther kwam op 48 procent.
Daar hoort een belangrijke kanttekening bij. Dit was één experiment op een nieuw domein zonder externe links naar de diepere pagina’s. De percentages kun je daarom niet één op één vertalen naar iedere website. Het experiment laat vooral zien dat gewone HTML-links veel betrouwbaarder waren voor de ontdekking.
Herstelt het zich als je het later repareert?
Bij sommige crawlers wel.
Na 27 dagen zette Stanula alle JavaScript-links om naar gewone HTML-links. Aan de URL’s, content en server veranderde hij niets.
GPTBot reageerde binnen twee dagen. In één crawlronde ontdekte de bot 250 pagina’s die hij in de 27 dagen daarvoor niet had bereikt. Bingbot volgde en ontdekte 212 nieuwe pagina’s. Meta-ExternalAgent begon later eveneens met het crawlen van de eerder verborgen secties.
ClaudeBot reageerde anders. De crawler bleef na de aanpassing honderden requests uitvoeren, maar bezocht alleen pagina’s die hij al kende. Tot het einde van het 41 dagen durende experiment ontdekte ClaudeBot geen nieuwe pagina’s uit de aangepaste secties.
Google reageerde eveneens langzaam. Tegen dag 41 had Googlebot slechts één nieuwe pagina in de aangepaste secties bezocht.
De les is niet dat een technische fout permanent schade veroorzaakt. Wel laat het experiment zien dat je niet moet verwachten dat iedere crawler een verbeterde sitestructuur onmiddellijk opnieuw ontdekt.
Welke onderdelen verdwijnen het vaakst uit je HTML?
Hieronder vertel ik graag meer over de onderdelen om rekening mee te houden:
Reviews en klantervaringen
Veel webshops laden reviews via een externe widget. In de browser ziet dat er prima uit, terwijl in de oorspronkelijke HTML soms nauwelijks reviewcontent staat.
Een crawler die geen JavaScript uitvoert, kan daardoor informatie missen zoals het aantal beoordelingen, de gemiddelde score en geschreven klantervaringen.
Wil je belangrijke reviewinformatie breed toegankelijk maken? Zorg dan dat essentiële informatie al in de HTML staat. Denk aan de gemiddelde beoordeling, het aantal reviews en relevante reviewteksten.
Tabs, accordeons en specificaties
Ingeklapte content is op zichzelf geen probleem. Als de tekst al in de HTML staat en alleen visueel verborgen is tot iemand een tab of accordeon opent, kan een crawler de tekst gewoon verwerken.
Het probleem ontstaat wanneer je website de inhoud pas na een klik via JavaScript ophaalt.
Productspecificaties, maattabellen, materiaalinformatie en verzendvoorwaarden kunnen dan ontbreken in de oorspronkelijke HTML. Voor crawlers die geen JavaScript uitvoeren, is die informatie daardoor veel moeilijker of helemaal niet toegankelijk.
Filters, varianten en prijzen
Bij Shopify- en headless-webshops verschijnen prijzen, voorraadgegevens en varianten soms pas via JavaScript.
Voor bezoekers werkt dat snel en soepel. Een crawler die alleen de eerste serverrespons verwerkt, krijgt mogelijk een veel beperktere versie van de productpagina te zien.
Zet daarom belangrijke informatie over de standaardvariant, zoals prijs en beschikbaarheid, waar mogelijk al in de HTML.
Gebruik daarnaast correcte Product structured data. JSON-LD kan zoekmachines helpen om eigenschappen zoals productnaam, prijs, valuta en beschikbaarheid te begrijpen. Zorg er wel voor dat ook deze structured data daadwerkelijk beschikbaar is voor crawlers en overeenkomt met wat bezoekers op de pagina zien.
Hoe controleer je dit zelf in vijf minuten?
Begin bij je belangrijkste pagina’s en schakel JavaScript tijdelijk uit in je browser. Loop daarna je belangrijkste routes na: homepage, categorie, product en contact.
Verdwijnt belangrijke tekst of kun je bepaalde pagina’s ineens niet meer bereiken? Dan heb je een technisch aandachtspunt voor crawlers die JavaScript niet renderen.
Vergelijk daarna de ruwe HTML met de gerenderde DOM. Ctrl+U toont in de meeste browsers de oorspronkelijke bron die de server terugstuurt. Het inspectiepaneel laat zien hoe de pagina eruitziet nadat de browser JavaScript heeft uitgevoerd.
Het verschil tussen beide versies laat zien welke informatie afhankelijk is van client-side rendering.
Let vooral op je navigatie. Een gewone link zoals <a href="/categorie"> is voor crawlers eenvoudig te herkennen. Een klikbaar element dat alleen via JavaScript naar een andere pagina leidt, is veel minder betrouwbaar.
De stap die vrijwel niemand zet: kijk in je serverlogs
Heb je toegang tot je serverlogs? Dan kun je precies zien welke crawlers je website daadwerkelijk bezoeken.
Filter bijvoorbeeld op GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot, PerplexityBot, Googlebot en GoogleOther.
Kijk vervolgens naar welke URL’s iedere crawler bezoekt en welke HTTP-statuscodes je server terugstuurt.
Veel 404’s wijzen op requests naar niet-bestaande URL’s. Veel 403’s kunnen betekenen dat je firewall, CDN of server bepaalde bots blokkeert.
Controleer daarom niet alleen je CMS. Kijk ook naar robots.txt, je firewall en eventuele botinstellingen van je CDN of hostingpartij.
Cloudflare biedt bijvoorbeeld aparte mogelijkheden om AI-crawlers toe te staan of te blokkeren. Welke crawlers toegang krijgen, hangt af van je configuratie.
Voor zichtbaarheid in ChatGPT Search is vooral OAI-SearchBot belangrijk. OpenAI geeft aan dat websites OAI-SearchBot niet moeten blokkeren als ze hun content beschikbaar willen maken voor samenvattingen en citaties in ChatGPT Search.
GPTBot heeft een andere functie en moet je daarom niet één op één gelijkstellen aan zichtbaarheid in ChatGPT Search.
Wat levert het op als je dit op orde brengt?
Je hoeft niet direct nieuwe content te schrijven of je volledige website opnieuw te bouwen.
Begin bij de informatie die zowel bezoekers als machines nodig hebben: interne links, belangrijke productinformatie, prijzen, beschikbaarheid, specificaties en andere kerncontent.
Zorg dat die informatie zoveel mogelijk direct in de HTML beschikbaar is. JavaScript kun je vervolgens gebruiken voor interactie, filters, animaties en andere onderdelen van de gebruikerservaring.
Daarmee vergroot je de kans dat verschillende zoekmachines en AI-crawlers je belangrijkste informatie daadwerkelijk kunnen bereiken en verwerken.
Dat garandeert natuurlijk geen vermelding of citatie in een AI-antwoord. Daar spelen veel meer factoren een rol. Maar een crawler kan informatie die hij niet bereikt ook niet rechtstreeks vanaf jouw pagina verwerken.
Begin daarom met de broncode van je drie belangrijkste pagina’s. Vind je daar je belangrijkste teksten, links, prijzen en specificaties terug? Dan heb je in ieder geval een sterke technische basis voor zowel traditionele zoekmachines als AI-crawlers.
Veelgestelde vragen
Ik licht graag een aantal veelgestelde vragen toe.
Voeren AI-crawlers JavaScript uit?
Veel grote AI-crawlers doen dat niet. Het onderzoek van Vercel en MERJ vond geen JavaScript-rendering bij onder andere GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot en Meta-ExternalAgent. Googlebot vormt een belangrijke uitzondering en kan JavaScript wel renderen. Applebot beschikt eveneens over mogelijkheden om JavaScript te verwerken.
Behandel dit niet als een eeuwige technische regel. Crawlers veranderen. Controleer daarom regelmatig actuele documentatie en je eigen serverlogs.
Telt content in een tab of accordeon mee?
Ja, zolang de tekst al beschikbaar is in de HTML. Het maakt voor de toegankelijkheid voor crawlers weinig uit dat een bezoeker eerst op een tab moet klikken om de tekst te zien.
Laadt je website de inhoud pas na die klik vanaf de server? Dan kan een crawler die geen JavaScript uitvoert die informatie missen.
Wat is het verschil tussen Googlebot en GoogleOther?
Googlebot is de belangrijkste crawler voor Google Search. GoogleOther is een algemene crawler die Google voor andere doeleinden gebruikt.
In het experiment van Stanula bereikte GoogleOther 48 procent van de JavaScript-groep, terwijl Googlebot slechts 2 procent bereikte. Dat betekent niet dat Googlebot op iedere website maar 2 procent van JavaScript-links vindt. Het experiment vond plaats op één nieuw domein met een zeer specifieke testopzet.
Het laat wel zien waarom je verschillende Google-user-agents in je serverlogs apart moet analyseren.
Moet ik dan overstappen op server-side rendering?
Niet per se voor je hele website. Zorg vooral dat essentiële content en navigatie zonder client-side JavaScript toegankelijk blijven.
Interne links, productinformatie, prijzen, belangrijke specificaties en andere kerninformatie zijn goede kandidaten om direct in de HTML op te nemen. JavaScript kun je vervolgens gewoon blijven gebruiken voor interactieve onderdelen.
Hoe snel zie ik effect na een aanpassing?
Daar bestaat geen vaste termijn voor. In het experiment kwam GPTBot binnen 48 uur terug en volgde Bingbot binnen ongeveer een week. Andere crawlers reageerden veel langzamer of ontdekten de aangepaste pagina’s tijdens de test helemaal niet opnieuw.
Ga er dus niet vanuit dat een technische aanpassing direct tot nieuwe crawls, indexering of AI-citaties leidt.
Blokkeert mijn firewall misschien AI-crawlers?
Dat is mogelijk. Controleer je robots.txt, firewallregels, CDN-instellingen en filters van je hostingpartij.
Gebruik daarnaast je serverlogs. Krijgt een crawler consequent een 403-status terug, dan weet je dat hij geen normale toegang tot die URL krijgt.
Wil je specifiek zichtbaar blijven in ChatGPT Search? Controleer dan vooral of OAI-SearchBot toegang heeft tot je belangrijke pagina’s. OpenAI noemt dit zelf als voorwaarde om content goed beschikbaar te maken voor ChatGPT Search.
Meer weten over de laatste technische SEO ontwikkelingen? Lees dan zeker ook mijn andere blogs. Wil je jouw SEO uitbesteden en hierin volledig ontzorgd worden? Kijk dan rustig rond op jessecommandeur.nl, of neem direct contact op via het contactformulier.
