Wat leest een AI-assistent op je website?

Ik bouw websites en ik run The Answer Report, een audit die een pagina ophaalt zoals die crawlers dat doen en laat zien welke tekst zij kregen; voor je eigen site doet de gratis check dat meteen. Hieronder staat wat ze lezen, in de volgorde waarin ze het ophalen.

De voordeur: robots.txt en de crawlers bij naam

Het eerste wat een nette crawler opvraagt is `/robots.txt`. Die crawlers hebben namen, en hun eigenaren publiceren ze.

OpenAI documenteert er vier: GPTBot, voor materiaal dat hun foundation-modellen kan trainen; OAI-SearchBot, voor de zoekfuncties van ChatGPT; ChatGPT-User, die ophaalt op verzoek van een gebruiker; en OAI-AdsBot. Anthropic documenteert er drie: ClaudeBot, Claude-SearchBot en Claude-User. Perplexity documenteert er twee: PerplexityBot, die sites laat opduiken en linkt in de resultaten, en Perplexity-User, voor verzoeken van gebruikers. OpenAI en Perplexity schrijven allebei dat robots.txt mogelijk niet geldt voor zo'n gebruikersverzoek. Anthropic maakt die uitzondering niet en zegt dat zijn bots het bestand volgen.

Daar volgen twee dingen uit. Trainen en antwoorden zijn losse taken van losse agents, dus alles in één keer blokkeren is een botte bijl. En Google-Extended is geen crawler: het is een stuurtoken dat twee dingen regelt, het trainen van toekomstige Gemini-modellen en grounding, het materiaal dat Gemini krijgt op het moment dat iemand iets vraagt. Google schrijft erbij dat het de opname en de positie in Zoeken niet raakt: blokkeren kost niets in Zoeken en haalt je pagina's uit de grounding van Gemini.

Mijn eigen keuze, nadrukkelijk een keuze en geen regel: ik laat elke agent binnen die mijn werk aan iemand kan tonen, trainingscrawlers erbij. Mijn site is een portfolio en een schrijfplek, dus in een model zitten is bereik en geen verlies. Een webshop met een betaalde catalogus, of een uitgever wiens archief zijn kapitaal is, kiest met reden anders. Wat ik niet zou doen: die keuze aan een standaardinstelling overlaten. Een hosting- of CDN-laag kan een robotsbeleid meesturen dat assistenten wegstuurt zonder dat iemand daarvoor koos, een patroon dat The Answer Report op live sites blijft tegenkomen. In de Nederlandse meting onder installatiebedrijven kwam die blokkade juist niet voor, dus kijk in je eigen bestand.

Een minimale toestemmingsgroep:

User-agent: OAI-SearchBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: *
Allow: /

Sitemap: https://voorbeeld.nl/sitemap.xml

Robots.txt is trouwens een advies en geen slot: een voordeur, geen grendel.

Wat hij leest: de HTML zoals je server hem teruggaf

Google rendert wel. De gedocumenteerde volgorde is crawlen, renderen, indexeren, en in die renderstap draait een headless Chromium de pagina en voert het JavaScript uit. De meeste AI-crawlers hebben die machinerie niet.

Vercel en MERJ analyseerden AI-crawlerverkeer in serverlogs: de crawlers van OpenAI, Anthropic, Meta, ByteDance en Perplexity voeren geen JavaScript uit. Ze vragen de JavaScript-bestanden wel op. Ze draaien ze nooit. De uitzonderingen die zij noemen zijn Gemini, dat meerijdt op de infrastructuur van Googlebot, en AppleBot. SEO.AI beschrijft de browsetool van ChatGPT net zo: "It retrieves the raw HTML. It doesn't run JavaScript or wait for scripts."

Komen je dienstenlijst, je plaats of je openingstijden pas in de browser binnen, dan staan ze niet in het document dat de assistent las. Voor jou ziet de pagina er af uit, want jouw browser deed dat werk. De crawler niet.

Een afbeelding is geen tekst. Een foto van je openingstijden geeft een machine de alt-tekst die je schreef, of niets. Een gescande pdf is ook gewoon een afbeelding. Doet een feit ertoe, dan staat het als tekens in de HTML, of het bestaat niet.

Hij leest in stukken, niet van boven naar beneden

Dan Petrovic testte dit tegen de websearch-tool van OpenAI. Wat het model krijgt is geen pagina, maar een klein object: titel, URL en een fragment van één tot drie zinnen. Wil het meer, dan vraagt het een groter stuk van diezelfde pagina op, gecentreerd rond een regelnummer, en dat kan het op een andere regel herhalen. Hij noemt dat een sliding window.

Dat verandert waar feiten moeten staan. Staat de zin over wat je doet, voor wie en waar je werkt drie schermen lager onder "Over ons", dan gok je erop dat het venster daar landt. Zet hem in het eerste scherm, in een zin die een vreemde eruit kan tillen. Tien jaar preplijsten schrijven in keukens leerde me hetzelfde: wat niet staat waar de volgende kijkt, bestaat niet.

Gestructureerde data: dezelfde feiten, maar benoemd

Alles hierboven is een assistent die proza leest en er iets uit afleidt. Gestructureerde data slaat dat afleiden over. JSON-LD is een blok gelabelde JSON in een scripttag, en het zegt in een woordenschat die machines al delen wat de pagina is. De types die een klein bedrijf beschrijven zijn heel gewoon: Organization of LocalBusiness voor het bedrijf, Person voor een praktijk op naam, Service voor wat je verkoopt, FAQPage voor een vragenblok dat echt op de pagina staat.

{
  "@context": "https://schema.org",
  "@type": "LocalBusiness",
  "name": "Loodgietersbedrijf Voorbeeld",
  "url": "https://voorbeeld.nl/",
  "telephone": "+31 30 123 4567",
  "address": {
    "@type": "PostalAddress",
    "streetAddress": "Voorbeeldstraat 1",
    "addressLocality": "Utrecht",
    "addressCountry": "NL"
  }
}

Drie regels waar ik me aan hou. Eén blok, één identiteit: één beschrijving van het bedrijf, geen tweede naam en derde telefoonnummer elders op de site. Dezelfde feiten als de zichtbare pagina: zegt je schema dat je op zaterdag open bent en de pagina niet, dan heb je twee versies van één feit. Geen verzonnen velden om een score op te poetsen: een beoordeling zonder reviews, een dienst die je niet levert, een FAQPage voor vragen die nergens staan. Een claim die de pagina niet waarmaakt is erger dan geen claim.

Contactgegevens moeten tekens zijn

Het rapport dat ik draai scoort bereikbaarheid als eigen categorie, los van leesbaarheid: een pagina kan leesbaar zijn en een machine nog steeds niet vertellen hoe je het bedrijf bereikt.

Hou je formulier gerust. Een formulier is een plek om te typen, geen feit om te lezen. Wordt een assistent gevraagd hoe iemand jou bereikt en staat er alleen een verzendknop, dan is het eerlijke antwoord dat hij je gegevens niet kon vinden. Schrijf telefoonnummer, mailadres en adres als tekst, en laat de tel- en mailto-links om tekst heen staan die er toch al staat.

llms.txt, in twee zinnen

llms.txt is een plat tekstbestand in de root van je domein dat in je eigen woorden beschrijft wat het bedrijf is en wijst naar de pagina's die het lezen waard zijn. Het is een afspraak en geen vastgestelde standaard, het gaat niet boven robots.txt, en de gids van The Answer Report over wat llms.txt is en of je er een nodig hebt behandelt de rest.

Zo zie je wat een crawler binnenkrijgt

Voor de eerste controle heb je geen tool nodig. Haal de pagina op met een gewone HTTP-client en lees wat er terugkomt.

curl -sL https://voorbeeld.nl/ | less

Dat komt dicht bij wat een crawler zonder renderstap binnenkrijgt. Zoek erin naar wat een klant zou vragen: je plaats, je telefoonnummer, je belangrijkste dienst, de zin die zegt wat je doet. Vind je ze daar niet, dan vindt een assistent ze ook niet.

Ik heb deze agents over sites die ik bouwde zien lopen. Ze vragen robots.txt op, ze vragen pagina's op, ze nemen de tekst die terugkwam en ze zijn weer weg. Dat deel is in elk toegangslog te zien.

Wat dit niet is

Dit is geen klassieke SEO onder een nieuwe naam, en geen trucje om hoger te komen. Het is leesbaarheid: zorgen dat wat waar is over je bedrijf bestaat in een vorm die een machine kan oppakken en doorvertellen. Een site kan mooi zijn, snel, goed geschreven, en nog steeds onleesbaar voor het ding waar je klant het aan vroeg.

Het is ook een andere vraag dan waarom een assistent je niet noemt. Leesbaarheid is nodig en niet genoeg; The Answer Report meet die kant in het Nederlands in zijn gids over waarom ChatGPT een installatiebedrijf niet noemt.

Wil je de machineweergave van je eigen site zien, dan haalt de gratis check van The Answer Report je homepage op zoals deze crawlers dat doen en laat zien wat er terugkwam.