AI-bots blokkeren zonder je Google-positie te verliezen
Je hebt jaren aan je website gewerkt en nu halen bots jouw teksten op om er een AI-model mee te trainen. Dat wringt. Alleen: zodra je die bots hardhandig buiten de deur zet, loop je het risico dat je ook uit Google verdwijnt. AI-bots blokkeren is dus geen simpel schuifje, maar een keuze met een prijskaartje.
Wij doken in de nieuwe crawlerregels die Cloudflare half september bekendmaakte en zochten uit wat ze betekenen voor een gewone MKB-site. Je leest hier welke instelling precies wat doet, wanneer blokkeren verstandig is en wanneer het je bezoekers kost. Wil je vindbaarheid structureel onder de knie krijgen, dan nemen we dat soort keuzes in onze SEO-training stap voor stap met je door.
Drie soorten bots
Tot nu toe was het één grote hoop: “bots”. Cloudflare, dat voor een flink deel van het web het inkomende verkeer regelt, splitst ze in zijn nieuwe opzet naar wat ze met je pagina doen. Search-bots bouwen een zoekindex, zodat mensen jou via Google of Bing vinden. Training-bots verzamelen tekst om er een taalmodel mee te trainen. Agent-bots halen een pagina op omdat iemand op dat moment een vraag stelt aan een AI-assistent.
Die driedeling is nuttiger dan hij op het eerste gezicht lijkt, want de opbrengst per soort verschilt enorm. Van een search-bot krijg je bezoekers en dus kans op omzet. Van een training-bot krijg je niets terug: je tekst verdwijnt in een model en de lezer komt nooit langs. Een agent-bot zit ertussenin, want een assistent verwijst regelmatig wél naar de pagina waar het antwoord vandaan komt. Dat is precies waarom het zinvol blijft om een bron te worden in Google’s AI-antwoorden in plaats van je hele site dicht te gooien.
Nieuwe standaard sinds september
Vanaf 15 september 2026 krijgen nieuwe domeinen die bij Cloudflare aankomen niet langer dezelfde instellingen. Verdien je geld met advertenties op je site, dan staat Search op toestaan, Training op de stand “Disallow AI Training” en worden agent-bots geweerd van pagina’s met advertenties. Cloudflare legt die keuze in zijn eigen blog nuchter uit: advertentie-inkomsten hangen af van een mens die de pagina echt bekijkt, en een training-bot vervangt dat bezoek door een antwoord ergens anders.
Staan er geen advertenties op je site, dan blijft alles open: Search, Training en Agent mogen alle drie langs. En dan het detail dat in veel samenvattingen sneuvelt. Bestaande domeinen gaan niet automatisch mee in die nieuwe standaard. Gebruik je Cloudflare al een paar jaar, dan staat jouw instelling nog precies zoals je hem ooit hebt achtergelaten, of zoals hij toen standaard was. Even zelf in het dashboard kijken is dus de eerste stap.
AI-bots blokkeren kost bezoek
Hier zit de val waar we ondernemers het vaakst in zien stappen. Een deel van de crawlers doet twee dingen tegelijk, en Cloudflare noemt ze met naam: Googlebot, Bingbot en Applebot. Ze bouwen een zoekindex én leveren materiaal voor de AI-functies van hun eigenaar. Zet je het grove blok aan, dan raak je die drie ook. Je haalt je content dan inderdaad uit de AI-antwoorden, maar tegelijk uit de gewone zoekresultaten. Voor een bedrijf dat zijn aanvragen uit Google haalt, is dat een dure principekwestie.
De zachtere stand doet iets slimmers. “Disallow AI Training” publiceert je voorkeur in robots.txt, blokkeert de crawlers die uitsluitend voor trainingsdata komen (Cloudflare noemt die van Amazon, Anthropic, Meta en OpenAI) en laat de dubbelrollers door voor zoeken. Je geeft een duidelijk signaal af en houdt je vindbaarheid. Voor de meeste MKB-sites is dat de verstandige middenweg.
Zo kies je verstandig
Doe het in drie stappen, dan ben je in een kwartier klaar:
- Kijk in je Cloudflare-dashboard wat er nu bij Search, Training en Agent staat. Kom je daar een oude instelling als “Block AI Bots” of “Managed robots.txt” tegen: die worden uitgefaseerd ten gunste van de drie nieuwe knoppen.
- Leun je op Google voor je aanvragen, kies dan “Disallow AI Training” en niet het volledige blok. Hetzelfde geldt voor de agent-variant: wie geen advertenties heeft, verliest weinig door agents toe te laten en wint er soms verwijzingen mee.
- Meet wat het doet. In Search Console zie je inmiddels of AI jouw pagina’s gebruikt, dus je hoeft niet op gevoel te varen.
Ervaring uit onze trainingen
In onze SEO-trainingen komt dit onderwerp bijna elke keer voorbij, en de eerste reactie is vaak “gewoon alles blokkeren”. Dan stellen we één vraag terug: waar kwamen je laatste tien aanvragen vandaan? Bij vrijwel iedereen is dat Google, een doorverwijzing of mond-tot-mondreclame, en zelden een AI-chat. Zolang dat zo is, weegt je zoekpositie zwaarder dan de principiële winst van een dichte deur. Deelnemers die adverteren op hun site of die van hun archief leven, bijvoorbeeld uitgevers en vakmedia, komen vaak wél bij een stevigere blokkade uit. Het antwoord hangt dus af van je verdienmodel, niet van je onderbuik.
Nog iets uit de praktijk: als een site opeens minder bezoekers trekt, wordt AI snel als schuldige aangewezen terwijl de oorzaak ergens anders zit. Een verkeerd ingestelde crawler-regel, een trage server, een verdwenen pagina. Loop daarom eerst de gewone verdachten na voordat je concludeert dat je website daalt in Google door AI-zoekresultaten.
Zelf beter vindbaar worden
Je hoeft niet te kiezen tussen meedoen met AI en zichtbaar blijven in Google. Je moet alleen weten welke knop welk verkeer raakt, en dat een keer goed instellen.
Wil jij zeker weten dat jouw website vindbaar blijft, ook nu AI-antwoorden een deel van de klikken opslokken? Schrijf je dan in voor onze SEO-training en ga met een concreet plan voor je eigen site naar huis!
