Robots.txt controleren: voorkom onbedoelde blokkades
Het bestand robots.txt geeft crawlers instructies over de delen van je website die ze mogen opvragen. Een verkeerde regel kan daardoor belangrijke pagina’s blokkeren. Begin daarom met een concreet doel voordat je iets wijzigt. Wil je crawlen beperken, een pagina uit zoekresultaten houden of vertrouwelijke inhoud afschermen? Die doelen vragen om verschillende maatregelen.
Vraag mijn gratis eerste analyse aanWat regelt robots.txt precies?
Met crawlregels kun je aangeven welke paden een crawler mag bezoeken. De instructies staan normaal bij het hoofddomein in het bestand /robots.txt. Een regel die een hele map raakt, kan ook alle pagina’s daaronder beïnvloeden. Controleer daarom het volledige pad en de crawler waarop de regel van toepassing is.
Een crawlverbod garandeert niet dat het adres uit Google verdwijnt. Google kan een geblokkeerde URL bijvoorbeeld via andere links kennen. Gebruik robots.txt daarom niet als wachtwoord of beveiliging. Kies bij een wens tot verwijdering eerst de juiste indexeringsmaatregel, en bespreek de inrichting met iemand die de gevolgen kan controleren.
Begin met een lijst van gewenste toegang
Schrijf op welke openbare delen bezoekers en zoekmachines moeten kunnen bereiken. Denk aan diensten, artikelen en de bestanden die nodig zijn om pagina’s goed weer te geven. Noteer daarnaast welke onderdelen een apart doel hebben, zoals een afgeschermde testomgeving. Zo wordt duidelijk welke regel bij welke wens hoort.
Bekijk daarna de huidige inhoud en bewaar een kopie voordat je iets aanpast. Zet bij iedere wijziging de reden en datum. Een korte toelichting voorkomt dat een toekomstige beheerder dezelfde vraag opnieuw moet uitzoeken. Laat complexe patronen bovendien beoordelen voordat je ze gebruikt, omdat één brede regel meer pagina’s kan raken dan verwacht.
Robots.txt controleren na een lancering
Bij een nieuwe website verdient de overgang van testen naar publiceren extra aandacht. Controleer eerst of de openbare pagina’s toegankelijk zijn. Bekijk vervolgens het robotsbestand op het echte domein. Instellingen van een testomgeving mogen niet ongemerkt blijven staan wanneer je de inhoud wilt laten ontdekken.
Controleer ook een paar concrete pagina’s in Search Console. Kies bijvoorbeeld de homepage, een belangrijke dienst en een nieuw kennisartikel. Vergelijk de melding met de regels in het bestand. Pas daarna gericht aan wat het probleem veroorzaakt. Daarmee voorkom je een brede wijziging terwijl slechts één pad of een andere instelling de oorzaak blijkt.
Voorkom tegenstrijdige instellingen
Een website kan op meerdere plekken instructies aan zoekmachines geven. Naast het robotsbestand zijn er bijvoorbeeld instellingen per pagina. Maak daarom een overzicht wanneer een pagina onterecht ontbreekt. Noteer het adres, de gewenste zichtbaarheid en de melding die je ziet. Met die combinatie kan een beheerder gericht onderzoek doen.
Verander niet tegelijk allerlei SEO-instellingen zonder je uitgangspunt te bewaren. Controleer na een gerichte wijziging opnieuw dezelfde pagina’s. Leg vervolgens vast wat nu toegankelijk is en wat bewust afgesloten blijft. Wil je klantgegevens of interne documenten beschermen, kies dan echte toegangsbeveiliging. Een openbare bestandsnaam met een crawlverbod maakt die informatie niet vertrouwelijk.
Houd dit bij de hand
Vink eerst af wat je al hebt uitgezocht. Zo zie je welke gegevens nog ontbreken. Neem die vervolgens mee wanneer je contact opneemt.
Vragen over robots txt
Is robots.txt geschikt om privébestanden te beschermen?
Nee. Het bestand beperkt de toegang niet zoals een wachtwoord dat doet. Gebruik daarom echte toegangsbeveiliging voor vertrouwelijke documenten en laat de inrichting controleren.
Waarom blijft een geblokkeerde URL soms zichtbaar?
Een crawler kan het adres via links kennen, ook wanneer het de inhoud niet mag ophalen. Een crawlverbod is daarom geen gegarandeerde verwijdering uit zoekresultaten. Onderzoek welke maatregel bij jouw doel past.
Robots txt bespreken?
Neem de punten uit je voorbereiding mee in het gesprek. Daardoor kunnen we je vraag meteen concreet bespreken.
Vraag mijn gratis eerste analyse aan