Opret en korrekt robots.txt med presets, user-agents og avancerede indstillinger.
/robots.txt
En robots.txt fil fortæller søgemaskiner, hvilke dele af dit website de må og ikke må crawle. Korrekt opsat robots.txt er en vigtig del af teknisk SEO og kan hjælpe med at styre crawl-budget, undgå indeksering af irrelevante sider og beskytte interne områder.
En robots.txt generator er især nyttig, hvis du arbejder med WordPress, webshops eller staging-sites, hvor bestemte mapper og parametre ikke bør crawles. Generatoren sikrer korrekt syntaks og reducerer risikoen for fejl, der kan skade din synlighed i Google.
Med færdige presets kan du hurtigt oprette en robots.txt, der matcher almindelige setups. Det gør det nemt at blokere administrative områder, søgeparametre og midlertidige sider, samtidig med at vigtige sider forbliver tilgængelige for søgemaskiner.
Robots.txt kan målrettes specifikke bots som Googlebot og Bingbot. Crawl-delay bruges til at begrænse crawl-hastigheden for visse søgemaskiner, men bør anvendes med omtanke. Google ignorerer crawl-delay, mens andre bots stadig respekterer den.
Denne robots.txt generator kører udelukkende i din browser. Ingen data sendes eller gemmes, hvilket gør værktøjet sikkert at bruge – også på live-sites og staging-miljøer. Den færdige fil er klar til upload direkte til roden af dit domæne.