EN
SammenlignKom i gang

Gratis værktøj

robots.txt-generator: bestem, hvem der må crawle din hjemmeside

robots.txt er filen, der fortæller søgemaskiner og AI-crawlere, hvilke dele af din hjemmeside de må besøge. Vælg, hvad der skal tillades og blokeres, tilføj dit sitemap, og kopiér en færdig robots.txt uden at lære syntaksen.

Bloker søgemaskiner

Blokerer også Google-søgning.

Bloker AI-crawlere

Kun Gemini-træning, ikke Google-søgning.

Den fulde adresse, fx https://www.example.dk/sitemap.xml. Lad feltet stå tomt, hvis du ikke har et.

Bing respekterer den; Google ignorerer den.

robots.txt
User-agent: *
Disallow:

Sitemap: https://www.example.dk/sitemap.xml

Gem den som robots.txt i roden af dit domæne, fx https://www.example.dk/robots.txt.

Hvad er robots.txt?

robots.txt er en almindelig tekstfil i roden af dit domæne: www.example.dk/robots.txt. Den fortæller crawlere, hvilke dele af hjemmesiden de må hente. Seriøse crawlere som Googlebot og Bingbot læser den, før de gør noget andet.

Den er en anmodning, ikke en lås. Den skjuler intet for mennesker, og en crawler, der ignorerer reglerne, kan stadig hente siderne. Alt, der skal være privat, hører til bag et login.

Sådan laver du din robots.txt

  1. Vælg, hvad alle andre må: tillad alt, bloker alt eller bloker bestemte stier.
  2. Blokerer du stier? Skriv én pr. linje, og start hver med /. En / til sidst blokerer hele mappen, fx /admin/.
  3. Sæt kryds ved de søgemaskiner eller AI-crawlere, du vil holde ude.
  4. Tilføj den fulde adresse på dit sitemap.
  5. Kopiér filen, gem den som robots.txt, og læg den i roden af dit domæne.

Eksempel: en typisk robots.txt

En lille virksomhed, der lukker alle ind, holder admin og indkøbskurv ude af søgningen og peger på sit sitemap:

  • User-agent: *
  • Disallow: /admin/
  • Disallow: /kurv/
  • Sitemap: https://www.example.dk/sitemap.xml

Bloker crawling er ikke det samme som at fjerne fra Google

En side, der er blokeret i robots.txt, kan stadig dukke op i søgeresultaterne, hvis andre hjemmesider linker til den, bare uden beskrivelse, fordi Google ikke måtte læse den. Skal en side holdes ude af resultaterne, så lad den blive crawlet, og giv den et noindex-tag i stedet.

Derfor er “Bloker alt” næsten aldrig det rigtige for en virksomheds hjemmeside: Det beder alle søgemaskiner om at holde sig fra hele siden.

Bloker AI-crawlere i robots.txt

AI-virksomheder crawler nettet for at træne deres modeller. De fleste bruger en user agent, du kan blokere: GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl, som mange modeller bruger) og PerplexityBot. Google-Extended er et token, ikke en selvstændig crawler: Blokerer du det, holdes dit indhold ude af Gemini-træning uden at røre Google-søgning.

Hver blokeret bot får sin egen gruppe med “Disallow: /”. En bot med sin egen gruppe ignorerer reglerne under “User-agent: *”, så blokeringen er fuldstændig.

Sitemap-linjen

Tilføj en “Sitemap:”-linje med den fulde adresse på din sitemap.xml. Den hjælper søgemaskinerne med at finde alle sider og er den ene linje, næsten alle hjemmesider bør have.

Typiske fejl i robots.txt

  • “Disallow: /” er blevet hængende fra en testside og blokerer hele hjemmesiden.
  • robots.txt bruges til at skjule en side for Google i stedet for noindex.
  • Filen ligger i en undermappe i stedet for i roden af domænet.
  • Sitemap-adressen er relativ i stedet for en fuld https://-adresse.

Ofte stillede spørgsmål

I roden af domænet og med præcis navnet robots.txt: https://www.example.dk/robots.txt. En fil i en undermappe bliver ignoreret, og hvert subdomæne skal have sin egen.

Nej. GPTBot, ClaudeBot, CCBot og Google-Extended har intet med Google-søgning at gøre. Kun en blokering af Googlebot påvirker, hvordan du rangerer på Google.

Sjældent. Google ignorerer den og bestemmer selv sit tempo. Bing respekterer den, men en almindelig hjemmeside for en mindre virksomhed behøver aldrig at bremse crawlere.

Den tillader alt. “Disallow: /” blokerer alt. Der er ét tegn til forskel, og derfor er en generator sikrere end at skrive filen i hånden.

Nej, men det er en god idé. Uden filen går crawlere ud fra, at alt er tilladt. En kort fil, der tillader alt og nævner dit sitemap, koster intet og hjælper søgemaskinerne med at finde dine sider.

Flere gratis værktøjer