StriiveSiteReader: hvem vi er, og sådan blokerer du os

Hvorfor den kom forbi

Vores bot læser kun en hjemmeside, når nogen giver os adressen. Som regel er det en af vores kunder, der vil have sin egen hjemmeside bygget op igen i Striive. En gang imellem læser vi selv en virksomheds hjemmeside for at forberede en demo til dem.

Den gennemsøger aldrig nettet på egen hånd.

Hvad den læser

På et besøg henter botten:

• robots.txt
• sitemappet: /sitemap.xml, /sitemap_index.xml eller Sitemap:-linjerne i robots.txt
• forsiden
• de sider, kunden har valgt, højst 15
• op til 5 sider mere om virksomheden, fx om os, kontakt eller åbningstider, som den kun læser for at finde fakta
• de stylesheets, siderne henter
• de billeder, der vises på de valgte sider

Hvad den lader være

Den henter ikke scripts eller skrifttyper, og den går aldrig ind på sider, der kræver login, eller andre lukkede områder.

Hvor meget den belaster din server

Et besøg er højst 400 forespørgsler, 60 MB og 3 minutter. Der kører højst 4 forespørgsler ad gangen mod din hjemmeside.

Står der et Crawl-delay i din robots.txt, venter botten så længe mellem forespørgslerne, dog højst 2 sekunder.

Hvad vi gemmer

Kundens nye hjemmeside beholder den tekst og de billeder, den bruger. Alt andet, vi har læst, slettes, når opbygningen er færdig med det, og senest efter en time.

Vi gemmer, hvilke adresser vi har læst og hvornår. Selve indholdet gemmer vi aldrig.

Sådan blokerer du den

Botten følger altid robots.txt, på alle hjemmesider, også vores kunders egne. Den hedder StriiveSiteReader i robots.txt. En gruppe med det navn går forud for User-agent: *, så du kan blokere den uden at ændre, hvad andre bots må.

User-agent: StriiveSiteReader
Disallow: /

User-agent: StriiveSiteReader
Disallow: /private/

En blokeret hjemmeside kan ikke læses. Er det din egen, og vil du bygge den i Striive, kan du uploade skærmbilleder i stedet.

Spørgsmål

Skriv til os på admin@striiveai.com.