Domene og webhotell fra OnNet.no

    Denne artikkelen er del 23 av 40 artikler om Digital markedsføring >> SEO

robots-txt

Hva er robots.txt og hvorfor er robots.txt filen viktig?

Det finnes to metoder for å fortelle robotene til søkemotorene hva de skal indeksere. Den ene metoden er å lage en “robots.txt” fil som legges på root-katalogen til nettstedet. Så snart roboten kommer til nettstedet vil den spørre etter filen. Eksisterer denne filen vil roboten følge de instruksene som er angitt her.

Filen skal ha et spesielt format, bestående av records. Hver record skal bestå av to felt; en User-agent linje og en eller flere Disallow: linjer.

Lag filen i et program som lager en ren tekst fil. Ikke bruk en HTML editor.

User-agent: User-agent linjen forteller hvilke roboter recorden gjelder for. For eksempel: User-agent: googlebot Du kan også bruke “wildcard”. F.eks. “*” for å angi alle robotene: User-agent: * Disallow:

Den andre delen av record settet inneholder en Disallow: linje som spesifiserer hvilke filer og/eller kataloger som roboten ikke skal indeksere. F.eks., forteller denne instruksen at roboten ikke skal indeksere email.htm: Disallow: email.htm Du kan også spesifisere kataloger: Disallow: /cgi-bin/ Denne linjen gjør at innholdet i katalogen cgi-bin ikke blir indeksert.

Exsempel:

  • Denne angivelsen tillater alle roboter å besøke alle filer: User-agent: *Disallow:
  • Denne holder alle robotene borte: User-agent: *Disallow: /
  • Denne holder robotene borte fra katalogene cgi-bin og images: User-agent: *Disallow: /cgi-bin/Disallow: /images/
  • Denne gjør at googlebot ikke får ta i filen cheese.htm: User-agent: googlebotDisallow: cheese.htm

Fortell hvor ditt nettkart (sitemap) er:

  1. User-agent: *
  2. Sitemap: http://www.onnet.no/sitemap.xml

Dette forteller robotene til søkemotorene hvor nettkartet ditt ligger Besøk The Web Robots Pages for å lære nærmere hvordan du skriver denne filen for å instruere robotene til å besøke dine sider. Du kan selv teste om denne filen er skrevet korrekt ved å benytte robots.txt analysis tool som er tilgjengelig i Google Webmaster Tools. Den andre metoden er å legge inn “meta-tags” til roboten, såkalte “spider tagg“. Dette er et filter som forteller søkeroboten om websiden skal indekseres og eventuelt hvordan det skal gjøres. Denne metataggen er en fleksibel mulighet for de som ikke kan kontrollere robots.txt filen på webområdet. Den er spesielt nyttig viss du ikke ønsker siden indeksert etter standard metoden ALL (se under) 

Robots metatagger har følgende alternativ:  

utelater du Robots taggen gjelder standarden ALL

ALL Nettsiden indekseres og søkeroboten følger linker til andre nettsider.

NONE ingenting registreres av søkeroboten

INDEX siden indekseres på søketjenesten.

FOLLOW linker på websiden din følges og indekseres.

NOINDEX siden skal ikke indekseres

NOFOLLOW linker på websiden skal ikke følges/indekseres. Du kan kombinere Robots på følgende vis: INDEX, NOFOLLOW = siden indekseres men linker skal ikke følges/indekseres

NOINDEX, FOLLOW = websiden skal ikke indekseres men linker følges/indekseres. Sider som om oss, bruker policy og så videre, inneholder sjelden informasjon folk flest er spesielt interessert i å få vite. Dessuten vil slike sider ofte være linket til fra alle sidene på nettstedet ditt, og følgelig kan søkemotorene komme frem til at de er viktige. Det virker mot sin hensikt.

Note: Mange blokkerer kontakt oss, men dette skal du være forsiktig med. Hvis folk er ute etter telefonnummeret eller besøksadressen til firmaet ditt, så kan det godt hende de søker etter dette.

Tenk nøye gjennom hvilke sider dine besøkende vil betegne som lite viktige, og bruk robots.txt til å fortelle søkemotorene at du ikke ønsker dem indeksert.

Flere sider med likt innhold er drepen for SEO. Dersom du har mange duplikater på nettstedet ditt, så kan du også bruke robots.txt for å nekte indeksering av disse. Uten å bli for teknisk, så er det slik at mange bruker URL rewriting. Da må du enten sørge for at crawlerne ikke indekserer URL’ene med query string (spørrestreng), eller videresende dem (med 301 redirect) til de omskrevne URL’ene. En enkel robots.txt generator finner du under. Den genererer de vanligste taggene til din robots.txt fil. Robots.txt generator

Du leser nå artikkelserien: Digital markedsføring >> SEO

  Gå til neste / forrige artikkel i artikkelserien: << Meta-tagsResponsiv design >>
    Andre artikler i serien er: 
  • Søkemotor
  • Søkemotoroptimalisering (SEO)
  • Søkemotormarkedsføring (SEM)
  • SERP : Hva vektlegger Google i sin rangering?
  • Før du starter SEO arbeidet (prosessen)
  • Slik får du ditt nettsted indeksert i Google
  • Valg av søkeord til dine sider
  • Landingsside
  • Call to action (CTA) skaper konverteringer og avgjør lønnsomheten
  • SEO mål og aviksanalyser
  • Arbeidsgangen i et SEO-prosjekt
  • On-Site SEO : Søkemotoroptimalisering av nettsiden
  • Domene påvirker søkemotorrangeringen (SEO)
  • SEO : Content is king – innholdet avgjør rangeringen i Google
  • SEO : Title og Meta Description er den viktigste SEO taggen
  • SEO : Nettsidens overskrift (h1/h6)
  • SEO : Alle bilder må ha en ALT-tag
  • SEO : Interne (inngående) og eksterne (utgående) lenker
  • SEO : Ankertekst må angis på alle linker
  • XML Site Map (nettsted kart)
  • Duplikatside
  • Meta-tags
  • Robots.txt
  • Responsiv design
  • 404 feilmeldingssider (File Not Found)
  • SEO : Mappe og filstruktur
  • Oppdater sidene jevnlig for å øke sidens ferskhet / nyhetsverdi
  • Slik øker du hastigheten til dine hjemmesider
  • SEO : Bruk av ikke-søkemotorvennlig teknologi
  • Skjult tekst og koblinger i nettsiden
  • Cloaking
  • .htaccess tips alle webmastere bør vite om
  • On-Site SEO tips for Topp 10 rangering i SERP
  • Off-Site SEO : Lenkebygging, lenkestrategi og lenkeprogram
  • Off-Site SEO : Lenkebygging for en Topp 10 SERP rangering
  • Off-site SEO : Hvordan få inngående lenker til et nettsted?
  • Off-site SEO : Hva må du IKKE gjøre i ditt lenkeprogram
  • Råd for lokal søkemotoroptimalisering
  • Hvordan sette VERDI på søkemotoroptimalisering (SEO)?
  • Unngå “sandboks” (svartelistning av Google)!
  • Kjetil Sander
    Kjetil Sander (f.1968) grunnlegger, redaktør, forfatter og serieentreprenør. Gunnla Kunnskapssenteret.com i 2001 (i dag eStudie.no) og har siden vært portalens redaktør. Utdannet Diplom økonom og Diplom markedsfører fra BI/NMH. Har i dag mer enn 30 års erfaring som serieentreprenør, leder og styremedlem.