Avanserte XML Sitemap Tips: 4 Sider å ekskludere i en Robots TXT File

En Robots TXT-fil som fungerer sammen med en XML sitemap for å kommunisere med søkemotorer 'roboter, ellers kjent som søkemotor edderkopper eller bots. Dette er automatiske skript som reiser til World Wide Web med det formål å indeksering innhold. Mens en XML sitemap forteller robotene hvilke nettsider du vil ha indeksert, gjør en Robots TXT fil motsatt, listing web-innhold som du ikke ønsker roboter å besøke fordi du ønsker å ekskludere dem fra søkemotorer. Din Robots TXT-filen kan nekte tilgang til hele nettstedet, bestemte mapper eller spesifikke nettsider. Filen kan bli laget med Notepad i Windows eller TextEdit i Mac, og bør lagres i roten av domenet.

Det er 4 hovedtyper av web-innhold du ønsker å ekskludere fra søkemotorer ved hjelp av en Robots TXT-fil:

1. In-Progress innhold

Tenk deg at du er pusset opp et stort nettsted. Når du kikke inn i nettstedet filer, finner du at det er fylt med utdaterte websider og verste ennå, sider som bringer opp feil eller omdirigere når folk prøver å få tilgang til dem. Disse må ekskluderes fra XML sitemap og lagt til din Robots TXT fil, så søkemotorer vil ikke tilfeldigvis indeksen og sende trafikk til dem. Det er ingenting mer frustrerende for en nettbruker enn å tro at de har kommet på nøyaktig den informasjonen de trenger, bare for å finne at siden faktisk ikke eksisterer lenger. Hvis du jobber på hele området for en stund, kan du også bruke den Robots TXT-filen for å nekte tilgang til hele nettstedet, slik at søkemotoren edderkopper ikke besøke nettstedet ditt i det hele tatt.

2. Privat Content

Som en bedrift, er det sannsynlig at du har eller tenker på å legge ut spesielle innhold for folk som betaler eller registrer deg. Likeledes kan du passordbeskytte deler av nettstedet ditt bare for enkelte medlemmer av laget ditt til å se. Selvfølgelig trenger du ikke vil at noen av disse sidene som viser opp i søkemotorene for hele verden å se. Ved å slette disse sidene fra XML sitemap og sette dem inn i din Robots TXT-fil, du sender en klar melding til søkemotorer at sidene er privat og bør ikke bli vist som offentlig inngangspunkter til ditt nettsted.

3 . Lav prioritet Content

Med tanke på hvor søkemotoredderkopper er automatiske programmer, kan du ikke forvente at de skal bruke sunn fornuft når de sjekker ut nettstedet. De gjør sine beslutninger basert på beregninger, slik at de ikke bevisst vet hvilke nettsider du vurdere viktigere enn andre. Av grunner som spenner fra trafikk til eksterne linker, en triviell side som personvernreglene kan dukke opp på toppen av søkemotorresultater for bestemte søkeord. Hvis du ikke vil at enkelte sider til å være din første inntrykk til potensielle kunder og klienter, bør du endre sine prioriterte innstillinger i XML sitemap og deretter føre dem opp i din Robots TXT-fil.

4. Duplikat innhold

søkemotorer straffe nettsteder for likt innhold fordi spammerne pleide å bruke denne taktikken for å prøve og lure systemet. Dette betyr at du er i trøbbel hvis du tilbyr seerne en kopi av den samme websiden for utskrift, bruker http sikker (https) og mindre sikker (normal http) versjoner av de samme sidene, eller har ulike nettadresser som peker til samme e-handel butikken element for eksempel. Sørg for at søkemotorer vet at du ikke bedra dem med vilje ved klart å identifisere den kanoniske (eller foretrukket) side i XML sitemap og notering alle duplikater i din roboter TXT fil for utelukkelse
.