Numera är företag mycket mer medvetna om den viktiga roll som SEO spelar för att hjälpa dem att hittas på nätet. Ett antal faktorer kan dock definiera hur SEO-vänlig en viss webbplats kommer att vara för webbcrawlare, och för många människor kan alla dessa faktorer bli förvirrande och överväldigande. I ett försök att bryta ner saker och ting ska vi titta på två viktiga faktorer som ofta förbises: krypbarhet och indexerbarhet. Vad är crawlability? Hur är det med indexerbarhet? Låt oss börja med att gå igenom hur sökmotorer faktiskt upptäcker sidor på webben, för att få en bättre förståelse för dessa två termer.

Hur upptäcker sökmotorer sidor på webben?

Sökmotorer använder sig av så kallade webcrawlers för att ta reda på nya eller uppdaterade sidor på webben. Dessa webcrawlers är i huvudsak robotar som syftar till att hitta och indexera innehåll. De bläddrar genom webbplatsen på samma sätt som en person – de går från länk till länk för att ta med sig data tillbaka till sina servrar. De kan hitta saker som en vanlig person inte skulle leta efter, t.ex. alt-taggar, metabeskrivningstaggar, strukturerade data och andra element som finns i webbplatsens kod. I slutändan handlar det om en sökmotors förmåga att komma åt och indexera sidor på en webbplats.

• Crawlability avser sökmotorns förmåga att krypa igenom innehållet på en sida.
• Indexeringsbarhet avser sökmotorns förmåga att analysera och lägga till en sida i sitt index.
• Google kan kanske kryssa en webbplats, men indexeringsproblem kan hindra Google från att indexera varje enskild sida.
• Hur vet jag om min webbplats är krypningsbar och indexerbar?

Om du inte har tittat på den tekniska sidan av SEO tidigare är det mycket troligt att din webbplats inte är krypningsbar och indexerbar. Det är viktigt att känna till och vara förtrogen med dessa termer för att se till att sökmotorrobotar kan krypa och indexera sidorna på din webbplats. Så hur vet du om din webbplats är krypningsbar och indexerbar? Om du är nybörjare på dessa termer är chansen stor att den inte är det. Men att titta på din sökmotorrankning är ett bra sätt att veta det. Dyker du upp vid sökningar som rör dina produkter och/eller tjänster?

Om du inte dyker upp vid sökningar som rör dina produkter och/eller tjänster, men ditt innehåll nämner dina målnyckelord några gånger på varje sida, saknar du troligen några viktiga aspekter som rör krypbarhet och indexerbarhet. Om du inte har optimerat din webbplats för krypbarhet och indexerbarhet går du sannolikt miste om fördelarna med de SEO-åtgärder utanför sidan som du har vidtagit.

Vad påverkar krypbarhet och indexerbarhet?

Det finns olika faktorer som påverkar crawlability och indexerbarhet för en viss webbplats. Här är några att tänka på:

Webbplatsens struktur: Ta en titt på strukturen på din webbplats. Kan du komma till de viktigaste sidorna på din webbplats från en viss sida? De flesta ser till att det finns länkar till huvudsidorna från startsidan, men det räcker inte. Du vill att folk enkelt ska kunna navigera från vilket område som helst. När det är möjligt ska du också länka till andra relevanta och auktoritativa webbplatser.

Interna länkar till användbar information: Om du har en tjänstesida eller ett blogginlägg som nämner ett ämne som du redan har skrivit om någon annanstans på din webbplats, gör du en hyperlänk till ämnet på tjänstesidan eller blogginlägget. På så sätt kan sökare se att ditt innehåll hänger ihop, vilket gör att de lättare kan navigera och söka igenom din webbplats och ökar sannolikheten för korrekt indexering.

Föråldrad teknik eller teknik som inte stöds: Det finns en hel del former av webbplatsteknik som inte längre kan kryssas av sökmotorrobotar. Se till att du inte använder något som är föråldrat eller inte stöds, inklusive men inte begränsat till Ajax och JS, som faktiskt förhindrar robotar från att kryssa webbplatsen. Kontrollera dessutom att alla dina programmeringsspråk är uppdaterade.

Kodfel som förhindrar åtkomst för robotar: Robots.txt är en textfil som skapas för att instruera robotar hur de ska krypa på specifika sidor på webbplatsen. Dessa textfiler kan ange för en sökmotor om den ska krypa igenom eller inte genom att tillåta eller förbjuda beteendet. I vissa fall kanske du inte vill att sökmotorer ska indexera en viss sida. Men om du gör det vill du se till att det inte finns några kodfel som hindrar det.

Serverfel och/eller brutna omdirigeringar: Om det ofta förekommer serverfel och/eller trasiga omdirigeringar på din webbplats kommer dina besökare troligen att lämna webbplatsen i stället för att fortsätta försöka ladda sidan. Detta kommer inte bara att öka avvisningsfrekvensen utan även hindra crawlers från att få tillgång till webbplatsens innehåll och indexera det. Se till att du löser dessa problem omedelbart.

Vad kan man göra för att hjälpa sökmotorbots att kryssa och indexera en webbplats?

När du försöker hjälpa sökmotorbotar att kryssa och indexera din webbplats är det första steget att gå igenom listan över faktorer ovan som påverkar kryssningsbarheten och indexerbarheten. Du vill ta hand om eventuella problem som hindrar sökmotorbotar från att crawla och indexera din webbplats innan du går vidare. När du har tagit hand om listan över faktorer ovan finns det sätt att förbättra krypnings- och indexeringsbarheten.

Skicka in en sitemap till Google

En del människor ser sitemaps som en nyhet, men detta kunde inte vara längre från sanningen. Faktum är att sitemaps alltid har varit en av de viktigaste bästa metoderna för webbdesign som utvecklare känner till. En webbplatskarta är viktig för varje webbplats – den utgör en viktig länk mellan webbplatsen och sökmotorn. Det är viktigt att konstruera din sitemap på rätt sätt och se till att den är välstrukturerad. Detta gör din webbplats lättare att kryssa och ger användarna mer exakta sökresultat när de söker efter nyckelord som är förknippade med dina produkter och/eller tjänster.

Så vad exakt är en sitemap? Det är en liten fil som ligger i rotmappen för din domän. Den innehåller direktlänkar till varje enskild sida på din webbplats. Den berättar i princip allt om ditt innehåll för sökmotorerna, och när den uppdateras meddelar den sökmotorerna att de ska krypa igenom och granska uppdateringarna. När du har lagt till en sitemap ska du se till att hålla den uppdaterad.

Uppdatera ditt innehåll regelbundet

Även om det är viktigt att inte förbise de tekniska aspekterna av SEO är innehållet mycket viktigare än vad många tror. Det är en grundläggande nödvändighet för varje given webbplats, och lyckligtvis har det mycket kraft när det gäller att hjälpa dig att placera dig högre i sökmotorerna. När vi talar om innehåll tänker du kanske på traditionella sidor och blogginlägg. Men det är inte den enda formen av innehåll. Du kan gå bortom text och inkludera bilder, video, diabilder, ljud och mycket mer. Innehåll hjälper inte bara dem som besöker din webbplats att bättre förstå vad du gör, utan det hjälper dig också att se till att din webbplats krypsas och indexeras mycket snabbare.

Varför är det så? Svaret är enkelt: Google och andra sökmotorer ägnar mer tid åt att kryssa och indexera webbplatser som uppdateras regelbundet. Försök se till att du skriver innehåll som är unikt och långt (cirka 2000 eller fler ord) eftersom sökmotorerna rankar detta högre än de rankar ”tunt” innehåll. Du vill att ditt innehåll ska uppfylla sökarnas intentioner, vilket innebär att du bör använda olika former av innehåll som håller människor engagerade och intresserade så att de stannar kvar på din webbplats under en längre tid.

Öka och stärka dina interna länkar

Google och andra sökmotorer förlitar sig på länkar – både externa och interna – på din webbplats för att avgöra vilket innehåll som är relaterat till vad, samt värdet av det innehållet. De hittar dina inlägg och sidor bäst när de är länkade från någonstans på webben. Interna länkar ger till exempel sökmotorerna en bättre inblick i sammanhanget och strukturen på din webbplats. I huvudsak kommer crawlers att komma till din hemsida och följa den första länken. De kommer att ta sig igenom din webbplats – och räkna ut förhållandet mellan olika inlägg och sidor för att lära sig ämnet.

Börja med att gå igenom din webbplats, sida för sida, och hitta alla omnämnanden av nyckelord, oavsett om de är korta eller långa. Länka dessa nyckelord till relevant information på din webbplats, inklusive blogginlägg eller tjänstesidor, för att förbättra din sökrankning. Detta visar sökmotorerna att allt ditt innehåll är sammankopplat.

Öka laddningstiden för din sida

Sidans snabbhet förväxlas ofta med webbplatsens snabbhet, men tänk på att de är helt olika. Webbplatshastighet hänvisar till exempel till sidans hastighet för ett urval av sidvisningar på en viss webbplats. Sidans hastighet å andra sidan är specifikt hur lång tid det tar att visa innehållet på en viss sida. Google erbjuder ett verktyg för att bestämma din sidhastighet. Sökmotorer har vanligtvis bara begränsad tid till förfogande för att genomsöka och indexera en viss webbplats. Detta kallas för botens ”crawlbudget”. Du vill se till att din sida laddas snabbt, så att crawlern kan besöka den innan tiden är slut.

Om laddningstiden för din sida är hög kommer besökarna dessutom att lämna webbplatsen ganska snabbt. Kom ihåg att det finns massor av alternativ där ute för dina produkter och/eller tjänster. Vi lever i den digitala tidsåldern där praktiskt taget allt kan hittas på nätet inom några ögonblick. Om dina besökare lämnar din webbplats snabbt kommer din avvisningsfrekvens att öka – vilket gör att sökmotorerna får veta att de flesta inte tycker att ditt innehåll är relevant, och därmed sjunker din sökplacering.

Undvik dubbelt innehåll

Duplicerat innehåll är innehåll som finns på webben på mer än ett ställe. Vanligtvis finns det på en plats med en URL. Google och andra sökmotorer kommer att ha svårt att räkna ut vilken version av duplicerat innehåll som är mest relevant för en viss sökfråga, varför det rekommenderas att undvika duplicerat innehåll helt och hållet. De vet inte vilken eller vilka versioner de ska inkludera i sina index och om de ska rikta länkmetrikerna, såsom auktoritet, länkvärde osv. till din version eller en annan version.

I slutändan är det bäst att undvika duplicerat innehåll. Förutom att förvirra sökmotorerna kan duplicerat innehåll också minska frekvensen för crawlers att gå igenom din webbplats. Om du använder en syndikerad bloggtjänst från ditt marknadsföringsföretag bör du be dem se till att innehållet inte är krypningsbart.

Vad kan du göra mer? Om du har genomfört listan med steg ovan och fortfarande letar efter fler sätt att förbättra krypningsbarheten och sökbarheten finns det några mer avancerade tekniker som du kan utnyttja. Men du vill förstås börja med de grundläggande åtgärderna som anges ovan innan du går in på mer tekniska alternativ.

Håll omdirigeringarna begränsade

En URL-omdirigering, även känd som URL-vidarebefordran, är en webbserverfunktion som skickar en besökare från den URL de har skrivit/besökt till en annan. Dessa är vanligtvis automatiserade genom en serie statuskoder som definieras i HTTP-protokollet. Dessa används vanligen vid byte av företagsnamn, sammanslagning av två webbplatser, ett försök att split-testa landningssidor och olika andra orsaker. Varje sida bör inte ha mer än en omdirigering för bästa möjliga resultat. Om omdirigeringar måste användas, använd alltid 302 för tillfälliga omdirigeringar och 301 för permanenta omdirigeringar.

Aktivera komprimering

Komprimering används för att din webbserver ska kunna tillhandahålla mindre storlekar eftersom de laddas mycket snabbare för dem som besöker din webbplats. Vanligtvis är gzip-komprimering aktiverad som standard. Om den inte är det laddas dina webbsidor sannolikt ganska långsamt, särskilt jämfört med dina konkurrenter. Målet med att aktivera komprimering är att eliminera onödig data när det är möjligt. När det inte är möjligt kan du försöka använda ett verktyg för att komprimera ditt innehåll/minskad filstorlek. Det finns många bra verktyg tillgängliga, till exempel Brotli, som gör att du kan uppnå detta.

Optimera alla dina bilder

På en genomsnittlig webbsida tar bilderna upp ungefär 60 % av storleken. Detta kan sänka laddningshastigheten avsevärt, så när det är möjligt bör du försöka eliminera onödiga bildresurser och se till att de alltid komprimeras, ändras i storlek och skalas så att de passar där de ska vara. Några andra bästa metoder för att använda bilder på rätt sätt är följande:

• Använd unika bilder som är relevanta för sidan.
• Sträva efter att använda format av högsta möjliga kvalitet.
• Inkludera en lättförståelig bildtext till varje bild.
• Utnyttja ”alt-text” för att säkerställa tillgänglighet.

Se till storleken på innehållet ovanför huvudet

Med ”ovanför huvudet” menas allt som besökaren ser så snart han eller hon landar på sidan. Det kan vara bilder, formulär, text och annat innehåll som är avsett att fånga uppmärksamheten innan de behöver scrolla neråt på sidan. Ta lite tid på dig att fundera på vad du vill att folk ska se så fort de kommer till din webbplats. Kom ihåg att denna plats är nyckeln till att hålla dem kvar på sidan. Sätt den mest intressanta eller övertygande informationen du har här. Se dessutom till att du organiserar HTML-markering för att snabbt kunna återge allt innehåll ovanför sidan. Detta innebär att du bör se till att innehållet inte överstiger 148 kB (komprimerat).

Skapa en policy för cachelagring

Med hjälp av caching av sidor kan du förbättra laddningstiden för dina webbsidor, vilket minskar besökarnas avvisningsfrekvens och därmed förbättrar din webbplats för sökmotorerna. Google har avslöjat att en skillnad på en halv sekund i laddningstid kan minska webbtrafiken med upp till 20 %. Därför anser många sökmotorer att sidans laddningstid är en otroligt viktig faktor för att avgöra hur din webbplats ska rankas. Se till att du inrättar en cachingpolicy där du använder webbläsarcachelagring för att kontrollera hur länge en webbläsare kan cachelagra ett svar. Du kan också använda etags för att se till att effektiva revalideringar är aktiverade.

Minimera dina resurser

Att minimera dina resurser – från bilder till videor, HTML, CSS och JavaScript-filer – innebär att du tar bort mellanslag, tabuleringar, kommentarer och annan kod som inte är absolut nödvändig. Detta är en annan taktik som används för att få din webbplats att ladda snabbare. Om du kör din webbplats på WordPress kan du prova minifieringsinställningarna som finns i insticksprogrammet W3 Total Cache. Du kan också använda ett verktyg som är speciellt framtaget för minifiering. Det finns många tillgängliga, till exempel Googles Closure Compiler för JavaScript, en HTML-minifier för HTML med mera.