Crawl budget verhogen voor een snellere indexering: 6 factoren die jij kunt optimaliseren

Wat is een crawl budget?

Iedere website heeft een crawl budget, maar wat is dat? Een crawl budget is het aantal pagina’s van jouw website die Google dagelijks crawlt. Crawlen is het uitlezen van een webpagina door Google. Op basis van de info die Google hierbij vindt, indexeert hij jouw pagina voor de Google zoekresultaten.

Het crawl budget kan per website en per dag verschillen. Als website-eigenaar wil je natuurlijk dat dit budget zo hoog mogelijk is. Hoe meer pagina’s Google dagelijks crawlt, hoe meer kans jij hebt dat jouw aanpassingen en nieuwe producten worden opgenomen in de Google zoekresultaten.

Wat bepaalt jouw crawl budget?

Hoeveel crawl budget jouw website heeft, hangt van vele factoren af. De exacte lijst van factoren is voor iedereen die geen Googlebot heet, een groot mysterie. Echter is het wel duidelijk geworden dat de volgende factoren een substantieel aandeel hebben in dit budget:

• Grootte van de website
• Aantal links naar de website
• Autoriteit van de website
• Snelheid van website
• Hoeveelheid errors/ 404s op de website

Is het crawl budget een probleem voor jouw website?

Of jouw website leidt onder een beperkt crawl budget, kun je bepalen door te kijken naar de verhouding tussen het totaal aantal pagina’s van jouw site én het gemiddeld aantal pagina’s dat Google dagelijks crawlt.

Het totaal aantal pagina’s vind je door in te loggen via Google Search Console > Dekking > Geldige pagina’s te bekijken.

Via deze tool van (het oude) Search Console kun je zien hoeveel van jouw pagina’s dagelijks worden gecrawld.

Voorbeeld:

Wanneer je bijvoorbeeld 10.000 pagina’s hebt en er worden er dagelijks 400 gecrawld, dan duurt het heel lang voordat jouw hele website is gecrawld. Google neemt belangrijke pagina’s, zoals de homepagina, namelijk vaker mee dan andere pagina’s.

In dit geval, waarbij we even uitsluiten dat pagina’s in deze periode dubbel worden gecrawld, duurt het dus minimaal 10.000/400= 25 dagen voordat de hele website is nagelopen.

Als jij een nieuw product aan de webshop toevoegt, kan het meer dan 25 dagen duren, voordat dit product wordt opgepikt door Google.

Maak je deze berekening (totaal aantal pagina’s/ gemiddeld aantal dagelijks gecrawlde pagina’s) en kom je uit op minder dan 10 dagen, dan is er niks mis met jouw crawl budget. Heeft Google meer dan 10 dagen nodig om jouw website na te lopen? Lees dan verder voor onze tips.

Grote websites en dynamische webshops

De meeste websites hebben geen last van een te klein crawl budget en hoeven hiervoor dus niet te optimaliseren. Grote websites en webshops hebben hier helaas vaak wel last van. Net als extreem dynamische websites. Als producten slechts een korte periode in de webshop te vinden zijn, waarna ze worden verwijderd, dienen deze URL’s geredirect (een andere bestemming te krijgen) te worden. Door dit regelmatig te doen ontstaan er veel verwijzingslijsten.

In dit geval moet Google veel meer pagina’s nalezen en door lange lijsten vol redirects rennen om tot één bestemming te komen. Deze zaken kosten tijd. En dus is het voor bijvoorbeeld webshops met heel veel producten zaak om het budget dat ze hebben zo efficiënt mogelijk in te zetten.

Hoe verhoog je het crawl budget van jouw website?

Je kunt crawl budget zien als een bepaalde tijd die Google dagelijks aan jouw website spendeert. Je wil deze tijd optimaal benutten en dus moet jouw website zo snel mogelijk zijn, geen doodlopende URL’s bevatten en moet je Googlebot vertellen welke pagina’s hij wél en vooral welke hij niet mag indexeren.

Dubbele content

Dubbele content is voor online vindbaarheid uit den boze. Wanneer dezelfde inhoud zich op 2 verschillende URL’s bevindt, spreken we van dubbele content. Waarom is dit zo slecht voor jouw crawl budget? Google moet nu 2 URL’s crawlen om dezelfde content uit te lezen. De tijd die hij aan de 2de URL besteedt, kan hij beter investeren in andere mooie pagina’s van jouw website. Zeker wanneer dit bij 100 producten het geval is, verlies je veel kostbare crawltijd.

Vaak komt dubbele content voor in een webshop met een inefficiënte structuur. Zo vind je één product in meerdere categorieën en dus onder meerdere URL’s. Structureer jouw webshop dus op een juiste manier om te voorkomen dat je dubbele content creëert.

Productfilters met eigen URL’s

Heeft jouw webshop een filtermogelijkheid? Daarmee help je jouw klanten aanzienlijk! Ze kunnen filteren op kleur, prijs, materiaal en meer. Elke filter levert een nieuwe URL op. Maar of je nu alle mogelijke filter URL’s wilt laten indexeren? Dat kost veel tijd/ crawl budget. Het is dan ook belangrijk om de balans te vinden tussen URL's met filters die je wél en niet laat indexeren. Merk je bijvoorbeeld dat jouw crawl budget beperkt is, dan is dat misschien het moment om te kijken welke filterpagina's niet worden gebruikt en deze uit te sluiten van indexering. 

Je kunt deze filter URL’s uitsluiten van crawlen door een Disallow regel toe te voegen aan jouw robots.txt bestand (hiermee geef je aan dat Google deze pagina’s niet mag crawlen). Dit geldt natuurlijk ook voor andere irrelevante pagina’s die je niet door Google wilt laten crawlen. Denk aan bedankt- of inlogpagina’s. Vraag eventueel jouw webbouwer om dit voor je te doen.

404-pagina’s ofwel doodlopende URL’s

404’s zijn eigenlijk doodlopende URL’s. Ze ontstaan bijvoorbeeld wanneer een artikel in een webshop is verplaatst of een pagina is verwijderd. Hoe meer 404’s jouw website heeft, hoe ongezonder en minder sterk de website is in de ogen van Google. Immers belemmeren 404-pagina’s ook het gebruiksgemak van jouw bezoekers.

Daarbij kost het Google meer tijd om deze links na te lopen. Ook moet Google om één pagina te crawlen langs 2, 3 of meer URL’s die continue worden doorverwezen.

Verminder het aantal 404’s door deze permanent door te verwijzen naar relevante wél bestaande pagina’s of vervang de bestemming van interne links en buttons op jouw website direct door de juiste bestemming.

Onvoldoende snelheid

Een logische factor die jouw crawl budget beïnvloedt, is de snelheid van jouw website. Hoe sneller jouw pagina laadt, hoe sneller Google deze kan crawlen en door kan naar de volgende pagina. Is jouw website te traag? Dan kost het Google meer tijd om de pagina te crawlen en te indexeren en kan hij vandaag minder van jouw pagina’s uitlezen.

De snelheid van jouw website is afhankelijk van o.a.:

• Code van de website
• Grootte van de afbeeldingen
• Data structured MarkUp
• Interne- en vooral externe- rel=’nofollow’ links

Wil je een bezoeker wél verwijzen naar een specifieke pagina, maar is die pagina niet interessant voor Google? Hang dan een ‘rel=’nofollow’ label aan deze link. Zo kan de bezoeker gebruik maken van jouw link, maar verspilt Google geen kostbare tijd aan het crawlen van deze pagina.

Creëer meer (back)links

We hebben je al eerder verteld dat backlinks goed zijn voor de vindbaarheid van een website. Dit komt ook nu weer terug als we het hebben over crawl budgetoptimalisatie.

Wanneer Google een pagina crawlt, leest hij niet alleen de tekst en inhoud op de pagina, maar loopt hij ook alle aanwezige links na. Crawlt Google op dit moment een website waar jouw link op staat? Dan volgt Google deze link tot zijn bestemming: jouw pagina. Zo krijg je meer crawl budget doordat iemand anders naar jou verwijst (mits dit geen ‘nofollow’ link is uiteraard).

Ook interne links helpen Google bij het crawlen. Niet alleen begrijpt Google zo beter de structuur van jouw website, ook loopt hij elk linkje dat hij op jouw pagina vindt na. Heb jij 1 pagina met 4 links? Dan crawlt Google in één keer alle 5 de pagina’s. Dat is toch dikke winst!

Aan de bak voor een hoger crawlbudget

Gelukkig hebben de meeste websites geen problemen met een te klein crawl budget. Het verhogen hiervan kost namelijk veel tijd en is geen makkelijke opgave. Merk je dat jouw webshop of website wél last heeft van een beperkt aantal gecrawlde pagina’s? Dan hopen we dat je nu de juiste handvaten hebt om hieraan te werken. Natuurlijk kun je ons altijd om advies vragen als je er niet uit komt.