SEO is voor ieder bedrijf een goede oplossing | Ralf van Veen

oglebot zal op uw site kruipen voordat u vertrekt, dus crawl budget optimalisatie zorgt ervoor dat Googlebot geen tijd verspilt aan het kruipen door uw onbelangrijke pagina’s en het risico loopt uw belangrijke pagina’s te negeren. Crawl budget is het belangrijkst op zeer grote sites met tienduizenden URL’s, maar het is nooit een slecht idee om crawlers te blokkeren van de toegang tot de inhoud waar je zeker niet om geeft. Zorg er wel voor dat je de toegang van een crawler tot pagina’s waar je andere richtlijnen aan hebt toegevoegd, zoals canonieke of geen index tags, niet blokkeert. Als Googlebot is geblokkeerd van een pagina, kan hij de instructies op die pagina niet zien.

Dit artikel wordt mede mogelijk gemaakt door Ralf van Veen, freelance SEO specialist bij https://ralfvanveen.com. 

Niet alle webrobots volgen robots.txt. Mensen met slechte bedoelingen (bijvoorbeeld e-mailadreskrabbers) bouwen bots die dit protocol niet volgen. Sommige slechte acteurs gebruiken zelfs robots.txt-bestanden om te vinden waar u uw privé-inhoud hebt gevonden. Hoewel het misschien logisch lijkt om crawlers van privépagina’s zoals inlog- en beheerpagina’s te blokkeren, zodat ze niet in de index verschijnen, betekent het plaatsen van de locatie van die URL’s in een publiek toegankelijk robots.txt-bestand ook dat mensen met kwaadwillige bedoelingen ze gemakkelijker kunnen vinden. Het is beter om deze pagina’s te NoIndexen en ze achter een aanmeldingsformulier te plaatsen in plaats van ze in uw robots.txt-bestand te plaatsen.

U kunt meer details hierover lezen in het gedeelte robots.txt van ons leercentrum.

URL-parameters definiëren in GSC
Sommige sites (die het meest voorkomen bij e-commerce) maken dezelfde inhoud beschikbaar op meerdere verschillende URL’s door bepaalde parameters aan URL’s toe te voegen. Als u ooit online hebt gewinkeld, hebt u waarschijnlijk uw zoekopdracht beperkt via filters. U kunt bijvoorbeeld zoeken naar “schoenen” op Amazon en uw zoekopdracht verfijnen op grootte, kleur en stijl. Elke keer dat u verfijnt, verandert de URL enigszins:

Hoe weet Google welke versie van de URL te dienen voor zoekers? Google doet het vrij goed in het uitzoeken van de representatieve URL op zijn eigen, maar u kunt de URL-parameters functie in Google Search Console gebruiken om Google precies te vertellen hoe u wilt dat ze uw pagina’s behandelen. Als u deze functie gebruikt om Googlebot te vertellen “crawl geen URL’s met ____ parameter,” dan vraagt u in wezen om deze inhoud te verbergen voor Googlebot, wat kan resulteren in het verwijderen van die pagina’s uit de zoekresultaten. Dat is wat u wilt als die parameters dubbele pagina’s maken, maar niet ideaal als u wilt dat die pagina’s worden geïndexeerd.

Kunnen crawlers al uw belangrijke inhoud vinden?
Nu dat u weet dat sommige tactieken om ervoor te zorgen dat zoekmachine crawlers wegblijven van uw onbelangrijke inhoud, laten we leren over de optimalisaties die Googlebot kunnen helpen uw belangrijke pagina’s te vinden.

Soms zal een zoekmachine in staat zijn om delen van uw site te vinden door te kruipen, maar andere pagina’s of secties kunnen om de een of andere reden verborgen zijn. Het is belangrijk om ervoor te zorgen dat zoekmachines in staat zijn om alle inhoud die u wilt geïndexeerd te ontdekken, en niet alleen uw homepage.

Vraag jezelf dit af: Kan de bot door uw website kruipen, en niet alleen naar uw website?

Een ingestapte deur, die een site voorstelt die wel kan worden aangekruipen, maar er niet doorheen kan worden gekropen.
Is uw inhoud verborgen achter inlogformulieren?
Als u wilt dat gebruikers inloggen, formulieren invullen of enquêtes beantwoorden voordat ze toegang krijgen tot bepaalde inhoud, zullen zoekmachines die beschermde pagina’s niet zien. Een crawler gaat zeker niet inloggen.

Vertrouw je op zoekformulieren?
Robots kunnen geen gebruik maken van zoekformulieren. Sommige mensen geloven dat als ze een zoekvak op hun site plaatsen, zoekmachines alles kunnen vinden waar hun bezoekers naar zoeken.

Is tekst verborgen binnen niet-tekstuele inhoud?
Niet-tekstuele mediaformulieren (afbeeldingen, video, GIF’s, etc.) mogen niet worden gebruikt om tekst weer te geven die u wilt laten indexeren. Hoewel zoekmachines steeds beter worden in het herkennen van beelden, is er geen garantie dat ze deze nu al kunnen lezen en begrijpen. Het is altijd het beste om tekst toe te voegen binnen de <HTML> markering van uw webpagina.

Kunnen zoekmachines de navigatie op uw website volgen?
Net zoals een crawler uw site moet ontdekken via links van andere sites, zo heeft hij een pad van links op uw eigen site nodig om hem van pagina naar pagina te leiden. Als je een pagina hebt waarvan je wilt dat zoekmachines deze vinden, maar die niet gelinkt is van andere pagina’s, dan is hij zo goed als onzichtbaar. Veel sites maken de kritieke fout om hun navigatie te structureren op een manier die ontoegankelijk is voor zoekmachines, waardoor hun vermogen om in de zoekresultaten te worden vermeld wordt belemmerd.

Een afbeelding van hoe pagina’s waarnaar gelinkt wordt, gevonden kunnen worden door crawlers, terwijl een pagina waarnaar niet gelinkt wordt in de navigatie op uw site bestaat als een eiland, onontdekt is.
Veel voorkomende navigatiefouten die ervoor kunnen zorgen dat crawlers uw hele site niet kunnen zien:
Een mobiele navigatie die andere resultaten laat zien dan uw desktopnavigatie
Elk type navigatie waarbij de menu-items niet in de HTML staan, s