Het analyseren van logbestanden voor SEO doeleinden

In de wereld van SEO houdt het analyseren van logbestanden in dat we serverlogs grondig onderzoeken om te begrijpen hoe zoekmachines een website crawlen. De gegevens die hieruit voortkomen, bieden ons waardevolle inzichten in de interactie tussen zoekmachine-bots en websites. Dit stelt ons in staat om onze strategieën te verfijnen en onze zichtbaarheid in de zoekresultaten te verhogen, zodat we beter opvallen voor bezoekers.

Logbestanden verzamelen

Logbestanden dienen als een gedetailleerd register voor de server. Ze registreren elke handeling die op de website wordt uitgevoerd. Het doel is om een helder en nauwkeurig beeld te geven van welke pagina’s door zoekmachines worden bezocht en met welke frequentie. Tevens worden eventuele problemen die deze zoekmachines tegenkomen, gedocumenteerd.

Logbestanden geven ons inzicht in de interactie tussen een website en haar bezoekers, zowel menselijk als geautomatiseerd. We kunnen de bezochte URL’s, IP-adressen, statuscodes en exacte tijdstippen van de bezoeken inzien. Op basis van deze informatie kunnen we het gedrag van zoekmachines analyseren en een doeltreffend SEO-plan ontwikkelen.

Logbestanden verzamelen

We moeten de logbestanden verzamelen voor een completer overzicht. Door in te loggen op de webserver of een Content Delivery Network (CDN) kunnen we logbestanden verzamelen en exporteren. Regelmatige back-ups zijn essentieel voor het raadplegen van historische data en het analyseren van trends over de jaren. Volg onderstaand stappenplan voor het verzamelen van logbestanden:

1. Kies welke logbestanden nodig zijn. Focus voornamelijk op de webserverlogbestanden, die zoekmachine crawlers registreren.
2. Vraag om toegang. Via FTP, cPanel of een directe verbinding met de hostingprovider kunnen we toegang tot de server van de website krijgen.
3. Identificeer de locatie van het logbestand. Het is cruciaal om te weten waar de logbestanden zijn opgeslagen. Dit gebeurt vaak in de logs-directory.
4. Exporteer logbestanden. Download de logbestanden en exporteer ze naar het lokale systeem. Gebruik hiervoor .txt- of .log-bestanden.
5. Opslaan. Bewaar de gedownloade logbestanden zorgvuldig en houd het georganiseerd door verschillende mappen te creëren.
6. Automatiseer het proces. Om constant toegang te krijgen tot de recente data, is het aan te raden om het verzamelproces via scripts of de hostingprovider te automatiseren.

Te gebruiken tools

Voor het analyseren van logbestanden zijn er verschillende tools beschikbaar, van eenvoudige tekstverwerkers tot gespecialiseerde software voor diepgaande analyses. Tot deze laatste categorie behoren Screaming Frog Log File Analyser of Semrush. Deze tools filteren en visualiseren snel grote hoeveelheden data, wat ons waardevolle inzichten biedt in de werking van de website en ons helpt om de SEO te verbeteren.

We kunnen ook rechtstreeks naar de website van de hostingprovider gaan, maar dat kan iets complexer zijn. Dit biedt echter wel een direct inzicht in de echte data. Een voorbeeld van een hostingprovider is TransIP.

Welke inzichten geven logbestanden?

Logbestanden bieden ons inzicht in de gezondheid van een server en of deze goed functioneert. Ze geven ook informatie over eventuele fouten die de prestaties kunnen beïnvloeden. Bij het tegenkomen van fouten in de logbestanden worden deze direct aangepakt. Voorbeelden van dergelijke fouten zijn trage reactietijden of serverfouten. De Google Search Console kan ons gedeeltelijk helpen bij het identificeren en oplossen van deze fouten.

Daarnaast tonen logbestanden niet alleen gegevens van de Google Bot, maar ook die van andere user-agents en bezoekers. Sommige SEO-specialisten maken altijd gebruik van Google Search Console om tijd te besparen.

Crawl-problemen identificeren met logbestanden

Bij het bestuderen van logbestanden kunnen we ook crawl-problemen identificeren. Let op foutcodes zoals code 500 (serverfout) of code 404 (niet gevonden), en houd in de gaten of er geen pagina’s worden overgeslagen. Zo kunnen we technische problemen herkennen die anders misschien over het hoofd zouden worden gezien.

Het analyseren hoeft echter niet handmatig te gebeuren. Er zijn handige tools beschikbaar, zoals Screaming Frog. Deze tools werken doorgaans sneller en nauwkeuriger.

Verband logbestanden en zoekmachine crawlers

Logbestanden geven ons inzicht in hoe zoekmachine crawlers navigeren op een website. Ze laten zien welke pagina’s het vaakst worden bezocht en wat de exacte frequentie is. Deze informatie is van grote waarde om te bepalen welke aspecten van de site gewaardeerd worden door zoekmachines en welke wellicht meer aandacht nodig hebben. Op basis van deze gegevens kunnen we onze inhoud beter afstemmen op de crawlers en zo de posities in Google verbeteren.

Crawl-budget optimaliseren

Logbestanden laten ook zien hoe het crawl-budget wordt benut en of dit niet onnodig dubbel wordt gebruikt. We kunnen deze gegevens gebruiken bij het structureren van de website en het aanpassen van het robots.txt-bestand om het crawlen te optimaliseren. Dit draagt bij aan een efficiënt SEO-pakket.

Logbestanden registreren elke actie van de crawlers en bieden inzicht in welke pagina’s worden geïndexeerd en hoe vaak dit gebeurt. Deze informatie helpt ons te begrijpen of de crawlers naar de juiste content worden geleid en of er aanpassingen in de contentstrategie nodig zijn.

Is Google Search Console een goed alternatief?

In plaats van zelf de logbestanden te analyseren, kunnen we Google Search Console inschakelen. Google Search Console toont ons hoe alle bots met de website omgaan en helpt bij het identificeren van crawlproblemen. Dit kost minder tijd dan het handmatig analyseren van logbestanden en is ook financieel voordeliger. Bovendien draagt het bij aan de verbetering van de indexatie van de website.

Veelgemaakte fouten bij log file analyse

Bij het gebruik van loganalyse worden sporadische fouten vaak over het hoofd gezien. De impact lijkt gering, maar op de lange termijn kunnen deze fouten wel degelijk schadelijk zijn. Het gaat niet alleen om grote fouten, maar ook om kleine afwijkingen die in de toekomst tot grotere problemen leiden. Daarnaast vertellen cijfers alleen niet genoeg; ook de context is cruciaal. Dit zijn de meest voorkomende fouten bij loganalyse:

1. Verouderde logbestanden. Het is belangrijk om logbestanden altijd actueel te houden. Verouderde logbestanden kunnen misleidende informatie geven over de huidige staat van de website.
2. Focussen op één aspect. Alleen naar HTTP-statuscodes kijken biedt geen compleet beeld van de gezondheid van een website. Let ook op laadtijden, de frequentie van crawlen en het crawl-budget.
3. Geen overzicht houden. Zorg ervoor dat we niet teveel in details verzeild raken, zodat we het overzicht niet verliezen. Sla de verzamelde informatie altijd gestructureerd op in overzichtelijke mappen.
4. Niet naar de context kijken. Alleen cijfers bekijken kan leiden tot verkeerde interpretaties, waardoor SEO-specialisten soms onterecht handelen. We dienen altijd goed naar de context te kijken om een helder totaalbeeld te scheppen.

Samengevat

Het efficiënt toepassen van logbestandanalyse biedt ons tal van voordelen voor SEO-optimalisatie. Wij kunnen vroegtijdig problemen signaleren, de website beter afstemmen op de eisen van zoekmachines en het crawl-budget optimaliseren.