Screaming Frog en AI: zo bespaar je uren SEO-werk

Waarom je AI aan je crawl koppelt

De kracht van een crawl is dat je duizenden pagina's tegelijk controleert. Voor technische SEO doen we dit al jaren, maar het nakijken, beoordelen of schrijven van teksten en verbeteringen blijft vaak handwerk. Door AI aan Screaming Frog te koppelen, automatiseer je een deel van dit proces. Je geeft de tool een specifieke inhoudelijke opdracht en AI voert deze uit voor de pagina's die worden gecrawld.

Dit levert direct drie voordelen op:

• Je controleert duizenden teksten volgens dezelfde maatstaf.
  Je kunt bijvoorbeeld alle pagina's laten beoordelen op leesbaarheid, taalgebruik of zoekintentie. Zo gebruik je voor iedere pagina dezelfde opdracht.

• Techniek en content staan in hetzelfde overzicht.
  Je hoeft analyses niet meer met de hand te combineren. De AI-output komt als extra data terug in Screaming Frog, naast de gegevens die je normaal al uit je crawl haalt.

• Je bepaalt zelf wat je wilt analyseren.
  Je bent niet alleen afhankelijk van standaard metrics. Met een eigen prompt kun je AI precies de taak laten uitvoeren die voor jouw website relevant is.

Screaming Frog ondersteunt hiervoor onder andere OpenAI, Gemini, Anthropic en Ollama. Je kunt daarnaast eigen prompts maken en meerdere prompts binnen één crawl gebruiken.

Lees ook: Alles over het gebruik van AI in marketing

Waarom niet gewoon een website in AI zetten?

Je kunt natuurlijk ook zelf een pagina in bijvoorbeeld Gemini of ChatGPT zetten en vragen om deze te analyseren. Voor een paar pagina's kan dat prima werken. Maar zodra je een grote website wilt controleren, kost dit al snel veel tijd.

Stel dat je een website met 1.000 pagina's wilt analyseren. Als je iedere pagina los in AI moet zetten en dezelfde opdracht opnieuw moet geven, ben je daar lang mee bezig. Met Screaming Frog werkt dit anders. Je geeft één keer aan wat je AI wilt laten doen en laat Screaming Frog deze opdracht tijdens de crawl uitvoeren voor iedere URL die je wilt analyseren.

Zo kun je dus in één keer een hele website volgens dezelfde opdracht laten beoordelen. Je hoeft niet steeds een nieuwe URL te kopiëren en dezelfde prompt opnieuw te gebruiken. Bovendien krijg je de uitkomsten direct per URL terug in Screaming Frog. Hierdoor kun je de resultaten makkelijk naast andere SEO-data leggen en snel zien welke pagina's aandacht nodig hebben.

Vooral bij grotere websites maakt dit een groot verschil. Waar je met een losse AI-tool vooral losse pagina's analyseert, kun je met Screaming Frog en AI veel makkelijker op grote schaal werken.

Wat je AI tijdens de crawl kan laten doen

Je voegt een duidelijke prompt toe aan de crawl en krijgt per URL een extra kolom met AI-output. Zo kun je meta descriptions genereren voor duizenden pagina's in één keer tegelijk, teksten in bulk controleren op fouten, pagina's indelen op zoekintentie of strategische suggesties krijgen voor visuele content.

Om dit duidelijker te maken geven we hieronder drie voorbeelden.

Kwaliteit en spelling beoordelen

Je laat AI teksten van je gewenste URL's scannen op d/t-fouten of beoordelen op leesbaarheid. Je ziet in de export welke pagina's aandacht nodig hebben en welke verbeteringen de AI voorstelt.

Dit is vooral handig wanneer je een grote website hebt waar handmatig controleren veel tijd kost. Je kunt bijvoorbeeld eerst alle pagina's laten beoordelen en daarna alleen de pagina's met opvallende resultaten handmatig nalopen.

Een voorbeeld van een prompt binnen Screaming Frog waarmee de spelling en grammatica van een website gecontroleerd wordt.

Bulk SEO-data genereren

Dit is een van de handigste toepassingen. Laat AI meta descriptions genereren op basis van de daadwerkelijke inhoud van de pagina. Voor een website met duizenden URL's kun je zo in één keer voor iedere pagina een passende meta description laten maken. Je hoeft deze dus niet voor iedere pagina afzonderlijk te schrijven.

Hetzelfde kun je doen met alt-teksten voor afbeeldingen. AI kan de afbeelding en eventueel de context van de pagina gebruiken om een voorstel te maken. Wanneer je met een grote hoeveelheid afbeeldingen werkt is dit enorm handig. Hiermee ondersteunt AI in Screaming Frog optimalisaties op zowel SEO als GEO gebied.

Let wel op: AI-output is een voorstel en geen eindproduct. Zeker bij meta descriptions en alt-teksten is het verstandig om de resultaten te controleren voordat je ze live zet. Ook Screaming Frog adviseert om door AI gegenereerde meta descriptions grondig te beoordelen. AI is immers een tool die je helpt en zo slim is als de gegevens waarmee ze zijn getraind.

Strategisch meedenken over content

Je kunt AI ook een meer strategische rol geven. Laat het model de tekst van een pagina beoordelen en per pagina bijvoorbeeld twee ideeën voor visuele content bedenken.

Denk aan een grafiek met relevante data, een vergelijkingstabel of een ander element waarmee je informatie duidelijker en beter scanbaar maakt. Je krijgt de ideeën vervolgens direct terug in je crawl-export en kunt ze gebruiken als input voor je content- of designteam.

Je kunt AI ook laten beoordelen of een pagina bijvoorbeeld een commerciële of informatieve zoekintentie heeft. Dat soort classificaties kan helpen bij grotere contentaudits, wel moet je altijd nog zelf de  uitkomsten controleren.

Hoe wij Screaming Frog en AI zelf gebruiken

Wij gebruiken de combinatie van Screaming Frog en AI onder andere om grote hoeveelheden pagina's sneller te controleren. Een voorbeeld hiervan is een website waarvoor we veelgestelde vragen wilden toevoegen aan bestaande blogpagina's.

We hadden hiervoor een lijst met relevante vragen opgesteld. Vervolgens hebben we deze vragen in onze AI-prompt gezet en gevraagd bij welke blogpagina's op de website de vragen het beste pasten. AI keek daarbij naar de inhoud van de pagina's en gaf per vraag aan waar deze het beste kon worden toegevoegd. Ook liet AI zien of de vraag al op de pagina werd benoemd of dat deze nog ontbrak.

Op deze manier konden we voor de hele website in één keer zien welke vragen bij welke pagina's pasten. In plaats van iedere blogpagina afzonderlijk te openen en alle vragen handmatig te controleren, kregen we dit overzicht automatisch terug.

De vragen die nog ontbraken, hebben we vervolgens als FAQ toegevoegd aan de bijbehorende pagina's. Zo konden we bestaande content beter laten aansluiten op relevante vragen die mensen stellen. Dit helpt om de pagina's beter aan te laten sluiten op de zoekintentie en kan daarmee bijdragen aan een betere vindbaarheid in Google.

Dit is een goed voorbeeld van hoe je Screaming Frog en AI niet alleen kunt gebruiken om fouten op te sporen, maar ook om sneller kansen voor bestaande content te vinden.

Hoe koppel je AI aan Screaming Frog?

Je regelt de koppeling rechtstreeks in Screaming Frog. Welke stappen je precies doorloopt, hangt af van het AI-model dat je gebruikt. In grote lijnen werkt het zo:

1. AI-provider kiezen: ga naar Configuration > API Access > AI en kies de provider die je wilt gebruiken. Screaming Frog ondersteunt onder andere OpenAI, Gemini, Ollama en Anthropic.
     

2. API-key instellen: bij de externe AI-providers heb je doorgaans een API-key nodig. Let hierbij goed op: een API-account is niet automatisch hetzelfde als een abonnement op bijvoorbeeld ChatGPT. Voor het gebruik van een API kunnen aparte kosten gelden.

3. Je prompt schrijven: ga naar Prompt Configuration en bepaal wat je AI wilt laten doen. Je kunt daarbij aangeven welke gegevens het model gebruikt, zoals de tekst van een pagina, HTML of een eigen extractie. Screaming Frog biedt ook een bibliotheek met voorbeelden en je kunt eigen prompts opslaan voor hergebruik op bijvoorbeeld een andere website.

4. Testen: voordat je een volledige website crawlt, test je de prompt met één URL. Je ziet direct welke input wordt gebruikt en welke output de AI geeft. Werkt het niet zoals je wilt? Dan pas je de prompt aan en test je opnieuw. Door de prompt eerst op één URL te testen zorg je ervoor dat er geen tokens worden verspilt aan een crawl over de volledige website met mogelijk duizenden URL's.

5. Crawlen: werkt de prompt zoals bedoeld? Dan start je de crawl. De AI-output komt terug in de AI-tab en kan ook worden gecombineerd met de andere crawlgegevens in Screaming Frog. Zo kun je de resultaten filteren, analyseren en exporteren zoals je gewend bent. 

Waar moet je rekening mee houden?

AI kan veel werk uit handen nemen, maar het is geen reden om menselijke controle helemaal over te slaan.

• Controleer de output: Een AI-model kan een goede suggestie doen, maar ook een fout maken of belangrijke context missen. Zeker bij teksten die direct op je website terechtkomen, blijft een controle nodig.

• Let op je API-kosten: Een AI-analyse van duizenden pagina's kan flink wat API-verbruik opleveren. Test je prompt daarom eerst op een kleine selectie en kijk hoeveel data je per pagina meestuurt. Screaming Frog biedt bovendien mogelijkheden om het aantal requests per minuut en de hoeveelheid content te beperken.

• Denk aan privacy: Wanneer je een externe AI-provider gebruikt, kan crawl-data naar die dienst worden gestuurd. Screaming Frog geeft zelf aan dat je verantwoordelijk bent voor de privacy van de gegevens die je op deze manier verstuurt. Controleer daarom vooraf welke informatie je deelt en of dit past binnen je privacybeleid en afspraken met klanten.

Hulp nodig met het optimaliseren van jouw website?

De grootste winst zit hem in het feit dat je jouw volledige website structureel kunt beoordelen in plaats van een kleine steekproef. Taken waar je normaal uren of dagen mee bezig bent, kun je zo grotendeels automatiseren.

Wil je weten hoe we jou kunnen helpen bij het inzetten van de combinatie van deze tools? Plan een vrijblijvende sparsessie met één van onze specialisten. Samen kijken we waar bij jou de meeste tijd te winnen valt.