Column(57): De AI-oorlog om onze website

Sinds 1 augustus is het op onze redactie iedere dag een beetje oorlog. Niet met tanks, raketten of soldaten, maar met duizenden en duizenden digitale indringers die zich op onze website melden. Soms netjes. Soms opdringerig. En soms met zoveel tegelijk dat onze digitale verdedigingslinie het zwaar te verduren krijgt.

Onze website heeft namelijk te maken met structurele overbelasting. Dagelijks moeten we uitzoeken wat er gebeurt, waar het vandaan komt en vooral: wie of wat de boosdoener is.

Als IT- en AI-nerd op de redactie zit ik midden in deze strijd. Mijn collega-redacteuren vormen als het ware de eerste verkenningseenheid. Zij signaleren afwijkingen: de website reageert trager, bepaalde processen gedragen zich anders of er ontstaan pieken in het verkeer. Hun meldingen zijn voor mij het startschot.

Dan begint de analyse. Iedere dag beschikken we over enorme logbestanden. Geen overzichtelijk A4’tje, maar minimaal 20.000 tot 30.000 regels met digitale bewegingen. Wie kwam binnen? Wanneer? Hoe vaak? Wat werd opgevraagd? Welk gedrag wijkt af van het normale patroon?

Handmatig zoeken naar de oorzaak is vrijwel onbegonnen werk. Daar komt AI om de hoek kijken.

Ik geef de digitale speurneus opdracht om patronen te herkennen, verbanden te leggen en mogelijke bronnen van de overbelasting te identificeren. Dat is geen simpele vraag-en-antwoordoefening. Het vraagt deductie, analyse en het combineren van grote hoeveelheden gegevens.

En juist daar blijkt AI buitengewoon nuttig. Digitale indringers laten namelijk sporen na. Een soort digitale vingerafdruk, een fingerprint. Aan gedrag, frequentie, herhaling en technische kenmerken kunnen we vaak herkennen met welk type bron we te maken hebben. Zodra zo’n fingerprint voldoende duidelijk is, kan Team IT hem doorgeven aan de toegangspoort van onze website. Daar wordt de beslissing genomen: doorlaten of blokkeren.

Een soort digitale grenspost, want als we niets doen, kan de website uiteindelijk onder de enorme hoeveelheid verzoeken bezwijken. Maar zo eenvoudig is het natuurlijk niet. De moeilijkste opdracht is misschien wel de eerste analyse. Die moet een volledige dag omvatten. Niet een paar minuten uitlichten, maar het totale gedrag gedurende die dag in beeld brengen. En vervolgens moeten wij de juiste vragen stellen. Dat laatste is cruciaal. AI analyseert namelijk niet automatisch precies datgene wat wij in gedachten hebben. Als wij de verkeerde richting aangeven, kan het systeem keurig en overtuigend de verkeerde richting op analyseren.

En daar hebben we inmiddels ervaring mee. AI zit er soms naast. Wij ook. Dus moet ik doorvragen. Waarom concludeer je dit? Welke andere bronnen heb je meegenomen? Welke verdachte patronen vallen buiten je huidige analyse? Zijn er alternatieve verklaringen? Dat laatsemwte is belangrijk. Wanneer je AI een bepaalde richting op stuurt, heeft het systeem soms de neiging vooral dáár te blijven kijken. Andere mogelijke verdachten verdwijnen dan gemakkelijk uit beeld.

Ik heb AI daarom regelmatig moeten terugroepen naar de plaats delict. “Mooi gevonden, maar kijk nu eens opnieuw naar de rest.” Daar zit misschien wel de belangrijkste les van dit hele avontuur. AI is geen autonome detective die je een opdracht geeft en waarna we vervolgens rustig achterover kunt leunen. Het is een zeer krachtig onderzoeksinstrument, maar de menselijke regie blijft noodzakelijk.

De grootste boosdoeners blijken inmiddels vooral webcrawlers te zijn. Programma’s die websites systematisch afstruinen om gegevens te verzamelen voor hun eigen toepassingen. Daarnaast zijn er allerlei robots met een specifieke doelstelling. Die zijn lang niet allemaal kwaadaardig. Integendeel.

Maar goedbedoeld is niet automatisch gewenst. Wij hebben inmiddels zo’n vijftien robots geblokkeerd. Toch blijft er voldoende verkeer over. En iedere dag dienen zich nieuwe digitale bezoekers aan. Daar zit ook een principiële keuze achter. Waarom zouden wij onze website maximaal beschikbaar maken voor internationale zoekers, commerciële dataverzamelaars of andere partijen die onze informatie voor hun eigen doel gebruiken, terwijl onze primaire opdracht juist lokaal is: meer lokale lezers en meer lokale dienstbaarheid?

Je kunt natuurlijk ook een grotere webserver neerzetten. Meer capaciteit, meer geheugen, meer rekenkracht. Probleem opgelost? Niet helemaal. Dan maken we het voor al die partijen alleen maar gemakkelijker om nog meer gegevens op te halen. Dan vergroten we de digitale snelweg, terwijl we ons tegelijk afvragen waarom er zoveel verkeer overheen rijdt.

Gelukkig sta ik er niet alleen voor. Onze hoofdredacteur heeft zelf een IT-verleden en is daardoor een uitstekend klankbord. Hij komt regelmatig met goede suggesties en houdt mij scherp. Ook dat is onderdeel van deze AI-aanpak: technologie combineren met menselijke ervaring en gezond verstand.

We zijn inmiddels twee maandenlang vrijwel dagelijks uren bezig met dit problemmanagement. We zijn een heel eind gekomen, maar de oorlog is nog niet voorbij. Toch durf ik voorzichtig optimistisch te zijn.

Op dit moment zijn wij duidelijk aan de winnende hand. De verdediging houdt stand, de belangrijkste aanvallers zijn geïdentificeerd en steeds meer digitale fingerprints kunnen aan de toegangspoort worden doorgegeven. Het kost vooral veel doorlooptijd. maar die tijd is goed besteed,want ergens aan de horizon verschijnt inmiddels iets wat in iedere oorlog uiteindelijk het mooiste woord is:

overwinning.

De eindoverwinning is in zicht.