[Interview] Ramon Mens (Mediahuis) over AI-site Resport

Mediahuis Nederland heeft een volledig AI-gedreven sportnieuwssite onder de naam Resport gelanceerd. We spreken Ramon Mens, Tech Lead bij de afdeling digital platforms van Mediahuis Nederland.

Hoe zijn jullie op het idee van een AI-gedreven website gekomen?

Sinds de lancering van ChatGPT was eigenlijk het hele bedrijf nieuwsgierig naar AI. Binnen onze afdeling Digital Platforms, waar onder meer Manners, Culy en J/M Ouders onder vallen, zitten veel jonge nieuwsgierige mensen en zo ontstond al snel de behoefte om eens diep in de mogelijkheden van AI te duiken. Het zat tot nu toe vooral ingebouwd in externe tools, maar we wilden juist kijken of het onze journalistiek kan helpen.

We zochten een thema dat redelijk feitelijk en overzichtelijk is. Sportnieuws leent zich daar bij uitstek voor: daarom Resport.nl.

Resport begon als een speeltuin waar we dag in dag uit getest hebben hoe we AI het beste kunnen inzetten. Inmiddels hebben we zo veel geleerd dat we een volledige website laten draaien op AI. Met enkele artikelen en elementen experimenteren leek ons niet ideaal om de mogelijkheden en valkuilen van AI snel te doorgronden. We zijn er trots op dat het zoveel meer is dan alleen een categorie of rubriek op een bestaande website.

Hoe gaat het in z'n werk?

Resport draait op hetzelfde framework als onze andere digitale platforms. Deze basis die we uitgebreid hebben met specifieke AI-functionaliteiten.

Iedereen die weleens met ChatGPT geëxperimenteerd heeft, weet dat je een groot taalmodel niet zomaar nieuws kan laten verzinnen. Daarom hebben we als betrouwbare basis de sportberichtgeving van persbureau ANP gekozen. Vervolgens maakt ChatGPT daar nieuwe en pakkende koppen bij, eentje die goed werkt op de socials en eentje die SEO-proof is.

Daarnaast worden de artikelen in de juiste categorie gezet en krijgen ze de juiste tags. In een volgende fase, waar we nu aan werken, worden onder meer de artikelen verrijkt met biografieën over de desbetreffende sporter(s), klassementen en trivia-achtige achtergronden. Al deze processen worden volledig geautomatiseerd.

Komt er nog een mens aan te pas?

Ja. Mediahuis heeft strenge AI-guidelines die voorschrijven hoe we met AI moeten omgaan. Eén van de principes waar niet aan te tornen valt is ‘human in the loop’, wat wil zeggen dat een mens AI-gegenereerde content nakijkt. Iedere dag heeft een ervaren redacteur van een van onze digitale platforms de verantwoordelijkheid om de artikelen te checken.

Wat ging er eerst mis in eerdere versies, kun je voorbeelden noemen?

We laten AI entity detection doen. Dat wil zeggen dat sporters, toernooien en teams automatisch gerubriceerd worden. Eén van de sporters die in een artikel over Formule 1 gedetecteerd werd, was Aston Martin. Dat is natuurlijk een merk en geen persoon. Bij het genereren van een biografie werd keurig opgeschreven dat er een misverstand was en Aston Martin geen persoon maar een automerk was. Dat is een leuk voorbeeld van dat een taalmodel ook maar wat doet.

Een ander ding waardoor ik mijn hoofd tegen de muur heb gebonkt, was toen we nog GPT3 gebruikten. In ons stijlboek staan richtlijnen voor koppen, bijvoorbeeld dat ze nooit een uitroepteken bevatten. Toch kreeg 1 op de 8 artikelen een kop met een uitroepteken, punt of aanhalingstekens waar dat niet nodig was. Ook na het toepassen van ‘few shots learning’ met voorbeelden en een uitgebreide prompt, kwam het maar niet goed.

Net toen we op het punt stonden om voor dit soort dingen dan maar een aangepast getraind algoritme te maken, kwam GPT4 op grote schaal beschikbaar. Dit bleek een stuk beter in staat om instructies te volgen. Hier kwam onze eigen prompt- en managementlaag goed van pas. We hebben toen meteen alle artikelen van de afgelopen dertig dagen opnieuw getest, de prompts aangescherpt en dit probleem behoort nu gelukkig tot het verleden.

Hoe hebben jullie het algoritme van Resport samengesteld?

We gebruiken GPT4 van OpenAI voor alle artikelen, met een eigen prompt- en managementlaag. Daardoor kunnen we wanneer iets fout gaat dit snel achterhalen. We loggen alles en kunnen alle bewerkingen van het algoritme op ieder artikelelement terugkijken. Eigenlijk zie je aan de voorkant niet hoeveel er aan de achterkant gebeurt om tot goede output te komen.

Een functionaliteit waar ik zelf dankbaar gebruik van heb gemaakt is de optie om honderden artikelen in één batch meerdere keren door het algoritme te halen. Steeds met iets andere instellingen of tweaks. Dan ontdek je veel sneller valkuilen dan wanneer je per artikel gaat testen.

Wat zijn de verwachtingen van Resport?

We willen er in eerste instantie vooral van leren. We hebben binnen Mediahuis een journalistiek ijzersterke sportredactie, namelijk die van Telesport. Daar willen we met een ANP-feed en AI niet tegenop boksen en dat hoeft ook niet. We verwachten met Resport meer inzicht te krijgen in hoe lezers reageren op AI-gegenereerde teksten en welke automatische verrijkingen werken.

Nog een hele belangrijke: hoe de algoritmes van zoekmachines en sociale netwerken omgaan met artikelen die met behulp van AI tot stand zijn gekomen. Deze kennis passen we toe op onze andere digitale platforms.

Op welke wijze kan het idee van Resport ook aansluiting krijgen bij andere merken van Mediahuis Nederland?

Er wordt binnen Mediahuis op alle lagen en afdelingen geëxperimenteerd met AI en ik merk dat redacties enthousiast worden als ze Resport zien. Het helpt dat bij onze afdeling Digital Platforms veel online-minded merken en mensen zitten.

Het trainen van een algoritme dat toegespitst is op een bepaalde titel is sowieso iets waar ik wel in geloof. Niet met de intentie om allemaal AI-gegeneerde artikelen te gaan publiceren, maar vooral om als inspiratie voor redacteuren te dienen. De learnings die we uit Resport halen, zetten we ook in op onze andere titels.

Juridisch sluit Mediahuis Nederland aansprakelijkheid al uit en garanderen jullie geen garanties voor de betrouwbaarheid, juistheid of volledigheid van content. Is dan nog iets anders van belang bij AI-gedreven websites als dit al zo is?

Wat we belangrijk vinden is dat we transparant zijn naar de buitenwereld, dus dat de lezers weten dat het met behulp van AI gemaakt is. Daarom geven we per artikel aan wat er wel en niet door AI is gegenereerd. Zo zie je dus ook welke revisies door een mens zijn gedaan. Stel een redacteur heeft na publicatie een door ChatGPT gegenereerde kop aangepast, dan zul je dat terugvinden onderaan het artikel.

www.resport.nl

www.mediahuis.nl

www.mediahuis.com

Volg Marketing Report op LinkedIn!