AI revolutioneert wetenschappelijke voorlichting: podcasts over onderzoek zo realistisch dat auteurs erdoor voor de gek worden gehouden

Uit het eerste onderzoek waarbij gebruik werd gemaakt van kunstmatige intelligentie (AI) om podcasts te maken over onderzoek dat is gepubliceerd in wetenschappelijke artikelen, blijkt dat de resultaten zo goed waren dat de helft van de auteurs van de artikelen dacht dat de podcasters mensen waren, zo blijkt uit gegevens van de Universiteit van Leuven in België.

Dit onderzoek werd gepubliceerd in het European Journal of Cardiovascular Nursing (EJCN) door onderzoekers onder leiding van professor Philip Moons van de KU Leuven. De onderzoekers gebruikten Google NotebookLM, een speciaal ontwikkelde AI-onderzoeksassistent van Google Labs, om podcasts te maken waarin onderzoek werd uitgelegd dat recent in het EJCN is gepubliceerd.

Professor Moons, die de bevindingen ook presenteerde op de conferentie van de Association of Cardiovascular Nursing and Allied Professions (ACNAP) in Sophia Antipolis, Frankrijk, zei: "In september 2024 lanceerde Google een nieuwe functie in NotebookLM waarmee gebruikers AI-gegenereerde podcasts kunnen maken. Dit zette me aan het denken over hoe onderzoekers en uitgevers deze functie zouden kunnen gebruiken."

"Toen ik mijn eerste test uitvoerde op een van mijn eigen artikelen, was ik verbaasd over de hoge kwaliteit en hoe natuurlijk het klonk. Op dat moment besefte ik dat zo'n systeem de potentie had om door wetenschappelijke tijdschriften gebruikt te worden voor communicatie," zegt de professor, die er ook aan toevoegt dat "uiteraard de kwaliteit en nauwkeurigheid beoordeeld moesten worden. Daarom hebben we deze studie opgezet om de mogelijkheden ervan te evalueren."

Professor Moons, hoogleraar gezondheidswetenschappen en verpleegkunde aan de Katholieke Universiteit Leuven en hoofdredacteur van het EJCN, en zijn collega's selecteerden tien verschillende soorten artikelen en namen contact op met de auteurs om te vragen of ze mee wilden doen aan het onderzoek. De deelnemers werden er niet van op de hoogte gesteld dat de podcast over hun onderzoek met behulp van AI zou worden gegenereerd.

De onderzoekers stuurden de door AI gegenereerde podcasts naar de auteurs om hun betrokkenheid, betrouwbaarheid en AI-detectie te evalueren. Vervolgens voerden ze een vragenlijst uit (gegenereerd met ChatGPT) en een interview van 30 minuten via Microsoft Teams.

De auteurs gaven aan dat de podcasts de belangrijkste punten van hun artikelen in zeer eenvoudige en begrijpelijke bewoordingen samenvatten, goed gestructureerd waren, een goede balans hadden tussen lengte en diepgang, en dat de presentatoren professioneel waren; sommige auteurs gingen er zelfs van uit dat de sprekers een verpleegkundige of medische opleiding hadden gevolgd. De conversatie tussen de presentatoren was een waardevolle aanwinst.

Bovendien gaven de meeste auteurs aan dat de podcasts betrouwbare informatiebronnen waren. Sommigen maakten echter opmerkingen over het Amerikaanse accent en de stijl, waaronder overdrijving van onderzoeksresultaten door het gebruik van woorden als "ongelooflijk", "revolutionair" en "totaal". Ze merkten op dat er enkele onnauwkeurigheden en verkeerde voorstellingen in voorkwamen, soms ontbrekende context, onjuist gebruik van medische terminologie en verkeerde uitspraak van medische termen. De podcasts zouden vóór publicatie zorgvuldig op juistheid moeten worden gecontroleerd.

Alle auteurs stelden dat patiënten en het algemene publiek de meest geschikte doelgroep voor podcasts zouden zijn, voornamelijk vanwege de toon en het vermogen om artikelen eenvoudig uit te leggen. Sommigen merkten echter op dat podcasts ook nuttig kunnen zijn voor zorgprofessionals om op de hoogte te blijven van het laatste onderzoek, er gemakkelijker toegang toe te hebben en de zichtbaarheid van originele onderzoeksartikelen te vergroten.

Sommige auteurs hebben gesuggereerd dat podcasts kunnen worden afgestemd op specifieke doelgroepen op basis van leeftijd, interesses of etniciteit, naarmate de technologie zich ontwikkelt en verbetert. Momenteel is het niet mogelijk om de stemmen of taal van AI-hosts te wijzigen, maar deze functies zullen waarschijnlijk in de toekomst beschikbaar worden.

Professor Moons merkt op: "De algehele nauwkeurigheid van de podcasts was verrassend. Omdat we nog maar net beginnen met dit soort AI-gegenereerde podcasts, zal de kwaliteit in de loop van de tijd verbeteren, waarschijnlijk in de komende maanden. Een ander belangrijk aspect is dat deze podcasts geschikter lijken te zijn voor niet-technische doelgroepen, zoals het grote publiek of patiënten."

Als AI podcasts zou kunnen genereren, zou dat volgens de auteurs een ware game-changer zijn. Podcasts zouden met weinig moeite gemaakt kunnen worden, simpelweg door het artikel te uploaden en misschien met een beetje hulp. Dit zou een duurzaam model kunnen zijn om de boodschap te verspreiden onder mensen die normaal gesproken geen wetenschappelijke tijdschriften lezen.

Hij suggereert dat deze technologie uitgevers, tijdschriften en onderzoekers in staat zal stellen om wetenschap te communiceren met het grote publiek. Het zal menselijke podcasters niet overbodig maken. Er zal altijd een markt zijn voor door mensen gemaakte podcasts, waarschijnlijk omdat AI niet elk onderwerp accuraat of adequaat kan behandelen. Ik kan me zelfs voorstellen dat er hybride podcasts zullen ontstaan, waarbij menselijke podcasters en AI samenkomen voor verschillende onderdelen van een aflevering.

Nu willen de onderzoekers de verdere mogelijkheden van deze podcasts voor wetenschappelijke communicatie onderzoeken, waarbij ze ook de input van patiënten en andere leden van het publiek willen betrekken.

Ze willen ook onderzoeken of het mogelijk is om AI-gegenereerde podcasts te gebruiken voor wetenschappelijke conferentiesessies. "Bijvoorbeeld door een podcast te maken over de inhoud van conferentiesessies, als samenvatting voor degenen die er niet bij waren en graag nog eens terugkijken", besluit professor Moons.