AI 'hallucinaties' gesignaleerd door onderzoekers in het medische veld

Monday 28 October 2024 - 16:00

Techgigant OpenAI heeft zijn AI-gestuurde transcriptietool Whisper gepromoot als bijna het bereiken van "menselijke robuustheid en nauwkeurigheid".

Whisper heeft echter een belangrijk nadeel: het genereert vaak valse tekst, soms hele zinnen, zoals gerapporteerd door interviews met meer dan een dozijn software-engineers, ontwikkelaars en academische onderzoekers, volgens AP.

Dit fenomeen, in de industrie bekend als "hallucinaties", kan ongepaste racistische opmerkingen, gewelddadige taal en verzonnen medische behandelingen omvatten.

Deskundigen waarschuwen dat deze onnauwkeurigheden zorgwekkend zijn, vooral omdat Whisper wereldwijd in verschillende industrieën wordt gebruikt voor taken zoals het vertalen en transcriberen van interviews, het genereren van tekst voor populaire consumententechnologieën en het maken van video-ondertitels.

Bijzonder zorgwekkend is de snelle adoptie van Whisper-gebaseerde tools door medische instellingen om patiëntconsultaties te transcriberen, ondanks de adviezen van OpenAI tegen het gebruik van de tool in "hoogrisicodomeinen".