Verouderde chatbots vertonen tekenen van dementie, net als mensen!

Sunday 05 January 2025 - 15:00

Uit een nieuw onderzoek blijkt dat sommige toonaangevende AI-chatbots duidelijke tekenen vertonen van milde cognitieve stoornissen.

Net als bij mensen worden de effecten duidelijker naarmate chatbots ouder worden, waarbij oudere, grotere taalmodellen minder goed presteren.

De studie werd gepubliceerd in het tijdschrift "The BMJ" en heeft tot doel duidelijk te maken dat de technologie niet effectief genoeg is om op medisch gebied te worden gebruikt, vooral bij de diagnose, volgens een rapport van de website "Futurism".

De onderzoekers achter de studie zeiden dat de bevindingen “de hypothese in twijfel trekken dat kunstmatige intelligentie binnenkort menselijke artsen zal vervangen, omdat de schijnbare cognitieve zwakheden van toonaangevende chatbots hun diagnostische medische betrouwbaarheid zouden kunnen beïnvloeden”.

De chatbots die in dit onderzoek werden getest waren “GPT-4” en “GPT-4o” van OpenAI, “Claude 3.5 Sonnet” van Anthropic, en “Gemini 1.0” en “Gemini 1.5” van Google.

Deze chatbots werden gebruikt voor de Montreal Cognitive Assessment (MoCA), een test die is ontworpen om vroege tekenen van dementie te detecteren, waarbij hogere scores wijzen op een groter cognitief vermogen.

“GPT-4o” kreeg de hoogste score (26 punten uit 30, wat bijna de ondergrens is van wat normaal is), terwijl de “Gemini” -robots de laagste score kregen (16 punten uit 30).

Hoewel alle chatbots uitblonken in de meeste soorten taken, presteerden ze allemaal slecht op visueel-ruimtelijke en uitvoerende taken, zoals het trekken van een lijn tussen cirkelvormige getallen in oplopende volgorde.

Er is ook aangetoond dat het tekenen van een klok die de exacte tijd aangeeft erg moeilijk is voor kunstmatige intelligentie. De Gemini-modellen faalden volledig bij een vrij eenvoudige vertraagde herinneringstaak, waarbij een reeks van vijf woorden uit het hoofd moest worden geleerd.