Is de ontwikkeling van kunstmatige intelligentie op een dood spoor beland?

De afgelopen dagen is de technische gemeenschap getuige geweest van een wijdverbreid debat over de ontwikkeling van generatieve modellen voor kunstmatige intelligentie, waarbij prominente leiders in het veld uitspraken deden over de mogelijke toekomst van deze technologie. Sommigen hebben aangegeven dat de AI-verbeteringen hun limiet hebben bereikt, terwijl anderen hebben benadrukt dat er veelbelovende perspectieven zijn voor toekomstige ontwikkeling.

Onder degenen die commentaar gaven op deze kwestie was Sam Altman, CEO van OpenAI, die in een post op het X-platform benadrukte dat “er geen muur is” die de ontwikkeling van kunstmatige intelligentie beperkt, waarmee hij aangeeft dat er geen grenzen zijn aan de voortgang ervan. Eric Schmidt, voormalig CEO van Google, van zijn kant, was het met deze mening eens en merkte op dat grote taalmodellen de komende vijf jaar enorme ontwikkelingen zullen meemaken, aangezien hun macht tot wel 50 tot 100 keer zou kunnen vermenigvuldigen.

Bovendien spraken Dario Amodei, CEO van Anthropic, en Jensen Huang, CEO van NVIDIA, hun afwijzing uit van rapporten die duiden op een vertraging in de voortgang van kunstmatige intelligentie. In deze context bevestigde Ilya Sutskever, mede-oprichter van OpenAI, dat de inspanningen om modeltraining op te schalen een verzadigingsstadium hebben bereikt, waarbij hij opmerkte dat zijn team bij SSI werkt aan een alternatieve aanpak om deze uitdagingen aan te pakken.

Aan de andere kant wees Marc Andreessen, mede-oprichter van a16z, erop dat de meeste AI-modellen die momenteel op de markt verkrijgbaar zijn een vergelijkbaar prestatieniveau hebben bereikt, wat de concurrentie tussen hen beperkt. Dit vormt een uitdaging voor de technologie-industrie, die zwaar heeft geïnvesteerd in het bouwen van datacentra en kerncentrales om deze ontwikkeling te ondersteunen. Als blijkt dat de huidige trainingsmethoden niet langer de verwachte resultaten opleveren, hoe zullen bedrijven deze enorme investeringen dan rechtvaardigen?

Deze discussies zijn van groot belang gezien de impact van kunstmatige intelligentie op verschillende gebieden, zoals de economie, de gezondheidszorg en het onderwijs, en de aanzienlijke impact ervan op investeringen in deze sector. De centrale vraag blijft echter: hoe zullen bedrijven de huidige uitdagingen bij het bereiken van super-AI kunnen overwinnen?

Uitdagingen bij het bereiken van superieure kunstmatige intelligentie
Veel experts op dit gebied zijn het erover eens dat de sleutel tot vooruitgang ligt in het verkennen van nieuwe soorten gegevens, het ontwikkelen van systemen die in staat zijn tot logisch redeneren, en het verbeteren van modellen om ze kleiner en gespecialiseerder te maken. Een van de belangrijkste uitdagingen waarmee bedrijven worden geconfronteerd bij het ontwikkelen van grote taalmodellen is de schaarste aan gegevens en de moeilijkheid om de grafische verwerkingseenheden (GPU's) te verkrijgen die nodig zijn om deze modellen te trainen. Vanwege de grote vraag naar deze eenheden ondervinden bedrijven grote vertragingen bij het verkrijgen ervan, wat de voortgang belemmert.

Een andere uitdaging is de schaarste aan gegevens van hoge kwaliteit, die van cruciaal belang is voor het ontwikkelen van modellen. Sommigen hebben erop gewezen dat er bijna geen tekstgegevens meer online beschikbaar zijn, en dat dit probleem het erg moeilijk kan maken om door te gaan met het trainen van taalmodellen.

Verschuiving naar synthetische data
In het licht van deze uitdagingen zijn onderzoekers begonnen zich te concentreren op de kwantiteit van de gegevens, maar op de kwaliteit ervan. Deze verschuiving heeft geleid tot interesse in synthetische data die door AI-modellen zelf worden gegenereerd, en biedt een innovatieve oplossing voor het probleem van het gebrek aan data van hoge kwaliteit. Het gebruik van synthetische gegevens is echter niet zonder risico's, en onderzoekers worden geconfronteerd met uitdagingen bij het vinden van een passend evenwicht om problemen in de modelprestaties te voorkomen.

Focus op redeneren en redeneren
Samen met de vooruitgang op het gebied van data is de focus verschoven naar het verbeteren van het vermogen van modellen om te redeneren en redeneren, ook wel logisch redeneren genoemd. Deze transformatie zal modellen in staat stellen complexere taken uit te voeren en hen de mogelijkheid geven om de betekenissen achter woorden te begrijpen. Sommige bedrijven zoals Microsoft hebben nieuwe methoden onthuld, zoals 'test-time computing', die tot doel hebben de nauwkeurigheid van modellen te verbeteren door ze meer tijd te geven om complexe vragen te verwerken.

De realiteit van de ontwikkeling op het gebied van kunstmatige intelligentie
Veel experts hebben uitgelegd dat de voortgang van kunstmatige intelligentie een logaritmisch patroon volgt, wat betekent dat elke stap richting ontwikkeling meer middelen vergt dan de vorige stap. Deze trend kan het ontwikkelingstempo in de toekomst vertragen, waardoor de kosten aanzienlijk zullen stijgen. Volgens projecties zouden de trainingskosten voor grote modellen de komende jaren kunnen variëren van $1 miljard tot $10 miljard, wat vragen oproept over de bereidheid van investeerders om met zulke hoge kosten te werken.

Het antwoord op deze vragen blijft echter onduidelijk. Omdat bedrijven anticiperen op de ontwikkeling van super-AI, worden sommige klanten geconfronteerd met frustratie over de trage voortgang, wat ertoe kan leiden dat ze naar andere opties gaan zoeken. Dit roept een belangrijke psychologische en economische vraag op: zullen klanten bereid zijn op deze vooruitgang te wachten, of zullen ze gefrustreerd raken en op zoek gaan naar alternatieven?