AI-besluitmodellen betreden het veld van contentmoderatie

Yesterday 16:40

Kunstmatige intelligentie breidt zich uit naar een ander gebied van digitale platforms, aangezien besluitmodellen steeds vaker worden ontwikkeld voor real-time contentmoderatie. Het Amerikaanse AI-bedrijf Musubi heeft PolicyLM-1.7B geïntroduceerd, een lichtgewicht model dat is ontworpen om online berichten te beoordelen op basis van geschreven moderatiebeleid, zonder dat er een nieuwe trainingscyclus vereist is telkens wanneer die regels worden gewijzigd.

Vrijgegeven met open gewichten, is het model met 1,7 miljard parameters ontworpen zodat ontwikkelaars en platformoperators het op hun eigen infrastructuur kunnen draaien en aanpassen. Het belangrijkste doel is om moderatieregels die in gewone taal zijn geschreven, om te zetten in classificaties die direct op door gebruikers gegenereerde inhoud kunnen worden toegepast.

Musubi zegt dat PolicyLM-1.7B real-time moderatiebeslissingen kan nemen, waarbij het bedrijf een mediane verwerkingstijd van ongeveer 35 milliseconden voor korte berichten op een NVIDIA L4 GPU en ongeveer 22 milliseconden op een H100 in zijn tests rapporteert. De bredere productbeschrijving richt zich op beslissingen in minder dan 50 milliseconden.

Het model verschilt van conventionele moderatieclassificatoren door operators toe te staan hun eigen beleidsinstructies tijdens gebruik te geven. Dit betekent dat wanneer een platform zijn regels wijzigt, zijn teams het beleid kunnen aanpassen in plaats van het onderliggende model vanaf nul opnieuw te trainen.

Die flexibiliteit kan bijzonder relevant zijn voor online platforms die te maken hebben met snel veranderende moderatiestandaarden. Product- en trust-and-safetyteams kunnen categorieën en regels definiëren volgens hun specifieke vereisten, terwijl het model scores produceert die aangeven of een bericht binnen die categorieën valt.

Besluitmodellen hebben groeiende aandacht getrokken in de kunstmatige intelligentie-industrie omdat ze zich richten op het produceren van beslissingen of waarschijnlijkheden in plaats van het genereren van lange teksten. Door de output te beperken tot vooraf gedefinieerde categorieën, kunnen deze systemen mogelijk sneller en met minder rekenkracht werken dan algemene grote taalmodellen.

PolicyLM-1.7B kan ook worden gebruikt met een vooraf gedefinieerde veiligheidstaxonomie die 23 categorieën bevat, waaronder geweld, intimidatie, bedreigingen, fraude, schendingen van de privacy en andere vormen van potentieel schadelijke inhoud. Musubi zegt dat het model is geëvalueerd in 19 talen, hoewel de tests met aangepaste beleidsregels voornamelijk betrekking hadden op beleid dat in het Engels is geschreven.

De technologie bouwt voort op eerder werk in besluitgerichte AI. Musubi medeoprichter en chief AI officer Filip Jankovic heeft de benadering van het bedrijf gekoppeld aan een project uit 2024 dat GLiNER betreft, ontwikkeld vóór de huidige golf van interesse in besluitmodellen. Het bedrijf beschouwt contentmoderatie nu als een praktische toepassing voor dezelfde onderliggende benadering.

Tegelijkertijd erkennen de ontwikkelaars van het model dat de technologie bedoeld is voor specifieke moderatiescenario's en niet voor elk type veiligheidsbeslissing. De documentatie van het model merkt op dat het is ontworpen voor snelle classificatie van individuele tekstberichten en niet bedoeld is als enige waarborg voor bijzonder gevoelige gevallen zoals kindveiligheid of zelfbeschadiging.

De release komt op een moment dat digitale platforms geconfronteerd worden met groeiende volumes van door gebruikers gegenereerde inhoud en toenemende druk om steeds gedetailleerdere regels handhaven. Geautomatiseerde moderatietools kunnen helpen bij het verwerken van grote hoeveelheden materiaal, terwijl menselijke teams verantwoordelijk blijven voor het definiëren van beleid, het beoordelen van moeilijke gevallen en het bepalen hoe handhavingsbeslissingen moeten worden toegepast.

Musubi's benadering met open gewichten stelt ontwikkelaars ook in staat om het model zelf te onderzoeken en in te zetten in plaats van uitsluitend afhankelijk te zijn van een gehoste moderatiedienst. De gepubliceerde prestatiecijfers van het bedrijf komen echter uit hun eigen evaluaties, en de documentatie van het model stelt dat het nog niet is getest op live verkeer, wat betekent dat de prestaties in de echte wereld kunnen verschillen van de benchmarkresultaten.

De lancering illustreert een bredere verschuiving in AI-ontwikkeling, waarbij kleinere gespecialiseerde modellen worden ontworpen om nauwkeurig gedefinieerde taken snel en efficiënt uit te voeren. Voor contentmoderatie zou de combinatie van aanpasbare regels, snelle classificatie en lokale implementatie platforms een extra hulpmiddel kunnen bieden voor het beheren van de steeds complexere stroom van online inhoud.