OpenAI vermindert AI-hallucinaties en versterkt wiskundige vaardigheden van ChatGPT

OpenAI heeft als doel om de betrouwbaarheid van ChatGPT te vergroten door de AI-hallucinaties te verminderen en de wiskundige vaardigheden van het model te versterken. Deze inspanningen zijn gericht op het bevorderen van nauwkeurigheid en coherente conversaties in de wereld van kunstmatige intelligentie, waarmee OpenAI de grenzen van AI wil verleggen en een verfijndere benadering wil vinden in digitale interactie.

Inspanningen van OpenAI om AI-hallucinaties te verminderen

Op 31 mei liet OpenAI weten dat het bezig is met het verbeteren van het wiskundig probleemoplossend vermogen van ChatGPT. Het doel van deze inspanningen is het verminderen van het aantal kunstmatige intelligentie (AI) hallucinaties. OpenAI benadrukte dat het verminderen van hallucinaties een cruciale stap is in de ontwikkeling van AI-systemen die beter afgestemd zijn op de werkelijkheid.

Met de introductie van ChatGPT-4 in maart heeft AI-chatbot technologie zich verder in het mainstream gebied gewaagd. Echter, generatieve AI-chatbots hebben lang geworsteld met het produceren van feitelijk juiste informatie en genereren af en toe valse informatie, ook wel bekend als “hallucinaties”. De inspanningen om deze AI-hallucinaties te verminderen werden aangekondigd via een bericht op de website van OpenAI.

AI-hallucinaties verwijzen naar situaties waarin kunstmatige intelligentiesystemen feitelijk onjuiste output genereren, wat misleidend is of niet wordt ondersteund door echte wereldgegevens. Deze hallucinaties kunnen verschillende vormen aannemen, zoals het verstrekken van valse informatie, het verzinnen van niet-bestaande gebeurtenissen of personen, of het geven van onjuiste details over bepaalde onderwerpen.

Resultaten van onderzoek naar procesbegeleiding als effectieve feedbackmethode

OpenAI heeft onderzoek gedaan naar de effectiviteit van twee soorten feedback: “resultaatbegeleiding” en “procesbegeleiding”. Resultaatbegeleiding houdt in dat feedback wordt gegeven op basis van het eindresultaat, terwijl procesbegeleiding input geeft voor elke stap in het denkproces. OpenAI heeft deze modellen geëvalueerd met behulp van wiskundige problemen, waarbij meerdere oplossingen werden gegenereerd en de best gerangschikte oplossing werd geselecteerd op basis van elk feedbackmodel.

Na grondige analyse ontdekte het onderzoeksteam dat procesbegeleiding betere resultaten opleverde, omdat het model werd aangemoedigd om een proces te volgen dat door mensen was goedgekeurd. Resultaatbegeleiding daarentegen bleek moeilijker consistent te controleren te zijn.

OpenAI erkende dat de implicaties van procesbegeleiding verder reiken dan alleen wiskunde en dat verder onderzoek nodig is om de effecten ervan in andere domeinen te begrijpen. Ze stelden dat als de waargenomen resultaten ook gelden in bredere contexten, procesbegeleiding een gunstige combinatie van prestaties en afstemming zou kunnen bieden in vergelijking met resultaatbegeleiding. Om het onderzoek te vergemakkelijken, heeft OpenAI de volledige dataset van procesbegeleiding openbaar gemaakt en nodigt het andere onderzoekers uit om dit gebied verder te verkennen.

Recente incidenten onthullen risico’s van hallucinaties in AI-systemen

Hoewel OpenAI geen specifieke voorbeelden heeft gegeven die hebben geleid tot het onderzoek naar hallucinaties, zijn er twee recente incidenten die het probleem in reële scenario’s illustreren.

In een recent incident heeft advocaat Steven Schwartz in de zaak Mata vs. Avianca Airlines toegegeven dat hij vertrouwde op de chatbot als bron voor zijn onderzoek. Helaas bleek de verstrekte informatie door ChatGPT volledig vervalst te zijn, waarmee het probleem duidelijk naar voren komt.

Het voorval met ChatGPT is niet het enige voorbeeld van kunstmatige intelligentiesystemen die te maken krijgen met hallucinaties. Tijdens een demonstratie van zijn chatbottechnologie in maart onderzocht Microsoft’s Bing AI-chatbot winstrapporten en genereerde onjuiste cijfers voor bedrijven zoals Gap en Lululemon. Deze gevallen benadrukken de uitdagingen waarmee AI-systemen worden geconfronteerd bij het produceren van betrouwbare en feitelijke informatie.