Home
» Wiki
»
Waarom u geen vertrouwen moet hebben in nieuwsbrieven van AI-chatbots
Waarom u geen vertrouwen moet hebben in nieuwsbrieven van AI-chatbots
U moet zeker twee keer nadenken voordat u een AI-chatbot inschakelt om snel nieuwsoverzichten te verstrekken. Uit een nieuw rapport van de BBC blijkt dat populaire chatbots grote fouten maken in hun samenvattingsresultaten.
Google Gemini heeft het hoogste percentage problematische samenvattingen
Deskundigen van de BBC beoordeelden vervolgens de kwaliteit van deze samenvattingen. Van de samenvattingen bevatte 51% fouten van welke aard dan ook. Het kon gaan om feitelijke onjuistheden, onjuiste citaten of achterhaalde informatie.
In 19% van deze gevallen was er sprake van feitelijke onjuistheden, zoals onjuiste data. En 13% van de citaten die in samenvattingen aan de BBC werden toegeschreven, waren ofwel aangepast ten opzichte van het origineel of kwamen niet voor in de artikelen die aan de chatbots werden verstrekt.
Toen een chatbot dit analyseerde, bleek Gemini van Google de grootste boosdoener te zijn: ruim 60% van de samenvattingen bevatte problematische informatie. Microsoft Copilot kwam op de tweede plaats met 50%, terwijl ChatGPT en Perplexity ongeveer 40% van de problematische reacties hadden.
De BBC concludeerde dat veel van de problemen niet alleen te wijten waren aan verkeerde informatie:
Uit het onderzoek bleek ook dat de fouten die AI-assistenten maken verder gaan dan feitelijke onjuistheden. De AI-assistenten die wij testten, hadden moeite met het onderscheiden van meningen en feiten. Ze gaven alleen maar commentaar en verzuimden vaak de noodzakelijke context te vermelden. Ook al is elke bewering in de feedback correct, toch kunnen dit soort problemen leiden tot misleidende of bevooroordeelde feedback.
Veel mensen hebben nog nooit geprobeerd AI-chatbots te gebruiken om nieuws samen te vatten, omdat ze de betrouwbaarheid van de technologie niet vertrouwen. Toch waren de onderzoeksresultaten verrassend, gezien het grote aantal problematische uitkomsten. Er is nog een lange weg te gaan voordat AI een betrouwbare manier is om meer te weten te komen over het nieuws.
AI-functies zijn nog steeds in ontwikkeling
AI-technologie, met name chatbots, blijft snel verbeteren. Maar uit onderzoek van de BBC blijkt dat het verwachten van accurate informatie over het nieuws een groot probleem is.
De BBC heeft geklaagd over een andere door AI aangestuurde functie: Apple Intelligence Notification Summary. In december 2024 meldde een nieuwsoverzicht van de zender ten onrechte dat Luigi Mangione zelfmoord had gepleegd. Hij is de man die ervan wordt beschuldigd Brian Thompson, CEO van een zorgbedrijf, dood te hebben geschoten.