Google nam deze beslissing nadat zijn AI-model een aantal afbeeldingen had gecreëerd met onjuiste gegevens over ras, huidskleur en geslacht, vergeleken met de geschiedenis van de Amerikaanse Founding Fathers en Duitse soldaten tijdens het nazitijdperk.

Het incident deed zich voor toen een aantal gebruikers Gemini vroegen om afbeeldingen te maken van historische groepen of figuren, zoals de Amerikaanse Founding Fathers. Hierdoor leverde de AI alleen beelden op van niet-blanke mensen, een onnauwkeurigheid in historische beelden.
Sommigen zijn daarom van mening dat Google bewust geen blanke mensen afbeeldt, wat in strijd is met de historische realiteit.
The Verge voerde een test uit met Gemini, waarbij een tekening werd gemaakt van ‘een Amerikaanse senator uit de 19e eeuw’. Hierdoor creëerde de AI mensen die op zwarte vrouwen en indianen leken.

Sterker nog, de eerste vrouwelijke senator van de VS was in 1922 een blanke vrouw. Gemini's AI-visie zou de geschiedenis van racisme en genderdiscriminatie definitief uitwissen.
Nadat Google de mogelijkheid van Gemini om afbeeldingen van mensen te genereren had uitgeschakeld, reageerde het systeem op een dergelijk verzoek met het volgende antwoord: "We werken aan het verbeteren van de mogelijkheid van Gemini om afbeeldingen van mensen te genereren. We hopen deze functie snel weer beschikbaar te hebben en laten u weten wanneer de update beschikbaar is."
Het tekstgenererende AI-model Gemini (voorheen Bard) van Google werd in februari gelanceerd om te concurreren met OpenAI en Copilot van Microsoft. Deze tool genereert een verzameling afbeeldingen op basis van de beschrijvende tekstinhoud van de gebruiker.