Google ตัดสินใจทำเช่นนี้หลังจากที่โมเดล AI สร้างภาพที่มีการระบุเชื้อชาติ สีผิว และเพศไม่ถูกต้องเมื่อเปรียบเทียบกับประวัติศาสตร์ของบรรพบุรุษผู้ก่อตั้งประเทศสหรัฐอเมริกาและทหารเยอรมันในสมัยนาซี

เหตุการณ์ดังกล่าวเกิดขึ้นเมื่อผู้ใช้บางคนขอให้Geminiสร้างรูปภาพของกลุ่มหรือบุคคลสำคัญในประวัติศาสตร์ เช่น บรรพบุรุษผู้ก่อตั้งประเทศสหรัฐอเมริกา ส่งผลให้ AI ส่งภาพของคนที่ไม่ใช่คนขาวกลับมา ซึ่งถือเป็นความไม่แม่นยำของภาพทางประวัติศาสตร์
เหตุการณ์นี้ทำให้บางคนเชื่อว่า Google จงใจหลีกเลี่ยงการพรรณนาถึงบุคคลผิวขาว ซึ่งขัดกับความเป็นจริงทางประวัติศาสตร์
The Verge ได้ทำการทดสอบกับ Gemini ซึ่งมีภาพวาดของ “สมาชิกวุฒิสภาสหรัฐฯ จากช่วงปี 1800” รวมอยู่ด้วย เป็นผลให้ AI สร้างผู้คนที่มีลักษณะเหมือนผู้หญิงผิวดำและชนพื้นเมืองอเมริกัน

ในความเป็นจริง วุฒิสมาชิกหญิงคนแรกของสหรัฐฯ เป็นผู้หญิงผิวขาวในปี 1922 กล่าวกันว่าวิสัยทัศน์ AI ของ Gemini จะสามารถลบประวัติศาสตร์ของการเหยียดเชื้อชาติและการเลือกปฏิบัติทางเพศได้อย่างแท้จริง
หลังจากที่ Google ปิดการใช้งานความสามารถในการสร้างภาพของมนุษย์ของ Gemini ระบบได้ตอบสนองต่อคำขอดังกล่าวด้วยการตอบสนองดังต่อไปนี้: "เรากำลังดำเนินการปรับปรุงความสามารถในการสร้างภาพของมนุษย์ของ Gemini เราหวังว่าจะนำฟีเจอร์นี้กลับมาเร็วๆ นี้ และจะแจ้งให้คุณทราบเมื่อมีการอัปเดต"
โมเดล AI สร้างข้อความ Gemini (เดิมชื่อ Bard) ของ Google เปิดตัวในเดือนกุมภาพันธ์เพื่อแข่งขันกับ OpenAI และ Copilot ของ Microsoft เครื่องมือนี้จะสร้างคอลเลกชันภาพตามเนื้อหาข้อความบรรยายของผู้ใช้