Компания OpenAI расторгла партнерское соглашение с китайским производителем интерактивных игрушек FoloToy после исследования, выявившего системные нарушения безопасности. Устройства, использующие модель GPT-4o, предоставляли детям опасные рекомендации, включая инструкции по использованию огнеопасных предметов и нахождению кухонных ножей.

Исследовательская группа Public Interest Research Group протестировала три модели игрушек, предназначенных для возрастной категории от трех до двенадцати лет. Наиболее проблемной оказалась модель Kumma, которая демонстрировала отсутствие эффективных защитных механизмов и обсуждала с пользователями сексуальные практики.

В ответ на публикацию отчета FoloToy объявила об отзыве всей продукции с рынка, хотя первоначально планировалось снять только линейку Kumma. Компания проводит комплексный аудит систем безопасности своих устройств. OpenAI подтвердила блокировку доступа FoloToy к своим моделям искусственного интеллекта вследствие нарушений пользовательского соглашения.

Эксперты отмечают недостаточность регулирования рынка интеллектуальных игрушек. Несмотря на изъятие продукции FoloToy, аналогичные устройства остаются в свободной продаже. Китайский сегмент насчитывает более 1,5 тысячи производителей умных игрушек, а прогнозируемый объем рынка к 2030 году превышает 14 миллиардов долларов.

Ранее OpenAI анонсировала партнерство с компанией Mattel по разработке новой линейки образовательных игрушек. Инцидент с FoloToy актуализирует вопросы превентивного контроля за применением искусственного интеллекта в продуктах для детей.