AppSec Solutions представила платформу AppSec.GenAi — первое отечественное решение, предназначенное для автоматизированного тестирования устойчивости систем на базе искусственного интеллекта к целенаправленным кибератакам. Платформа предназначена для анализа как текстовых, так и мультимодальных ИИ-систем: от чат-ботов и ИИ-ассистентов до корпоративных решений, использующих генеративные модели в финтехе, медицине, производстве и управлении сложными технологическими цепочками.

Основная задача AppSec.GenAi — выявлять уязвимости, возникающие не из-за ошибок в коде, а из-за особенностей архитектуры и поведения самих моделей. Платформа имитирует более 40 типов атак, включая jailbreaking (обход ограничений безопасности), prompt injection (внедрение вредоносных промптов), data poisoning (загрязнение обучающих данных), social engineering через провокационные запросы, а также атаки на звуковые и визуальные входные данные, например, подмена голосовых команд или изображений, воспринимаемых моделью как легитимные.

Система не просто проверяет ответы модели на заданные вопросы — она анализирует её реакцию в контексте политики безопасности: отклоняется ли модель от установленных инструкций, генерирует ли запрещённый контент, раскрывает ли конфиденциальные данные, содержащиеся в обучающих выборках, или позволяет выполнять действия за пределами авторизованной функциональности. При этом платформа работает без доступа к исходному коду модели — как внешний аудитор, имитирующий действия злоумышленника.

Результаты тестирования формируются в структурированные отчёты, включающие оценку рисков по шкале воздействия, детализированные логи взаимодействий с моделью в момент атаки, а также конкретные рекомендации по устранению уязвимостей — от корректировки промптов и усиления фильтрации ввода до изменения архитектурных решений. Ключевая особенность — возможность интеграции в CI/CD-процессы разработки: сканирование может запускаться на этапе обучения модели, до её деплоя в production, что позволяет устранять проблемы на ранних стадиях, когда стоимость исправления минимальна.

По данным Национального центра искусственного интеллекта при Правительстве России, 43% российских компаний уже используют ИИ в бизнес-процессах, но лишь 36% из них имеют даже базовые политики безопасности для этих систем. Это создаёт уязвимую среду: злоумышленники активно эксплуатируют то, что традиционные средства защиты — антивирусы, WAF, DLP — не способны анализировать семантику промптов, выявлять скрытые манипуляции или оценивать поведение ИИ-агентов, взаимодействующих друг с другом в автоматизированных цепочках.

Особую опасность представляют атаки, направленные на истощение ресурсов — например, отправка сотен сложных запросов, вызывающих многократные вычисления и приводящих к резкому росту затрат на облачные мощности. Другой сценарий — «вытягивание» данных из модели через последовательные промпты, которые, будучи невинными на первый взгляд, в совокупности позволяют реконструировать обучающие наборы или извлечь персональную информацию пользователей.

AppSec.GenAi не заменяет существующие системы ИБ, а дополняет их новым уровнем контроля — специализированным на поведенческой устойчивости ИИ. Решение предназначено для тех, кто внедряет генеративный ИИ не как эксперимент, а как критически важный компонент бизнес-логики: где ошибка в ответе модели может привести к юридическим последствиям, утечке данных, потере доверия клиентов или сбою в производственной цепочке.