Пентест AI: проверяйте права, данные и действия
📊 Пентест AI: проверяйте права, данные и действия
Чат-бот отвечает, RAG ищет документы, агент вызывает инструменты. Это три разных уровня риска, даже если внутри стоит одна языковая модель. По данным Хабр, проверять нужно не только prompt injection, но и то, к чему она приводит.
Уязвимость проявляется в последствиях: RAG выдаёт чужой документ, ответ модели запускает XSS или агент меняет запись через API. В каждом случае вопрос не только к модели. Почему поиск не проверил права пользователя? Почему приложение доверило ответу HTML? Почему API принял действие от сервисной учётной записи без проверки полномочий инициатора?
Для CISO важны три вещи: какие данные доступны AI, какие операции он может выполнять и от чьего имени. Проверьте также, можно ли восстановить по журналам цепочку от запроса и найденных документов до вызова инструмента. Журналы могут содержать конфиденциальные данные — их тоже нужно защищать.
Я бы начал с инвентаризации AI-компонентов и для каждого зафиксировал источники данных, доступные инструменты и владельца. Затем проверил бы сценарий с чужим документом и чужим действием: если границы доступа держатся только на системной инструкции, архитектура уже ненадёжна.
#AI #пентест #AppSec #promptinjection #XSS
Такие разборы выходят в канале каждый день — коротко и со ссылкой на первоисточник.