Бэкдор в ИИ-агенте прячется менее чем в десяти нейронах
⚠️ Бэкдор в ИИ-агенте прячется менее чем в десяти нейронах
Microsoft показала технику Lazarus: изменение менее 10 редко активных нейронов заставляет агента распознать условие срабатывания и выполнить команду атакующего. Переобучение модели не требуется. В демонстрации таким условием могла стать смена даты: агент скачивал и запускал чужой код с уже имевшимися у него правами.
По данным Help Net Security, для внедрения нужен доступ к весам модели. Его может дать взломанная учётная запись, конвейер разработки или хранилище. При обычных проверках бэкдор способен не проявиться. Microsoft не наблюдала, чтобы злоумышленники уже применяли эту технику.
Microsoft советует сравнивать каждую контрольную копию модели с заявленной базовой версией в двух точках: перед развёртыванием и после каждого обновления. Поиск аномальных изменений помогает, но требует исходных весов; сканирование само по себе безопасность не доказывает. Дополнительно нужны минимальные права, изоляция запуска кода, ограничения исходящего трафика и подтверждение человеком опасных вызовов.
Парадоксальный приоритет здесь — не выявить каждое скрытое условие срабатывания, а заранее ограничить полномочия агента: средство обнаружения может ошибиться, а избыточные права сразу превращают ошибку в действие.
#ИИ #АгентыИИ #БезопасностьМоделей
Такие разборы выходят в канале каждый день — коротко и со ссылкой на первоисточник.