Исследователи Роман Радионов и Алла Левина предложили подход, позволяющий автоматически формировать и оценивать новые виды состязательных атак на нейронные сети. Разработка расширяет возможности тестирования устойчивости систем искусственного интеллекта и позволяет выявлять ранее не рассматривавшиеся сценарии компрометации. Результаты исследования опубликованы в журнале Scientific Reports (Q1).
08.07.2026
Стремительное внедрение технологий искусственного интеллекта в системы управления, анализа данных, компьютерного зрения и другие критически важные области сопровождается ростом требований к безопасности. Одним из актуальных направлений исследований являются состязательные атаки – специальные воздействия на входные данные, способные приводить нейронную сеть к ошибочному результату при практически незаметных для человека изменениях исходной информации. Большинство существующих методов оценки защищённости нейросетей основаны на использовании заранее разработанного набора атак. Такой подход позволяет оценить устойчивость модели к известным сценариям воздействия, однако не охватывает всё множество возможных вариантов атак.
В отличие от традиционных методов, использующих фиксированные алгоритмы, авторы рассматривают состязательную атаку как последовательность взаимозаменяемых функциональных компонентов, благодаря комбинации которых система способна автоматически создавать ранее неизвестные сценарии воздействия и оценивать их эффективность. Для поиска наиболее результативных комбинаций исследователи применили байесовскую оптимизацию и специально разработанный эволюционный алгоритм.
В ходе экспериментальной проверки автоматически построенные атаки продемонстрировали высокую эффективность при тестировании нейронных сетей и в ряде сценариев показали результаты, сопоставимые или превосходящие распространённые методы состязательных атак.
Предложенный метод может применяться при аудите безопасности систем искусственного интеллекта, позволяя расширить набор тестовых сценариев и выявить потенциальные уязвимости до их эксплуатации в реальных условиях.
С полным текстом исследования можно ознакомиться в международном научном журнале Scientific Reports.
