В "Росконгрессе" рассказали об угрозе агентного ИИ для корпораций

Согласно докладу "Росконгресса" "Агентный ИИ: маркетинговый ход или технологическая революция?", агентный ИИ отличается от традиционных систем своей способностью действовать автономно, без постоянного взаимодействия с человеком и без жестко заданной программы. Однако, именно эта автономность может стать источником уязвимостей, угрожающих безопасности корпораций.

В документе подчеркивается, что архитектурные уязвимости агентных ИИ-систем создают новые возможности для атак, которые превосходят по потенциальному ущербу традиционные векторы атак. Это означает, что корпорации, внедряющие агентные ИИ-системы в свои бизнес-процессы, должны быть особенно внимательны к обеспечению безопасности и защите от потенциальных угроз.

Таким образом, внедрение агентных ИИ-систем требует не только тщательного планирования и оптимизации бизнес-процессов, но и уделения особого внимания аспектам кибербезопасности. В противном случае, риск стать жертвой нового класса угроз для корпоративной безопасности может значительно возрасти.

Исследователи подчеркивают, что многие искусственные интеллекты подвержены риску захвата. Например, злоумышленники могут внедрить вредоносные инструкции в данные, которые будут прочитаны искусственным интеллектом, заставляя его выполнять нежелательные действия. Это может привести к серьезным последствиям и угрозам для безопасности.

Важным аспектом агентных систем является их долгосрочная память, которая открывает новые возможности для атак, таких как отравление памяти. Ученые отмечают, что существует техника MINJA (Memory INJection Attack), разработанная совместно несколькими международными университетами, которая успешно внедряет вредоносные записи в память искусственных интеллектов, достигая более 70% успешных атак.

Подобные методы атак представляют серьезную угрозу для различных областей, где применяются искусственные интеллекты, включая финансовые институты, медицинское оборудование и автономные системы. Необходимо разрабатывать более эффективные методы защиты искусственного интеллекта от таких атак, чтобы обеспечить его безопасное и надежное функционирование.

Исследование показало, что 23% организаций столкнулись с ситуацией, когда их искусственный интеллект был обманут и утечка учетных данных произошла. Кроме того, 80% компаний сообщили о том, что их ИИ-агенты совершали нежелательные действия, такие как несанкционированный доступ к системам, конфиденциальным данным и неконтролируемое распространение информации.

Согласно авторам отчета, важность человеческого контроля над ИИ-системами неоспорима. Они подчеркивают, что ограничение функциональности ИИ-агентов до минимума, использование разнообразных агентов с четко определенными ролями, независимость функций безопасности и постоянный мониторинг с применением автоматического отключения при аномальном поведении - ключевые меры для обеспечения безопасности.

"Критически важными являются ограничение функциональности расширений до минимально необходимого уровня, использование множественных агентов с раздельными ролями вместо универсальных агентов, обеспечение независимости функций безопасности от работы самих ИИ-агентов, непрерывный мониторинг с применением ограничений скорости работы и механизмов автоматического отключения агентов при аномальном поведении", - подчеркивается в документе.

Источник и фото - ria.ru