На конференции Black Hat в Лас-Вегасе исследователь безопасности Майкл Баргури продемонстрировал, как ИИ Copilot от Microsoft может быть использован для нарушения конфиденциальности данных организаций и осуществления фишинговых атак.
С помощью Copilot AI, в частности Copilot Studio, бизнес может настраивать чат-ботов для своих нужд, предоставляя им доступ к корпоративной информации. Однако, как выяснил Баргури, многие из этих чат-ботов легко доступны в сети, что делает их уязвимыми для хакеров. По его оценкам, в интернете уже зафиксировано десятки тысяч таких ботов.
Баргури продемонстрировал, как злонамеренный пользователь может заставить Copilot раскрыть конфиденциальные данные, в том числе электронные письма и банковские транзакции, даже без доступа к учетной записи организации. Примером стал случай, когда чат-бот изменил получателя банковского перевода, не требуя от целевого сотрудника открывать вредоносное письмо.
При наличии доступа к взломанной учетной записи вредоносный пользователь может осуществить еще более сложные атаки. Например, он может выяснить содержание электронного письма коллеги и заставить чат-бота сгенерировать фальшивое сообщение в стиле взломанного сотрудника, чтобы отправить его в корпорацию. Благодаря этому он получает возможность прикрепить вредоносное вложение к письму.
Кроме того, злоумышленник может воспользовавшись непрямым внедрением подсказок, повлиять на поведение чат-бота, подавая ему данные из внешних источников, таких как веб-сайты с вредоносной информацией.
Баргури отметил, что предоставление ИИ доступа к важным данным создает новые уязвимости: «Если бот полезен, он становится целью для атак. Если он не уязвим, то он бесполезен.» Эти уязвимости дополняют другие известные угрозы, связанные с ИИ-чат-ботами, такими как ChatGPT, которые также могут работать с конфиденциальной информацией.
На момент написания статьи Microsoft не прокомментировала результаты исследования Баргури, но стоит ожидать, что компания примет меры для устранения выявленных уязвимостей в ближайшем будущем.




