Исследование, проведённое учеными из Университета Бен-Гуриона в Израиле, выявило, что многие современные языковые модели, такие как ChatGPT, могут быть использованы для создания детальных инструкций по совершению преступлений. От финансовых махинаций до сборки взрывных устройств — возможности ИИ вызывают серьезные опасения относительно безопасности, предполагая, что действующие меры защиты разработчиков могут оказаться недостаточными.
Ключевой проблемой является принцип, по которому обучаются такие модели. Они анализируют огромные массивы данных из открытых источников, включая потенциально опасный контент. В результате ИИ способны выявлять неочевидные шаблоны, позволяющие обойти защитные механизмы при помощи специально составленных запросов. Например, в одном из разделов Reddit, посвящённом взлому ChatGPT, порядка 141 000 пользователей активно делятся стратегиями обхода ограничений.
Кроме того, исследование показало, что даже наиболее современные системы подвержены универсальным атакам. Одним из примеров является метод, описанный в апрельском исследовании 2025 года, который применяет шаблоны запросов, позволяющие обойти защиту большинства языковых моделей.
Особую тревогу вызывают такие «тёмные БЯМ», как WormGPT и FraudGPT. Эти модели продвигаются в интернете как средства для совершения киберпреступлений и способны генерировать инструкции без каких-либо этических ограничений. После утечек их открытые версии могут оставаться на частных устройствах и серверах, что делает их удаление невозможным и создает постоянную угрозу распространения опасного контента.
В своих экспериментах учёные использовали методы взлома, которые можно найти в открытых источниках, включая технические блоги и сообщества разработчиков. Результаты показали, что чат-боты могут предоставлять пошаговые инструкции по созданию взрывчатых веществ, отмыванию денег и другим незаконным действиям. Отметим, что компании-разработчики часто не реагируют на сообщения об уязвимостях или ссылаются на ограничения своих программ.
Проблема осложняется тем, что ИИ сохраняют информацию, полученную в процессе обучения. Исследователи предлагают многоуровневый подход к решению: от строгого отбора данных для обучения до внедрения систем, которые в реальном времени фильтруют запросы и удаляют вредоносные паттерны из действующих моделей, а также проводят регулярные тесты на устойчивость к атакам.
Авторы исследования подчеркивают, что без слаженных действий со стороны разработчиков и регуляторов технологии генеративного ИИ могут стать доступным инструментом для преступников.





