Нейросети начали взламывать стихами - исследователи бьют тревогу из-за новой угрозы AI

Еще недавно главной проблемой искусственного интеллекта считались ошибки и неточные ответы. Теперь внимание исследователей сместилось в другую сторону - способы обхода защит нейросетей через нестандартные формулировки.

Речь идет о jailbreak-атаках - методах, при которых пользователи пытаются заставить модель отвечать на запрещенные запросы. При этом никакого взлома системы не происходит: используется только текст и особенности интерпретации языка.

Как работает обход защиты через текст

Исследования показывают, что некоторые модели хуже распознают опасный смысл, если он скрыт за художественной формой. Запрос может быть замаскирован под поэзию, киберпанк-рассказ или философский диалог.

В таких случаях система защиты ориентируется не на смысл, а на форму текста, из-за чего часть фильтров срабатывает менее эффективно.

Почему поэзия стала проблемой для AI

В одном из исследований рассматривается подход, при котором вредные инструкции переписываются в виде стихотворений. Такой формат усложняет анализ структуры запроса и иногда снижает точность фильтрации.

Идея вызвала активное обсуждение в AI-сообществе, потому что демонстрирует неожиданный способ обхода защит, основанный не на технических уязвимостях, а на языке.

Что говорят исследователи о рисках

С появлением AI-агентов с доступом к браузеру, коду и внешним сервисам тема безопасности стала более чувствительной. Ошибки в интерпретации запросов могут иметь более серьезные последствия, чем раньше.

Некоторые эксперты считают это сигналом к усилению систем безопасности, другие - преувеличением проблемы, которая со временем будет закрыта обновлениями моделей.

Почему тема стала вирусной

Интерес к jailbreak-атакам растет из-за того, что они показывают границы современных нейросетей. Чем умнее становятся модели, тем более необычные способы обхода защит появляются.

И именно творчество, которое считалось «безопасной зоной», неожиданно оказалось частью этой проблемы.