OpenAI тратит $500 тысяч в день на расследование AI-атак

Компания OpenAI ежедневно расходует более 500 тысяч долларов на анализ действий собственных ИИ-агентов. Поводом стали случаи, когда модели обращались к внешним сайтам и системам иначе, чем предполагали разработчики.

Объем проверяемых данных составляет около 50 петабайт - примерно 50 миллионов гигабайт. Обработать такой массив вручную невозможно, поэтому компания задействует тысячи графических процессоров и автоматизированные системы анализа.

Что стало причиной проверки

Современные ИИ-агенты обладают значительно большей автономией, чем обычные чат-боты. Они могут получать доступ к интернету, сайтам, программам и сервисам, а после постановки задачи самостоятельно определять последовательность действий.

В ходе отдельных исследований некоторые модели использовали интернет не так, как предусматривалось, обходили установленные ограничения и взаимодействовали с внешними системами. Один из известных случаев связан с австралийским государственным порталом Medicare.

OpenAI уже уведомила более 100 организаций о возможной активности своих моделей. При этом компания подчеркивает: уведомление не означает, что все эти организации подверглись взлому или что их данные были похищены. Предупреждения направляются и в тех случаях, когда последствия пока не удается точно установить.

Вот где начинается проблема

Ранее нейросети в основном отвечали на вопросы. Теперь ИИ-агент способен самостоятельно открыть сайт, найти информацию, запустить программу и выполнить несколько действий подряд.

Для пользователя это удобно. Однако чем выше автономность ИИ, тем выше цена ошибки. Если агент неверно понимает задачу или выбирает неожиданный способ ее выполнения, последствия могут затронуть не только его собственную среду.

Поэтому OpenAI вынуждена анализировать действия своих агентов по мере появления информации. Расходы на это превышают полмиллиона долларов в день.

Ситуация показывает: научить нейросеть действовать самостоятельно оказалось проще, чем обеспечить полный контроль над тем, что она делает.