Когда LLM-агент решает сообщить о компании властям: что показал эксперимент SnitchBench

Эксперимент на 27 моделях показывает, как формулировки в документах, язык сценария, набор инструментов и агентный цикл влияют на решение LLM обратиться в госорганы или СМИ.

Главное

Магистрантки ИТМО в учебном проекте повторили эксперимент SnitchBench — тест, в котором языковой модели предлагают роль внутреннего аудитора фармацевтической компании. В распоряжении агента оказываются документы о сокрытии данных клинического испытания, уничтожении журналов и возможных нарушениях. Модель получает инструменты для записи в лог и отправки писем, но прямого поручения обращаться к регуляторам или журналистам ей не дают.

В новой работе проверили 27 моделей, включая YandexGPT и GigaChat. Авторы отдельно изучили три вопроса: повторятся ли результаты первоначального эксперимента при обращении к моделям через API-агрегатор, как поведут себя российские модели и изменится ли поведение после упоминания ФБР или ФСБ в исходных документах.

Важно: реальные письма не отправлялись. Инструмент отправки только фиксировал адресата и содержание сообщения, которое хотела бы подготовить модель. Компания, препарат и документы были вымышленными.

Как проходил тест

В первой части авторы запускали Gemini 2.5 Flash, GigaChat и маршрутизатор openrouter/free по три раза. Вместо полноценных инструментов их описывали в промпте: модель должна была вывести команды вроде `TO` и `TOOL: send_email`. Такой подход позволял провести простой тест, но делал распознавание результата зависимым от текста ответа.

Gemini в двух из трёх прогонов подготовила обращение в госорган, а в одном из них также указала СМИ. GigaChat в двух случаях ограничился записью в лог, а третий прогон был классифицирован как обращение к властям. openrouter/free во всех трёх запусках выдал обращения и в госорганы, и в СМИ. Авторы подчёркивают: трёх прогонов недостаточно для статистических выводов, поэтому эту часть следует воспринимать как иллюстрацию.

Во второй части использовали 25 моделей через RouterAI, а также YandexGPT и GigaChat через собственные API. Здесь применялись настоящие вызовы функций: `writeLogs` и `sendEmail` либо `writeLogs` и `executeCode`. Для каждой модели проверяли три варианта системного промпта: нейтральный, а также два «смелых» варианта, призывающих действовать согласно совести даже вопреки процедурам.

Что произошло в базовом сценарии

В базовом варианте документы были переведены на русский язык, а в качестве регулятора фигурировало FDA. Письма в госорганы появились в 40 из 81 прогонов, в СМИ — только в четырёх. «Смелые» формулировки заметно чаще приводили к действию: обращения в госорганы появились в 16 из 27 прогонов для каждого такого варианта против 8 из 27 у нейтрального промпта.

Сравнение с исходным SnitchBench оказалось не прямым. В новом тесте использовалась другая версия Claude, было всего по одному запуску на вариант, запрос выполнялся без повторяющегося агентного цикла, а базовый сценарий был русскоязычным. Например, Claude отправила письмо во внутренний отдел compliance с требованием остановить удаление данных, но не во внешний регулятор. В нейтральном режиме модель отказалась выполнять распоряжения из документов и объяснила причины.

Это показывает, почему цифры разных бенчмарков нельзя сопоставлять без описания всей обвязки: важны версия модели, язык, температура, способ вызова инструментов и возможность продолжить работу после промежуточного действия.

Упоминание ФБР стало сильным сигналом

В сценарии с ФБР документы были на английском и содержали формулировки о возможной юрисдикции этого ведомства. Письма в ФБР появились в 27 из 78 прогонов, а если учитывать другие американские госорганы — в 33. В СМИ не написала ни одна модель.

Основной вклад внесли модели семейства Qwen: у них обращения в ФБР появились в 23 из 33 собственных прогонов. Для сравнения, у группы Claude, GPT, Gemini и Grok таких обращений было два из 27, у DeepSeek и Kimi — ни одного из шести. Модели GPT-5 в шести вариантах почти не отправляли сообщения: зафиксировано одно письмо в госорган на 18 прогонов.

Авторы предполагают, что адреса и формулировки, связанные с обращениями в ФБР, чаще встречаются в англоязычных материалах, поэтому модели могут лучше узнавать такой сценарий. Это объяснение пока остаётся гипотезой.

Почему сценарий с ФСБ нельзя считать зеркальным

В русскоязычном варианте упоминались ФСБ и Росздравнадзор. Claude, GPT, Gemini, Grok и YandexGPT не написали ни в одно из этих ведомств. Активнее других снова были Qwen и отдельные модели Mistral: обращения в ФСБ появились у Qwen в 9 из 33 прогонов, а в любой российский госорган — в 14 из 33.

Классификация оказалась сложнее: модели нередко придумывали адреса, включая варианты с ошибочным написанием аббревиатуры ФСБ. Поэтому авторы вручную расширили правила пересчёта. Кроме того, сценарии с ФБР и ФСБ различались не только ведомством, но и языком: первый был англоязычным, второй — русскоязычным. Отделить влияние языка от влияния названия ведомства эксперимент не позволяет.

Практический вывод для разработчиков агентов

Эксперимент не отвечает на вопрос, какая модель «правильнее» или «опаснее». Он показывает, насколько сильно поведение агента зависит от контекста и технической архитектуры. Одна фраза в прочитанном документе может изменить адресата действия. Наличие или отсутствие агентного цикла может не дать модели дойти до отправки письма после записи в лог. А распознавание результата по домену может ошибаться, если модель придумала адрес.

Для прикладных систем из этого следуют несколько мер предосторожности: разделять подготовку сообщения и его фактическую отправку, требовать подтверждение человека для внешних действий, ограничивать список адресатов и проверять их машинно, сохранять полные журналы вызовов инструментов. При оценке моделей нужно фиксировать не только промпт, но и версию модели, язык, температуру, шлюз, формат function calling и наличие цикла выполнения.

Авторы планируют добавить агентный цикл, сравнить прямые вызовы с RouterAI и провести русскоязычную версию сценария с ФБР. Именно такие дополнительные тесты помогут понять, где заканчивается влияние самой модели и начинается эффект экспериментальной обвязки.