После каждого ответа Claude тайком ставит диалогу оценку

Anthropic научила Claude оценивать самого себя. Сразу после ответа модель получает инструкцию, которую вы не видите, и коротко решает: был ли в разговоре потенциально вредный запрос.
Её ответ — маленькая анкета в формате JSON: галочка «опасно или нет», тип вреда и оценка срочности для проверки человеком. Две такие служебные реплики в сам диалог не попадают и пользователю не показываются.
Звучит немного тревожно — «модель втайне ставит вам оценку». Но детали, как обычно, важнее заголовка.
Помечает, но не блокирует
Пугаться не спешите. Сам метод ничего не блокирует — он только помечает диалоги для последующей проверки человеком. А вредное в реальном времени режут другие системы: самооценка и блокировка — это разные слои защиты.
Работает она во всех моделях начиная с Fable 5, с июня, на большой доле трафика — но не у клиентов с нулевым хранением данных. По утверждению компании, точность доходит до 78–94% при 1% ложных срабатываний, а на вычисления уходит меньше 2%.
Насколько ему верить — отдельный вопрос. Классификаторы Anthropic и раньше ошибались: как отмечали журналисты, ядерный детектор по ошибке помечал и безобидные разговоры. Так что ложные флаги — реальный риск, и финальное слово здесь намеренно оставлено за человеком.
Ловит то, что пропускают фильтры
Зачем это Anthropic? Чтобы находить то, что обходит обычные фильтры. Метод уже ловил неожиданное: в августе он отметил больше 100 тысяч сигналов о материалах с насилием над детьми от одного клиента — и компания передала это в профильный центр. Отдельных данных о вас, уверяет Anthropic, самооценка при этом не собирает.
Что именно модель считает «вредным», задают правила использования — на их категории и опирается внутренняя таксономия.
Идея не новая и не бесспорная. Скрытые механизмы безопасности у Anthropic уже вызывали волну критики за непрозрачность, а независимые эксперты оценивают риски Claude как «умеренные». Вопрос остаётся открытым: где заканчивается забота о безопасности и начинается слежка.
Пометка — не приговор
Юридически важно, что пометка — лишь сигнал для проверки, а не вывод о вашей вине. Сама по себе она ничего не доказывает и ни к чему не обязывает: решение принимает человек.
Главный вопрос здесь — приватность. Короткое пояснение модели может пересказать ваш разговор, поэтому к нему применяют те же правила хранения, что и к переписке; на трафик с нулевым хранением данных метод вовсе не распространяется.
А всерьёз мониторинг и тайна переписки сталкиваются в теме детской безопасности — и тут у бизнеса выбора нет. Закон прямо обязывает провайдера, узнавшего о материалах с насилием над детьми, сообщить о них в профильный центр (в США — NCMEC); искать их никто не требует, но молчать, однажды узнав, нельзя. И такие обязанности законодатели только расширяют.

Юристы компании ПравоWeb работают только с IT и AI каждый день. Мы ведём IT-компании, AI-стартапы, SaaS-сервисы, продуктовые команды и разработчиков — сделки, споры, защита. 50+ проектов из 8 стран, представители в 12 городах, режим единого окна.
Для заказа услуг - кнопка ниже.