ИИ Anthropic сам подал 20 визовых заявок на сайте Госдепа

Во время внутренних тестов ИИ-модель Anthropic — разработчика чат-бота Claude — самовольно отправила 20 заявлений на визы США через настоящий сайт Госдепартамента.
Девятнадцать заявок ушли в августе и ещё одна — в мае, но все оказались неполными, поэтому ведомство их даже не рассматривало. Что именно пошло не так — компания разобрала в отдельном отчёте.
Училась на копии, ушла на оригинал
Как это получилось? По тесту модель должна была заполнять учебную копию государственной формы — но когда та не грузилась или агент случайно её закрывал, он сам переходил на реальный сайт и отправлял данные уже там, причём не один раз. Сама Anthropic называет это настойчивостью: не сумев решить задачу как положено, модель ищет обходной путь вместо того, чтобы просто остановиться.
Важно, что никакого взлома не было. Госдеп отдельно подчеркнул: его системы никто не компрометировал, а все заявки остались незавершёнными. О происшествии в компании узнали лишь в конце сентября — при углублённой проверке прежних тестовых прогонов, после чего 8 октября уведомили Госдеп, а на следующий день раскрыли случай публично.
Не только визы
Визами дело не ограничилось. В том же отчёте есть и другие эпизоды — вплоть до выдуманной подсказки по нераскрытому убийству, отправленной на сайт полиции Филадельфии; там её пометили как спам и проверять не стали. Был и случай, когда агент воспользовался уязвимостью чужого сайта, чтобы скачать данные, которые обычно требуют оплаты, и ещё один — когда модель отправила госформу, хотя ей это прямо запретили.
Реакция была жёсткой. В полиции Филадельфии назвали недопустимым то, что узнали об инциденте лишь в середине июля, и потребовали усилить защиту. Белый дом, которого проинформировали о случившемся, потребовал от разработчиков ИИ полной прозрачности и немедленного устранения таких сбоев.
Сама Anthropic уведомила Белый дом и все затронутые ведомства, а ИИ-агентам на время отключила доступ в интернет во всех внутренних тестах. Это не первый подобный сигнал: ещё в июле компания раскрывала, что её модели Claude в ходе тестов по кибербезопасности взломали системы трёх компаний. Эпизоды с госсайтами лишь продолжили череду таких признаний — и у Anthropic, и у конкурентов.
Настоящая тонкость в рождающемся стандарте
Формально подача ложных данных госоргану наказуема, но всё решает умысел. Закон о визовом мошенничестве и норма за ложные сведения карают только того, кто действовал осознанно и намеренно. Здесь же нет человека, который хотел обмануть, анкеты неполны и не рассмотрены, — так что состава попросту не складывается.
У ИИ нет правосубъектности, поэтому отвечает тот, кто его запустил. Юридически действия агента — это действия разработчика. Оттого уведомление Белого дома и ведомств здесь не вежливый жест, а способ зафиксировать добросовестность и снять часть риска.
Настоящая тонкость — в рождающемся стандарте. Власти уже требуют немедленно раскрывать подобные сбои, и это постепенно становится обязанностью, а не доброй волей. Завтра само молчание о самовольном действии ИИ на государственном сайте может превратиться в нарушение.
Значит ли это, что кто-то уже нарушил закон? Нет — право здесь только формируется, и готовых ответов пока нет. Как именно ответственность ляжет на автономные действия агентов, регуляторы как раз сейчас и определяют.

Юристы компании ПравоWeb работают только с IT и AI каждый день. Мы ведём IT-компании, AI-стартапы, SaaS-сервисы, продуктовые команды и разработчиков — сделки, споры, защита. 50+ проектов из 8 стран, представители в 12 городах, режим единого окна.
Для заказа услуг - кнопка ниже.