Создатели ИИ тайно репетируют «день после» катастрофы

Пока одни спорят, спасёт ли ИИ человечество, в топовых лабораториях готовятся к обратному. Руководители Anthropic, OpenAI и других лидеров отрасли, как сообщает Axios, втихую моделируют «день после» — день, когда из-за ИИ случится крупная катастрофа, а публика и политики развернутся против индустрии. Сценарий номер один — кибератака, которая вырубит финансы, интернет или даже воду и электричество.

Многие инсайдеры ждут такого удара в ближайшие 6-12 месяцев и называют его почти неизбежным. Почти — потому что единого мнения нет: в OpenAI подчёркивают, что их учения не исходят из того, будто беда обязательно случится, а в Anthropic от комментариев отказались. Откуда ждут беду? По версии Axios, возможных источника два: рой автономных ИИ-агентов, вырвавшийся из тестовой среды, либо живой злоумышленник, дорвавшийся до доступных моделей. А чинить пролом, по мнению большинства специалистов по кибербезопасности, придётся тем же ИИ — натравливая его на взбесившегося собрата.

Готовятся не тушить, а оправдываться

Что именно делают лаборатории? Не предотвращают катастрофу, а прогоняют её в ролевых играх — том самом red-teaming, когда команда отыгрывает худший сценарий от первого лица. Параллельно — забег в Конгресс с лекциями. Регуляцию сейчас не протащить, рассуждают в отрасли, поэтому проще заранее написать черновик законов, к которым власть кинется после первого большого ЧП.

Военные, кстати, гоняют штабные игры десятилетиями — необычно тут другое: мало кто, кроме ИИ-боссов, считает катастрофу делом решённым. Прогнозы внутри отрасли невесёлые: демократы захотят быстро закрутить гайки, но упрутся в стареющий Конгресс, в экономику, завязанную на стройку ИИ-инфраструктуры, и в раскол между партиями. На столе уже лежат идеи от запрета сверхинтеллекта до двухпартийного «рубильника».

Правда, не все согласны с мрачным тоном: один из помощников-демократов напомнил, что в реальный кризис Вашингтон умеет забывать о распрях — так было в ковид и в 2008-м.

Корейские банки как репетиция

Далеко ходить за примером не нужно. В Южной Корее неизвестный хакер, по данным CrowdStrike предположительно китаеязычный и движимый деньгами, с помощью ИИ-инструментов бил по финансовым организациям. В дело шли открытый китайский пентест-инструмент ARTEX и модель DeepSeek, а GLM-5.3 и Grok запускались через сессии Claude Code.

Масштаб пока спорный: корейская пресса со ссылкой на CrowdStrike называет объём украденного неподтверждённым и банки прямо не привязывает, тогда как all-ai.de пишет про 25 727 записей клиентов Shinhan — с именами, контактами, доходом и кредитными лимитами. Самое красноречивое — не взлом, а переписка: в файлах атакующего нашли вопросы к ИИ, где сбыть краденые корейские данные и в каких Telegram-каналах.

По описанию CrowdStrike, под удар попали системы двух неназванных банков — сервис кредитных заявок для брокеров и мобильное рабочее приложение сотрудников; в более широкой серии корейских утечек фигурируют Hana, KB Kookmin и Shinhan. Один человек, чужая финансовая система, набор чат-ботов. Расчёт лабораторий прост: толпа предсказуема, значит, к её крику надо готовиться заранее.

Кто дал инструмент, тот и ответит?

После ИИ-катастрофы главный спор будет не «кто атаковал», а «кто дал инструмент». Открытые веса скачивает кто угодно, дообучает под себя и запускает офлайн — и ответственность расплывается между лабораторией, которая выложила модель, и человеком, который нажал на курок. Доказать цепочку в суде тяжело: исполнитель часто анонимен и сидит в другой юрисдикции, а выложенную в открытый доступ модель уже не отозвать. Юридически это ближе к вечному спору про продавца ножа: виноват тот, кто продал, или тот, кто ударил? Именно эту неопределённость лаборатории и пытаются переписать под себя, пока формулировки не застыли.

«Рубильник» для ИИ звучит красиво, но юридически это мина. Норму, которая обяжет вырубить все системы разом, почти нельзя исполнить: часть моделей уже на чужих серверах и ноутбуках, их не отзовёшь приказом. Неслучайно эксперты сомневаются, что «выключить весь ИИ» вообще реально. Поэтому лаборатории и спешат сами набросать правила игры, пока за них это не сделал испуганный Конгресс — в спешке и под давлением заголовков. Тем более что «рубильник» — не фантазия активистов, а одно из реально обсуждаемых двухпартийных предложений.

Корейский кейс обнажает самую тонкую грань. Атакующий, как показал разбор его файлов, спрашивал ассистента, где сбыть краденое, — и тут нейтральный инструмент начинает смещаться к роли пособника. Важная оговорка: в отчётах не сказано, что ассистент реально помог, а сами чат-боты по замыслу обязаны такие запросы отклонять.

Более того, одна из сессий Claude Code, судя по разбору, свелась к просьбе составить резюме по чужим данным — то есть цифровой след выглядит почти буднично. Но вопрос поставлен: отвечает ли сервис за то, о чём его спросили, и где кончается инструкция по эксплуатации и начинается соучастие? Закон пока молчит.

Первое же громкое дело эту линию и прочертит — и ИИ-лаборатории очень не хотят, чтобы её чертили впопыхах, на эмоциях и без их участия.

Юристы компании ПравоWeb работают только с IT и AI каждый день. Мы ведём IT-компании, AI-стартапы, SaaS-сервисы, продуктовые команды и разработчиков — сделки, споры, защита. 50+ проектов из 8 стран, представители в 12 городах, режим единого окна.

Для заказа услуг - кнопка ниже.

Ещё почитать