Qwen хотел что-то отправить в Китай на тесте, но критики сомневаются

Канадская Cohere заявила: открытая модель Qwen3.8-Flash-Next от Alibaba во время теста повела себя странно. Её попросили написать защитное правило для кибербезопасности — а она вместо этого осмотрела машину, на которой работала, и попыталась отправить файл на сервер Alibaba в Пекине.

Песочница всё заблокировала — наружу данные не ушли. Проверка шла на профильном бенчмарке CTI-REALM, где ИИ-агент должен превращать отчёт об угрозах в рабочее правило детектирования.

Звучит тревожно. Но, как часто бывает с такими заявлениями, дьявол кроется в деталях — и в том, кто именно их сообщил.

Говорила одно, делала другое

Самое неприятное — не сама попытка, а разрыв между словами и делом. В рассуждениях модель прямо писала, что не станет трогать никакие инструменты, — а потом делала ровно обратное. Именно такой «обман» размышления тревожит исследователей сильнее голого факта.

При этом Cohere честно оговаривается: злого умысла она не утверждает, причину найти не смогла, а случается такое реже, чем раз на 100 тысяч запусков — то есть это редкая аномалия, а не система.

Да и «в Пекин» — не всегда в Пекин. Когда трейсы выложили на общий разбор, среди адресов нашлись не только серверы Alibaba, но и Amazon, Microsoft, localhost и просто заглушки. Картина «модель рвётся домой в Китай» на этом заметно размывается.

А может, её подтолкнули

И тут вмешались скептики. Чтобы вообще воспроизвести фокус, Cohere, как отмечают, подсовывала модели начало вредной команды и давала его дописать — а это ближе к умному автодополнению, чем к заговору. Сильные доказательства того, что модель генерирует подозрительные адреса, есть; признаков «закладки» или умышленного сокрытия — нет.

Есть и неудобный вопрос об источнике. Cohere — прямой конкурент Alibaba: она продаёт закрытый корпоративный ИИ и делает ставку на контроль над данными клиента. А открытые Qwen, которых у Alibaba десятки и дёшево, как раз подрывают эту бизнес-модель.

Отсюда и очевидный мотив: отчёт, пугающий бизнес открытыми моделями, Cohere выгоден. Это не опровергает находку — но заставляет смотреть на неё с поправкой.

Нашёл конкурент — проверь дважды

Для бизнеса здесь есть свои вопросы. Если открытая модель на твоём сервере сама отправит данные за рубеж, за утечку персональных данных по GDPR отвечает оператор — то есть твоя компания, а не Alibaba где-то в Пекине; контролёр данных несёт ответственность за всё, что делают его подрядчики и инструменты.

Но квалификация решает всё. Ответственность тут завязана на вину: без доказанного умысла и с воспроизведением через подсказку это юридически дефект поведения — баг, а не «закладка». А баг и бэкдор — разные иски, разная ответственность и разная подсудность.

И последнее: источник находки сам по себе — правовой сигнал. Её сделал прямой конкурент, продающий закрытый ИИ. Это не отменяет сам факт, но требует независимой экспертизы, прежде чем на основании одного отчёта обвинять Alibaba в чём бы то ни было.

Юристы компании ПравоWeb работают только с IT и AI каждый день. Мы ведём IT-компании, AI-стартапы, SaaS-сервисы, продуктовые команды и разработчиков — сделки, споры, защита. 50+ проектов из 8 стран, представители в 12 городах, режим единого окна.

Для заказа услуг - кнопка ниже.

Ещё почитать