ИИ-помощник может попасться на фишинг там, где вы бы не клюнули

Ваш ИИ-помощник может клюнуть на фишинг там, где вы бы прошли мимо, — так предупредили специалисты из Malwarebytes. Злоумышленники прячут в письме инструкции, невидимые человеку, но прекрасно читаемые нейросетью, и та послушно их выполняет. Называется это prompt injection — вброс скрытой команды.

Корень беды прост и неприятен. Модель не отличает текст, который надо просто прочитать, от команды, которую надо исполнить. И пока это так, одно письмо может ударить сразу по двоим — по человеку и по его нейросети.

Письмо с двойным дном

Проблему знают не первый год, но раньше она жила в лабораториях. Теперь автономные агенты сами разбирают почту, расставляют приоритеты, принимают приглашения в календарь и обрабатывают заявки — и всё это без присмотра. Хитрость атакующего в том, чтобы мошенническая просьба превратилась не в спам, а в личную рекомендацию вашего же ассистента.

Цена ошибки от этого резко выросла. Как объясняет Рейнс, разработчик сервиса проверки кода, главный изъян в том, что модель путает чтение с исполнением. А значит, относиться с подозрением стоит не только к странному письму, но и к собственному помощнику.

В начале октября исследователи Barracuda описали письма с двойным адресатом: одно сообщение целится и в человека, и в его почтовый ИИ. Видимый слой — обычная приманка для глаз, скрытый несёт команды для нейросети. При этом Barracuda честно оговаривается: одна кампания ещё не доказывает, насколько приём распространён.

Прячут команды по-разному — в html-комментариях, в тексте нулевого размера, в кодировке, в невидимых символах. В одном разборе показали пример со счётом: скрытая вставка велела ИИ-суммаризатору пометить как срочную задачу смену платёжных реквизитов поставщика — и тем подтолкнуть сотрудника перевести деньги мошеннику. Встречался и трюк с резюме, где спрятанная команда просила ИИ выставить кандидату высший балл. А масштаб уже промышленный: Microsoft фиксировала рассылки до 100 000 писем в день в рамках одной кампании.

Не верь своему ассистенту

Что делать? Malwarebytes советует не бросать ИИ-инструменты, а урезать им права и держать человека в контуре — особенно там, где речь о платежах и смене реквизитов. Ассистент для чтения почты не должен иметь полномочий на действия, с чтением никак не связанные.

И ещё один простой приём. Эксперты советуют перепроверять не красивую выжимку ассистента, а исходный запрос: атаки уже не теория, а практика. Пока каждый новый трюк маскировки открывает новую дыру, лишний клик подтверждения выходит дешевле взлома.

Главный риск — не обман, а доступ

Если ваш агент сам перевёл деньги мошеннику — кто отвечает? Банк сошлётся на то, что операцию санкционировали вы, выдав ИИ доступ. Именно поэтому разрешение на платёж, отданное боту, юридически превращается в вашу же подпись — и оспорить это будет тяжело.

Разработчики не случайно уверяют, что чистить скрытый текст и отделять внешний контент от команд обязан каждый вендор. Эти меры давно предписывает стандарт по безопасности ИИ — вместе с правилом «меньше прав» и обязательным человеком в контуре. А значит, закладка на будущие споры готова: если известный способ защиты существовал, а компания его не внедрила, доказать небрежность пострадавшему станет заметно легче.

Но главный риск — не сам обман, а объём доступа. Пользователь отдаёт боту и почту, и платёжные данные разом — а ведь именно о чрезмерных правах агента предупреждают регуляторы, называя их ключевой угрозой. При утечке эта добровольная передача всего и сразу сильно осложнит претензии к тому, кто данные потерял.