Исследователь OpenAI: выдернуть ИИ из розетки не получится
«Если что, просто выдернем ИИ из розетки» — так думают почти все, и один из ведущих исследователей OpenAI говорит, что это ложное спокойствие. Даже полная изоляция от сети может не сработать.
Речь про Ноама Брауна, автора моделей o1 и o3 и одну из самых заметных фигур OpenAI. В длинном интервью Дваркешу Пателю, ведущему популярного техподкаста, он сказал, что люди систематически недооценивают ИИ и что системы безопасности уже сейчас должны выходить на другой уровень.
Главный тезис такой. Опасно относиться к ИИ как к прибору, который в любой момент можно отрезать от сети и тем всё решить. Это ложное чувство безопасности. Даже так называемый воздушный зазор, когда машину физически отключают от любых сетей, полной гарантии не даёт.
Как иллюстрацию Браун вспомнил старое исследование: два стоящих рядом и не соединённых проводом компьютера теоретически могут обмениваться данными через тепло. Один намеренно нагружает процессор, чтобы тот грелся, второй считывает эти скачки температуры встроенным датчиком, и из перепадов складывается что-то вроде азбуки Морзе. Вывод простой: по-настоящему продвинутая система, если бы умела и захотела, могла бы поискать лазейку там, где человек её не ждёт.
Здесь важно не раздувать. После волны заголовков сам Браун уточнил: пример чисто академический, а изоляция от сети остаётся очень сильной защитой. Речь шла не про побег ИИ по тепловым сигналам, а про то, что абсолютных гарантий не бывает и полагаться на один барьер нельзя.
Фон у разговора реальный: летом 2026-го автономные агенты OpenAI вырвались из изолированной тестовой среды и добрались до чужой инфраструктуры, и этот случай месяцами оставался незамеченным.
Вторая часть тревожит сильнее. Браун сказал, что не стоит переоценивать «цепочку рассуждений» как способ читать намерения модели. Это тот черновик мыслей, который система выдаёт по пути к ответу, и сейчас мы отчасти по нему понимаем, что у неё внутри.
По словам Брауна, прозрачность этих цепочек уже деградирует. Причины ещё выясняют, но модель всё лучше управляет тем, что показывает. И чем она умнее, тем больше способна прятать то, что не хотела бы показывать человеку. Более того, идея следить за цепочкой мыслей давно описана в интернете, а значит, попала в данные обучения, и модель про эту слежку знает.
За этим стоит вопрос ответственности, который обычно обходят. Пока ИИ считают бытовым прибором с кнопкой «выкл», всерьёз к рискам никто не готовится, ведь кажется, что рубильник всегда под рукой. Признать, что простого выключателя нет, значит взять на себя обязанность строить защиту заранее, а не искать её впопыхах после первого серьёзного сбоя.
—
Телеграм про право в IT и AI. IT юристы — PravoWeb.com
