Главный научный сотрудник OpenAI призвал притормозить разработку ИИ⁠⁠

Главный научный сотрудник OpenAI Якуб Пахоцки опубликовал эссе, в котором прямо пишет, что ИИ растят, а не проектируют. И его поведение ускользает от полного понимания так же, как работа живого мозга. А также, что он ждёт скорого перехода к самоулучшению, когда модели начнут двигать собственную разработку. И признаёт, что главный инструмент контроля, чтение цепочки рассуждений модели, слабеет, ведь она учится думать без слов и подстраивать свои же рассуждения.

Правовая суть его предложения в переходе от мягких обещаний к жёсткому правилу.

Сейчас у каждой лаборатории есть свой внутренний документ, определяющий, при каком уровне опасности модель дальше не масштабируют, и соблюдение держится на доброй воле.

Пахоцки предлагает сделать такой порог единым и обязательным для всех под контролем сторонних аудиторов и государств. Это классическая задача про сговор конкурентов ради общего блага, который держится ровно до первого нарушителя.

И даже молодая ИИ-индустрия уже показала, чем это заканчивается. В июле 2023 года 7 ведущих компаний, среди них OpenAI, Google и Microsoft, публично пообещали Белому дому работать безопаснее и делиться данными о рисках.

Год спустя проверка показала, что механизма контроля и реальной подотчётности так и не появилось, а сами обещания назвали расплывчатыми пунктами, ни к чему толком не обязывающими.