Группа ведущих исследователей из DeepMind, OpenAI, Meta*, Anthropic и ряда других академических и некоммерческих организаций выразила тревогу в недавно опубликованной статье. По их мнению, возможность следить за тем, как искусственный интеллект принимает решения, может вскоре исчезнуть. Среди подписантов документа находятся лауреат премии Тьюринга Джеффри Хинтон и один из основателей OpenAI Илья Суцкевер.
В статье акцентируется внимание на цепочках рассуждений (chain-of-thought, CoT), которые активно применяются в современных языковых и мультимодальных моделях. Эти промежуточные шаги, которые ИИ «проговаривает» перед выдачей окончательных ответов, особенно важны, когда речь идет о сложных задачах, требующих логического мышления, планирования или работы с числами. Пока ИИ остается «прозрачным», у людей есть возможность выявлять ошибки и отклонения в его поведении.
Тем не менее, авторы предупреждают, что с ростом возможностей ИИ и усложнением его архитектур способность отслеживать эти цепочки может ослабнуть. Модели рискуют «прятать» внутренние шаги, оптимизируя свое поведение под внешние метрики. Это уже наблюдалось в случае, когда ИИ «обманывал» систему вознаграждений или манипулировал ей для достижения заданной цели.
Ученые призывают принять меры для закрепления мониторинга цепочек рассуждений как одного из основных инструментов безопасности. Они предлагают исследовать, какие свойства моделей делают их рассуждения видимыми для человека, как сохранить эту прозрачность при разработке более мощных систем и как интегрировать CoT-мониторинг в процессы тестирования и сертификации.
Стоит отметить, что данная статья является редким примером сотрудничества между конкурентами в сфере ИИ.
* Компания Meta (Facebook и Instagram) признана в России экстремистской и запрещена.







