Одной из значительных проблем, с которыми сталкиваются современные нейросети, являются так называемые «галлюцинации» — информация, которая не отражает действительность, но генерируется ИИ рядом с правдой. Компания OpenAI заявила о разработке нового метода обучения для своих моделей, направленного на снижение вероятности таких «галлюцинаций».
Исследователи компании подчеркивают, что даже высокоразвитые нейросети могут делать ложные выводы, особенно в условиях неопределенности. В результате одной логической ошибки может быть полностью искажён итоговый ответ.
Основная идея нового подхода заключается в изменении системы вознаграждений для ИИ. Вместо того чтобы награждать нейросеть только за окончательно правильный ответ, предлагается поощрять её за каждый корректный шаг в процессе рассуждений. Это изменение должно повысить точность работы систем и их способность к проверке фактов.
По словам Карла Коббе, штатного математика OpenAI, успешное выявление и исправление логических ошибок является важным этапом на пути к созданию искусственного интеллекта общего назначения (AGI). Он также добавил, что компания предоставила доступ к данным, которые использовались для обучения нейросети в рамках этого исследования.
Несмотря на предпринимаемые шаги, проблема остаётся актуальной, и эксперты отмечают, что информация о ходе исследования не была представлена в полном объёме, что сохраняет риск «галлюцинаций» у ИИ на высоком уровне.





