OpenAI разработала новый метод для борьбы с «галлюцинациями» нейросетей

Одной из значительных проблем, с которыми сталкиваются современные нейросети, являются так называемые «галлюцинации» — информация, которая не отражает действительность, но генерируется ИИ рядом с правдой. Компания OpenAI заявила о разработке нового метода обучения для своих моделей, направленного на снижение вероятности таких «галлюцинаций».

Исследователи компании подчеркивают, что даже высокоразвитые нейросети могут делать ложные выводы, особенно в условиях неопределенности. В результате одной логической ошибки может быть полностью искажён итоговый ответ.

Основная идея нового подхода заключается в изменении системы вознаграждений для ИИ. Вместо того чтобы награждать нейросеть только за окончательно правильный ответ, предлагается поощрять её за каждый корректный шаг в процессе рассуждений. Это изменение должно повысить точность работы систем и их способность к проверке фактов.

По словам Карла Коббе, штатного математика OpenAI, успешное выявление и исправление логических ошибок является важным этапом на пути к созданию искусственного интеллекта общего назначения (AGI). Он также добавил, что компания предоставила доступ к данным, которые использовались для обучения нейросети в рамках этого исследования.

Несмотря на предпринимаемые шаги, проблема остаётся актуальной, и эксперты отмечают, что информация о ходе исследования не была представлена в полном объёме, что сохраняет риск «галлюцинаций» у ИИ на высоком уровне.

Что читать дальше

Подборка материалов по этой теме.

Сейчас читают

Материалы, которые чаще открывают сегодня.

Загрузка…

Ещё по теме

Продолжить чтение

Материалы, которые помогут не выпадать из темы.