Новгородские учёные решили задачу о двуруком бандите и улучшили методы обработки больших данных

Новгородские математики нашли решение классической задачи о двуруком бандите

В Новгородском государственном университете успешно решили известную математическую задачу о «двуруком бандите», которая относится к области подкрепляемого обучения и напрямую связана с современными методами искусственного интеллекта, сообщает yaustal.com. Исследование открывает новые возможности в оптимизации пакетной обработки больших данных, что востребовано в ряде технологий.

Что такое задача о двуруком бандите

Двурукий бандит — это классическая модель, где игрок управляет игральным автоматом с двумя рычагами. Каждый из них при нажатии приносит случайный выигрыш, вероятность которого заранее неизвестна и отличается для обеих рукояток. Игроку нужно максимизировать средний выигрыш, делая выбор между двумя вариантами, не зная, какой предпочтительнее. Если бы вероятности были известны, то оптимальный подход был бы понятен — выбирать рычаг с более высокой вероятностью выигрыша.

Задача усложняется необходимостью экспериментировать и адаптироваться, чтобы постепенно узнать, какая рукоятка выгоднее. Именно поиск этой оптимальной стратегии и лежит в основе задачи о двуруком бандите, сформулированной независимыми усилиями Герберта Роббинса и Михаила Цетлина в середине XX века.

От игровой модели к обработке данных и медицине

Практические применения принципов двурукого бандита уже нашли место в интернет-маркетинге, где алгоритмы приспосабливаются к предпочтениям пользователей. Новгородские учёные предложили использовать эти модели для ускорения пакетной обработки больших объёмов данных.

По словам Александра Колногорова, профессора кафедры прикладной математики и информатики, примером может служить лечение 1000 пациентов двумя препаратами. Каждый медикамент воздействует с некоторой вероятностью выздоровления. Оптимальная стратегия — сначала проверить оба лекарства на небольших группах, определить лучшее и затем применить его основной массе пациентов. Такой подход сокращает время лечения с 19 лет до двух недель, сохраняя высокую эффективность.

Математические методы и перспективы развития

Для решения задачи использовались сложные методы динамического программирования и дифференциальных уравнений в частных производных. Это позволило разработать более простые алгоритмы пакетной обработки, которые уступают оптимальным лишь на 10% по эффективности и могут работать с большими массивами данных.

Результаты опубликованы в ведущих научных журналах и представлены на международных конференциях по стохастическим методам и теории оптимизации. Сейчас команда продолжает работу по расширению теории на «многорукого бандита» — модель с большим количеством рычагов, которая имеет ещё более широкое применение.

Исследование финансировалось грантами Российского фонда фундаментальных исследований и Министерства образования и науки. Эти средства были направлены на закупку научного оборудования и организацию работы исследовательской группы.

Математическая задача о двуруком бандите решена в Новгороде

Что читать дальше

Подборка материалов по этой теме.

Сейчас читают

Материалы, которые чаще открывают сегодня.

Загрузка…

Ещё по теме

Продолжить чтение

Материалы, которые помогут не выпадать из темы.