
Исследователи AIRI представили новый бенчмарк, направленный на оценку нейросетей в сфере разработки новых медицинских препаратов. Этот инструмент состоит из базовых химических задач, включая определение продуктов реакций, предсказание их свойств и создание описаний молекул на основании их формул.
Каждая из серий заданий для нейросети имитирует логику, с которой работают специалисты в области химии. Для проверки того, насколько эффективно LLM можно применять в создании новых лекарств, искусственный интеллект должен определить, какой продукт получится в результате реакции, а затем оценить его полезные характеристики, включая биоактивность.
В этой работе ученые ставят перед нейросетями многоступенчатые задачи, которые практически встречаются в химических исследованиях, таких как поиск новых лекарств и катализаторов, где требуется комплексный подход к анализу молекул.
Для создания нового бенчмарк-результата использовались объединенные датасеты, характеризующие реакции и свойства молекул, что добавляет информативности каждой задаче. Исследователи оценивали как универсальные языковые модели, так и специализированные химические системы.
Эксперименты продемонстрировали, что универсальные модели часто предоставляют содержательные ответы, но их результаты иногда уступают в оценке автематическими метриками специализированным моделям, которые хотя и дают менее формальные ответы, но способны предоставить более точную информацию.
«Наш бенчмарк призван помочь разработчикам языковых моделей лучше понимать ограничения их архитектуры. Он может стать основой для будущих исследований в области автоматизации химических рассуждений», — отметил научный сотрудник Группы органической химии центра ИИ-разработки лекарств AIDD Института AIRI Кузьма Храбров.






