
Разработана новая система под названием 3DGraphLLM, которая учитывает не только объекты, но и их пространственные и смысловые взаимосвязи. Это особенно актуально для помещений с множеством предметов, таких как кухни, мастерские или офисы. Модель обучали на известных датасетах с точными 3D-реконструкциями реальных интерьеров и текстовыми описаниями объектов. При этом в качестве языковых моделей использовались Vicuna-v1.5 и LLAMA3, которые подходят для работы на энергоэффективных устройствах, предназначенных для робототехники.
По результатам тестирования 3DGraphLLM показала более высокую точность распознавания объектов по сравнению с многими существующими методами, включая другие подходы с использованием языковых моделей. Улучшение точности составило больше 7% по сравнению с базовым решением, при этом она функционирует быстрее и экономит ресурсы по сравнению с самыми продвинутыми аналогами.


