Alibaba представила новую систему, которая сокращает потребность в GPU на 82%

Внедрение искусственного интеллекта требует колоссальных вычислительных мощностей, в частности, использования специализированных ускорителей или графических процессоров (GPU). Однако специалисты Alibaba разработали способ значительно сократить количество требуемых графических процессоров.

Компания Alibaba Cloud представила свою новую систему Aegaeon, которая уменьшает потребность в графических процессорах Nvidia для поддержки больших языковых моделей на впечатляющие 82%.

Оказывается, 213 GPU могут работать, как 1192. Alibaba показала, как экономить на ускорителях при работе с большими языковыми моделями
Создано Grok

Aegaeon — это планировщик времени вывода, ориентированный на максимальное использование мощностей графических процессоров при управлении различными моделями с переменной нагрузкой. В отличие от традиционного подхода, где один ускоритель привязан к одной модели, Aegaeon предлагает виртуализировать доступ к GPU на уровне токенов. Это позволяет распределять выполнение мелких задач по общему пулу.

На практике это значит, что один ускоритель H20 может одновременно обрабатывать несколько моделей, увеличивая общую производительность системы в девять раз по сравнению со старыми бессерверными решениями.

Система прошла испытания в производственной среде на протяжении нескольких месяцев. В результате количество графических процессоров, необходимых для поддержки десятков различных LLM-моделей с объемом до 72 миллиардов параметров, сократилось с 1192 до всего 213, что в пять с половиной раз меньше.

Однако пока неясно, будет ли такая экономия применима вне экосистемы Alibaba. В недавнем документе компания не раскрыла точные параметры сети, использовавшейся в бета-тестировании, но стало известно, что Alibaba предлагает собственную RDMA-сеть eRDMA и имеет опыт создания высоко интегрированных стеков для обслуживания графических процессоров.

Что читать дальше

Подборка материалов по этой теме.

Сейчас читают

Материалы, которые чаще открывают сегодня.

Загрузка…

Ещё по теме

Продолжить чтение

Материалы, которые помогут не выпадать из темы.