Внедрение искусственного интеллекта требует колоссальных вычислительных мощностей, в частности, использования специализированных ускорителей или графических процессоров (GPU). Однако специалисты Alibaba разработали способ значительно сократить количество требуемых графических процессоров.
Компания Alibaba Cloud представила свою новую систему Aegaeon, которая уменьшает потребность в графических процессорах Nvidia для поддержки больших языковых моделей на впечатляющие 82%.
Aegaeon — это планировщик времени вывода, ориентированный на максимальное использование мощностей графических процессоров при управлении различными моделями с переменной нагрузкой. В отличие от традиционного подхода, где один ускоритель привязан к одной модели, Aegaeon предлагает виртуализировать доступ к GPU на уровне токенов. Это позволяет распределять выполнение мелких задач по общему пулу.
На практике это значит, что один ускоритель H20 может одновременно обрабатывать несколько моделей, увеличивая общую производительность системы в девять раз по сравнению со старыми бессерверными решениями.
Система прошла испытания в производственной среде на протяжении нескольких месяцев. В результате количество графических процессоров, необходимых для поддержки десятков различных LLM-моделей с объемом до 72 миллиардов параметров, сократилось с 1192 до всего 213, что в пять с половиной раз меньше.
Однако пока неясно, будет ли такая экономия применима вне экосистемы Alibaba. В недавнем документе компания не раскрыла точные параметры сети, использовавшейся в бета-тестировании, но стало известно, что Alibaba предлагает собственную RDMA-сеть eRDMA и имеет опыт создания высоко интегрированных стеков для обслуживания графических процессоров.







