Alibaba Cloud заявляет, что сократила использование графических процессоров Nvidia AI на 82% благодаря новой системе объединения ресурсов

Alibaba Cloud заявляет, что их система пулинга Aegaeon снижает количество требуемых графических процессоров Nvidia на 82% для обслуживания больших языковых моделей (LLM) в ходе многомесячного бета-тестирования на платформе Model Studio. Эти результаты описаны в рецензируемой статье, представленной на симпозиуме ACM по операционным системам (SOSP) 2025 года в Сеуле, где предполагается, что облачные провайдеры могут повысить эффективность инференса на...

Читать далее