Группа Rubytech расширила возможности Машины искусственного интеллекта «Скала^р», включив в её состав платформу управления ИИ-инфраструктурой «Спектр ИИ». Об этом «Первому техническому» сообщили в пресс-службе компании.

Обновление позволяет поднять загрузку уже приобретённых GPU-ускорителей с типичных 30–40% до 70–85%. Это даёт возможность отложить расширение парка видеокарт при росте числа задач.

В чём проблема

На типовой инсталляции утилизация GPU редко превышает 30–40%. Причина в том, что вычислительные ресурсы используют разные подразделения с разной интенсивностью. Больше половины уже оплаченных мощностей простаивает, а при росте нагрузки компании вынуждены закупать новое оборудование.

Как работает «Спектр ИИ»

Платформа управляет GPU-узлами в рамках единого кластера. Встроенный планировщик распределяет очереди и приоритеты задач, а разделение GPU на части обеспечивает мультитенантность — разные команды могут работать на одном ускорителе, не мешая друг другу.

Среди возможностей платформы — управление рабочими узлами с предварительной конфигурацией, создание контейнеров с аппаратным ускорением GPU, запуск и оркестрация ИИ-нагрузок на основе ролевой модели. Поддерживается распределение задач как на целые ускорители, так и на их части. Платформа ведёт корпоративный каталог моделей и приложений, собирает показатели нагрузки и отображает данные о количестве потребляемых и генерируемых токенов языковыми моделями.

Технические детали

«Скала^р» — программно-аппаратный комплекс для построения масштабируемой инфраструктуры разработки, обучения и исполнения моделей ИИ. В его составе — оборудование из реестра Минпромторга и ПО из реестра Минцифры. Ключевые системные компоненты имеют сертификаты ФСТЭК России, что упрощает аттестацию в защищённых контурах.

Платформа «Спектр ИИ» разворачивается на кластере под управлением Deckhouse Kubernetes Platform и работает на операционных системах «РЕД ОС» и Astra Linux. Управление ресурсами ведётся из одного интерфейса по единой ролевой модели с возможностью бронирования мощностей под критичные задачи. Решение поддерживает масштабирование до 32 узлов по 8 GPU в каждом.