ИТ-холдинг «Т1» протестировал более 20 ИИ-моделей на графических ускорителях разных производителей, в том числе китайских. По данным компании, для части задач подбор оборудования снижает стоимость инференса в 2–2,5 раза, а смешанный парк Nvidia и китайских чипов помогает наращивать мощности в условиях дефицита. Результаты раскрыл гендиректор холдинга Дмитрий Харитонов.
Для испытаний GPU в «Т1» создали специализированную лабораторию. На альтернативных чипах протестировали более 20 ИИ-моделей и выполнили больше 1 тыс. прогонов.
По данным холдинга, для ИИ-ассистентов, которые работают с документами или ищут по базам знаний, китайские ускорители снижают стоимость инференса в 2–2,5 раза при сопоставимом качестве ответов. При дообучении собственных больших моделей нагрузку предлагают делить — Nvidia использовать для обучения, дообучения и инференса сверхбольших LLM, альтернативные ускорители — для сопутствующих сервисов и подходящих задач инференса. В компьютерном зрении китайские решения оказались конкурентоспособны по цене, но уступили Nvidia по скорости.
Замена недозагруженной Nvidia H100 на одну карту C550 китайского производителя, по расчётам «Т1», экономит свыше 2 млн рублей в год при размещении в облаке. На крупных предприятиях на один сервер нужно от 2 до 8 карт, а при построении внутреннего контура — десятки и сотни серверов.
Харитонов считает, что критерий готовности компании к ИИ — измеримый экономический эффект за 6–9 месяцев, а не число пилотов. По его словам, эффект должен быть измеримым, иначе проект просто сворачивается. Стоимость владения ИИ-решениями, отметили в «Т1», нужно считать комплексно, с учётом лицензий, сопровождения и обучения персонала, а субъектам КИИ — использовать реестровые программно-аппаратные комплексы в собственном контуре.