Yandex ha abierto el código fuente de Alice AI Search Pretrain, el modelo de lenguaje que subyace a las respuestas rápidas de IA en Yandex Search. Cualquiera puede descargarlo: la compañía ha publicado el modelo en la plataforma Hugging Face bajo la licencia Apache 2.0.

Código abierto: los desarrolladores e investigadores pueden estudiar la estructura del modelo y usarlo en sus proyectos. La licencia Apache 2.0 lo permite libremente, incluso en productos comerciales.

Pretrain: la versión base después de la primera etapa de entrenamiento: el modelo ya sabe mucho sobre el mundo, pero aún no está adaptado a una tarea específica. La versión preentrenada ha estado generando respuestas debajo de la barra de búsqueda de Yandex desde julio.

Alice AI Search Pretrain está construida con una arquitectura híbrida de dos tecnologías. Encoder-Decoder: una parte del modelo lee y selecciona información, la otra escribe la respuesta, por lo que resulta corta y al grano. MoE (Mixture of Experts, "mezcla de expertos"): en lugar de toda la red neuronal, solo se activa el bloque que mejor entiende el tema.

Parámetros: números de configuración que almacenan el "conocimiento" del modelo: hay un total de 35 mil millones, pero para un token (un fragmento de texto del tamaño aproximado de una palabra) se utilizan alrededor de 600 millones, menos del 2%.

En cuanto a la calidad de las respuestas en ruso, el modelo superó a otros modelos compactos: Qwen 3.5 2B y 4B, T5 Gemma 2 4B-4B Base. Las mediciones se realizaron mediante un método ciego: el evaluador no sabía qué modelo había dado la respuesta. Al mismo tiempo, en cuanto a calidad, Alice AI Search Pretrain es comparable a Qwen 3.5 35B-A3B, que requiere significativamente más recursos computacionales. Más de 49 millones de personas utilizan las respuestas rápidas en Yandex Search cada mes.