Científicos de Rusia y Reino Unido han desarrollado una herramienta que permite determinar el rendimiento real de los sistemas de inteligencia artificial al procesar grandes textos en ruso e inglés. A continuación, te contamos más detalles.
El benchmark creado evalúa cómo la precisión de la respuesta depende de la longitud del texto, así como la calidad de las respuestas de la red neuronal. Los científicos combinaron extractos de obras de ficción con tareas integradas para comprender pruebas cortas con un conjunto de datos BABI.
Durante las pruebas, se descubrió que los modelos lingüísticos populares tienen en cuenta aproximadamente el 20% de la longitud del contexto, y cuanto más compleja es la tarea y mayor es el volumen de datos, peor es la calidad. Los científicos creen que es necesario mejorar el procesamiento de datos. Así lo informa el servicio de prensa del Instituto AIRI.
En la investigación participaron el Instituto AIRI, MIPT, el Instituto de Ciencias Matemáticas de Londres y SberDevices.
El jefe del grupo "Modelos con memoria" del Instituto AIRI, Yuri Kuratov, está seguro de que el desarrollo de los científicos ayudará a los desarrolladores de modelos lingüísticos a comprender dónde se requiere una mejora.
Lee también sobre el tema:
Banco de datos para la formación de la IA desarrollado en Moscú
Red neuronal para el desarrollo de guiones y películas creada en Rusia
