- SkillEvaluator es un marco de trabajo de código abierto que utiliza un sistema de tres niveles para validar la seguridad, la originalidad y el impacto real de las skills en agentes de IA.
- La implementación de skills verificadas eleva drásticamente la precisión y eficiencia de los agentes, logrando mejoras de hasta 41 puntos en la corrección de tareas.
- El proceso de evaluación utiliza Harbor para ejecutar pruebas A/B en entornos aislados, comparando el rendimiento del agente con y sin la skill instalada.
Seguro que te ha pasado: montas un agente de IA con los mejores modelos del mercado y una documentación impecable, pero el bicho sigue dando vueltas, gastando tokens a lo loco o perdiéndose en caminos que no llevan a ninguna parte. El problema no suele estar en la potencia del modelo, sino en el contexto. Para solucionar este quebradero de cabeza, NVIDIA ha sacado SkillEvaluator, una herramienta de código abierto diseñada específicamente para poner a prueba las capacidades o «skills» que le añadimos a estos agentes y ver si realmente aportan algo o son solo humo.
Básicamente, las skills son como manuales de instrucciones optimizados y paquetes firmados que le dicen al agente qué hace un producto de NVIDIA, cuándo es el momento justo de usarlo y cómo llamarlo exactamente. SkillEvaluator actúa como el juez que decide si una skill es apta para salir a producción, comparando el desempeño del agente en situaciones reales mediante un sistema de estándares rigurosos y pruebas A/B en entornos controlados, evitando así que el agente improvise basándose en suposiciones erróneas.
El sistema de filtrado en tres niveles
Para que una skill sea considerada «verificada», tiene que pasar por un proceso de tres etapas independientes. Lo bueno es que no hace falta ejecutarlas en orden; puedes saltar directamente a la que necesites según el problema que quieras resolver.
- Nivel 1: Seguridad y Estructura. Aquí es donde se hace la limpieza pesada. Se comprueba que el esquema sea correcto, se buscan secretos expuestos, datos personales (PII) y se analiza si hay riesgos de ataques por prompt injection o exfiltración de datos. En este punto entra en juego SkillSpector, un escáner especializado que revisa más de 68 patrones de vulnerabilidad, desde el abuso de triggers hasta el envenenamiento de la memoria.
- Nivel 2: Distintividad y Solapamiento. No sirve de nada tener diez skills que digan lo mismo. Este nivel utiliza similitud de embeddings para detectar si una skill repite instrucciones que ya existen en el catálogo o si se pisa demasiado con otras, optimizando así el espacio de contexto del agente.
- Nivel 3: Evaluación en Vivo. Es la prueba de fuego. Aquí se utilizan tareas reales generadas sintéticamente y se ejecutan en sandboxes aislados mediante Harbor, un framework open source. Se corre la misma tarea dos veces: una con la skill y otra sin ella, midiendo exactamente cuánto ha mejorado el resultado.
Métricas de éxito y el concepto de Skill Lift
Cuando NVIDIA puso a prueba más de 300 skills en más de 30 productos, los datos fueron reveladores. El indicador clave es el Skill Lift, que es simplemente la diferencia de puntos entre la ejecución con skill y la ejecución sin ella. Los resultados muestran que, mientras que sin ayuda los agentes se movían en un rango mediocre de 39 a 46 puntos, al instalar las skills verificadas los números pegaron un salto brutal.
En términos de precisión y corrección, la media subió de 46 a 87 puntos, una mejora de 41 puntos. La efectividad pasó de 39 a 78 y la capacidad del agente para descubrir la herramienta adecuada aumentó de 42 a 82. En cuanto a la eficiencia, el salto fue de 43 a 78. Curiosamente, la seguridad ya partía de una base muy alta (97 puntos), por lo que la mejora fue mínima, subiendo a 98, lo que demuestra que la seguridad es la prioridad desde el diseño inicial.
La cruda realidad de los tokens y el rendimiento
No todo es color de rosa; hay un detalle que a veces se pasa por alto: las skills no siempre ahorran dinero. NVIDIA ha sido muy honesta al admitir que el ahorro de tokens no está garantizado. Depende totalmente de la skill y de cómo esté optimizada. Por ejemplo, una skill para optimizar la memoria en Jetson logró reducir los tokens en un 76,9% y el tiempo de ejecución en un 53,7%, lo cual es una maravilla.
Sin embargo, ocurrió lo contrario con la skill de instalación de cuOpt, que disparó el uso de tokens en un 120,3% y aumentó el tiempo de ejecución. Esto es precisamente lo que hace valioso a SkillEvaluator: permite detectar qué skills están ayudando al agente a ser más inteligente pero a costa de inflar la factura de la API, permitiendo a los desarrolladores ajustar el código antes de que llegue al usuario final.
Implementación técnica y flujo de trabajo
Para quienes quieran ensuciarse las manos, el proceso es bastante directo. Se recomienda usar uv para la instalación. Una vez configurado, se puede generar un set de datos de evaluación con el comando create-eval-dataset, que crea casos explícitos, implícitos y hasta casos negativos para intentar engañar al agente.
Después, se lanza la evaluación de Nivel 3 mediante el comando tier3 evaluate. El sistema convierte esos casos en paquetes de tareas para Harbor, los ejecuta en contenedores Docker o entornos cloud, y escupe un informe detallado en formatos como JSON, HTML o Markdown. Es importante mencionar que el modelo de lenguaje utilizado influye, aunque los datos sugieren que el dominio del producto y la calidad del set de evaluación importan mucho más que si usas Claude Code o Codex.
Este ecosistema ya está siendo adoptado por partners como OpenClaw en ClawHub y Nous Research en Hermes Agent, integrando el escaneo de SkillSpector para asegurar que ninguna skill peligrosa sea instalada. Al final, lo que NVIDIA ha entregado es una forma de estandarizar el A/B testing para la inteligencia artificial, eliminando las conjeturas y basando la mejora de los agentes en datos matemáticos y pruebas aisladas que garantizan que cada pieza de conocimiento añadida realmente empuje la aguja del rendimiento hacia arriba.
