Calidad
Cómo se comprueba que Scout no inventa y que puntúa como el experto. Lo que todavía no se midió aparece como pendiente, nunca con un número de muestra.
De las corridas reales
Corridas
2completas
Research que terminó bien, sobre empresas reales.
Tiempo por corrida
57segundos
Promedio de punta a punta, del log de cada corrida.
Costo por corrida
USD 0.082
Promedio de tokens de entrada y salida, medido, no estimado.
De los datos guardados
Hechos con fuente
100%
18 de 18 hechos generados por Scout tienen URL y cita textual. Sin fuente, un hecho no se muestra.
Afirmaciones eliminadas
Sin datos todavía
Lo que el verificador quitó por no apuntar a un hecho con fuente. Muestra que el control funciona.
Falta: corridas con el paso de verificación
Contra el criterio de Nico
Estas tres salen del set de evaluación: Nico califica entre 15 y 20 empresas reales antes de correr Scout, y el script compara. Sin esa calificación previa no hay contra qué medir.
Acuerdo en prioridad
Sin datos todavía
Cuántas veces la prioridad de Scout coincide con la que puso Nico.
Falta: data/eval/accounts.json y correr el script de evaluación
Acuerdo en tipo
Sin datos todavía
Partner o cliente, subtipo y categoría de deal.
Falta: data/eval/accounts.json y correr el script de evaluación
Acuerdo en respuestas
Sin datos todavía
Mails de respuesta bien clasificados. Valida que el pipe se mueva solo.
Falta: data/eval/replies.json y correr el script de evaluación