Saltar al contenido
focoit.com
Todas las preguntas
IA · Evaluación4 de noviembre de 20261 min de lectura

¿Cómo sabemos si nuestra IA realmente está mejorando?

La respuesta corta primero; el razonamiento abajo.

Respuesta corta: medilo. Mantené un conjunto dorado fijo de preguntas reales con sus respuestas y fuentes esperadas, puntuá cada cambio contra él, bloqueá cualquier respuesta que no cite fuente y mirá con qué frecuencia el sistema dice que no puede responder en producción, como señal temprana de que algo se movió.

Alguien toca el sistema, prueba unas preguntas y declara “ahora se siente más inteligente”. Eso no es medición — es una sensación, y en trabajo regulado una sensación no sobrevive una auditoría. Así se ve la medición, en cambio.

1. Armá un conjunto dorado

Una lista fija de preguntas reales, cada una con su respuesta esperada y el documento que debería citar. Cincuenta alcanzan para empezar. Esto se vuelve tu regla: contra eso se mide cada cambio.

2. Puntuá cada versión contra él

Cada vez que cambia algo — el modelo, los settings, los documentos — volvé a correr todo el conjunto dorado y compará. ¿La precisión subió o bajó? ¿Empezó a citar la fuente equivocada? Lo ves al instante, antes que un cliente.

3. Hacé que las alucinaciones sean estructuralmente imposibles de publicar

La regla más simple y más potente: cada respuesta tiene que citar una fuente. Sin cita, el modelo está respondiendo de su propia memoria, y esa respuesta se bloquea. No revisás alucinaciones a mano; las frenás en la puerta.

4. Mirá producción, no solo el laboratorio

Seguí con qué frecuencia el sistema dice “no puedo responder esto”. Una tasa que sube es una alerta temprana de que algo se movió — y además funciona como una cola de preguntas que tus expertos deberían mirar.

Evidencia, no vibra

“Se siente más inteligente” es una sensación. Un conjunto dorado, una regla de citas y una alerta de deriva son evidencia. Si tu sistema de IA todavía no tiene una regla, eso es lo primero que vale la pena construir — antes del próximo cambio, no después.

Las otras preguntas que se hacen antes de gastar.

Todas las preguntas