Imagina una sala de juntas en un ayuntamiento. El proveedor conecta su laptop y le hace cinco preguntas a su asistente con IA. Las cinco salen bien. Responde en segundos, redacta con buena ortografía y resume un reglamento de cuarenta páginas en tres párrafos. Alguien de la mesa dice lo que todos piensan: "Esto ya funciona".
Seis meses después, el sistema lleva miles de interacciones. La tesorera pregunta cuánto tiempo ahorró. El contralor pregunta cuántas respuestas fueron equivocadas. El regidor de oposición pregunta por qué vale lo que cuesta. Nadie tiene el dato, porque nadie midió cómo se trabajaba antes y nadie definió qué significaba que funcionara.
Una demo no es una evaluación. La demo enseña lo que un sistema puede hacer con preguntas elegidas, en una tarde, frente a personas que quieren que salga bien. La evaluación responde otra cosa: qué hace con los casos reales de la institución, frente a qué punto de comparación, con qué errores y quién se entera cuando empieza a fallar.
En junio de 2026, la OCDE publicó su Digital Government Outlook 2026, con datos de sus 36 países miembros para políticas vigentes entre enero de 2023 y diciembre de 2024. El contraste entre adopción y control es difícil de ignorar:
- Uso: 35 de 36 países ya emplean IA en al menos un área de gobierno.
- Evaluación de riesgos antes de desplegar: solo 14 de 36 la exigen (39%).
- Comités internos de revisión: 12 de 36 (33%).
- Auditorías después de desplegar: 11 de 36 (31%).
- Medición de impacto: solo 10 de 36 (28%) reportan algún estudio financiero o no financiero sobre un caso de uso de IA.
El informe señala además una contradicción: 50% de los países dice decidir la adopción de IA con base en evidencia de posibles ahorros o eficiencia, aunque solo 28% ha medido impacto en algún caso. La OCDE se pregunta en qué evidencia se apoyan esas decisiones y si la adopción responde más a expectativas y presión que a valor demostrado. Sin medición, advierte, los gobiernos no pueden saber si un piloto tuvo éxito ni justificar su escalamiento, y el resultado es una proliferación de pilotos con poco potencial de crecer.
México aparece en los anexos del mismo informe. Para el periodo analizado reportó un comité interno de revisión, pero no procesos de auditoría ni herramientas de evaluación de riesgos previas al despliegue, y ninguna medición de impacto de la IA en gobierno. El dato tiene fecha: cierra en 2024, antes del plan federal actual.
Ese plan apunta en la dirección correcta. El Plan Nacional de Inteligencia Artificial que la Agencia de Transformación Digital y Telecomunicaciones fechó en abril de 2026 propone definir lineamientos para el uso responsable de la IA en el sector público y crear mecanismos de evaluación de impacto. También fija las preguntas de partida para cada uso: qué problema público busca resolver, con qué datos opera, quién supervisa sus resultados, qué riesgos puede generar y qué mecanismos existen para corregir errores.
Un municipio no necesita esperar esos lineamientos para hacerse las mismas preguntas antes de firmar.
El gobierno del Reino Unido publicó los resultados de dos experimentos que explican por qué el entusiasmo no sustituye a la medición.
El primero fue GOV.UK Chat, un asistente de IA generativa sobre el portal oficial, probado con 1,000 usuarios invitados. Casi 70% encontró útiles las respuestas y poco menos de 65% quedó satisfecho. Una demo se habría quedado ahí. Al revisar las respuestas, el equipo concluyó que la precisión no alcanzaba el nivel que exige un sitio donde la exactitud es crucial. Hubo pocos casos de alucinaciones, y algunos usuarios restaron importancia al riesgo de error, en parte por la credibilidad de la marca GOV.UK. Una respuesta equivocada con sello oficial se cree más, no menos.
El segundo fue la prueba de Microsoft 365 Copilot en el Departamento de Negocios y Comercio, con 1,000 licencias entre octubre y diciembre de 2024. El 72% de quienes respondieron se dijo satisfecho o muy satisfecho. Las tareas de escritura ahorraron algo de tiempo, pero otras, como programar reuniones o generar imágenes, tomaron más que sin la herramienta. El 22% reportó haber detectado alucinaciones. Y el informe no encontró evidencia de que el tiempo ahorrado se tradujera en mayor productividad, aunque aclara que ese no era el objetivo central del estudio.
La lección no es que esos sistemas no sirvan. Es que la satisfacción y la utilidad medida son dos datos distintos, y solo una evaluación los separa.
Una evaluación útil no requiere un laboratorio. Requiere cuatro cosas que se definen antes de arrancar.
Una línea base. Cuánto tarda hoy la primera atención, cuántos casos se reabren, cuántas capturas hay que corregir. Sin ese número, cualquier mejora posterior es una opinión. El memorándum M-25-21 de la Oficina de Administración y Presupuesto de Estados Unidos, de abril de 2025, pide a las agencias documentar el beneficio esperado de la IA de alto impacto frente a sus procesos existentes. La comparación es el centro del ejercicio.
Un conjunto de casos reales. No las cinco preguntas del proveedor, sino cien o doscientas de la propia institución: las frecuentes, las mal escritas, las ambiguas y las que no tienen respuesta en las fuentes. Estas últimas son las más reveladoras, porque muestran si el sistema reconoce su límite o improvisa. Es la misma prueba que describimos en una respuesta no es una fuente.
Un umbral acordado por escrito. Qué porcentaje de error se tolera y en qué tipo de caso. No pesa igual equivocarse al clasificar un reporte de alumbrado que al citar un plazo legal o redactar un hecho en un expediente de detención. El mismo sistema puede pasar en una tarea y reprobar en otra.
Un responsable que firma. El memorándum estadounidense exige que una persona identificada acepte el riesgo con su firma, y que quien revise la evaluación no haya participado en el desarrollo. No aplica en México, pero el principio se traslada bien: alguien con nombre y cargo decide que el sistema está listo, y alguien distinto revisó esa decisión.
La exigencia debe ser proporcional. La OCDE recomienda ajustar los controles al riesgo de cada caso de uso, para evitar tanto el mal uso como la inacción. Un resumen de minutas no necesita lo mismo que una herramienta que clasifica faltas.
Un sistema aprobado en marzo no es el mismo sistema en septiembre. Cambia el modelo del proveedor, cambian los reglamentos, entra una nueva administración, la ciudadanía empieza a preguntar otras cosas. La OCDE llama deriva a esos cambios en datos, comportamiento o desempeño con el tiempo, y sostiene que la auditoría posterior y el monitoreo continuo son indispensables para detectarlos. Revisar solo antes de desplegar, dice, puede ser insuficiente.
También advierte contra las auditorías mal diseñadas que crean falsa confianza. Un informe anual que nadie lee no vigila nada.
En la práctica, monitorear significa tres rutinas sencillas:
- Muestreo periódico. Cada mes, una persona revisa una muestra aleatoria de respuestas o sugerencias contra la fuente, y anota los errores por tipo.
- Reevaluación tras cada cambio. Si cambia el modelo, el reglamento o el catálogo, se vuelve a correr el conjunto de casos reales. El M-25-21 pide programar reevaluaciones periódicas y después de modificaciones importantes.
- Una salida prevista. Si el error rebasa el umbral, se sabe quién apaga la función y cómo sigue la operación sin ella. El memorándum es directo: la agencia que no cumple las prácticas mínimas debe dejar de usar la función de forma segura.
La opinión de quien usa el servicio también cuenta como evidencia. Según la OCDE, solo 8 de 36 países tienen mecanismos de retroalimentación o queja ciudadana sobre la IA en gobierno.
Muchos municipios no tendrán acceso al código ni al modelo, y eso no los deja sin opciones. El M-25-21 prevé ese caso: cuando no hay acceso, la agencia debe usar métodos alternativos, como consultar el servicio y observar sus resultados, o entregar datos de evaluación al proveedor y recibir los resultados.
Eso se traduce en cláusulas concretas. La OCDE observa que solo 21 de 36 países ofrecen apoyo central para comprar IA, así que buena parte de este trabajo recae en cada institución. Conviene que el contrato contemple:
- Derecho a probar antes y durante la operación con casos propios, no solo con los del proveedor.
- Aviso previo de cambios de modelo, para reevaluar antes de que lleguen a la ciudadanía.
- Acceso a los registros de entradas, salidas y decisiones humanas, en un formato que la institución pueda leer sin el proveedor.
- Métricas de resultado acordadas, comparadas contra la línea base y no contra la promesa de venta.
Sin registros no hay evaluación posible, como explicamos en una sugerencia no es una decisión: lo que no quedó anotado no se puede revisar.
En Ágora, la plataforma de Intello para atención ciudadana, la implementación incluye cargar la información de trámites, requisitos, oficinas y marco legal, y probar el asistente con conversaciones reales antes de encenderlo para revisar que no invente. Después viene un piloto en el que se ajustan tiempos y conceptos antes de ampliar al resto del municipio.
En la operación, un juez revisa cada respuesta antes de enviarla, el asistente solo cita lo que está en sus fuentes y la conversación pasa a la bandeja del personal si el ciudadano lo pide o el caso se complica.
La analítica de Ágora da material para comparar periodos: tiempos de resolución, primera atención, reaperturas, rezago y porcentaje atendido a tiempo, filtrados por fecha y departamento. Las encuestas por folio agregan la opinión del vecino, y la bitácora guarda quién cambió qué, cuándo, antes y después. La línea base y el umbral los sigue definiendo la institución.
En Tribuna, la plataforma de seguridad pública y justicia cívica, INTELLO AI ayuda a redactar los hechos, sugiere la clasificación de faltas y revisa la consistencia del expediente, pero la decisión es de la persona. La implementación se valida con usuarios reales en un piloto y se despliega por fases. La bitácora registra lecturas, escrituras y eventos de riesgo, y la cronología por expediente permite revisar qué se hizo y quién lo hizo.
La OCDE resume el problema con una frase que vale para cualquier nivel de gobierno: el 28% de países que hoy evalúa el impacto de la IA debe verse como un piso, no como un techo. La evaluación tendría que ser la expectativa normal.
La pregunta para el equipo directivo no es si la demo salió bien. Es qué número va a cambiar, cómo se mide hoy, quién firma que el sistema está listo y quién se entera cuando deja de estarlo. Si esas cuatro respuestas no existen antes de contratar, seis meses después tampoco existirá la respuesta a la tesorera.
Si tu institución quiere adoptar IA con pruebas previas, piloto y registro de cada acción, conoce cómo operan Ágora y Tribuna, o solicita una demo. La demo es un buen inicio; la evaluación es lo que sigue.
- OCDE, Digital Government Outlook 2026: From Foundations to Transformational Impact, junio de 2026
- Agencia de Transformación Digital y Telecomunicaciones, Plan Nacional de Inteligencia Artificial, abril de 2026
- Government Digital Service (Reino Unido), The findings of our first generative AI experiment: GOV.UK Chat, 18 de enero de 2024
- Department for Business and Trade (Reino Unido), Evaluation of the M365 Copilot pilot, agosto de 2025
- Office of Management and Budget (Estados Unidos), Memorándum M-25-21, 3 de abril de 2025