El arquitecto que no entiende cómo funciona lo que diseña

Operamos un sistema que su propio arquitecto no entiende por dentro. Lo diseñó, decide qué hace, corrige su rumbo cada semana — y no podría explicar cómo funciona ninguna de sus piezas. Hace tres años eso era una confesión de negligencia. Hoy es la condición normal de quien construye con IA.

La reacción instintiva es escandalizarse: no puedes ser responsable de lo que no entiendes. Pero diseñar sin entender el interior no es nuevo. Un director general no entiende cada área de su empresa. Criamos perros durante milenios sin saber qué era un gen. Lo que sí es nuevo es otra cosa: antes, la ignorancia del arquitecto estaba amortiguada por capas de personas que sí entendían cada parte. Ahora una persona sola, a velocidad de conversación, sin equipo intermedio, arma sistemas completos. Las capas desaparecieron.

§

La trampa está en cómo se controla un sistema así. La respuesta cómoda es controlar por resultado: si el output está bien, el sistema está bien. Funciona — mientras las fallas hagan ruido. Pero las fallas peligrosas de un sistema agéntico son silenciosas: el filtro que descarta una señal valiosa, el dato que se archiva en el lugar equivocado y nadie vuelve a mirar. El resultado se ve bien y está mal. Y un sistema que se corrige solo por output aprende a producir outputs que le parecen correctos a su operador, que no es lo mismo que correctos.

§

El control no desaparece; cambia de lugar. Nadie necesita entender el código de lo que opera. Necesita entender el contrato de cada pieza: qué hace, qué recibe, qué promete, y cómo se verifica que cumplió. Con eso, la habilidad escasa del arquitecto ya no es saber construir. Es saber especificar — decir con precisión qué debe pasar — y saber juzgar — detectar cuándo no pasó.

§

Queda un riesgo que casi nadie nombra. En un sistema construido por IA, la única fuente de explicación sobre lo construido es el propio constructor. No hay segunda opinión: si la explicación es mala, o conveniente, no hay con qué contrastarla. Por eso la legibilidad no es cortesía del proveedor — es la diferencia entre confiar y verificar. Un sistema que solo su constructor puede explicar es una caja negra con buena atención al cliente.