El hueco se llena con arquitectura institucional, no con modelos mejores
La cara la pone quien pueda perder algo. Un sistema que no puede perder nada no puede responder por nada — y esa no es una limitación que se arregle entrenando más.
La fase anterior termina en un diagnóstico incómodo: ningún sistema actual reúne las tres condiciones de responder. Queda la pregunta práctica — qué se hace con eso.
El hueco de responsabilidad no se cierra esperando un modelo mejor. Se cierra diseñando el sistema alrededor de una persona que pueda responder de verdad: con información suficiente para saber dónde puede fallar, y con poder suficiente para detenerlo.
Eso es trabajo de ingeniería, no de investigación en aprendizaje automático. Y es donde queda sitio para quien está hoy en esta sala.
Cuando un sistema aprende de los datos y actúa sobre el mundo, nadie de la cadena clásica queda en posición de responder. El fabricante no anticipó la situación concreta. El programador no escribió la regla que se aplicó. El operador no tenía cómo saber que esa salida era la equivocada. La responsabilidad no desaparece por eso — se corre hasta el último humano que tocó el sistema.
Madeleine Elish le puso nombre a la figura que resulta: la zona de compresión moral. Igual que la carrocería de un auto se deforma para proteger a quien va dentro, la persona situada al final de la cadena absorbe el impacto para proteger la integridad del sistema. Se le atribuye el fallo porque estaba ahí, no porque tuviera control.
Estar en posición de recibir la culpa no es lo mismo que estar en posición de responder. Un diseño que solo produce lo primero no resolvió nada: trasladó el problema a una persona y lo llamó gobernanza.
Ninguna de las cuatro requiere un modelo mejor. Las cuatro requieren que alguien las tome de forma explícita, y que quede escrito quién las tomó.
Qué comprobación se ejecuta entre la salida del modelo y su efecto en el mundo. En el robot: el chequeo de fuerza o de afordancia antes del contacto. En el texto: el dato contrastado contra la fuente antes de enviar el mensaje.
Un registro sirve como prueba solo si captura la entrada, la salida y el estado en que se decidió, y si no puede reescribirse después. Es una decisión de arquitectura, tomada antes del incidente y no durante.
El umbral explícito: qué grado de incertidumbre, qué clase de operación o qué magnitud de consecuencia obliga a parar y consultar. Sin umbral definido, la intervención depende de que alguien sospeche — y el fallo silencioso está diseñado, por construcción, para no levantar sospecha.
Nombrar a la persona no basta. La pregunta es si tiene acceso a la información que necesitaría para juzgar, y autoridad para detener la operación sin pedir permiso. Si no, se le asignó la responsabilidad sin darle la capacidad: eso es una zona de compresión moral con otro nombre.
La pregunta del título tiene respuesta, y no es cómoda: la cara la pone quien pueda perder algo. Un sistema que no puede perder nada no puede responder por nada.
La pregunta de ingeniería no es «¿cuándo será suficientemente bueno?», sino «¿estamos construyendo sistemas donde el humano responsable tiene realmente el poder de responder — o solo la posición para absorber el golpe?»
Cierre de la ponencia.
La parte fácil se automatizó. Poner la cara sigue siendo un trabajo, y requiere entender el sistema lo suficiente para saber dónde puede fallar. Eso no es un consuelo: es la descripción de un puesto que todavía no está cubierto.
La tesis de la charla, dicha al derecho: si el límite de estos sistemas es el mundo físico y la cadena de responsabilidad, entonces el ingeniero — industrial, multimedia, biomédico, mecatrónico — está en el lugar exacto donde queda trabajo por hacer. No compitiendo con quien entrena modelos, sino donde el modelo se encuentra con la materia o con el usuario, y donde alguien tiene que diseñar el sistema para que la responsabilidad se pueda asumir de verdad y no solo asignar en el papel.
Henry Roncancio es docente de la UMNG y trabaja en el diseño de sistemas de IA para automatización empresarial.
Material abierto a estudiantes, docentes y visitantes del Technology Camp 2026.
Consultas: henry.roncancio@unimilitar.edu.co
Paso anterior: 7 · El hueco de responsabilidad — Las 3 condiciones de responder.
Inicio de la ponencia: 1 · Portada — Entre el razonamiento y la acción.
Recurso transversal permanente: Glosario de términos técnicos →