Manipulación física · Technology Camp 2026 Facultad de Ingeniería · Universidad Militar Nueva Granada

Lo que la cámara no ve

Manipulación física: el sensor que le falta a la IA corporizada

Por qué la IA corporizada pasa el examen de medicina pero no puede conectar los cables.

Auditorio D · Sede Campus Nueva Granada, Cajicá Jueves 10 de septiembre de 2026 3:00 – 4:00 p. m.
La frase

«La visión y el lenguaje aportan guía semántica y geométrica, pero no pueden revelar de forma fiable los estados ocultos del contacto: la fuerza, el deslizamiento y la estabilidad.»

TouchWorld: A Predictive and Reactive Tactile Foundation Model for Dexterous Manipulation — Jianyi Zhou et al., arXiv:2607.07287, 2026.

«Vision and language provide semantic and geometric guidance, but they cannot reliably reveal hidden contact states such as force, slip, and contact stability.»

Tesis

Lo que limita a la IA corporizada no es razonar — ya iguala al humano en dominios formales — sino actuar en el mundo físico. La frase anterior lo dice con precisión técnica.

El sistema que aprueba el examen de especialización médica trabaja con texto: todo lo que necesita saber está en el enunciado. El mismo sistema, puesto a conectar cinco electrodos a un paciente, se queda sin la mitad de la información. Dónde está el cable lo dice la cámara. Con cuánta fuerza se dobla, cuándo empieza a resbalar, si el agarre va a sostenerse: eso no está en nada de lo que el modelo ve o lee.

La frontera es triple: el contacto no aparece en los datos de entrenamiento, no se observa desde fuera y no se corrige a la velocidad de un ciclo de cámara. Esas tres ausencias definen el trabajo pendiente.

Los tres estados ocultos
Intuición Física 02 · Animación Interactiva

Lo que la Cámara no Ve: Estados Ocultos del Contacto

Experimenta el deslizamiento incipiente (incipient slip) y la diferencia entre lazo visual (30 Hz) y lazo táctil de alta frecuencia (1000 Hz).

LOOP: 1000 Hz (TouchWorld) DESLIZAMIENTO: 0% ESTABLE: Contacto bajo control
💡
Intuición clave: La cámara tarda 33 milisegundos por fotograma y los propios dedos tapan la interfaz de contacto (oclusión). El micro-resbalón se propaga en menos de 10 ms; solo una matriz de táxeles a 1 kHz puede detectar las ondas de cizallamiento y ordenar torque compensatorio antes de que el objeto caiga.
📄 Base científica: TouchWorld (Zhou et al., 2026) · PP-Tac (Lin et al., RSS 2025) · Tactile Genesis (2026)
La frontera, 2025–2026

¿Qué está pasando mientras tanto? La investigación responde con una jerarquía: un modelo lento que razona en visión y lenguaje, y un lazo jerárquico que lee los sensores táctiles a alta frecuencia — hasta un kilohercio en el hardware comercial — y corrige el contacto en tiempo de ejecución. La semántica no espera al contacto; el contacto no espera a la semántica.

Y el estado del arte en hardware ya está en el mercado: el PaXini PX-6AX GEN3 es un array táctil triaxial — fuerza en tres ejes por táxel — con hasta 717 señales por sensor, salida a un kilohercio, detección desde 0,01 N y doce formatos que cubren punta, almohadilla y palma: la distribución del tacto de una mano humana. Su cuarta generación baja a 0,005 N, adelgaza a dos milímetros y se monta como piel — incluso sobre la garra. Los drivers comunitarios para ROS 2 ya existen; la pieza que falta es de software: integrar este tacto con una política de visión-lenguaje-acción (VLA) sobre un estándar común.

Los hitos recientes: la primera destreza sobre objetos deformables tipo papel con mano táctil (87,5 % de éxito), simulación táctil masiva en GPU que demuestra que la cobertura de la mano importa más que la resolución del sensor y que la fuerza por táxel es la señal más útil, y — la contracara — el tacto como nueva superficie de ataque: su lectura se puede falsificar sin tocar el robot. Cada avance confirma la misma idea: el cuello de botella está en el contacto, y el contacto se siente, no se ve.

Para profundizar
Continuar el recorrido

Paso anterior: 2 · La paradoja fundamental — Moravec.

Siguiente paso: 4 · Laboratorio a planta — El cable que no se automatiza.

/ o Espacio para navegar · P modo presentación