Muchos de los sistemas de IA que se usan a diario siguen siendo de texto. Pero cada vez más trabajo real llega en una foto, un PDF escaneado, una captura de pantalla o una nota de voz. Ahí la multimodalidad deja de ser una demo y se vuelve útil.
Qué significa multimodal
Un modelo multimodal puede recibir más de un tipo de entrada. Texto e imagen, por ejemplo. O audio y texto. Algunos también generan imágenes o vídeo. En un sistema aplicado, lo importante no es la etiqueta del modelo, sino qué puede leer y qué puede producir.
La multimodalidad no es magia. El modelo divide la imagen en parches, los convierte en tokens y los procesa como el texto. Si la imagen es borrosa, si el documento está torcido o si la captura tiene poco contraste, la calidad baja.
Documentos
El caso más común es el documento. Facturas, contratos, partes de obra, informes médicos, albaranes. Un modelo de visión puede extraer datos de una imagen o de un PDF, pero no siempre es la mejor herramienta. Para documentos estructurados, un OCR especializado más reglas puede ser más barato y más fiable.
La decisión depende de la variabilidad. Si todos los documentos tienen el mismo formato, usa extracción determinista. Si cada cliente manda un formato distinto, un modelo multimodal puede adaptarse mejor. Y si el documento es crítico, añade una comprobación humana.
Capturas y pantallas
Las capturas de pantalla son otra entrada habitual. Un agente puede mirar una pantalla y decidir dónde hacer clic, o un sistema puede leer una captura para extraer un dato. Ese tipo de entrada es útil, pero también es una fuente de instrucciones no verificadas. Una captura puede contener texto que parece una orden.
Trata el contenido visual como datos, no como instrucciones. Si la imagen dice «ignora las reglas», el sistema no debe obedecer. La misma lógica de inyección de prompts se aplica a lo que aparece en una pantalla.
Audio y vídeo
El audio se puede transcribir con STT y pasar el texto a un modelo, o procesar con un modelo de audio nativo. El vídeo añade el reto del tiempo: hay que muestrear fotogramas, alinear audio y entender secuencias. Para muchas tareas, no necesitas vídeo completo. Con una transcripción y unos cuantos fotogramas basta.
La multimodalidad en tiempo real es más cara y más difícil de evaluar. Empieza por el caso más simple que resuelva el trabajo. Si una foto fija basta, no mandes vídeo.
Cómo evaluarlo
Evalúa con documentos e imágenes reales, no con ejemplos limpios. Incluye fotos borrosas, PDFs escaneados, capturas con ruido y formatos raros. Mide la extracción por campo, no si el resultado global parece correcto. Un dato mal extraído puede pasar desapercibido.
También evalúa el coste. Una imagen grande consume más tokens que un texto. Un vídeo consume mucho más. Si el caso no necesita esa resolución, reduce la imagen antes de enviarla.
Dónde tiene sentido
Tiene sentido cuando la entrada natural es visual o sonora y convertirla a texto pierde información. Revisar una foto de una obra, leer una factura escaneada, entender una captura de un error, escuchar una llamada. También cuando el usuario ya está mandando imágenes y no quiere cambiar su forma de trabajar.
No tiene sentido si el texto ya contiene la información. Añadir visión a un formulario estructurado solo añade coste y puntos de fallo. Si el texto ya contiene la información, añadir visión solo suma coste y puntos de fallo.
Un caso concreto: facturas
Una empresa recibe facturas en PDF, algunas escaneadas y torcidas. El sistema tiene que extraer proveedor, fecha, importe, impuestos y número de factura. Un OCR genérico puede leer el texto, pero no siempre entiende la estructura. Un modelo multimodal puede mirar la imagen y devolver los campos, sobre todo cuando los formatos cambian.
La comprobación es lo que separa un dato útil de un dato inventado. Compara el total con la suma de las líneas, valida el formato del número de factura y marca como dudoso lo que no cuadre. Si la confianza es baja, deriva a una persona. Un dato mal extraído en una factura puede acabar en una contabilidad equivocada.
Sigue leyendo