IA multimodal

Una IA multimodal puede trabajar con más de una «modalidad» de datos: texto, imágenes, audio, video, e incluso datos de sensores. Puede recibirlas como entrada (le muestras la foto de un recibo y preguntas cuánto pagaste de IVA) o producirlas como salida (le pides una imagen o una respuesta hablada).

Por dentro, la clave es llevar los distintos tipos de datos a un mismo «idioma» interno. Cada modalidad se convierte en vectores numéricos (embeddings) que el modelo puede comparar y relacionar. Un antecedente influyente fue CLIP, de OpenAI (2021), que aprendió a asociar imágenes con sus descripciones de texto a partir de cientos de millones de pares imagen-texto de internet.

Hoy, los principales LLM comerciales son multimodales en mayor o menor medida: leen imágenes y documentos, entienden voz y algunos generan imágenes o audio. Esto habilita usos como describir el entorno a personas con discapacidad visual, analizar gráficas o conversar por voz en tiempo real.

Matiz importante: que un modelo «vea» una imagen no significa que la entienda como una persona. Puede equivocarse al leer letras pequeñas, contar objetos o interpretar diagramas complejos, y también puede alucinar detalles que no están en la imagen. Para datos críticos, verifica.