Cargando ahora

Prompting multimodal en Gemini: cómo dominar video, audio y marcas de tiempo

Prompting multimodal en Gemini: cómo dominar video, audio y marcas de tiempo
EDUKY BLOG · IA & Automatización

Prompting multimodal en Gemini: cómo dominar video, audio y marcas de tiempo

Aprende las reglas técnicas y sintaxis de prompting multimodal en Gemini para analizar video y audio con marcas de tiempo precisas y sin alucinaciones.

Análisis premium
Tecnología aplicada
Tendencias IA

El análisis de contenido audiovisual mediante inteligencia artificial ha dado un salto cualitativo significativo, pero aprovecharlo al máximo exige dominar las reglas del prompting multimodal gemini. Muchos usuarios cometen el error de tratar los archivos de video y audio como simples bloques de texto, sufriendo respuestas truncadas o inexactitudes temporales. Dominar la sintaxis de marcas de tiempo y comprender cómo el modelo procesa cada fotograma transforma por completo la calidad de los resultados.

Puntos clave del prompting audiovisual en Gemini

  • Sintaxis MM:SS: Formato estándar obligatorio para solicitar o referenciar momentos temporales precisos sin inducir alucinaciones.
  • Posición del prompt: La instrucción debe colocarse después del archivo multimedia dentro del arreglo de entrada para optimizar la atención del modelo.
  • Tasa de muestreo de 1 FPS: Gemini procesa video muestreando 1 fotograma por segundo junto con la pista de audio a 1 Kbps.
  • Consumo de tokens: Cada segundo de video insume unos 300 tokens en resolución predeterminada y alrededor de 100 tokens en baja resolución.
  • Files API: Esencial para archivos mayores a 20 MB o videos de más de 1 minuto, admitiendo hasta 20 GB en planes de pago.

Fundamentos técnicos: cómo procesa Gemini el video y el audio

Para construir instrucciones efectivas, es indispensable comprender la ingeniería interna del modelo. En las tareas de video understanding gemini api, el sistema no mira el video en tiempo real de forma continua, sino que muestrea sistemáticamente a razón de 1 fotograma por segundo (1 FPS). De forma paralela, el audio se procesa en canal único a 1 Kbps, sincronizando marcas de tiempo internas en cada segundo de reproducción.

1 FPS
Muestreo visual predeterminado del video
258 tokens
Costo de contexto por fotograma estándar
32 tokens/s
Consumo de contexto de la pista de audio
~300 tokens/s
Gasto total por segundo de video estándar

Este desglose explica por qué un video extenso puede saturar rápidamente una ventana de contexto. Cuando se utiliza la configuración estándar, un minuto de video consume aproximadamente 18.000 tokens (alrededor de 300 tokens por segundo, que suman 258 del fotograma visual, 32 del canal de audio y los metadatos correspondientes). En modo de baja resolución (media_resolution='low'), el fotograma se reduce a 66 tokens, recortando el costo total a unos 100 tokens por segundo.

La regla de oro: sintaxis de timestamps y estructura del prompt

Uno de los descubrimientos documentados por Google AI for Developers es que el orden de los elementos en la solicitud altera de forma sustancial la precisión del análisis. La directriz oficial establece dos normas básicas:

1. Cargar el objeto multimedia primero

El archivo de video o audio debe figurar en la primera posición del array de entrada (contents), ya sea mediante base64 para clips diminutos o vía Files API.

2. Añadir el texto del prompt después

Colocar la instrucción escrita inmediatamente DESPUÉS del medio audiovisual maximiza la atención del modelo y la coherencia en la extracción de respuestas.

3. Emplear formato estricto MM:SS

Especificar minutos y segundos como MM:SS (o HH:MM:SS si el material supera la hora) ancla al modelo a los marcadores internos sincronizados.

Plantillas prácticas de prompting multimodal en Gemini

Al analizar video con gemini, formular preguntas abiertas como «resume este video» genera respuestas superficiales y propensas a omitir detalles críticos. En su lugar, es recomendable utilizar directivas estructuradas que aprovechen la sincronización visual y sonora.

Plantilla 1: Minutas ejecutivas y diarización con marcas de tiempo

Esta estructura resulta óptima para grabaciones de reuniones, entrevistas o llamadas grupales donde se requiere identificar a los interlocutores y sus conclusiones.

Estructura del prompt:

[Archivo de video/audio adjunto]

Actúa como un asistente ejecutivo. Analiza el audio y la imagen del video proporcionado y genera una minuta con las siguientes instrucciones:
1. Identifica a cada participante usando las pistas visuales y de audio (diarización).
2. Para cada tema tratado, indica la marca de tiempo de inicio y fin en formato MM:SS.
3. Extrae en una lista con viñetas los acuerdos específicos adoptados y quién asumió la responsabilidad de cada uno.
4. No asumas acuerdos que no hayan sido mencionados verbalmente o mostrados en diapositivas. Salida exclusivamente en texto claro y profesional.

Plantilla 2: Extracción tabular comparativa de escenas y audio

Cuando se requiere auditar contenido publicitario, tutoriales o revisiones técnicas, organizar el resultado en tablas Markdown evita la dispersión y ahorra tokens de salida.

Estructura del prompt:

[Archivo de video adjunto]

Examina detalladamente el video y genera una tabla Markdown con el siguiente esquema de columnas:
– | Marca de tiempo (MM:SS) | Elementos visuales en pantalla | Diálogo / Audio clave | Tono o emoción detectada |
Agrupa los eventos cronológicamente según los cambios de escena o transiciones temáticas principales. Mantén las descripciones visuales concisas y objetivas.

Gemini cuenta con la capacidad verificada de sincronizar la pista de audio y la visual para identificar el tono emocional del orador junto con los gestos o diapositivas exhibidas en ese mismo segundo exacto.

Parámetro Resolución Predeterminada Modo Baja Resolución (media_resolution=’low’)
Tokens por fotograma visual 258 tokens 66 tokens
Tokens de audio 32 tokens/segundo 32 tokens/segundo
Consumo total por segundo ~300 tokens/s ~100 tokens/s
Uso recomendado Inspección de texto pequeño o detalles visuales finos Videos extensos, conferencias, podcasts y minutas generales

Gestión de archivos extensos y límites de la API

El método de carga condiciona la estabilidad de la inferencia. De acuerdo con la documentación de Google, los clips pequeños pueden pasarse como datos en línea (inline base64), pero existen restricciones técnicas determinantes:

  • Umbral de 20 MB o 1 minuto: Cualquier archivo que supere estas cifras debe procesarse obligatoriamente a través de la Files API en vez de inline data.
  • Capacidades de almacenamiento: La Files API admite hasta 2 GB por archivo en el tier gratuito y escala hasta 20 GB para proyectos en tiers de pago.
  • Estado ACTIVE: Los videos pesados requieren procesamiento asíncrono previo. Es necesario sondear el estado del archivo hasta que marque ACTIVE antes de lanzar la inferencia.
  • Foco por consulta: Se desaconseja enviar múltiples videos largos simultáneamente en un único prompt para eludir confusiones multimodales en el modelo.
Conclusión práctica: Para obtener un analisis audio y video ia google impecable, estructura tu solicitud colocando el archivo primero, exige salidas tabulares o con marcas de tiempo en sintaxis MM:SS y recurre a media_resolution='low' cuando proceses contenido prolongado para economizar tokens sin sacrificar la comprensión semántica.

🚀 ¿Quieres estar siempre actualizado en IA?

Únete a nuestra comunidad donde compartimos noticias, herramientas, guías y oportunidades sobre inteligencia artificial.

📲 Unirme a la Comunidad

Preguntas frecuentes

¿Por qué Gemini a veces no detecta un texto que apareció en pantalla?

Debido a que el modelo muestrea el video a razón de 1 fotograma por segundo (1 FPS), cualquier texto o elemento visual fugaz que permanezca en pantalla durante menos de un segundo podría no ser capturado en el fotograma procesado.

¿Cuál es la diferencia de sintaxis para videos de más de una hora?

Para duraciones inferiores a una hora se recomienda el formato estándar MM:SS (por ejemplo, 14:20). Para grabaciones que exceden los 60 minutos, la sintaxis correcta pasa a ser HH:MM:SS (por ejemplo, 01:15:30).

¿Cuándo conviene utilizar media_resolution=’low’?

Se recomienda al analizar videos largos, podcasts o conferencias donde el valor principal radica en el discurso y la estructura general, ya que reduce el consumo de 300 a solo 100 tokens por segundo.

Fuentes consultadas

🔥 Sigue Eduky Blog para más contenido sobre IA

Noticias, herramientas, automatizaciones y guías prácticas para mantenerte siempre al día.