IA local para estudios audiovisuales: cómo montar tu propio sistema de búsqueda

Cualquier estudio que lleve unos años en marcha acumula más material del que puede recordar: horas de grabación, entrevistas, tomas repetidas en distintos proyectos. Encontrar un plano concreto termina dependiendo de la memoria de quien lo grabó — y esa memoria falla, cambia de estudio o se va de vacaciones. La inteligencia artificial que se ejecuta en tu propio hardware, sin pasar por ningún servicio en la nube, permite indexar ese archivo y buscarlo por contenido en lugar de por el nombre de la carpeta.

La idea de base es sencilla: separar el almacenamiento del procesamiento. Un servidor NAS con redundancia real (RAID) guarda y sirve los archivos; un segundo equipo con una GPU decente — un Mac Studio, un PC con tarjeta gráfica dedicada — hace el trabajo pesado de análisis. Así el servidor no se convierte en un cuello de botella y puedes seguir editando mientras el sistema procesa material en segundo plano.

Sobre esa base se puede construir un pipeline que hace varias cosas a la vez para cada vídeo. Empieza por transcribir entrevistas y declaraciones con marcas de tiempo precisas (con WhisperX), guardando además una puntuación de confianza por segmento: por debajo de un umbral, el sistema lo marca como pendiente de revisión en lugar de darlo por bueno directamente. Cada corrección manual queda registrada junto al texto original, sin sobrescribirlo, y ese historial de correcciones alimenta un diccionario propio de nombres y términos específicos del proyecto — barcos, regatas, apellidos poco habituales — que reduce los errores en las transcripciones siguientes.

El mismo pipeline genera descripciones visuales de los fotogramas que permiten buscar por concepto — "mar picado, alguien en cubierta" — aunque nadie haya etiquetado ese plano nunca (con CLIP). Cada uno de estos vectores queda vinculado a la versión concreta del modelo que lo generó, así que cuando sale una versión mejor no hay que elegir entre perder el histórico o quedarse con resultados antiguos: las dos versiones conviven, y se puede migrar por lotes sin prisa. En nuestro archivo esto ya son varias decenas de miles de fotogramas indexados como vectores, consultables en milisegundos gracias a un índice de búsqueda por similitud en la propia base de datos — sin mandar una sola imagen a un servicio externo.

También detecta y recorta objetos con precisión de píxel — no solo "hay un barco", sino su contorno exacto y su posición en cada fotograma — usando YOLO para la detección y SAM para el recorte. Cada objeto detectado guarda su marca de tiempo, su confianza y qué modelo lo generó, de modo que siempre se puede saber qué motor produjo cada etiqueta y filtrar por fiabilidad. En nuestro caso esto ya suma varios cientos de miles de objetos detectados en el archivo.

Y reconoce caras para agrupar clips por persona (con Immich y DeepFace): piezas grabadas en momentos distintos del mismo protagonista terminan bajo un mismo perfil aunque cambien el ángulo, la luz o los años entre una grabación y otra.

El etiquetado tampoco es plano. Cada etiqueta pertenece a una capa — taxonomía curada a mano, sugerencia de la IA todavía sin confirmar, aviso editorial, o revisión manual obligatoria — y cada cliente tiene su propio espacio de etiquetas, de modo que el vocabulario de una ONG no se mezcla con el de una federación deportiva aunque ambas usen la misma base. Un registro de trabajos por vídeo indica qué procesos se han ejecutado, cuáles están pendientes y cuáles han fallado, así el archivo nunca se queda "a medias" sin que se note. Todo esto vive en una base de datos propia — PostgreSQL con la extensión pgvector para la búsqueda semántica — en lugar de depender de una aplicación de terceros como fuente única de la verdad.

Lo relevante para cualquier estudio pequeño o autónomo es que todas estas herramientas son de código abierto: WhisperX, CLIP, YOLO, SAM, DeepFace, PostgreSQL. No hay suscripción mensual, ni factura por consulta a una API externa, ni dependencia de que un proveedor cambie las condiciones o cierre el servicio de un día para otro: el único coste es el hardware, y en muchos casos ya lo tienes. El sistema funciona con electricidad, no con una tarjeta de crédito.

Para trabajar con clientes institucionales — ONG, administraciones, federaciones deportivas — conviene añadir una capa de etiquetado con los derechos de uso de cada material: propio, cedido por el cliente, con licencia, restringido. Es la diferencia entre reutilizar un plano con seguridad y tener que preguntar cada vez si se puede usar.

No hace falta montarlo todo de golpe. Se puede empezar solo por la transcripción automática de entrevistas, que ya ahorra horas de búsqueda manual, y añadir capas — búsqueda visual, reconocimiento facial, un agente que responda preguntas sobre el archivo — a medida que el sistema demuestra su utilidad. Lo que no compensa es seguir posponiéndolo: cuanto más crece un archivo sin organizar, más caro sale ordenarlo después.

En Video Synthesis aplicamos esta lógica a los archivos de nuestros clientes de larga duración, donde años de grabaciones dejan de ser una carpeta ordenada por fecha y pasan a ser un recurso que se puede reutilizar con rapidez. Si gestionas un archivo audiovisual que ha dejado de ser manejable, hablemos.