IA local per a estudis audiovisuals: com muntar el teu propi sistema de cerca

Qualsevol estudi que fa uns anys que funciona acumula més material del que ningú pot recordar: hores de gravació, entrevistes, preses repetides en projectes diferents. Trobar un pla concret acaba depenent de la memòria de qui el va gravar — i aquesta memòria falla, canvia d'estudi o se'n va de vacances. La intel·ligència artificial que s'executa en el teu propi maquinari, sense passar per cap servei al núvol, permet indexar aquest arxiu i cercar-hi per contingut en lloc de pel nom de la carpeta.

La idea de base és senzilla: separar l'emmagatzematge del processament. Un servidor NAS amb redundància real (RAID) desa i serveix els fitxers; un segon equip amb una GPU decent — un Mac Studio, un PC amb targeta gràfica dedicada — fa la feina pesada d'anàlisi. Així el servidor no es converteix en un coll d'ampolla i pots continuar editant mentre el sistema processa material en segon pla.

Sobre aquesta base es pot construir un pipeline que fa diverses coses alhora per a cada vídeo. Comença transcrivint entrevistes i declaracions amb marques de temps precises (amb WhisperX), i desa a més una puntuació de confiança per segment: per sota d'un llindar, el sistema el marca com a pendent de revisió en lloc de donar-lo per bo directament. Cada correcció manual queda registrada junt amb el text original, sense sobreescriure'l, i aquest historial de correccions alimenta un diccionari propi de noms i termes específics del projecte — vaixells, regates, cognoms poc habituals — que redueix els errors a les transcripcions següents.

El mateix pipeline genera descripcions visuals dels fotogrames que permeten cercar per concepte — "mar picat, algú a coberta" — encara que ningú hagi etiquetat mai aquest pla (amb CLIP). Cada un d'aquests vectors queda vinculat a la versió concreta del model que el va generar, així que quan surt una versió millor no cal triar entre perdre l'històric o quedar-se amb resultats antics: les dues versions conviuen, i es pot migrar per lots sense pressa. Al nostre arxiu això ja són desenes de milers de fotogrames indexats com a vectors, consultables en mil·lisegons gràcies a un índex de cerca per similitud a la mateixa base de dades — sense enviar cap imatge a un servei extern.

També detecta i retalla objectes amb precisió de píxel — no només "hi ha un vaixell", sinó el seu contorn exacte i la seva posició a cada fotograma — fent servir YOLO per a la detecció i SAM per al retall. Cada objecte detectat desa la seva marca de temps, la seva confiança i quin model el va generar, de manera que sempre es pot saber quin motor va produir cada etiqueta i filtrar per fiabilitat. En el nostre cas això ja suma diversos centenars de milers d'objectes detectats a l'arxiu.

I reconeix cares per agrupar clips per persona (amb Immich i DeepFace): peces gravades en moments diferents del mateix protagonista acaben sota un mateix perfil encara que canviï l'angle, la llum o els anys entre una gravació i l'altra.

L'etiquetatge tampoc és pla. Cada etiqueta pertany a una capa — taxonomia curada a mà, suggeriment de la IA encara sense confirmar, avís editorial, o revisió manual obligatòria — i cada client té el seu propi espai d'etiquetes, de manera que el vocabulari d'una ONG no es barreja amb el d'una federació esportiva encara que totes dues facin servir la mateixa base. Un registre de tasques per vídeo indica quins processos s'han executat, quins estan pendents i quins han fallat, així l'arxiu mai no es queda "a mig fer" sense que es noti. Tot això viu en una base de dades pròpia — PostgreSQL amb l'extensió pgvector per a la cerca semàntica — en lloc de dependre d'una aplicació de tercers com a font única de la veritat.

El que és rellevant per a qualsevol estudi petit o autònom és que totes aquestes eines són de codi obert: WhisperX, CLIP, YOLO, SAM, DeepFace, PostgreSQL. No hi ha subscripció mensual, ni factura per consulta a una API externa, ni dependència de que un proveïdor canviï les condicions o tanqui el servei d'un dia per l'altre: l'únic cost és el maquinari, i en molts casos ja el tens. El sistema funciona amb electricitat, no amb una targeta de crèdit.

Per treballar amb clients institucionals — ONG, administracions, federacions esportives — convé afegir una capa d'etiquetatge amb els drets d'ús de cada material: propi, cedit pel client, amb llicència, restringit. És la diferència entre reutilitzar un pla amb seguretat i haver de preguntar cada vegada si es pot fer servir.

No cal muntar-ho tot de cop. Es pot començar només per la transcripció automàtica d'entrevistes, que ja estalvia hores de cerca manual, i afegir capes — cerca visual, reconeixement facial, un agent que respongui preguntes sobre l'arxiu — a mesura que el sistema demostra la seva utilitat. El que no compensa és continuar ajornant-ho: com més creix un arxiu sense organitzar, més car surt ordenar-lo després.

A Video Synthesis apliquem aquesta lògica als arxius dels nostres clients de llarga durada, on anys de gravacions deixen de ser una carpeta ordenada per data i passen a ser un recurs que es pot reutilitzar amb rapidesa. Si gestiones un arxiu audiovisual que ha deixat de ser manejable, parlem-ne.