IA locale pour studios audiovisuels : comment monter votre propre système de recherche

Tout studio en activité depuis plusieurs années accumule plus de matériel que quiconque ne peut s'en souvenir : des heures d'images, des interviews, des prises répétées sur différents projets. Retrouver un plan précis finit par dépendre de la mémoire de la personne qui l'a filmé — et cette mémoire s'efface, change de studio ou part en vacances. L'intelligence artificielle qui tourne sur votre propre matériel, sans passer par aucun service cloud, permet d'indexer cette archive et de la rechercher par contenu plutôt que par nom de dossier.

L'idée de base est simple : séparer le stockage du traitement. Un serveur NAS avec une redondance réelle (RAID) stocke et sert les fichiers ; une seconde machine dotée d'un GPU correct — un Mac Studio, un PC avec carte graphique dédiée — effectue le travail d'analyse lourd. Ainsi, le serveur ne devient jamais un goulot d'étranglement, et vous pouvez continuer à monter pendant que le système traite le matériel en arrière-plan.

Sur cette base, on peut construire un pipeline qui fait plusieurs choses à la fois pour chaque vidéo. Il commence par transcrire les interviews et déclarations avec des timecodes précis (avec WhisperX), en enregistrant en plus un score de confiance par segment : sous un certain seuil, le système le marque comme à réviser plutôt que de le considérer d'emblée comme définitif. Chaque correction manuelle est enregistrée à côté du texte original, sans l'écraser, et cet historique de corrections alimente un dictionnaire propre au projet — noms de bateaux, de régates, patronymes peu courants — qui réduit les erreurs sur les transcriptions suivantes.

Le même pipeline génère des descriptions visuelles des images qui permettent de chercher par concept — "mer agitée, quelqu'un sur le pont" — même si personne n'a jamais étiqueté ce plan (avec CLIP). Chacun de ces vecteurs est lié à la version exacte du modèle qui l'a produit, si bien que lorsqu'une meilleure version sort, il n'y a pas à choisir entre perdre l'historique et vivre avec des résultats anciens : les deux coexistent, et on peut migrer par lots, sans urgence. Dans notre archive, cela représente déjà plusieurs dizaines de milliers d'images indexées sous forme de vecteurs, consultables en quelques millisecondes grâce à un index de recherche par similarité intégré à la base de données elle-même — sans envoyer une seule image à un service externe.

Le pipeline détecte aussi et détoure des objets avec une précision au pixel près — pas seulement "il y a un bateau", mais son contour exact et sa position dans chaque image — grâce à YOLO pour la détection et SAM pour le détourage. Chaque objet détecté conserve son timecode, son score de confiance et le modèle qui l'a produit, ce qui permet de toujours savoir quel moteur a généré une étiquette donnée et de filtrer par fiabilité. Dans notre cas, cela représente déjà plusieurs centaines de milliers d'objets détectés dans l'archive.

Et il reconnaît les visages pour regrouper les clips par personne (avec Immich et DeepFace) : des images tournées à des moments différents de la même personne finissent sous un même profil, même si l'angle, la lumière ou les années séparant deux tournages changent.

L'étiquetage n'est pas plat non plus. Chaque étiquette appartient à une couche — taxonomie organisée à la main, suggestion de l'IA encore non confirmée, signalement éditorial, ou révision manuelle obligatoire — et chaque client dispose de son propre espace d'étiquettes, si bien que le vocabulaire d'une ONG ne se mélange jamais avec celui d'une fédération sportive, même si les deux reposent sur la même base. Un journal des tâches par vidéo indique quels traitements ont été exécutés, lesquels sont en attente et lesquels ont échoué, afin que l'archive ne reste jamais "à moitié faite" sans que cela se voie. Tout cela vit dans votre propre base de données — PostgreSQL avec l'extension pgvector pour la recherche sémantique — plutôt que de dépendre d'une application tierce comme source unique de vérité.

Ce qui compte pour un petit studio ou un indépendant, c'est que tous ces outils sont open source : WhisperX, CLIP, YOLO, SAM, DeepFace, PostgreSQL. Pas d'abonnement mensuel, pas de facture par requête API, et aucun risque qu'un fournisseur change ses conditions ou ferme son service du jour au lendemain : le seul coût est le matériel, et dans bien des cas vous le possédez déjà. Le système fonctionne à l'électricité, pas à la carte de crédit.

Pour travailler avec des clients institutionnels — ONG, administrations, fédérations sportives — il vaut la peine d'ajouter une couche d'étiquetage des droits d'usage de chaque élément : possédé, cédé par le client, sous licence, restreint. C'est la différence entre réutiliser un plan en toute confiance et devoir demander à chaque fois si c'est autorisé.

Pas besoin de tout construire d'un coup. On peut commencer par la seule transcription automatique des interviews, qui fait déjà gagner des heures de recherche manuelle, puis ajouter des couches — recherche visuelle, reconnaissance faciale, un agent capable de répondre à des questions sur l'archive — au fur et à mesure que le système fait ses preuves. Ce qui ne paie pas, c'est de continuer à repousser : plus une archive grossit sans organisation, plus il coûte cher de la ranger ensuite.

Chez Video Synthesis, nous appliquons cette logique aux archives de nos clients de longue date, où des années d'images cessent d'être un dossier trié par date pour devenir une ressource réutilisable rapidement. Si vous gérez une archive audiovisuelle devenue difficile à manier, parlons-en.